機器之心報道

機器之心編輯部

是否可以在不依賴額外監督的前提下，僅通過無監督學習讓模型學會思考？ 答案有了。

在心理學領域，人類思維通常被劃分為兩種不同類型：系統 1（快速思維）和系統 2（慢速思維）。

當面對復雜問題如數學運算、多步驟推理等任務時，系統 2 思維（System 2 Thinking）顯得至關重要。然而，當前的大語言模型可能在適合系統 1 思維的任務上表現良好，但在需要系統 2 思維能力的任務方面仍存在明顯不足。

因此，很多研究者開始對系統 2 思維展開研究，這推動了 o1、R1、Grok3 和 Claude 3.7 Sonnet 等基礎模型的崛起。

但據公開訓練資料（特別是開源模型 R1）顯示，這些模型采用的強化學習訓練方法僅適用于答案可通過規則化獎勵驗證的領域（如數學和編程），這種局限性導致其適用范圍狹窄。

另一方面與人類系統 2 思維類似的推理時計算，近期成為提升模型性能的熱門方法。

然而，現有方法存在三大局限性：模態依賴性（如僅適用于文本）、問題依賴性（如局限于數學 / 編程等可驗證領域），或需要額外監督訓練（如驗證器或可驗證獎勵機制）。

因此，來自弗吉尼亞大學、亞馬遜 GenAI、斯坦福大學、哈佛大學的研究者探討了這樣一個問題：「能否泛化這類系統 2 思維方法，開發僅通過無監督學習就能自主思考的模型？」

答案是肯定的。

具體來說，該研究訓練了一類新的能量模型 ——基于能量的 Transformer（Energy-Based Transformers, EBTs），它可以為每一對輸入和候選預測分配一個能量值（即非規范化的概率）； 然后從一個隨機初始化的預測開始，通過梯度下降不斷優化，直到找到最低能量的預測； 這一優化過程就模擬了思考過程。與傳統 Transformer 僅單次前向推理不同，EBT 允許每個預測思考多步。

這一建模方式使得系統二思維能夠在無監督學習中自然涌現，從而具備跨模態、跨任務的通用性。

在離散模態（如文本）和連續模態（如圖像）中，本文發現 EBT 在訓練過程中比主流的 Transformer++ 方法具備更快的擴展速度 —— 在數據量、批次大小、參數規模、FLOPs 和網絡深度等方面，EBT 的擴展速率最高可提升 35%

在推理階段，通過引入系統二思維（即增加計算量），EBT 在語言任務中的性能提升比 Transformer++ 高出 29%

在圖像去噪任務中，EBTs 也優于擴散 Transformer（Diffusion Transformers），且所需的前向傳播次數更少。

此外，本文還發現，當處理分布外數據時，引入系統二思維的 EBT 帶來的性能提升更為顯著；即便在預訓練效果相同或更差的情況下，EBT 在大多數下游任務上的表現仍優于現有模型，表明其具備更強的泛化能力

因此，EBT 為擴展模型的學習能力與思維能力提供了一種極具前景的新范式。

• 論文地址：https://arxiv.org/pdf/2507.02092
• 論文主頁：https://energy-based-transformers.github.io/
• 論文標題：Energy-Based Transformers are Scalable Learners and Thinkers

基于能量的 Transformers (EBT)

能量模型（EBMs，Energy-Based Models）背后的核心思想是：能量越低的配置，其概率越高、彼此之間越兼容；而能量越高的配置，其出現的可能性越低、彼此之間越不協調。

更具體地說，EBM 的目標是學習一個能量函數（即將輸入映射為一個標量能量值；在本文中，能量函數就是整個神經網絡本身），這個函數會為正確或理想的配置（例如真實數據點）分配較低的能量，而為錯誤或不理想的配置（例如噪聲）分配較高的能量。

例如，如果給定的上下文是一段狗奔跑著去接飛盤的視頻，那么高能量的延續可能是一段狗在啃玩具的視頻，而低能量的延續則可能是狗成功接住飛盤的片段。狗接住飛盤的場景與前面的上下文更為契合，因此對應的能量更低。

在這些 EBM 中，思考過程可以通過從一個初始的（隨機的）預測開始，并通過梯度下降不斷最小化其能量來優化這個預測（如上圖所示）來實現。

為了實現高度可擴展性，本文設計了一種結合 Transformer 架構和可擴展訓練算法的特定類型的能量模型，稱為 EBT。EBT 具備高效的訓練性能、良好的穩定性以及并行處理能力。

可擴展的 EBM Thinking

本文發現有三種關鍵的能量曲面正則化技術在訓練過程中至關重要，它們能夠有效確保所學習到的能量曲面具有足夠的平滑性與凸性，從而使模型在訓練階段具備強大的思考能力。

首先，本文發現重放緩沖區（replay buffer）有助于模擬更長的優化軌跡，使得能量 landscapes 在其最小值附近得到良好定義。

其次，一種 Langevin 動力學變體（隨機噪聲），被發現有助于鼓勵能量 landscapes 的探索。

第三，通過隨機化梯度下降步長 α 和優化步數，改變通向預測解決方案的路徑，顯著提高了泛化能力。

這些技術共同提高了模型的系統 2 思維能力，這一點通過表 2 中的消融實驗得到了證實。

EBT 架構

Transformer 在眾多領域中展現出卓越性能，其包括三大優勢：高度可并行化、訓練過程穩定性，以及良好的可擴展性。

而 EBM 在這三個方面一直面臨挑戰，因此，Transformer 架構為提升 EBM 的可擴展性提供了理想的基礎。

為推動 EBM 范式的發展，本文引入了 EBT，即專為能量模型設計的 Transformer 架構實現。本文設計了兩種變體：

• 一種是僅使用解碼器的 EBT，受 GPT 架構啟發，適用于自回歸建模；
• 另一種是雙向 EBT，在序列中使用雙向注意力機制，支持 infilling 和掩碼建模等任務。

實現細節可以參考 C.3 節。

實驗及結果

本文實驗關注兩類核心結果：

• 首先是學習的可擴展性，即模型擬合預訓練數據的速度，這也是預訓練研究中的標準評估方式；
• 其次是思考的可擴展性，即隨著系統 2 思維能力的增強，模型性能的變化趨勢。

與模型學習速度相關的規模化趨勢，通常被稱為擴展律（Scaling Law），是比較難以測量的。

最近一項調查發現，觀察到的擴展率取決于多種實現細節和測量維度，往往導致多個不同的結論。

因此，為了盡可能全面地確定 EBT 與 Transformer++ 的擴展方式，該研究針對六個不同測量維度 —— 包括數據、批處理大小、深度、參數、FLOPs，以及嵌入維度。

圖 4：語言學習擴展性 —— 數據、批大小和深度。

該研究對比了 Transformer++ 方法與 EBT 模型在預訓練階段的可擴展性表現，考察維度包括訓練數據量、批大小及模型深度。

結果表明，在上述所有維度上，EBT 的擴展能力均顯著優于 Transformer++，顯示出更高的數據利用效率，并表明其在泛化能力方面具有潛在優勢。

此外，EBT 在模型深度上的擴展性能提升，亦為其在推理任務中的表現提供了可能性支持。

綜上結果表明，若這一擴展趨勢持續存在，則在基礎模型所需的數據規模下，EBT 有望全面超越 Transformer++ 模型。

圖 5：語言學習可擴展性 —— 參數、FLOPs 和寬度。

Transformer++ 方法與 EBT 在模型大小（參數）、計算（FLOPs）和寬度（嵌入維度）上的預訓練擴展性比較。EBT 在 FLOPs 和參數擴展性上略微優于 Transformer++，成為首個在不修改分詞器的情況下實現更高擴展率的方法。結果表明，隨著規模的增加，EBT 在參數和 FLOPs 效率方面作為預訓練范式具有很高的潛力。

在所有測量維度上，EBT 的擴展性能始終優于 Transformer++ 方法（即具有更高的擴展率），并成為首個在不更換分詞器的前提下實現這一突破的模型。

這些結果表明，與 Transformer++ 方法相比，EBT 在數據效率、批大小效率、參數效率、深度效率和計算效率方面都更高。

因此，在使用規模擴大 1,000 倍的數據和參數量擴大 1,000 倍的模型訓練現代基礎模型的情境下，預期 EBT 的預訓練性能將顯著優于 Transformer++ 方法。

在已有學習結果的基礎上，該研究進一步探討了 EBT 模型在推理階段的思考能力。研究發現，EBT 的思維能力在足夠大規模的數據訓練下開始顯現。鑒于資源限制，該研究主要在小規模模型（但訓練數據量充足）上開展相關思維能力實驗。

該研究從兩個維度評估模型的「思考能力」：一是延長思考時間，即增加優化步數；二是自我驗證，即生成多個候選預測，并從中選擇能量最小的預測結果。

在表 2 中，通過消融實驗驗證了該研究提出的能量 Landscape 正則化技術（Energy Landscape Regularization techniques）在 BigBench Dyck Languages 基準測試的分布外數據上提升系統 2 思維能力的有效性。

實驗結果表明，當結合延長思考和自我驗證機制時，應用全部正則化技術可以獲得最優的系統 2 思維表現。

此外，實驗還發現：步長隨機化是關鍵因素之一 —— 若移除該機制，模型的思維能力幾乎完全喪失；而關閉 Langevin 動力學則會削弱組合性能，但在無自我驗證條件下反而表現更佳，體現出性能與計算資源之間的權衡關系。

表 2：系統 2 思維消融實驗。

Thinking Longer 指更多優化步驟，Self-Verification 指優化多個預測并選擇最佳結果。加粗部分突出顯示默認系統 2 超參數，利用所有在 3.3 節中描述的能量 Landscape 正則化技術。

這種配置在 Thinking Longer 和 Self-Verification 時性能最佳。移除正則化，如 Langevin 動力學，會導致更少的能量 Landscape 探索，從而在犧牲 Self-Verification 性能的情況下提升單路徑性能（Thinking Longer）。

在驗證了上述能量 Landscape 正則化技術的重要性后，該研究進一步分析了 EBT 模型在思考能力方面的可擴展性。結果帶來了兩個主要發現：

首先，如圖 6 (a) 所示，EBT 模型通過增加前向傳播次數（即延長思考時間）可實現高達 29% 的性能提升，而 Transformer++ 在相同條件下的性能幾乎沒有任何提升。

這一現象驗證了傳統的前饋式 Transformer 無法根據每個預測任務動態分配額外的計算資源，因此也就無法通過「延長思考時間」來提升每個 token 的預測性能。

圖 6：EBT 思維分析。

其次，如圖 6 (b) 所示，EBT 的「思考能力」具有良好的可擴展性。具體而言，隨著訓練時間的增加，EBT 從自我驗證中獲得的性能提升也在持續增長：自我驗證帶來的增益從原先的 4%–8% 提升至 10%–14%。

這表明，若將 EBT 模型擴展到與當前主流基礎模型相同的訓練規模（例如 Llama3 所使用的 15 萬億 tokens，約為當前數據規模的 1000 倍），其自我驗證機制所帶來的性能提升將更為顯著。

最后，該研究可視化了 EBT 在預測 token 時對不確定性的表達能力。結果表明：對于預測難度較低的 token（如 the 或 but），EBT 能更快地優化至較低能量；而對于預測難度較高的 token（如 fox 或 problem），其對應的能量更高，且在多個步驟中未能收斂。

這說明在預訓練過程中，EBT 能夠學習并捕捉 token 預測難度的不確定性，從而實現對系統 2 中方面 2 的有效建模。

圖 8：文本中的不確定性學習結果。

EBT 模型在無任何顯式監督的情況下，能夠自動學習在不同文本 token 上的不確定性差異。例如，在圖 (a) 和 (b) 中可以觀察到，諸如 is、a、but 和 the 等簡單 token 在推理階段的優化過程中（即「思考」步驟）表現出較低的能量值，表明模型對此類 token 的不確定性較低。相比之下，諸如 quick、brown、research 和 problem 等難以預測的 token 在多個優化步驟中具有更高的能量，且能量難以收斂，說明模型對這些 token 的預測存在更高的不確定性。

鑒于人類的系統 2 思維與在新場景中的泛化能力密切相關，該研究設計了一組實驗，旨在直接評估 EBT 模型的系統 2 思維機制對泛化能力的影響。

如圖 7 所示，該研究可視化了 EBT 在多個數據集上的表現，這些數據集具有不同程度的分布外（OOD）偏移，該偏移通過下游任務困惑度與預訓練困惑度的比值進行量化。

實驗結果顯示出明顯的線性趨勢：隨著數據的分布偏移程度增加，思考機制帶來的性能提升也越顯著。因此，這一發現表明，EBT 的「思考」優勢并非在所有數據上均勻表現，而是隨著分布偏移程度的增強而增強，凸顯了「思考」機制在跨分布泛化任務中作為關鍵能力的作用。

這一發現亦與心理學中的觀察一致：人類在應對復雜的分布外任務時，通常依賴于更為深度和刻意的系統 2 思維過程。

圖 7：OOD 思考性能。隨著數據變得越來越 OOD，思考帶來的性能提升更加顯著，呈現大致線性的趨勢。

由于已在圖 4 和圖 5 中驗證了 EBT 模型相較于 Transformer++ 擁有更優的擴展性，因此有理由推測，EBT 在大規模訓練條件下也可能在下游任務中表現更佳。

為驗證這一假設，該研究對訓練設置完全相同的模型進行了比較，其中 EBT 模型在預訓練階段的困惑度略高于 Transformer++。然而，如表 3 所示，盡管 EBT 的預訓練困惑度稍差，但其在大多數下游任務上的困惑度更低（即性能更優），表明其具有更強的泛化能力，尤其是在應對分布外（OOD）數據方面表現更為突出。

結合此前關于學習可擴展性的優勢結果，以及已有研究表明，更好的預訓練表現通常會轉化為更優的下游任務性能，上述實驗證據共同表明，在大規模訓練情境下，EBT 會全面超越 Transformer++。

表 3：語言模型任務泛化比較。

盡管在預訓練階段困惑度略高，EBTs 在下游任務上的困惑度通常低于 Transformer++。這表明 EBT 比 Transformer++ 泛化能力更強。此外，由于 EBT 在預訓練階段比 Transformer++ 擴展性更好（圖 4），這些發現表明 EBT 在基礎模型規模上會優于 Transformer++。

圖 9 展示了嵌入維度（embedding dimension）和非嵌入參數量（non-embedding parameter count）兩個維度上的擴展性結果，這兩個維度表現出最為線性的擴展趨勢。實驗結果表明，盡管 EBT 模型在初始階段的損失值更高，但其擴展速度比 Transformer++ 快超過 33%。這一發現表明，在基礎模型規模下，EBT 會獲得顯著優于 Transformer++ 的性能表現。

圖 9：視頻學習可擴展性 —— 寬度與參數。在 Something Something V2（SSV2）數據集上達到的最小驗證損失。

雖然 EBT 在較小規模時驗證損失高于 Transformer++，但擴展率提高 33% ，表明在擁有數百億參數的基礎模型規模上，EBT 的表現將遠優于 Transformer++。值得注意的是，相對于參數數量，嵌入維度的擴展行為更接近線性，這可能是嵌入維度成為圖像表示的瓶頸所致。

為進一步驗證上述觀點，該研究在圖 11 中可視化了 EBT 模型在預測視頻幀時的能量變化結果。實驗結果表明，EBT 能夠有效學習并表征預測過程中的不確定性：在視頻的早期幀中，由于畫面中尚未出現主要物體，模型預測的能量較高（即不確定性較強）；隨著場景中的主要物體逐漸顯現，EBT 對后續幀的預測能量顯著降低，表明模型不確定性隨之減少。

圖 11：視頻結果中的學習不確定性。與認知方面 2 一致，EBT 能夠在沒有監督的情況下，在連續視頻幀中表達不確定性。

在視頻開始時，不確定性較高（高能量），因為幀大部分是空的，場景高度不可預測。當一件藍色服裝被放置到幀中時，不確定性降低（低能量），反映了場景的可預測性增加。當藍色服裝從場景中移除時，不確定性再次增加，表明不可預測性恢復到較高水平。這種能力在沒有離散化方案的傳統前饋 Transformer 的連續空間中實現起來要困難得多。

表 4 展示了 EBT 與 DiT 模型在圖像去噪任務中的性能對比結果。觀察到，在分布內與分布外圖像去噪的多個評價指標上，EBT 均優于 DiT，峰值信噪比（PSNR）最高提升可達 3.5。

表 4：圖像去噪與分類對比。

在圖像去噪方面，EBTs 在分布內（in-distribution）和分布外（OOD）數據上的峰值信噪比（PSNR）以及均方誤差（MSE）上均顯著優于 DiT ，同時使用減少 99% 的正向傳遞次數。

這表明 EBT 比 DiT 泛化能力更強，同時計算量更少。在圖像分類方面，EBT 的表現也優于 DiT ，準確率提高了 10 倍 ，這表明 EBT 學習到的圖像表征更好，比 DiT 更理解圖像。

該研究還在圖 12 中繪制了不同前向傳播次數（即函數評估次數，Number of Function Evaluations, NFEs）下的模型性能曲線。結果表明，EBT 在使用比 DiT 少 99% 的去噪步驟的情況下，仍實現了更優的去噪效果，并且其系統 2 思維的擴展速率也明顯高于 DiT。

圖 12：圖像去噪任務中的思考可擴展性分析。

該研究比較了 EBT 與 DiT 在圖像去噪任務中，在不同前向傳播次數下的表現。結果顯示，EBT 僅需 DiT 所用前向傳播次數的 1%，即可達到相當甚至更優的峰值信噪比（PSNR）水平。

此外，隨著前向傳播次數增加，EBT 在 PSNR 上的性能提升速率遠高于 DiT。這一結果表明，在處理分布外（OOD）圖像去噪任務時，EBT 的思考能力明顯優于 DiT。

圖 10：定性 OOD 圖像去噪。

圖 10 展示了 EBT 與 DiT 基線模型在分布外圖像去噪任務中的視覺效果對比。結果進一步表明，EBT 所生成的去噪圖像在視覺質量上明顯優于 DiT，同時計算成本更低。

在推理階段，EBT 模型在每使用 1 次去噪步驟的情況下，便可達到與 DiT 需執行 100 次去噪步驟相當甚至更優的效果。整體而言，EBT 所生成的去噪圖像質量更高，圖像更清晰，模糊程度明顯低于 DiT 去噪結果。

了解更多內容，請參考原論文。