夢晨 鷺羽 發自 凹非寺
量子位 | 公眾號 QbitAI

復刻DeepSeek-R1的長思維鏈推理，大模型強化學習新范式RLIF成熱門話題。

UC Berkeley團隊共同一作Xuandong Zhao把這項成果稱為：

大模型無需接觸真實答案，僅通過優化自己的信心，就能學會復雜推理。

具體來說，新方法完全不需要外部獎勵信號或標注數據，只需使用模型自身的置信程度作為內在獎勵信號。

與使用外部獎勵信號GRPO相比，新方法在數學任務上不需要標準答案也能提升基礎模型性能，在代碼任務上表現得更好。

幾乎同一時間，另外一篇論文《RENT: Reinforcement Learning via Entropy Minimization》也驗證了相似的結論。

作者表示兩者的主要區別在于使用KL散度和最小化熵衡量自信程度。

Dropbox工程副總裁看后表示：Confidence is all you need。

“自信”驅動的強化學習

長期以來，訓練大模型主要依賴兩種方式：

要么需要大量人工標注（如ChatGPT的RLHF），要么需要可驗證的標準答案（如DeepSeek的RLVR）。

前者成本高昂且可能引入偏見，后者則局限于數學、編程等有明確答案的領域。

那么當AI能力逐漸接近甚至超越人類時，能否讓模型僅憑自身產生的內在信號，擺脫對外部監督的依賴？

針對這個問題，UC Berkeley團隊提出新訓練方法Intuitor，計算模型預測分布與均勻分布之間的KL散度作為“自信程度”。

相當于人類做題時，如果對答案有把握思路也會更清晰，當自信不足的時候往往需要重新思考。

通過優化這個內在信號，INTUITOR鼓勵模型生成它自己”更有把握”的回答，也能促使模型生成更結構化的推理過程。

在實驗中，1.5B和3B的小模型也涌現出與DeepSeek-R1類似的長思維鏈推理行為。

論文還指出，內在獎勵信號還獲得一個額外的好處：從機制上降低了“獎勵黑客”的風險。

傳統外部獎勵信號的強化學習容易被“鉆空子”，如模型可能生成語法正確但邏輯錯誤的代碼來匹配測試用例，或在數學題中直接背答案而非推理。

在INTUITOR中，團隊發現如果使用離線學習，在訓練約100步的時候模型也學會了作弊：在回答中附加一個已經解決的簡單問題來提高自信度分數。

但使用在線學習就可以避免這個問題，評估標準隨著模型能力一起進化，作弊策略變得無效。

實驗結果：不僅會做題，還會舉一反三

團隊首先實證研究了INTUITOR框架對LLMs數學推理能力的提升。

實驗選取Qwen2.5-1.5B/3B作為基礎模型，使用自我確定度作為唯一的獎勵信號，并將其分別置于INTUITOR和兩個基線方法（GRPO、GRPO-PV）在MATH數據集的預訓練中。

使用對話提示，每次處理128道題目并各生成7個候選解決方案，KL懲罰系數設置為0.005。

在數學推理、代碼生成、指令遵循的基準測試中進行性能評估，結果如圖所示：

實驗表明，在通過INTUITOR進行微調后，Qwen2.5-1.5B從最初只會輸出重復的無意義內容且對話任務得分均低于10%，轉變為無效輸出大幅減少、響應長度有效增加。

在結構化推理能力上，團隊還發現INTUITOR早期學習速度更快，如Qwen2.5-3B在GSM8K基準測試上INTUITOR（0.811）始終優于GRPO（0.758）。

此外，INTUITOR在多任務泛化上也表現優秀，例如當Qwen2.5-3B在代碼生成任務上，雖然相對滯后但持續增長，最終性能比GRPO高8%，相對提升65%。

同時團隊還觀察到，在進行長鏈推理時，INTUITOR模型在生成完整代碼前，都會添加自然語言推理（如“為解決X問題，需先執行Y步驟”），據推測也許這就是INTUITOR能夠在測試中始終表現出色的原因之一。

它的演進過程大概可以描述為三個階段：

1. 模型學會生成代碼，實現準確率提升和無效響應減少。
2. 進行代碼前推理以促進自我理解。
3. 逐步細化生成帶詳細推理的有效代碼。

為了評估自我確定度作為獎勵的魯棒性，研究人員還將離線自我確定度（來自固定基礎模型的獎勵）與在線自我確定度（來自不斷進化的策略模型的獎勵）進行了比較。

另外為進一步評估自我確定度作為獎勵信號的質量，研究人員還分析了模型在MATH500響應中生成的自我確定度分數分布。

值得注意的是，INTUITOR模型對正確答案的self-certainty顯著更高，而GRPO雖提升了模型自評能力，但區分度明顯低于INTUITOR。

由于受計算資源限制，實驗只在相對較小的無監督語料庫上進行訓練，未來可在更大規模的基礎模型和更多樣化的真實世界數據集上進一步研究INTUITOR的優勢。

團隊介紹

本項研究來自UC Berkeley的Sergey Levine、宋曉東團隊，作者一共有五位，分別是第一作者博士后研究員Xuandong Zhao、共同一作本科生Zhewei Kang、來自耶魯大學的Aosong Feng，以及Sergey Levine和Dawn Song。

2019年，Xuandong Zhao從浙江大學畢業后，就進入了加州大學圣塔芭芭拉分校攻讀計算機科學博士學位，期間還曾在阿里巴巴、Microsoft和Google等公司實習。

自2024年他進入UC Berkeley后，除本次的新成果外，至今一共還發表過十多篇論文，并先后被ICLR 2025、ICML 2025等接收。

另外在今年2月，Xuandong Zhao和Zhewei Kang還合作發表了一篇論文，描述了基于自我確定性的LLMs推理能力提升新策略Best-of-N，可以看作是本篇論文的一次先驗嘗試。

論文鏈接：https://arxiv.org/abs/2505.19590
代碼鏈接：https://github.com/sunblaze-ucb/Intuitor

參考鏈接：
[1]https://x.com/joshclemm/status/1927400772817285264
[2]https://x.com/xuandongzhao/status/1927270931874910259

[3]https://x.com/xuandongzhao/status/192778163679341780
[4]https://arxiv.org/abs/2502.18581