夢(mèng)晨 鷺羽 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

復(fù)刻DeepSeek-R1的長(zhǎng)思維鏈推理，大模型強(qiáng)化學(xué)習(xí)新范式RLIF成熱門話題。

UC Berkeley團(tuán)隊(duì)共同一作Xuandong Zhao把這項(xiàng)成果稱為：

大模型無(wú)需接觸真實(shí)答案，僅通過(guò)優(yōu)化自己的信心，就能學(xué)會(huì)復(fù)雜推理。

具體來(lái)說(shuō)，新方法完全不需要外部獎(jiǎng)勵(lì)信號(hào)或標(biāo)注數(shù)據(jù)，只需使用模型自身的置信程度作為內(nèi)在獎(jiǎng)勵(lì)信號(hào)。

與使用外部獎(jiǎng)勵(lì)信號(hào)GRPO相比，新方法在數(shù)學(xué)任務(wù)上不需要標(biāo)準(zhǔn)答案也能提升基礎(chǔ)模型性能，在代碼任務(wù)上表現(xiàn)得更好。

幾乎同一時(shí)間，另外一篇論文《RENT: Reinforcement Learning via Entropy Minimization》也驗(yàn)證了相似的結(jié)論。

作者表示兩者的主要區(qū)別在于使用KL散度和最小化熵衡量自信程度。

Dropbox工程副總裁看后表示：Confidence is all you need。

“自信”驅(qū)動(dòng)的強(qiáng)化學(xué)習(xí)

長(zhǎng)期以來(lái)，訓(xùn)練大模型主要依賴兩種方式：

要么需要大量人工標(biāo)注（如ChatGPT的RLHF），要么需要可驗(yàn)證的標(biāo)準(zhǔn)答案（如DeepSeek的RLVR）。

前者成本高昂且可能引入偏見(jiàn)，后者則局限于數(shù)學(xué)、編程等有明確答案的領(lǐng)域。

那么當(dāng)AI能力逐漸接近甚至超越人類時(shí)，能否讓模型僅憑自身產(chǎn)生的內(nèi)在信號(hào)，擺脫對(duì)外部監(jiān)督的依賴？

針對(duì)這個(gè)問(wèn)題，UC Berkeley團(tuán)隊(duì)提出新訓(xùn)練方法Intuitor，計(jì)算模型預(yù)測(cè)分布與均勻分布之間的KL散度作為“自信程度”。

相當(dāng)于人類做題時(shí)，如果對(duì)答案有把握思路也會(huì)更清晰，當(dāng)自信不足的時(shí)候往往需要重新思考。

通過(guò)優(yōu)化這個(gè)內(nèi)在信號(hào)，INTUITOR鼓勵(lì)模型生成它自己”更有把握”的回答，也能促使模型生成更結(jié)構(gòu)化的推理過(guò)程。

在實(shí)驗(yàn)中，1.5B和3B的小模型也涌現(xiàn)出與DeepSeek-R1類似的長(zhǎng)思維鏈推理行為。

論文還指出，內(nèi)在獎(jiǎng)勵(lì)信號(hào)還獲得一個(gè)額外的好處：從機(jī)制上降低了“獎(jiǎng)勵(lì)黑客”的風(fēng)險(xiǎn)。

傳統(tǒng)外部獎(jiǎng)勵(lì)信號(hào)的強(qiáng)化學(xué)習(xí)容易被“鉆空子”，如模型可能生成語(yǔ)法正確但邏輯錯(cuò)誤的代碼來(lái)匹配測(cè)試用例，或在數(shù)學(xué)題中直接背答案而非推理。

在INTUITOR中，團(tuán)隊(duì)發(fā)現(xiàn)如果使用離線學(xué)習(xí)，在訓(xùn)練約100步的時(shí)候模型也學(xué)會(huì)了作弊：在回答中附加一個(gè)已經(jīng)解決的簡(jiǎn)單問(wèn)題來(lái)提高自信度分?jǐn)?shù)。

但使用在線學(xué)習(xí)就可以避免這個(gè)問(wèn)題，評(píng)估標(biāo)準(zhǔn)隨著模型能力一起進(jìn)化，作弊策略變得無(wú)效。

實(shí)驗(yàn)結(jié)果：不僅會(huì)做題，還會(huì)舉一反三

團(tuán)隊(duì)首先實(shí)證研究了INTUITOR框架對(duì)LLMs數(shù)學(xué)推理能力的提升。

實(shí)驗(yàn)選取Qwen2.5-1.5B/3B作為基礎(chǔ)模型，使用自我確定度作為唯一的獎(jiǎng)勵(lì)信號(hào)，并將其分別置于INTUITOR和兩個(gè)基線方法（GRPO、GRPO-PV）在MATH數(shù)據(jù)集的預(yù)訓(xùn)練中。

使用對(duì)話提示，每次處理128道題目并各生成7個(gè)候選解決方案，KL懲罰系數(shù)設(shè)置為0.005。

在數(shù)學(xué)推理、代碼生成、指令遵循的基準(zhǔn)測(cè)試中進(jìn)行性能評(píng)估，結(jié)果如圖所示：

實(shí)驗(yàn)表明，在通過(guò)INTUITOR進(jìn)行微調(diào)后，Qwen2.5-1.5B從最初只會(huì)輸出重復(fù)的無(wú)意義內(nèi)容且對(duì)話任務(wù)得分均低于10%，轉(zhuǎn)變?yōu)闊o(wú)效輸出大幅減少、響應(yīng)長(zhǎng)度有效增加。

在結(jié)構(gòu)化推理能力上，團(tuán)隊(duì)還發(fā)現(xiàn)INTUITOR早期學(xué)習(xí)速度更快，如Qwen2.5-3B在GSM8K基準(zhǔn)測(cè)試上INTUITOR（0.811）始終優(yōu)于GRPO（0.758）。

此外，INTUITOR在多任務(wù)泛化上也表現(xiàn)優(yōu)秀，例如當(dāng)Qwen2.5-3B在代碼生成任務(wù)上，雖然相對(duì)滯后但持續(xù)增長(zhǎng)，最終性能比GRPO高8%，相對(duì)提升65%。

同時(shí)團(tuán)隊(duì)還觀察到，在進(jìn)行長(zhǎng)鏈推理時(shí)，INTUITOR模型在生成完整代碼前，都會(huì)添加自然語(yǔ)言推理（如“為解決X問(wèn)題，需先執(zhí)行Y步驟”），據(jù)推測(cè)也許這就是INTUITOR能夠在測(cè)試中始終表現(xiàn)出色的原因之一。

它的演進(jìn)過(guò)程大概可以描述為三個(gè)階段：

1. 模型學(xué)會(huì)生成代碼，實(shí)現(xiàn)準(zhǔn)確率提升和無(wú)效響應(yīng)減少。
2. 進(jìn)行代碼前推理以促進(jìn)自我理解。
3. 逐步細(xì)化生成帶詳細(xì)推理的有效代碼。

為了評(píng)估自我確定度作為獎(jiǎng)勵(lì)的魯棒性，研究人員還將離線自我確定度（來(lái)自固定基礎(chǔ)模型的獎(jiǎng)勵(lì)）與在線自我確定度（來(lái)自不斷進(jìn)化的策略模型的獎(jiǎng)勵(lì)）進(jìn)行了比較。

另外為進(jìn)一步評(píng)估自我確定度作為獎(jiǎng)勵(lì)信號(hào)的質(zhì)量，研究人員還分析了模型在MATH500響應(yīng)中生成的自我確定度分?jǐn)?shù)分布。

值得注意的是，INTUITOR模型對(duì)正確答案的self-certainty顯著更高，而GRPO雖提升了模型自評(píng)能力，但區(qū)分度明顯低于INTUITOR。

由于受計(jì)算資源限制，實(shí)驗(yàn)只在相對(duì)較小的無(wú)監(jiān)督語(yǔ)料庫(kù)上進(jìn)行訓(xùn)練，未來(lái)可在更大規(guī)模的基礎(chǔ)模型和更多樣化的真實(shí)世界數(shù)據(jù)集上進(jìn)一步研究INTUITOR的優(yōu)勢(shì)。

團(tuán)隊(duì)介紹

本項(xiàng)研究來(lái)自UC Berkeley的Sergey Levine、宋曉東團(tuán)隊(duì)，作者一共有五位，分別是第一作者博士后研究員Xuandong Zhao、共同一作本科生Zhewei Kang、來(lái)自耶魯大學(xué)的Aosong Feng，以及Sergey Levine和Dawn Song。

2019年，Xuandong Zhao從浙江大學(xué)畢業(yè)后，就進(jìn)入了加州大學(xué)圣塔芭芭拉分校攻讀計(jì)算機(jī)科學(xué)博士學(xué)位，期間還曾在阿里巴巴、Microsoft和Google等公司實(shí)習(xí)。

自2024年他進(jìn)入U(xiǎn)C Berkeley后，除本次的新成果外，至今一共還發(fā)表過(guò)十多篇論文，并先后被ICLR 2025、ICML 2025等接收。

另外在今年2月，Xuandong Zhao和Zhewei Kang還合作發(fā)表了一篇論文，描述了基于自我確定性的LLMs推理能力提升新策略Best-of-N，可以看作是本篇論文的一次先驗(yàn)嘗試。

論文鏈接：https://arxiv.org/abs/2505.19590
代碼鏈接：https://github.com/sunblaze-ucb/Intuitor

參考鏈接：
[1]https://x.com/joshclemm/status/1927400772817285264
[2]https://x.com/xuandongzhao/status/1927270931874910259

[3]https://x.com/xuandongzhao/status/192778163679341780
[4]https://arxiv.org/abs/2502.18581