不圓 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

Thinking模式當(dāng)?shù)溃處熌Ｐ鸵苍搶W(xué)會(huì)“啟發(fā)式”教學(xué)了——

由Transformer作者之一Llion Jones創(chuàng)立的明星AI公司Sakana AI，帶著他們的新方法來了！

這個(gè)方法要求教師模型像優(yōu)秀的人類教師一樣，根據(jù)已知解決方案輸出清晰的逐步解釋，而不再是從頭開始自己解決。

用Sanaka AI的新方法訓(xùn)練出的7B小模型，在傳授推理技能方面，比671B的DeepSeek-R1還要有效。

訓(xùn)練比自己大3倍的學(xué)生模型也不在話下。

對(duì)此有網(wǎng)友評(píng)價(jià)：我們剛剛才意識(shí)到，最好的老師不是房間里最聰明的人。

像人類老師一樣

許多高級(jí)推理模型，如DeepSeek-R1，遵循兩階段的訓(xùn)練過程：首先訓(xùn)練教師模型，然后使用其輸出訓(xùn)練學(xué)生模型，最終產(chǎn)品為學(xué)生模型。

傳統(tǒng)上，這些教師模型通過昂貴的強(qiáng)化學(xué)習(xí)（RL）進(jìn)行訓(xùn)練，模型必須從頭學(xué)習(xí)解決復(fù)雜問題，只有在得到正確答案時(shí)才會(huì)獲得獎(jiǎng)勵(lì)：

先讓教師模型得到問題的答案，再把答案仔細(xì)過濾并重新用作學(xué)生模型的訓(xùn)練數(shù)據(jù)。

這種方法緩慢、昂貴且往往過于偏狹，過于依賴教師模型自身能力。因?yàn)榻處熌Ｐ湍玫降膬H僅只有問題，它們需要自己思考給出結(jié)果。

而Sanaka AI的新方法不再通過解決問題來教學(xué)，而是讓新的強(qiáng)化學(xué)習(xí)教師（RLTs）“學(xué)會(huì)教學(xué)”：

要求它們根據(jù)已知解決方案輸出清晰的逐步解釋，就像優(yōu)秀的人類教師一樣。

就像一位好教師不需要重新發(fā)現(xiàn)數(shù)學(xué)定理來解釋它們一樣，RLTs在輸入提示中既獲得問題的內(nèi)容，也獲得每個(gè)問題的正確答案。

它們的任務(wù)是提供有助于學(xué)生模型學(xué)習(xí)的、逐步的詳細(xì)解釋，從而連接這些知識(shí)點(diǎn)。如果學(xué)生模型能夠根據(jù)教師對(duì)問題的解釋輕松理解正確解決方案，那么這就是RLTs做得好的信號(hào)。

也就是說，對(duì)RLTs的獎(jiǎng)勵(lì)不再是能自己解決問題，而是能解釋對(duì)學(xué)生模型有多有幫助。

Sanaka AI的新方法解決了傳統(tǒng)方法中的兩個(gè)問題：

首先，新方法的訓(xùn)練循環(huán)使教師訓(xùn)練與其真正目的（為學(xué)生進(jìn)行蒸餾/冷啟動(dòng)提供幫助）保持一致，從而大大提高了效率。

其次，將問題和正確答案同時(shí)輸入RLT，能幫助原本無法獨(dú)立解決問題的小型模型學(xué)會(huì)教學(xué)。

這些特性使Sanaka AI的新方法能更快、更經(jīng)濟(jì)、更有效地訓(xùn)練出具有強(qiáng)大推理能力的學(xué)生模型。

小型教師模型的“不合理但有效”

為了驗(yàn)證新方法的有效性，Sanaka AI用新方法訓(xùn)練了一個(gè)7B的RLT小模型作為教學(xué)模型與此前最先進(jìn)的方法進(jìn)行比較。

競(jìng)爭(zhēng)方法使用規(guī)模更大的模型，如DeepSeek-R1和QwQ，并結(jié)合GPT-4o-mini等工具在用于訓(xùn)練學(xué)生模型之前清理其輸出，以獲得額外幫助。

結(jié)果發(fā)現(xiàn)：使用相同的Qwen2.5學(xué)生模型、相同的問題以及相同的評(píng)估設(shè)置，RLT以遠(yuǎn)少的計(jì)算量取得了比DeepSeek-R1和QwQ更好的效果。

把學(xué)生模型的規(guī)模擴(kuò)大，結(jié)果同樣令人驚訝：7B的RLT成功訓(xùn)練了一個(gè)32B的學(xué)生模型，其規(guī)模是自己四倍以上，并取得了優(yōu)異的成果。

Sanaka AI的新方法還可以和傳統(tǒng)RL方法相輔相成：

上圖展示了在2024年美國(guó)邀請(qǐng)數(shù)學(xué)考試（AIME）、競(jìng)賽數(shù)學(xué)和研究生級(jí)問答基準(zhǔn)（GPQA）上的平均性能。

新方法和傳統(tǒng)RL方法聯(lián)合使用，使RLT獲得了改進(jìn)性能，并補(bǔ)充了傳統(tǒng)RL方法在問題解決方面的應(yīng)用。

用作起點(diǎn)時(shí)，RLT幫助學(xué)生模型達(dá)到了更高的性能水平。

從成本角度來看，差異非常顯著：使用RLT訓(xùn)練32B的學(xué)生模型僅需單個(gè)計(jì)算節(jié)點(diǎn)一天時(shí)間，而傳統(tǒng)RL方法在相同硬件上需要數(shù)月。

一項(xiàng)定性分析揭示了RLTs提供的解釋與Deepseek-R1的蒸餾軌跡之間存在一些差異：

Deepseek-R1的輸出常常依賴于外部工具，例如計(jì)算器、網(wǎng)絡(luò)上的討論以及玩梗，包括一些具有誤導(dǎo)性的內(nèi)容。

相比之下，RLT提供的解釋避免了令人困惑的語言，并增加了額外的邏輯步驟來幫助學(xué)生。

這些直觀的改進(jìn)能夠轉(zhuǎn)化為學(xué)生語言模型的改進(jìn)學(xué)習(xí)，像人類專家一樣簡(jiǎn)潔且清晰。

參考鏈接：
https://x.com/SakanaAILabs/status/1936965841188425776
博客：https://sakana.ai/rlt
論文：https://arxiv.org/abs/2506.08388
代碼：github.com/SakanaAI/RLT