新智元報道

編輯：LRS

【新智元導讀】大語言模型（LLMs）在決策場景中常因貪婪性、頻率偏差和知行差距表現欠佳。研究者提出強化學習微調（RLFT），通過自我生成的推理鏈（CoT）優化模型，提升決策能力。實驗表明，RLFT可增加模型探索性，縮小知行差距，但探索策略仍有改進空間。

大語言模型的知識儲備要遠遠超越任何一個人類，在各種領域、應用場景下都展現出了驚人的「世界知識」。

最近興起的智能體，就是要求模型利用自身知識，在沒有大量與環境互動的情況下生成更優的行動預測，比如思維鏈（CoT）就能讓模型能夠對觀察到的歷史和自己的行動進行推理，提升與環境互動的表現。

不過，在決策（decision-making）場景中，「知識儲備」和「推理優勢」并沒有提升大模型的能力，反而可能導致探索力不足，使得決策結果不夠理想。

有研究結果顯示，即便在「狀態空間有限」的應用中，比如網格世界或是Atari游戲，大模型的決策能力也有待提升。

這種缺陷可能來自大模型的「知行差距」（knowing-doing gap），即模型可能知道任務的相關知識，或者能夠描述自己行動的后果（知道該做什么），但在行動時卻無法將這些知識付諸實踐（無法做到）。

最近，Google DeepMind和約翰·開普勒林茨大學（JKU Linz）的研究人員系統地研究了中小規模LLMs中常見的三種失敗模式：貪婪性、頻率偏差和知行差距。

分析結果表明，大模型的最終表現不夠理想的原因，主要是因為LLMs過早地選擇了貪婪的行動策略，導致行動覆蓋停滯不前，高達55%的行動空間都沒有被探索到。

論文鏈接：https://arxiv.org/pdf/2504.16078

小規模的LLMs（20億參數）在不同獎勵機制下，都表現出模仿上下文中最頻繁的行動，以以犧牲探索空間為代價，表現出貪婪搜索性。

研究人員對知行差距進行了量化，發現LLMs通常知道如何解決任務（87%的正確推理），但在行動時卻無法利用這些知識，主要因為優先選擇貪婪的行動，在推理正確的情況下，64%的行動是貪婪的。

為了克服這些缺陷，研究人員提出了基于自我生成的推理過程（CoT）的強化學習微調（RLFT），在多臂老虎機（MAB）、上下文老虎機（CB）和文字版井字棋任務中，使用三種規模（20億、90億和270億參數）的Gemma2模型進行效果研究。

結果發現，RLFT通過增加探索性并縮小「知行差距」來增強LMs的決策能力，盡管RLFT對LLM智能體的探索性產生了積極影響，但其探索策略仍然不夠理想。

因此，研究人員對強化學習中常用的「經典」探索機制（如?-貪婪算法）以及LLM中特有的方法（如自我修正和自我一致性）進行了實證評估，以實現更有效的決策場景微調。

強化學習微調（RLFT）

強化學習和RLHF

簡單來說，強化學習就是教模型在不同的場景（狀態空間S）下，決策出做不同的動作（行動空間A），每次做完動作，都會根據表現獲得獎勵（獎勵函數R）以學習。

學習過程是一個馬爾可夫決策過程，用一個四元組（S，A，P，R）來表示，其中P表示狀態轉移，在做完動作后，以不同概率進入新的狀態。

強化學習的目標就是讓模型找到一個最好的策略（πθ），以在不同場景下選擇獎勵最多的行動。

基于人類反饋的強化學習（RLHF）就是引導模型學習人類偏好的動作，偏好數據由人類標注獲得，記錄在獎勵模型（rφ）中。

RLHF學習過程中，會用一個參考策略（π_ref）作為參考，模型在之參考策略進行調整，還會用一個權重項（β）來平衡學習的速度和方向，以及一個基線（b）來減少學習過程中的波動，讓學習更加穩定。

RLFT

強化學習微調（RLFT）方法主要是通過與環境互動獲得的獎勵來對模型生成的推理鏈（CoT）進行優化。

在這個過程中，模型會逐步改進自己的推理方式，更傾向于選擇那些能帶來更高獎勵的推理模式和行動。

上下文表征

在步驟t時，輸入到模型的token包括輸入指令、輸出指令以及最近的互動歷史，其中歷史表征包含了C個最近的狀態、行動和獎勵的軌跡。

研究人員選擇使用針對具體任務的指令，以便為智能體提供觀察到的信息、可能的行動及其目標的信息。

行動token的分解

在每次互動步驟t時，模型會生成包含CoT推理token和要在環境中執行的行動token，研究人員使用一個基于正則表達式的提取函數，從推理token中提取出行動。

如果未找到有效行動，則執行隨機行動。

為有效行動進行獎勵塑形

除了環境獎勵外，研究人員還使用了一個獎勵塑形項（reward shaping），促使模型遵循輸出模板。

即，如果提取函數無法提取出有效行動，使用-5的獎勵值進行懲罰，同時為了確保獎勵懲罰不會過度影響優化，需要對環境獎勵進行歸一化處理。

微調目標

研究人員使用了clipping目標進行微調，并增加了一個針對參考策略的KL約束。

為了在具有固定episode長度的環境中進行內存高效的微調，使用蒙特卡洛基線來估計狀態A_adv

對于具有可變episode長度的環境，研究人員在LLM表示的最后一層學習了一個單獨的狀態價值頭，并使用了泛化優勢估計（generalized advantage estimation）。

實驗結果

多臂老虎機和上下文強盜（Context Bandit）

多臂老虎機（MAB）是一個經典的強化學習問題，模型需要在「探索新選項」和「利用已知好選項」之間做出平衡。

研究人員重點關注了連續型和按鈕型這兩種變體，測試了5、10或20個拉桿的老虎機，每個拉桿的回報值呈高斯分布或伯努利分布，交互步數限制在50步以內。

還設置了三種不同的隨機性水平（低/中/高），這決定了高斯老虎機或伯努利老虎機的標準差或回報值差距。

對比的基線模型為上置信界限（UCB，性能的上限）和隨機智能體（性能下限）。

基于文本的井字棋環境具有合理的狀態轉換，并且前沿模型在這個環境中很難取得良好表現，甚至只能勉強戰勝隨機對手。

貪婪性

這是最普遍的失敗模式，其特點是LLM過度偏愛在已見過的少數行動中表現最好的行動。

為了說明這種失敗模式，研究人員測量了Gemma2 2B、9B和27B模型在有無因果推理（CoT）的情況下，在64個擁有10個或20個拉桿的MAB中，經過50步交互后平均覆蓋的行動數量。

對于10個拉桿的情況，平均在64個并行環境中，Gemma2 2B覆蓋了40%的所有行動，而9B和27B覆蓋了65%（即6.5個行動），意味著仍有相當一部分行動空間未被探索。

沒有CoT時，模型在10個拉桿的設置中僅探索了25%的行動，次優的覆蓋是由于模型過度偏愛高回報行動，模型過早地承諾了一種貪婪策略，導致在超過10步后行動覆蓋停滯不前。

增加拉桿數量會使貪婪性更加明顯，最大的模型也只覆蓋了45%的所有行動。

頻率偏差

其特點是即使某個行動的回報很低，模型也會反復選擇在上下文中出現頻率最高的行動。

為了了解模型的行動如何受到行動頻率的影響，研究人員使用隨機策略構建前綴歷史記錄，改變上下文歷史中最后一個行動的重復次數（0到100次），并記錄所有行動的熵。

為了量化頻率偏差，研究人員根據行動的出現次數，將行動分類為頻繁行動、貪婪行動和其他行動，以10%的概率為最優。

可以看到，Gemma2 2B嚴重受到重復行動的影響，隨著重復次數的增加，熵逐漸降低，而27B則擺脫了頻率偏差（14%），并且隨著重復次數的增加，對自己的行動預測變得不那么確定。

2B和27B在0-10次、45-55次和90-100次重復情況下的分段比例中可以看到，2B隨著重復次數的增加而持續增加，而27B雖然擺脫了頻率偏差，但卻嚴重受到貪婪性的影響。

結果表明頻率偏差是監督預訓練的產物，并促使人們使用強化學習作為一種對策。

知行差距

研究人員讓Gemma2 27B與環境（64個實例）進行50個時間步的交互，每步的計算量為2048個token，并從推理過程中提取UCB數值。

為了量化「知道」，研究人員將模型計算的UCB值與真實的UCB值進行比較，并認為如果模型選擇的拉桿與具有最高UCB值的拉桿一致，則認為其推理過程是正確的。

為了量化「做」，研究人員將生成的行動分類為：如果模型選擇了具有最高UCB值的行動，則為最優行動；如果選擇了到目前為止嘗試過的具有最高UCB值的行動，則為貪婪行動；如果行動既不是最優也不是貪婪，則歸為其他類別。

隨后，研究人員計算了貪婪/最優/其他行動的百分比。

智能體顯然知道如何解決任務，因為87%的推理過程都是正確的，然而，即使對于正確計算的推理過程，模型也經常選擇貪婪行動（58%）而不是最優行動（21%）。

這種差異突出了大型語言模型在「知道」算法的情況下，仍然在「行動」上存在不足。

參考資料：

https://arxiv.org/abs/2504.16078