新智元報道

編輯：LRS

【新智元導(dǎo)讀】大語言模型（LLMs）在決策場景中常因貪婪性、頻率偏差和知行差距表現(xiàn)欠佳。研究者提出強化學(xué)習(xí)微調(diào)（RLFT），通過自我生成的推理鏈（CoT）優(yōu)化模型，提升決策能力。實驗表明，RLFT可增加模型探索性，縮小知行差距，但探索策略仍有改進空間。

大語言模型的知識儲備要遠遠超越任何一個人類，在各種領(lǐng)域、應(yīng)用場景下都展現(xiàn)出了驚人的「世界知識」。

最近興起的智能體，就是要求模型利用自身知識，在沒有大量與環(huán)境互動的情況下生成更優(yōu)的行動預(yù)測，比如思維鏈（CoT）就能讓模型能夠?qū)τ^察到的歷史和自己的行動進行推理，提升與環(huán)境互動的表現(xiàn)。

不過，在決策（decision-making）場景中，「知識儲備」和「推理優(yōu)勢」并沒有提升大模型的能力，反而可能導(dǎo)致探索力不足，使得決策結(jié)果不夠理想。

有研究結(jié)果顯示，即便在「狀態(tài)空間有限」的應(yīng)用中，比如網(wǎng)格世界或是Atari游戲，大模型的決策能力也有待提升。

這種缺陷可能來自大模型的「知行差距」（knowing-doing gap），即模型可能知道任務(wù)的相關(guān)知識，或者能夠描述自己行動的后果（知道該做什么），但在行動時卻無法將這些知識付諸實踐（無法做到）。

最近，Google DeepMind和約翰·開普勒林茨大學(xué)（JKU Linz）的研究人員系統(tǒng)地研究了中小規(guī)模LLMs中常見的三種失敗模式：貪婪性、頻率偏差和知行差距。

分析結(jié)果表明，大模型的最終表現(xiàn)不夠理想的原因，主要是因為LLMs過早地選擇了貪婪的行動策略，導(dǎo)致行動覆蓋停滯不前，高達55%的行動空間都沒有被探索到。

論文鏈接：https://arxiv.org/pdf/2504.16078

小規(guī)模的LLMs（20億參數(shù)）在不同獎勵機制下，都表現(xiàn)出模仿上下文中最頻繁的行動，以以犧牲探索空間為代價，表現(xiàn)出貪婪搜索性。

研究人員對知行差距進行了量化，發(fā)現(xiàn)LLMs通常知道如何解決任務(wù)（87%的正確推理），但在行動時卻無法利用這些知識，主要因為優(yōu)先選擇貪婪的行動，在推理正確的情況下，64%的行動是貪婪的。

為了克服這些缺陷，研究人員提出了基于自我生成的推理過程（CoT）的強化學(xué)習(xí)微調(diào)（RLFT），在多臂老虎機（MAB）、上下文老虎機（CB）和文字版井字棋任務(wù)中，使用三種規(guī)模（20億、90億和270億參數(shù)）的Gemma2模型進行效果研究。

結(jié)果發(fā)現(xiàn)，RLFT通過增加探索性并縮小「知行差距」來增強LMs的決策能力，盡管RLFT對LLM智能體的探索性產(chǎn)生了積極影響，但其探索策略仍然不夠理想。

因此，研究人員對強化學(xué)習(xí)中常用的「經(jīng)典」探索機制（如?-貪婪算法）以及LLM中特有的方法（如自我修正和自我一致性）進行了實證評估，以實現(xiàn)更有效的決策場景微調(diào)。

強化學(xué)習(xí)微調(diào)（RLFT）

強化學(xué)習(xí)和RLHF

簡單來說，強化學(xué)習(xí)就是教模型在不同的場景（狀態(tài)空間S）下，決策出做不同的動作（行動空間A），每次做完動作，都會根據(jù)表現(xiàn)獲得獎勵（獎勵函數(shù)R）以學(xué)習(xí)。

學(xué)習(xí)過程是一個馬爾可夫決策過程，用一個四元組（S，A，P，R）來表示，其中P表示狀態(tài)轉(zhuǎn)移，在做完動作后，以不同概率進入新的狀態(tài)。

強化學(xué)習(xí)的目標就是讓模型找到一個最好的策略（πθ），以在不同場景下選擇獎勵最多的行動。

基于人類反饋的強化學(xué)習(xí)（RLHF）就是引導(dǎo)模型學(xué)習(xí)人類偏好的動作，偏好數(shù)據(jù)由人類標注獲得，記錄在獎勵模型（rφ）中。

RLHF學(xué)習(xí)過程中，會用一個參考策略（π_ref）作為參考，模型在之參考策略進行調(diào)整，還會用一個權(quán)重項（β）來平衡學(xué)習(xí)的速度和方向，以及一個基線（b）來減少學(xué)習(xí)過程中的波動，讓學(xué)習(xí)更加穩(wěn)定。

RLFT

強化學(xué)習(xí)微調(diào)（RLFT）方法主要是通過與環(huán)境互動獲得的獎勵來對模型生成的推理鏈（CoT）進行優(yōu)化。

在這個過程中，模型會逐步改進自己的推理方式，更傾向于選擇那些能帶來更高獎勵的推理模式和行動。

上下文表征

在步驟t時，輸入到模型的token包括輸入指令、輸出指令以及最近的互動歷史，其中歷史表征包含了C個最近的狀態(tài)、行動和獎勵的軌跡。

研究人員選擇使用針對具體任務(wù)的指令，以便為智能體提供觀察到的信息、可能的行動及其目標的信息。

行動token的分解

在每次互動步驟t時，模型會生成包含CoT推理token和要在環(huán)境中執(zhí)行的行動token，研究人員使用一個基于正則表達式的提取函數(shù)，從推理token中提取出行動。

如果未找到有效行動，則執(zhí)行隨機行動。

為有效行動進行獎勵塑形

除了環(huán)境獎勵外，研究人員還使用了一個獎勵塑形項（reward shaping），促使模型遵循輸出模板。

即，如果提取函數(shù)無法提取出有效行動，使用-5的獎勵值進行懲罰，同時為了確保獎勵懲罰不會過度影響優(yōu)化，需要對環(huán)境獎勵進行歸一化處理。

微調(diào)目標

研究人員使用了clipping目標進行微調(diào)，并增加了一個針對參考策略的KL約束。

為了在具有固定episode長度的環(huán)境中進行內(nèi)存高效的微調(diào)，使用蒙特卡洛基線來估計狀態(tài)A_adv

對于具有可變episode長度的環(huán)境，研究人員在LLM表示的最后一層學(xué)習(xí)了一個單獨的狀態(tài)價值頭，并使用了泛化優(yōu)勢估計（generalized advantage estimation）。

實驗結(jié)果

多臂老虎機和上下文強盜（Context Bandit）

多臂老虎機（MAB）是一個經(jīng)典的強化學(xué)習(xí)問題，模型需要在「探索新選項」和「利用已知好選項」之間做出平衡。

研究人員重點關(guān)注了連續(xù)型和按鈕型這兩種變體，測試了5、10或20個拉桿的老虎機，每個拉桿的回報值呈高斯分布或伯努利分布，交互步數(shù)限制在50步以內(nèi)。

還設(shè)置了三種不同的隨機性水平（低/中/高），這決定了高斯老虎機或伯努利老虎機的標準差或回報值差距。

對比的基線模型為上置信界限（UCB，性能的上限）和隨機智能體（性能下限）。

基于文本的井字棋環(huán)境具有合理的狀態(tài)轉(zhuǎn)換，并且前沿模型在這個環(huán)境中很難取得良好表現(xiàn)，甚至只能勉強戰(zhàn)勝隨機對手。

貪婪性

這是最普遍的失敗模式，其特點是LLM過度偏愛在已見過的少數(shù)行動中表現(xiàn)最好的行動。

為了說明這種失敗模式，研究人員測量了Gemma2 2B、9B和27B模型在有無因果推理（CoT）的情況下，在64個擁有10個或20個拉桿的MAB中，經(jīng)過50步交互后平均覆蓋的行動數(shù)量。

對于10個拉桿的情況，平均在64個并行環(huán)境中，Gemma2 2B覆蓋了40%的所有行動，而9B和27B覆蓋了65%（即6.5個行動），意味著仍有相當一部分行動空間未被探索。

沒有CoT時，模型在10個拉桿的設(shè)置中僅探索了25%的行動，次優(yōu)的覆蓋是由于模型過度偏愛高回報行動，模型過早地承諾了一種貪婪策略，導(dǎo)致在超過10步后行動覆蓋停滯不前。

增加拉桿數(shù)量會使貪婪性更加明顯，最大的模型也只覆蓋了45%的所有行動。

頻率偏差

其特點是即使某個行動的回報很低，模型也會反復(fù)選擇在上下文中出現(xiàn)頻率最高的行動。

為了了解模型的行動如何受到行動頻率的影響，研究人員使用隨機策略構(gòu)建前綴歷史記錄，改變上下文歷史中最后一個行動的重復(fù)次數(shù)（0到100次），并記錄所有行動的熵。

為了量化頻率偏差，研究人員根據(jù)行動的出現(xiàn)次數(shù)，將行動分類為頻繁行動、貪婪行動和其他行動，以10%的概率為最優(yōu)。

可以看到，Gemma2 2B嚴重受到重復(fù)行動的影響，隨著重復(fù)次數(shù)的增加，熵逐漸降低，而27B則擺脫了頻率偏差（14%），并且隨著重復(fù)次數(shù)的增加，對自己的行動預(yù)測變得不那么確定。

2B和27B在0-10次、45-55次和90-100次重復(fù)情況下的分段比例中可以看到，2B隨著重復(fù)次數(shù)的增加而持續(xù)增加，而27B雖然擺脫了頻率偏差，但卻嚴重受到貪婪性的影響。

結(jié)果表明頻率偏差是監(jiān)督預(yù)訓(xùn)練的產(chǎn)物，并促使人們使用強化學(xué)習(xí)作為一種對策。

知行差距

研究人員讓Gemma2 27B與環(huán)境（64個實例）進行50個時間步的交互，每步的計算量為2048個token，并從推理過程中提取UCB數(shù)值。

為了量化「知道」，研究人員將模型計算的UCB值與真實的UCB值進行比較，并認為如果模型選擇的拉桿與具有最高UCB值的拉桿一致，則認為其推理過程是正確的。

為了量化「做」，研究人員將生成的行動分類為：如果模型選擇了具有最高UCB值的行動，則為最優(yōu)行動；如果選擇了到目前為止嘗試過的具有最高UCB值的行動，則為貪婪行動；如果行動既不是最優(yōu)也不是貪婪，則歸為其他類別。

隨后，研究人員計算了貪婪/最優(yōu)/其他行動的百分比。

智能體顯然知道如何解決任務(wù)，因為87%的推理過程都是正確的，然而，即使對于正確計算的推理過程，模型也經(jīng)常選擇貪婪行動（58%）而不是最優(yōu)行動（21%）。

這種差異突出了大型語言模型在「知道」算法的情況下，仍然在「行動」上存在不足。

參考資料：

https://arxiv.org/abs/2504.16078