99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

長思維鏈里的推理步驟,哪些最關(guān)鍵?三招鎖定LLM的「命門句子」

0
分享至



機器之心報道

編輯:張倩

思維鏈里的步驟很重要,但有些步驟比其他步驟更重要,尤其是在一些比較長的思維鏈中。

找出這些步驟,我們就可以更深入地理解 LLM 的內(nèi)部推理機制,從而提高模型的可解釋性、可調(diào)試性和安全性。

但是,這些步驟沒有那么好找,因為每個生成的 token 都依賴于之前的所有 token,其計算難以分解。

在最近的一項研究中,來自杜克大學(xué)和 Aiphabet 的研究者提出,在句子層面分析推理痕跡或許是一種有前途的方法



  • 論文標題:Thought Anchors: Which LLM Reasoning Steps Matter?
  • 論文鏈接:https://arxiv.org/pdf/2506.19143

作者指出,與 token 相比,句子的連貫性更強,并且往往與 LLM 提取的推理步驟相一致;與段落相比,句子不太可能混淆推理步驟,并且可以作為連接不同步驟的有效對象。

作者提出了三種互補的方法來分析 LLM 的推理過程,這些方法旨在識別推理過程中的關(guān)鍵步驟,即所謂的「思維錨(thought anchor)」,這些步驟對后續(xù)推理過程具有重大影響。



第一種是黑盒方法。它通過反事實分析衡量句子對最終答案的影響。即通過比較模型在包含某個句子和不包含該句子時的最終答案分布,來評估該句子對最終答案的影響。

第二種是白盒方法。它通過注意力模式識別關(guān)鍵句子,揭示關(guān)鍵句子如何影響推理軌跡的其余部分。

第三種是因果歸因方法。它通過抑制注意力直接測量句子之間的因果關(guān)系,即抑制對特定句子的注意力如何影響后續(xù)每個句子的 logits。



每種方法都為思維錨的存在提供了證據(jù)。這些推理步驟非常重要,對后續(xù)推理過程產(chǎn)生了不成比例的影響。這些思維錨通常是計劃句或回溯句。

作者提供了一個開源工具,用于可視化方法的輸出。

開源工具鏈接:http://thought-anchors.com/

這項研究也為更精確地調(diào)試推理失敗、識別不可靠性的來源以及開發(fā)提高推理模型可靠性的技術(shù)打開了大門。



通過反事實測量句子影響

有些句子比其他句子更重要,但哪些句子最重要取決于我們?nèi)绾味x和衡量重要性。作者將句子層面的重要性表述為一個反事實影響的問題:包含或排除一個句子會如何影響后續(xù)步驟以及模型的最終輸出?

在之前的研究中,句子重要性通常是通過在推理過程中的每個句子位置強制模型給出最終答案來近似的,這種方法叫做「forced-answer」(如圖 3A)。



這種方法的一個局限性在于,對于某些最終答案而言,句子 S 可能是必要的,但 LLM 在推理過程中往往較晚才生成該句子。這意味著,對于出現(xiàn)在 S 之前的所有句子,強制回答的準確率都會很低,從而無法準確判斷這些早期步驟的重要性。

考慮一個由句子以及最終答案 A 組成的推理軌跡。作者通過重新采樣來定義一個度量,用以衡量句子 S 導(dǎo)致答案 A 出錯的程度。作者稱這個度量為反事實重要性。他們通過以下三個步驟來激勵并定義這個度量:



推理軌跡采樣。對于給定的句子 S_i,生成 100 次推理軌跡。一種情況下包含句子 S_i(干預(yù)條件),另一種情況下用一個語義不同的句子 T_i 替代 S_i(基礎(chǔ)條件)。

分布比較。計算兩種條件下最終答案分布的 KL 散度。從而得到一個衡量句子 S_i 改變答案程度的標量。作者稱其為重采樣重要性度量。

語義過濾。重采樣重要性的問題在于,如果 T_i 與 S_i 相同或相似,那么我們無法得知 S_i 是否重要。因此,作者通過計算句子對的余弦相似度,并設(shè)定一個相似度閾值,篩選出那些與原句子 S_i 語義不同的替代句子 T_i。這樣可以避免因替代句子與原句子過于相似而導(dǎo)致的分析偏差,從而更準確地評估 S_i 對最終答案的影響。

由于作者在給定句子 S_i 之后重新采樣所有步驟,因此避免了上述強制回答方法的局限性。

在數(shù)據(jù)集中,他們發(fā)現(xiàn)規(guī)劃生成(Plan generation)和不確定性管理(uncertainty management)例如,回溯)句子的反事實重要性始終高于其他類別的句子,如事實檢索或主動計算(見圖 3B)。這支持了這樣一種觀點:高層次的組織性句子可以錨定、組織并引導(dǎo)推理軌跡。作者認為,與強制回答重要性和先前基于 token 或注意力的度量相比,這種方法提供了更有信息量的結(jié)果。

通過注意力聚集衡量句子重要性

作者假設(shè)重要的句子可能會受到下游句子更多的關(guān)注。盡管注意力權(quán)重并不一定意味著因果聯(lián)系,但高度的關(guān)注是重要的句子可能對后續(xù)句子施加影響的合理機制。作者進一步推測,對重要句子的高度關(guān)注可能由特定的注意力頭驅(qū)動,通過追蹤這些頭,可能能夠確定關(guān)鍵句子。

作者評估了不同的頭在多大程度上將注意力集中在特定的句子上。首先,對于每個推理軌跡,他們將每個注意力頭的 token-token 注意力權(quán)重矩陣取平均值,形成一個句子 - 句子矩陣,其中每個元素是兩個句子之間所有 token 對的平均值。基于每個注意力矩陣,他們計算其對角線下方列的平均值,以衡量每個句子從所有下游句子中獲得的關(guān)注程度;只在相隔至少四個句子的句子對之間取平均值,以專注于遠距離的連接。這為每個頭生成了一個分布(例如,圖 4A),并且每個頭通常將注意力集中在特定句子上的程度可以通過其分布的峰度來量化(對每個推理軌跡進行計算,然后在軌跡之間取平均值)。繪制每個頭的峰度圖表明,一些注意力頭強烈地將注意力集中在推理軌跡中特定的、可能是重要的句子上(圖 4B)。



圖 5 表明,規(guī)劃生成、不確定性管理和自我檢查(self checking)句子始終通過接收頭獲得最多的關(guān)注(見圖 5),而主動計算句子獲得的關(guān)注最少。進一步與這一發(fā)現(xiàn)一致的是,根據(jù)重采樣方法,那些獲得高接收頭關(guān)注的句子往往也會對下游句子產(chǎn)生更大的影響。這些發(fā)現(xiàn)與以下觀點相符:推理軌跡是圍繞高層句子構(gòu)建的 —— 這些句子啟動的計算可能連接高層陳述,但對整體推理路徑的影響可能微乎其微。



通過「注意力抑制」衡量句子重要性

自然而言,考察注意力權(quán)重存在一個固有局限:它們無法衡量因果關(guān)系。此外,接收頭未必適合識別句子與單個后續(xù)句子間的關(guān)聯(lián)。因此,作者接下來聚焦于句子間依賴關(guān)系的因果歸因分析。

基于重采樣的句子間分析雖能考察此類依賴關(guān)系,但在映射邏輯連接時精度有限 —— 因為反事實重要性反映的是句子對另一句子的總效應(yīng)(包括直接和間接影響)。而本文方法旨在分離句子間的直接影響,從而有望實現(xiàn)對邏輯連接更精確的建模。

作者通過抑制對特定句子的所有注意力(所有層和頭),觀察其對后續(xù)句子的影響。具體而言,影響程度定義為 token logits 與基線 logits(未抑制時)的 KL 散度。對后續(xù)句子的總效應(yīng)計算為其組成 token log-KL 散度的平均值。

該方法基于兩個假設(shè):

  1. token logits 能準確捕捉句子的語義內(nèi)容;
  2. 注意力抑制不會導(dǎo)致分布外行為的干擾。

因此需驗證注意力抑制法與重采樣法的相關(guān)性 —— 后者雖精度較低,但不依賴上述假設(shè)。

注意力抑制矩陣與重采樣矩陣的值呈現(xiàn)顯著相關(guān)性。在 20 條推理軌跡中,19 條顯示正相關(guān)。當僅分析推理軌跡中相距 5 句以內(nèi)的案例時(可能更好捕捉直接效應(yīng)),相關(guān)性更強。考慮到兩種方法測量的是因果關(guān)系的不同維度,且重采樣法本身包含隨機噪聲,這些相關(guān)系數(shù)具有實質(zhì)意義。該結(jié)果支持了重采樣方法的有效性。

案例研究

所采用的三種技術(shù)覆蓋了推理軌跡中不同層面的歸因分析。接下來,作者通過模型對具體問題的響應(yīng)展示了這些技術(shù)的實用性和互補性。選用的例題是:「當十六進制數(shù) 66666_16 轉(zhuǎn)換為二進制表示時,它有多少個二進制位(比特)?」



重采樣

模型處理此問題的思路是:首先考慮 66666_16 包含 5 個十六進制位,而每個十六進制位可用 4 個二進制位表示。基于此邏輯,思維鏈最初得出「20 比特」的答案。然而這一初始答案忽略了 6_16 實際對應(yīng) 110_2(而非 0110_2,因其最前面的 0 無效),因此正確答案應(yīng)為「19 比特」。在第 13 句時,模型通過啟動將 66666_16 轉(zhuǎn)換為十進制再轉(zhuǎn)二進制的計算,轉(zhuǎn)向了正確解答。

重采樣方法揭示了這一初始錯誤軌跡和關(guān)鍵轉(zhuǎn)折點(圖 2A 已展示)。具體表現(xiàn)為:第 6-12 句期間預(yù)期準確率持續(xù)下降,但第 13 句使反事實準確率急劇上升。值得注意的是,若采用強制模型立即生成響應(yīng)的評估方法(如部分已有研究所示),則會完全錯過第 13 句的關(guān)鍵作用 —— 該方法僅會得到 0 準確率。



接收頭

模型得出最終正確答案的推理軌跡可分解為多個計算模塊(見圖 6 流程圖)。首先,模型建立將 66666_16 轉(zhuǎn)換為十進制的計算公式(第 13-19 句);接著執(zhí)行該公式的計算,得出 66666_16 對應(yīng)的十進制值為 419,430(第 20-33 句);隨后通過提出并求解新公式,確定正確答案為「19 比特」(第 34-41 句)。此時模型注意到與早期「20 比特」答案的矛盾(第 42-45 句),于是啟動雙重驗證計算:先確認十六進制轉(zhuǎn)十進制的準確性(第 46-58 句),再校驗二進制轉(zhuǎn)換的正確性(第 59-62 句)。在強化對「19 比特」答案的確信后,模型最終發(fā)現(xiàn)初始「20 比特」錯誤的根源:「因最前面的 0 不計入位數(shù)」(第 66 句)。

上述過程基于作者對注意力模式的分析:接收頭精準定位了發(fā)起計算或陳述關(guān)鍵結(jié)論的句子,從而將推理軌跡劃分為具有明確意義的模塊(圖 6)。

注意力抑制分析

除了被組織成計算模塊外,該推理過程還展現(xiàn)出與句子間依賴關(guān)系相關(guān)的框架結(jié)構(gòu)(圖 6)。其中一個結(jié)構(gòu)特征是包含錯誤提議、發(fā)現(xiàn)矛盾及最終解決的自我糾正模式。具體而言,模型最初提出「20 比特」的錯誤答案(第 12 句),隨后決定重新核驗。這導(dǎo)致與通過十進制轉(zhuǎn)換計算得出的「19 比特」答案產(chǎn)生矛盾(第 43-44 句)。在重新核驗支持「19 比特」答案的運算后,模型回到該矛盾點(第 65 句),最終解釋為何「20 比特」答案是錯誤的(第 66 句)。這可視為一個初步的思維鏈回路:兩個相互沖突的結(jié)論產(chǎn)生矛盾,進而促使模型解決該矛盾。

在這個大跨度框架中,還存在驗證先前計算的更深層依賴關(guān)系。具體表現(xiàn)為:模型先完成 66666_16 轉(zhuǎn)換為十進制值 419,430 的計算(第 32 句),隨后決定核驗該轉(zhuǎn)換結(jié)果(第 46 句),最終確認原始值正確(第 59 句)。這可視作思維鏈回路的進一步體現(xiàn)。

作者基于論文前面提到的注意力抑制矩陣識別出這些關(guān)鍵連接,該矩陣在這些關(guān)聯(lián)位置呈現(xiàn)局部最大值(12→43、43→65、12→66;32→46、32→59)。值得注意的是,注意力抑制技術(shù)定位的多數(shù)句子與接收頭(receiver heads)高度關(guān)注的句子存在重疊。相較于接收頭的結(jié)論,注意力抑制技術(shù)還展示了信息是如何在這些構(gòu)建推理軌跡的關(guān)鍵句子之間流動的。

更多細節(jié)請參見原論文。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點推薦
“牡丹花下死,做鬼也風流”!如今,誰也救不了44歲的宋小寶

“牡丹花下死,做鬼也風流”!如今,誰也救不了44歲的宋小寶

墨印齋
2025-07-08 05:24:55
李幼斌“女兒”嫁豪門,坐月子期間遭家暴,27歲離世一生太惋惜!

李幼斌“女兒”嫁豪門,坐月子期間遭家暴,27歲離世一生太惋惜!

聯(lián)友說娛
2025-07-10 11:52:00
漓江景區(qū)遇難的兄弟,弟弟是醫(yī)學(xué)博士,哥哥在廣東有穩(wěn)定工作

漓江景區(qū)遇難的兄弟,弟弟是醫(yī)學(xué)博士,哥哥在廣東有穩(wěn)定工作

魔都姐姐雜談
2025-07-09 16:28:47
馬斯克殺進白宮?新黨支持率飆到36%,特朗普急了卻猛夸對手

馬斯克殺進白宮?新黨支持率飆到36%,特朗普急了卻猛夸對手

靚仔情感
2025-07-10 03:38:31
韓媒:尹錫悅將被關(guān)押在沒有空調(diào)的囚室中

韓媒:尹錫悅將被關(guān)押在沒有空調(diào)的囚室中

澎湃新聞
2025-07-10 08:30:04
浙江官宣新增一座機場!即將迎來首航,已經(jīng)可以買票了!

浙江官宣新增一座機場!即將迎來首航,已經(jīng)可以買票了!

FM93浙江交通之聲
2025-07-09 19:21:05
湖南超40家銀行推出“養(yǎng)老貸”

湖南超40家銀行推出“養(yǎng)老貸”

大象新聞
2025-07-10 08:41:20
世俱杯狂歡夜:巴黎4-0送皇馬出局,締造25年神跡,決賽對陣出爐

世俱杯狂歡夜:巴黎4-0送皇馬出局,締造25年神跡,決賽對陣出爐

侃球熊弟
2025-07-10 03:48:51
砸錢40億的上海樂高樂園,為何沒成為下一個迪士尼?

砸錢40億的上海樂高樂園,為何沒成為下一個迪士尼?

金錯刀
2025-07-08 17:05:29
甘肅血鉛事件官方通報后,網(wǎng)友又有驚人發(fā)現(xiàn),細思極恐

甘肅血鉛事件官方通報后,網(wǎng)友又有驚人發(fā)現(xiàn),細思極恐

追月數(shù)星的朋友圈
2025-07-09 19:01:26
【意大利】機場逃犯被吸進飛機發(fā)動機,經(jīng)過幾十個刀片高速旋轉(zhuǎn)和1600度高溫,瞬間粉碎(現(xiàn)場圖慎點)

【意大利】機場逃犯被吸進飛機發(fā)動機,經(jīng)過幾十個刀片高速旋轉(zhuǎn)和1600度高溫,瞬間粉碎(現(xiàn)場圖慎點)

魯曉芙看歐洲
2025-07-10 06:33:12
天水幼兒園。若教師的血鉛指標都這么高,那么孩子們理應(yīng)追溯過去好幾年

天水幼兒園。若教師的血鉛指標都這么高,那么孩子們理應(yīng)追溯過去好幾年

蕨代霜蛟
2025-07-08 16:37:19
為阿隆索找理由并不困難,但他還是在大巴黎面前拉了坨大的

為阿隆索找理由并不困難,但他還是在大巴黎面前拉了坨大的

寫球的牧子
2025-07-10 06:19:08
高加索局勢繼續(xù)惡化,俄又對阿塞拜疆揮舞核大棒

高加索局勢繼續(xù)惡化,俄又對阿塞拜疆揮舞核大棒

史政先鋒
2025-07-09 13:49:51
昔日時光,火箭官方曬主帥烏度卡球員時期與杜蘭特對位照片

昔日時光,火箭官方曬主帥烏度卡球員時期與杜蘭特對位照片

懂球帝
2025-07-10 10:23:19
河北一女大學(xué)生打暑假工,因給老板孩子輔導(dǎo)作業(yè)被老板認作干閨女

河北一女大學(xué)生打暑假工,因給老板孩子輔導(dǎo)作業(yè)被老板認作干閨女

觀察鑒娛
2025-07-10 10:11:07
康熙、乾隆二帝為何長壽?只因祖孫倆都戒掉了多數(shù)帝王的通病

康熙、乾隆二帝為何長壽?只因祖孫倆都戒掉了多數(shù)帝王的通病

玉姐聊事
2025-07-09 06:30:04
吉林大學(xué)在浙江招生“顆粒無收”,網(wǎng)友的隨意調(diào)侃,卻一針見血

吉林大學(xué)在浙江招生“顆粒無收”,網(wǎng)友的隨意調(diào)侃,卻一針見血

知曉科普
2025-07-10 11:48:39
李湘沒想到,自己丑聞纏身的前夫王岳倫,竟走了另一條“上坡路”

李湘沒想到,自己丑聞纏身的前夫王岳倫,竟走了另一條“上坡路”

暮云晨記
2025-07-10 10:10:49
霍家遺產(chǎn)風波12年后,霍啟剛和郭晶晶,已活成了家族的“臉面”

霍家遺產(chǎn)風波12年后,霍啟剛和郭晶晶,已活成了家族的“臉面”

新語愛八卦
2025-07-09 15:10:05
2025-07-10 15:11:00
機器之心Pro incentive-icons
機器之心Pro
專業(yè)的人工智能媒體
10826文章數(shù) 142361關(guān)注度
往期回顧 全部

教育要聞

新刊速遞 | 《中國信息技術(shù)教育》2025年第13期 特別關(guān)注:小學(xué)信息科技“跨學(xué)科學(xué)習(xí)任務(wù)群”的區(qū)域?qū)嵺`

頭條要聞

媒體:特朗普擬對中國起重機加征關(guān)稅 美國港口慌了

頭條要聞

媒體:特朗普擬對中國起重機加征關(guān)稅 美國港口慌了

體育要聞

北美四大職業(yè)聯(lián)盟 又多了一位中國球員

娛樂要聞

王陽慘了!孫菲菲揭其雙面人嘴臉

財經(jīng)要聞

潮玩規(guī)模破千億的幕后故事

科技要聞

最懂"梗"的AI來了!馬斯克發(fā)布Grok 4

汽車要聞

豪華不靠"裝" 奧迪Q6L e-ton的電動靈魂與豪華體魄

態(tài)度原創(chuàng)

游戲
親子
教育
數(shù)碼
本地

《明末:淵虛之域》音樂集實體版來了!明日開啟預(yù)約

親子要聞

地方托育消費券來了,每月省數(shù)百元!能緩解帶娃難嗎?

教育要聞

父母的驕傲都是別人家的孩子

數(shù)碼要聞

技嘉RTX 5050 GAMING OC顯卡評測:升級DLSS 4技術(shù)的新版“RTX 4060” 老顯卡升級多一個選擇

本地新聞

換個城市過夏天 | 楓葉之都的22℃清涼秘境

無障礙瀏覽 進入關(guān)懷版 主站蜘蛛池模板: 桦川县| 建瓯市| 白水县| 祁门县| 商水县| 横峰县| 凌云县| 宁陕县| 花莲市| 茌平县| 兴安县| 海兴县| 定陶县| 靖州| 吐鲁番市| 郴州市| 兰西县| 灌阳县| 拜泉县| 东乡| 左贡县| 苏尼特右旗| 宣恩县| 吉隆县| 四平市| 闽清县| 沙洋县| 黑水县| 泸水县| 望都县| 承德县| 拜泉县| 阜平县| 和顺县| 永和县| 安义县| 周至县| 隆昌县| 泰来县| 盐边县| 长乐市|