聞樂 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

不再像CoT（“思維鏈”）一樣“一個字一個字往外蹦”，加上“軟思維”就能讓大模型像人類一樣進行抽象思考。

來自SimularAI和微軟DeepSpeed的研究員聯(lián)合提出了Soft Thinking，讓模型在連續(xù)的概念空間中進行 “軟推理”，而非局限于離散的語言符號，打破了基于離散token的推理瓶頸。

相比標準CoT，Soft Thinking最高提升Pass@1平均準確率2.48%、減少token使用量22.4%。

并且，Soft Thinking是一種即插即用的推理策略，無需額外訓(xùn)練即可應(yīng)用于現(xiàn)有模型（如Llama、Qwen）。

目前主流的語言模型推理方法存在一個關(guān)鍵問題：只能逐字生成離散的語言符號（如單詞或子詞）。

這就好比思考時只能一個字一個字的蹦出來，不僅限制了模型表達抽象概念的能力，還容易在復(fù)雜問題中因“單一路徑選擇”而犯錯。

人類大腦思考時并非依賴明確的語言符號，而是通過抽象概念的靈活整合進行推理。

Soft Thinking正是受此啟發(fā)，將語言模型的推理從“離散符號空間”拓展到“連續(xù)概念空間”。

這樣，模型就可以捕捉到介于僅有細微差別的語義之間的概念，能夠更靈活地探索多種解題路徑，同時保持高效和可解釋性。

有網(wǎng)友表示：這種方法解決了自回歸“貪婪”的next token搜索問題。

如何讓模型像人類一樣進行抽象思考

推理流程：在連續(xù)概念空間中 “軟推理”

Soft Thinking僅修改傳統(tǒng)CoT的中間推理階段，保留最終答案的離散生成（如數(shù)學(xué)題的數(shù)字答案或代碼的具體語句）。

Soft Thinking的理論本質(zhì)是線性近似替代路徑枚舉。

解復(fù)雜問題時，傳統(tǒng)CoT的推理路徑數(shù)量隨步驟呈指數(shù)級增長（如每步選1000個token，3步就有1000^3種路徑），無法顯式枚舉。

Soft Thinking通過線性化近似，將指數(shù)級路徑求和簡化為概念token的加權(quán)計算。

用概率加權(quán)替代離散采樣，通過連續(xù)概念空間中的線性變換，隱式聚合多條路徑的信息，避免顯式枚舉的計算爆炸。

概念token：用概率分布代替單一符號

傳統(tǒng)方法每次生成一個確定的token（如 “30”“加”），而Soft Thinking生成一個概率分布（如 “30” 的概率40%，“乘以” 的概率30%，“分解” 的概率20%等），這個分布被稱為 “概念token”。

每個概念token相當于多個可能符號的 “混合體”，允許模型同時保留多種推理可能性。

如下圖中的例子，在計算“43×34”時，模型可能同時考慮“分解34為30+4”和“直接相乘”兩種路徑的概率，而非只選其一。

連續(xù)概念空間：在 “模糊” 的語義空間中推理

通過將概念token的概率分布與模型的詞向量（Token Embedding）加權(quán)結(jié)合，形成連續(xù)的概念空間。

這里的 “連續(xù)” 意味著模型可以在不同概念之間平滑過渡，例如從“分解數(shù)字”自然過渡到“乘法運算”，而無需用明確的語言符號分隔步驟。

Cold Stop機制：避免無效循環(huán)

由于模型在訓(xùn)練中沒見過概念token（屬于 “分布外” 輸入），長時間推理可能導(dǎo)致陷入重復(fù)或混亂（類似人類思維的 “卡殼”）。

Soft Thinking引入了一個“Cold Stop”機制：通過監(jiān)測概率分布的熵值判斷模型的 “自信程度”。

當熵值持續(xù)較低時（表明模型對當前推理路徑很確定），提前終止中間步驟，直接生成答案，避免浪費計算資源。

測試結(jié)果及對比

在基準測試里，QwQ - 32B模型的平均Pass@1準確率從標準CoT的83.84%提升至86.32%，最高提升2.48%，其中在AIME 2024數(shù)據(jù)集上提升6.45%。

推理效率方面，DeepSeek-R1-Distill-Qwen-32B在數(shù)學(xué)任務(wù)中token使用量減少22.4%。

與其他方法的對比

• COCONUT-TF（無訓(xùn)練）：直接使用隱藏狀態(tài)作為輸入，完全失敗，生成長度達最大值且無正確解。
• 平均嵌入策略：僅計算top-5 token均值，準確率低且生成長度長（如AIME 2024僅6.66%正確）。

Soft Thinking通過連續(xù)概念空間推理和Cold Stop機制智能平衡了效率與準確性，為大模型優(yōu)化提供了新思路。

感興趣的朋友可以到官方了解更多細節(jié)。

官方網(wǎng)站：https://soft-thinking.github.io/
論文地址：https://arxiv.org/abs/2505.15778
代碼地址：https://github.com/eric-ai-lab/Soft-Thinking
參考鏈接：https://x.com/xwang_lk/status/1925399783503798692