99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

打破思維鏈推理瓶頸!“軟推理”讓大模型學會人類抽象能力

0
分享至

聞樂 發自 凹非寺
量子位 | 公眾號 QbitAI

不再像CoT(“思維鏈”)一樣“一個字一個字往外蹦”,加上“軟思維”就能讓大模型像人類一樣進行抽象思考。

來自SimularAI和微軟DeepSpeed的研究員聯合提出了Soft Thinking,讓模型在連續的概念空間中進行 “軟推理”,而非局限于離散的語言符號,打破了基于離散token的推理瓶頸。

相比標準CoT,Soft Thinking最高提升Pass@1平均準確率2.48%、減少token使用量22.4%。

并且,Soft Thinking是一種即插即用的推理策略,無需額外訓練即可應用于現有模型(如Llama、Qwen)。



目前主流的語言模型推理方法存在一個關鍵問題:只能逐字生成離散的語言符號(如單詞或子詞)

這就好比思考時只能一個字一個字的蹦出來,不僅限制了模型表達抽象概念的能力,還容易在復雜問題中因“單一路徑選擇”而犯錯。

人類大腦思考時并非依賴明確的語言符號,而是通過抽象概念的靈活整合進行推理。



Soft Thinking正是受此啟發,將語言模型的推理從“離散符號空間”拓展到“連續概念空間”。

這樣,模型就可以捕捉到介于僅有細微差別的語義之間的概念,能夠更靈活地探索多種解題路徑,同時保持高效和可解釋性。

有網友表示:這種方法解決了自回歸“貪婪”的next token搜索問題。



如何讓模型像人類一樣進行抽象思考
推理流程:在連續概念空間中 “軟推理”

Soft Thinking僅修改傳統CoT的中間推理階段,保留最終答案的離散生成(如數學題的數字答案或代碼的具體語句)。

Soft Thinking的理論本質是線性近似替代路徑枚舉

解復雜問題時,傳統CoT的推理路徑數量隨步驟呈指數級增長(如每步選1000個token,3步就有1000^3種路徑),無法顯式枚舉。

Soft Thinking通過線性化近似,將指數級路徑求和簡化為概念token的加權計算。

概率加權替代離散采樣,通過連續概念空間中的線性變換,隱式聚合多條路徑的信息,避免顯式枚舉的計算爆炸。



概念token:用概率分布代替單一符號

傳統方法每次生成一個確定的token(如 “30”“加”),而Soft Thinking生成一個概率分布(如 “30” 的概率40%,“乘以” 的概率30%,“分解” 的概率20%等),這個分布被稱為 “概念token”。

每個概念token相當于多個可能符號的 “混合體”,允許模型同時保留多種推理可能性

如下圖中的例子,在計算“43×34”時,模型可能同時考慮“分解34為30+4”和“直接相乘”兩種路徑的概率,而非只選其一。



連續概念空間:在 “模糊” 的語義空間中推理

通過將概念token的概率分布與模型的詞向量(Token Embedding)加權結合,形成連續的概念空間。

這里的 “連續” 意味著模型可以在不同概念之間平滑過渡,例如從“分解數字”自然過渡到“乘法運算”,而無需用明確的語言符號分隔步驟。



Cold Stop機制:避免無效循環

由于模型在訓練中沒見過概念token(屬于 “分布外” 輸入),長時間推理可能導致陷入重復或混亂(類似人類思維的 “卡殼”)。

Soft Thinking引入了一個“Cold Stop”機制:通過監測概率分布的熵值判斷模型的 “自信程度”。

當熵值持續較低時(表明模型對當前推理路徑很確定),提前終止中間步驟,直接生成答案,避免浪費計算資源。

測試結果及對比

在基準測試里,QwQ - 32B模型的平均Pass@1準確率從標準CoT的83.84%提升至86.32%,最高提升2.48%,其中在AIME 2024數據集上提升6.45%。

推理效率方面,DeepSeek-R1-Distill-Qwen-32B在數學任務中token使用量減少22.4%。



與其他方法的對比
  • COCONUT-TF(無訓練):直接使用隱藏狀態作為輸入,完全失敗,生成長度達最大值且無正確解。
  • 平均嵌入策略:僅計算top-5 token均值,準確率低且生成長度長(如AIME 2024僅6.66%正確)。



Soft Thinking通過連續概念空間推理和Cold Stop機制智能平衡了效率與準確性,為大模型優化提供了新思路。

感興趣的朋友可以到官方了解更多細節。

官方網站:https://soft-thinking.github.io/
論文地址:https://arxiv.org/abs/2505.15778
代碼地址:https://github.com/eric-ai-lab/Soft-Thinking
參考鏈接:https://x.com/xwang_lk/status/1925399783503798692

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
廣東:鄰居建院子要改路,給男子家留3米寬路,男子:必須留老路

廣東:鄰居建院子要改路,給男子家留3米寬路,男子:必須留老路

大蘇專欄
2025-06-09 12:16:52
普京動真格!特朗普電話打往莫斯科,俄方誓言反擊,中方緊急發聲

普京動真格!特朗普電話打往莫斯科,俄方誓言反擊,中方緊急發聲

孜致博覽
2025-06-09 19:09:12
遠程鎖車從汽車蔓延至電雞,誰還敢買電車?為何燃油車不會?

遠程鎖車從汽車蔓延至電雞,誰還敢買電車?為何燃油車不會?

柏銘銳談
2025-06-08 22:17:45
如果你手頭有“老破小”的房子,那今天可得認真看啊!

如果你手頭有“老破小”的房子,那今天可得認真看啊!

流蘇晚晴
2025-06-09 18:08:29
醫生發現:經常吃面放醋的人,用不了多久,血管或有這3個變化!

醫生發現:經常吃面放醋的人,用不了多久,血管或有這3個變化!

白宸侃片
2025-05-31 12:03:57
火箭私人飛機在克利夫蘭預示大交易?范德里特換加蘭兩隊各取所需

火箭私人飛機在克利夫蘭預示大交易?范德里特換加蘭兩隊各取所需

安海客
2025-06-09 13:46:43
《歌手2025》第五期網傳歌單:她唱未發表新歌,馬嘉祺唱師兄歌曲

《歌手2025》第五期網傳歌單:她唱未發表新歌,馬嘉祺唱師兄歌曲

小妖說娛
2025-06-09 15:03:49
我國首臺,研制成功!

我國首臺,研制成功!

海外網
2025-06-08 04:16:09
臺風要來了!今年1號臺風“蝴蝶”將生成,暴雨、大暴雨……這些區域“雨一直下”

臺風要來了!今年1號臺風“蝴蝶”將生成,暴雨、大暴雨……這些區域“雨一直下”

上觀新聞
2025-06-09 15:00:08
江西省委:堅決擁護黨中央處理決定

江西省委:堅決擁護黨中央處理決定

新京報政事兒
2025-06-09 22:30:38
白百何母子公園玩耍,5歲兒子動手打媽媽脾氣大,白百何當場發飆

白百何母子公園玩耍,5歲兒子動手打媽媽脾氣大,白百何當場發飆

西瓜愛娛娛
2025-06-09 11:18:03
今年高考數學難哭了?權威解讀來了:這屆命題藏著未來學習的真相

今年高考數學難哭了?權威解讀來了:這屆命題藏著未來學習的真相

教師吧
2025-06-08 06:59:41
詩妮娜在德國生活安逸,負責照顧提幫功王子,身邊還有母親陪伴

詩妮娜在德國生活安逸,負責照顧提幫功王子,身邊還有母親陪伴

紅袖說事
2025-06-09 19:55:58
特朗普對中國態度大變,法國突然“倒戈”,我外長接到重要電話

特朗普對中國態度大變,法國突然“倒戈”,我外長接到重要電話

冷眼觀察
2025-06-09 18:53:57
71歲的成龍吃火鍋,斷崖式衰老認不出來,網友:年輕時候透支太多

71歲的成龍吃火鍋,斷崖式衰老認不出來,網友:年輕時候透支太多

心誠則靈了
2025-06-07 21:31:40
中國女演員公開發表辱華言論!賬號被封更多黑料被曝,原來是慣犯

中國女演員公開發表辱華言論!賬號被封更多黑料被曝,原來是慣犯

奇思妙想草葉君
2025-06-06 23:20:18
腦梗死亡的人越來越多?醫生苦勸:天熱寧愿打打牌,也別做4件事

腦梗死亡的人越來越多?醫生苦勸:天熱寧愿打打牌,也別做4件事

牛鍋巴小釩
2025-06-09 12:49:03
明天起四川盆地將迎持續性高溫天氣 成都或遭遇高溫六連擊

明天起四川盆地將迎持續性高溫天氣 成都或遭遇高溫六連擊

北青網-北京青年報
2025-06-09 16:39:08
一村干部接受紀律審查和監察調查

一村干部接受紀律審查和監察調查

錫望
2025-06-09 16:53:42
17歲巴薩新星亞馬爾成為世界第一身價,由1.8億歐漲至2億歐

17歲巴薩新星亞馬爾成為世界第一身價,由1.8億歐漲至2億歐

FM93浙江交通之聲
2025-06-09 22:21:31
2025-06-09 23:11:00
量子位 incentive-icons
量子位
追蹤人工智能動態
10619文章數 176166關注度
往期回顧 全部

科技要聞

今年618平臺集體想通了,主打一個簡單粗暴

頭條要聞

退休刑警被返聘協助破大案 以其為原型劇還沒播人被抓

頭條要聞

退休刑警被返聘協助破大案 以其為原型劇還沒播人被抓

體育要聞

雷霆55號秀,NBA第一“概念神”

娛樂要聞

劉品言閃婚閃孕官宣 崴腳時被照顧打動

財經要聞

重磅級民生文件公布 如何改變你我生活?

汽車要聞

首次搭載奧特能2.0平臺 新別克E5即將煥新上市

態度原創

時尚
親子
本地
旅游
游戲

夏天別染這4個發色!我怕你白到發光!

親子要聞

發聲吃了暢上岸還需要吃敏上岸嗎

本地新聞

非遺里的河南 | 黃河泥變身千年墨寶,寫字都帶仙氣兒~

旅游要聞

熱聞|清明假期將至,熱門目的地有哪些?

Xbox Ally X上手心得:終于迎來最理想的游戲掌機

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 江安县| 关岭| 登封市| 贵溪市| 泽库县| 德兴市| 龙州县| 苍溪县| 巧家县| 高雄市| 安国市| 晋州市| 肃北| 长阳| 油尖旺区| 张家口市| 大宁县| 长子县| 肥乡县| 乐都县| 康定县| 汝州市| 绥棱县| 东乌| 禄丰县| 宜章县| 宜春市| 阿拉尔市| 革吉县| 社旗县| 乌兰察布市| 凌源市| 泾川县| 修武县| 张家口市| 兴义市| 安义县| 容城县| 唐河县| 谢通门县| 扬州市|