99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

給大模型裝上「思維分段引擎」:浙大InftyThink解鎖無限深度推理

0
分享至

ZJU REAL Lab團隊 投稿
量子位 | 公眾號 QbitAI

學會“適當暫停與總結”,大模型終于實現無限推理。

想象一下,讓你一口氣不歇地推演一個超復雜數學證明,大腦也會“內存溢出”吧?

如今的大模型在長上下文推理中也面臨同樣的困境,隨著推理長度增加而指數級增長的計算成本,以及由于長度受限而被迫中斷推理過程。



為了解決上述問題,浙江大學聯合北京大學的研究團隊從人類“分段思考+歸納總結”的智慧中汲取靈感,創新性地提出了大模型的推理新范式——InftyThink

InftyThink將傳統單一連續推理拆分為多個短片段,并在片段之間引入用于銜接的推理內容總結,從而突破了推理長度的限制,實現了理論上無限制的推理深度,并同時維持了較高的生成吞吐。



下面是InftyThink的更多詳細細節。

推理范式設計



InftyThink的主要特征包含:

  • 迭代式推理與階段性總結

InftyThink將傳統一次性完成的長推理拆分為多次短推理,每次短推理生成有限長度的推理內容,并配套生成一段精煉總結,作為下一階段推理的上下文信息輸入。

這種方式模擬了人類逐步歸納總結的認知過程,使模型能在保持上下文連貫的同時進行無限深度的推理,解決了傳統長推理在上下文長度和計算復雜度上的限制。

  • 固定的計算開銷與上下文窗口

InftyThink實現了一種“鋸齒式”內存使用模式,在每輪短推理后清空前輪上下文,僅保留總結,顯著降低了推理時的計算復雜度。

相對傳統的推理范式長度越長,計算復雜度越高的表現,InftyThink在推理深度與計算效率之間達成了更優的平衡。

  • 與原始架構解耦、訓練范式兼容性強

InftyThink不依賴于模型結構上的調整,而是通過重構訓練數據為多輪推理格式來實現其范式,使其能與現有的預訓練模型、微調、強化學習流程無縫結合,具備良好的工程可落地性。

一句話概括就是,InftyThink像是給大模型裝上了一個“思維管理器”,使其高效地進行無限制深度推理,大幅降低計算成本,更加高效智能。

數據重構方法



研究團隊提供了一種可以將傳統推理范式的數據重構為InftyThink范式的方法,幫助研究者們直接將已有的推理數據無縫遷移到InftyThink范式,主要包括如下幾個步驟:

  • 推理片段分區

由于InftyThink將模型的單次推理限制在一個較小的窗口,針對現有的長推理數據,首先需要使用分段算法將原始長推理過程按語義邊界劃分為若干子推理段。

文中使用句子/段落進行分界,并確保每段長度小于設定上下文窗口閾值(文中提到的默認值為4K Tokens),同時保持語義的連貫性。

  • 中間總結生成

論文中使用強大的通用大模型為每段推理生成簡潔、全面的總結(文中使用Llama3-70B-Instruct),作為下一輪次生成的上下文信息,保障多次短推理之間的銜接與信息的連續性。

文中所提出的方法在為一段推理片段生成總結時,會將當前推理片段及其之前的所有推理片段輸入給通用大模型,使生成的總結能夠包含歷史推理的全部總結信息。

  • 訓練樣本構建

論文將每條原始推理數據重構為多個訓練樣本,每條訓練樣本的輸入為問題和上一次推理所生成的總結,輸出為該輪次的推理內容和配套的簡要總結。

對于第一次推理,輸入不含總結信息,對于最后一次推理,模型無需輸出總結,而是生成最終最問題的結論。

實驗結果

研究團隊在多個基座模型上進行了InftyThink范式數據的微調訓練,并同時在多個標準推理評測基準上上進行了廣泛的實驗評估。



實驗結果表明,InftyThink范式相對傳統推理范式表現卓著:

  1. 拓展了模型的推理深度,在不增加額外算力需求的前提下,顯著提高了模型性能,如Qwen2.5-Math-7B基座模型訓練后,相對傳統的推理范式在AIME24基準上的性能提升高達13%
  2. 通過多次迭代式的短推理,顯著降低了推理的計算復雜度,提高了模型生成的吞吐量,例如在Qwen2.5-Math-7B基座模型訓練后,相對傳統的推理范式,模型生成吞吐從2.36K Token/s提升到2.67K Token/s
  3. 在不同架構和規模的基座模型上展現出一致穩定的提升,研究團隊在Qwen2.5-Math-1.5B、Qwen2.5-Math-7B、Qwen2.5-14B、Qwen2.5-32B和Meta-Llama-3.1-8B上的實驗結果呈現了高度一致的性能提升表現,證明了所提出方法的廣泛適用性和魯棒性。

具體來看,InftyThink通過有效總結和短片段推理,實現了更靈活、更深度的推理能力,這在小規模模型上的表現尤其顯著,為未來小模型的高效能推理應用提供了全新的解決方案。

論文鏈接:https://arxiv.org/abs/2503.06692
項目鏈接:https://zju-real.github.io/InftyThink
代碼鏈接:https://github.com/ZJU-REAL/InftyThink

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
63歲活活餓死!陶淵明躺平真相:5個兒子全養廢,晚年沿街要飯

63歲活活餓死!陶淵明躺平真相:5個兒子全養廢,晚年沿街要飯

玥來玥好講故事
2025-06-06 21:03:39
時隔一個月,印巴空戰模式再次上演,俄蘇35S被擊落一點都不冤枉

時隔一個月,印巴空戰模式再次上演,俄蘇35S被擊落一點都不冤枉

嘆知
2025-06-09 12:52:31
要玩就玩大的!馬斯克對特朗普連放兩個“大招”,招招致命

要玩就玩大的!馬斯克對特朗普連放兩個“大招”,招招致命

忠誠TALK
2025-06-09 09:25:07
國足新帥4選1?記者:伊萬下課后土帥接棒,范志毅:誰當誰被罵

國足新帥4選1?記者:伊萬下課后土帥接棒,范志毅:誰當誰被罵

球場新視角1號
2025-06-09 16:05:20
南京一百年名校突發火情,及時撲滅未造成大的影響

南京一百年名校突發火情,及時撲滅未造成大的影響

大風新聞
2025-06-09 18:59:27
今年高考作文題的“穆旦、老舍、艾青”是誰?他們為何出現在考題里?

今年高考作文題的“穆旦、老舍、艾青”是誰?他們為何出現在考題里?

風向觀察
2025-06-08 18:23:48
李嘉誠說:“只有窮人,才會癡迷技術,只有笨人,才會先把事做好

李嘉誠說:“只有窮人,才會癡迷技術,只有笨人,才會先把事做好

伊人河畔
2025-06-08 11:05:34
親口承認,重回火箭!愿在休城結束生涯,你的作用無人能夠替代

親口承認,重回火箭!愿在休城結束生涯,你的作用無人能夠替代

去山野間追風
2025-06-10 04:39:14
吉利力挺長城,隨后網友翻出吉利使用常壓油箱的車型!

吉利力挺長城,隨后網友翻出吉利使用常壓油箱的車型!

鄭誼
2025-06-09 17:15:34
體育總局領導有調整

體育總局領導有調整

新京報政事兒
2025-06-09 19:01:27
多地已明確:放寬至45歲!

多地已明確:放寬至45歲!

鄭州交通廣播
2025-06-09 09:47:51
網壇名宿麥肯羅大膽斷言:阿爾卡拉斯、辛納都能擊敗巔峰納達爾

網壇名宿麥肯羅大膽斷言:阿爾卡拉斯、辛納都能擊敗巔峰納達爾

體育妞世界
2025-06-10 00:05:21
鄭欽文倫敦爆料:團隊只剩2人!賽場像一種猛獸,狂掃潮玩已入坑

鄭欽文倫敦爆料:團隊只剩2人!賽場像一種猛獸,狂掃潮玩已入坑

史行途
2025-06-09 22:20:07
特朗普解除加州州長兵權,美國各州擁兵數十萬,終有一日釀大禍?

特朗普解除加州州長兵權,美國各州擁兵數十萬,終有一日釀大禍?

蔣福偉
2025-06-09 15:48:47
萊萬為何被解職?更衣室破口大罵,荒唐決定引發眾怒,名宿怒批

萊萬為何被解職?更衣室破口大罵,荒唐決定引發眾怒,名宿怒批

奧拜爾
2025-06-09 18:14:24
北京一月嫂潛伏在豪宅10年,監控暴露其真實身份,警方怒道:畜生

北京一月嫂潛伏在豪宅10年,監控暴露其真實身份,警方怒道:畜生

罪案洞察者
2025-06-07 15:28:44
因為樓“又小又矮”,小米深圳國際總部引爭議

因為樓“又小又矮”,小米深圳國際總部引爭議

GA環球建筑
2025-06-08 23:59:47
蔡少芬兒子近照曝光!卷發洋氣可愛,叉腰傲嬌表情萌翻網友

蔡少芬兒子近照曝光!卷發洋氣可愛,叉腰傲嬌表情萌翻網友

農村教育光哥
2025-06-09 09:38:45
遭母親打罵、嫁中國8年不受歡迎,李在明當選后,輪到46歲她火了

遭母親打罵、嫁中國8年不受歡迎,李在明當選后,輪到46歲她火了

麥大人
2025-06-07 12:59:50
趙本山兒子完美詮釋土和豪

趙本山兒子完美詮釋土和豪

情感大頭說說
2025-06-02 20:22:02
2025-06-10 10:19:00
量子位 incentive-icons
量子位
追蹤人工智能動態
10620文章數 176166關注度
往期回顧 全部

科技要聞

一文看懂WWDC:蘋果發布"十年一遇"設計革命

頭條要聞

牛彈琴:特朗普的頭號對手出現了

頭條要聞

牛彈琴:特朗普的頭號對手出現了

體育要聞

雷霆55號秀,NBA第一“概念神”

娛樂要聞

劉品言閃婚閃孕官宣 崴腳時被照顧打動

財經要聞

泡泡瑪特王寧成“河南新首富”

汽車要聞

首次搭載奧特能2.0平臺 新別克E5即將煥新上市

態度原創

教育
旅游
時尚
游戲
健康

教育要聞

江蘇高校2025實力排名50強:南京大學奪魁,南京醫科大學優勢明顯

旅游要聞

熱聞|清明假期將至,熱門目的地有哪些?

爽文都不敢這么寫!21歲結婚被全網罵,28歲靠美妝品牌賺10億美金

《寂靜嶺f》女演員入戲太深 飾演過程感覺精神崩潰

減重專家破解減肥九大謠言!

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 木里| 莱阳市| 开封县| 陆丰市| 镇平县| 兰西县| 广汉市| 砚山县| 正蓝旗| 榆树市| 闽清县| 吉安市| 临沭县| 宁都县| 汝城县| 渑池县| 芜湖市| 正镶白旗| 隆子县| 通江县| 沙洋县| 永新县| 柏乡县| 庆阳市| 宜良县| 鄄城县| 营口市| 本溪| 蒙自县| 临海市| 镇宁| 嘉鱼县| 神池县| 工布江达县| 天台县| 禄丰县| 多伦县| 谷城县| 定西市| 卓资县| 射洪县|