北京
ZJU REAL Lab團隊 投稿
量子位 | 公眾號 QbitAI
學會“適當暫停與總結”，大模型終于實現無限推理。
想象一下，讓你一口氣不歇地推演一個超復雜數學證明，大腦也會“內存溢出”吧？
如今的大模型在長上下文推理中也面臨同樣的困境，隨著推理長度增加而指數級增長的計算成本，以及由于長度受限而被迫中斷推理過程。
為了解決上述問題，浙江大學聯合北京大學的研究團隊從人類“分段思考+歸納總結”的智慧中汲取靈感，創新性地提出了大模型的推理新范式——InftyThink。
InftyThink將傳統單一連續推理拆分為多個短片段，并在片段之間引入用于銜接的推理內容總結，從而突破了推理長度的限制，實現了理論上無限制的推理深度，并同時維持了較高的生成吞吐。
下面是InftyThink的更多詳細細節。
推理范式設計
InftyThink的主要特征包含：
- 迭代式推理與階段性總結
InftyThink將傳統一次性完成的長推理拆分為多次短推理，每次短推理生成有限長度的推理內容，并配套生成一段精煉總結，作為下一階段推理的上下文信息輸入。
這種方式模擬了人類逐步歸納總結的認知過程，使模型能在保持上下文連貫的同時進行無限深度的推理，解決了傳統長推理在上下文長度和計算復雜度上的限制。
- 固定的計算開銷與上下文窗口
InftyThink實現了一種“鋸齒式”內存使用模式，在每輪短推理后清空前輪上下文，僅保留總結，顯著降低了推理時的計算復雜度。
相對傳統的推理范式長度越長，計算復雜度越高的表現，InftyThink在推理深度與計算效率之間達成了更優的平衡。
- 與原始架構解耦、訓練范式兼容性強
InftyThink不依賴于模型結構上的調整，而是通過重構訓練數據為多輪推理格式來實現其范式，使其能與現有的預訓練模型、微調、強化學習流程無縫結合，具備良好的工程可落地性。
一句話概括就是，InftyThink像是給大模型裝上了一個“思維管理器”，使其高效地進行無限制深度推理，大幅降低計算成本，更加高效智能。
數據重構方法
研究團隊提供了一種可以將傳統推理范式的數據重構為InftyThink范式的方法，幫助研究者們直接將已有的推理數據無縫遷移到InftyThink范式，主要包括如下幾個步驟：
- 推理片段分區
由于InftyThink將模型的單次推理限制在一個較小的窗口，針對現有的長推理數據，首先需要使用分段算法將原始長推理過程按語義邊界劃分為若干子推理段。
文中使用句子/段落進行分界，并確保每段長度小于設定上下文窗口閾值（文中提到的默認值為4K Tokens），同時保持語義的連貫性。
- 中間總結生成
論文中使用強大的通用大模型為每段推理生成簡潔、全面的總結（文中使用Llama3-70B-Instruct），作為下一輪次生成的上下文信息，保障多次短推理之間的銜接與信息的連續性。
文中所提出的方法在為一段推理片段生成總結時，會將當前推理片段及其之前的所有推理片段輸入給通用大模型，使生成的總結能夠包含歷史推理的全部總結信息。
- 訓練樣本構建
論文將每條原始推理數據重構為多個訓練樣本，每條訓練樣本的輸入為問題和上一次推理所生成的總結，輸出為該輪次的推理內容和配套的簡要總結。
對于第一次推理，輸入不含總結信息，對于最后一次推理，模型無需輸出總結，而是生成最終最問題的結論。
實驗結果
研究團隊在多個基座模型上進行了InftyThink范式數據的微調訓練，并同時在多個標準推理評測基準上上進行了廣泛的實驗評估。
實驗結果表明，InftyThink范式相對傳統推理范式表現卓著：
- 拓展了模型的推理深度，在不增加額外算力需求的前提下，顯著提高了模型性能，如Qwen2.5-Math-7B基座模型訓練后，相對傳統的推理范式在AIME24基準上的性能提升高達13%
- 通過多次迭代式的短推理，顯著降低了推理的計算復雜度，提高了模型生成的吞吐量，例如在Qwen2.5-Math-7B基座模型訓練后，相對傳統的推理范式，模型生成吞吐從2.36K Token/s提升到2.67K Token/s
- 在不同架構和規模的基座模型上展現出一致穩定的提升，研究團隊在Qwen2.5-Math-1.5B、Qwen2.5-Math-7B、Qwen2.5-14B、Qwen2.5-32B和Meta-Llama-3.1-8B上的實驗結果呈現了高度一致的性能提升表現，證明了所提出方法的廣泛適用性和魯棒性。
具體來看，InftyThink通過有效總結和短片段推理，實現了更靈活、更深度的推理能力，這在小規模模型上的表現尤其顯著，為未來小模型的高效能推理應用提供了全新的解決方案。
論文鏈接：https://arxiv.org/abs/2503.06692
項目鏈接：https://zju-real.github.io/InftyThink
代碼鏈接：https://github.com/ZJU-REAL/InftyThink
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
