新智元報道
編輯:LRST
【新智元導讀】LLM用得越久,速度越快!Emory大學提出SpeedupLLM框架,利用動態計算資源分配和記憶機制,使LLM在處理相似任務時推理成本降低56%,準確率提升,為AI模型發展提供新思路。
在人類的認知世界里,熟練意味著更快、更高效。
比如看似復雜的魔方,只需訓練幾十次后便能「盲擰」;而面對一道做過幾遍的數學題,我們往往能在腦海中迅速復現思路,幾秒內作答。
那,大語言模型也能這樣嗎?
Emory大學的研究者Bo Pan和Liang Zhao最近發布了一篇令人振奮的成果:大語言模型的性能,也和熟練度有關,確實能「越用越快」!
論文地址:https://arxiv.org/abs/2505.20643
論文首次系統性地驗證了LLM在「有經驗」的條件下,不僅性能不降,反而能大幅減少推理時間和計算資源,揭示了「AI也能熟能生巧」的全新范式。
如何讓LLM變熟練?
為系統驗證「熟練加速效應」,作者提出一個統一框架,構造并量化三類記憶機制下的「使用經驗」。
該框架由兩部分組成,一是推理時動態計算資源分配,二是記憶機制。
對于動態計算資源分配,該文章系統性將多種已有test-time scaling方法擴展成動態計算資源分配,從而允許LLM在熟練的問題上分配更少的計算資源。
對于記憶機制,該框架引入記憶機制,從而實現通過過往經驗加速當前推理。
在多輪使用中,大模型是否能像人類一樣「從經驗中變快」?是否存在一種方法,能系統性地提升效率,而非單純堆算力?
研究亮點1:用經驗節省算力
在任務重復或相似的推理過程中,研究者發現LLM通過利用以往經驗(包括 memory cache、in-context memory 等),可以實現減少高達56%的推理預算,保持甚至提升準確率。
這意味著模型在處理「熟悉」的任務時能少走很多彎路,不僅答得準,還答得快。
研究亮點2:系統性大規模實驗
為了驗證普適性,研究者考察了:
多種test-time scaling方法,包括Self-Refine、Best-of-N、Tree-of-Thoughts和當前最新的Long Chain-of-Thought(o1式思考)
多種記憶,包括監督學習(Supervised Fine-tuning)、檢索過去經歷、三種自我反思(Reflection)
多種問題相似度,包括LLM在1)完全相同、2)意思一樣僅表述不同、3)題目一樣,僅換數字、4)不同題目但需要相同知識回答。
不同機制均表現出顯著的推理加速,展示了這一現象的廣泛性。
實驗結果
在「重復問答」、「分步推理」等任務中,越是「重復」,模型推理越快,效果越好。而且,這種趨勢隨著經驗積累更加明顯。
實驗結果帶來了以下八大關鍵發現:
發現一:LLM真的可以「越用越快」!
實驗結果表明,在配備適當記憶機制和計算預算調控策略的前提下,LLM在處理重復或相似任務時,平均可節省高達56%的推理開銷,且這一行為在80組實驗設置中有64組都出現了顯著的加速現象,覆蓋率高達80%,驗證了「經驗式加速」具有普適性。
發現二:越快≠越差,反而更準!
令人驚喜的是,推理成本的下降不僅沒有犧牲準確率,反而普遍帶來了準確率的提升。實驗測得推理成本與準確率提升之間的Pearson相關系數為 -0.41(p=0.0002),這表明「更快」也意味著「更穩」「更準」。
發現三:相似度越高,提速越明顯
研究設計了4個相似度等級,從完全重復(S1)到結構變化大(S4)。結果發現,S1和S2類問題下的加速最顯著(分別節省16.0%和15.4%計算),而S4問題由于結構不同、記憶不具備直接遷移性,加速效果最弱。
發現四:問題相似度低時,記憶機制可能反噬
當問題間差異過大時,記憶機制可能誤導模型走錯方向,導致推理成本反升、準確率反降。這種現象在部分S4設置中顯著,提示我們記憶并非越多越好,而應「選得準、用得巧」。
發現五:情節記憶 > 反思記憶,更能加速推理
在不同記憶機制對比中,情節式記憶(如SFT和In-Context)在推理加速上表現更佳。例如In-Context平均節省27.4%計算,而反思類記憶僅為3.6%~8.8%。這與心理學研究一致:人類在形成熟練技能時,最初依賴的是具體實例的情節記憶。
發現六:In-Context比SFT更高效
在低樣本(1~3輪)場景下,In-Context學習相比SFT更具泛化能力、更少過擬合,尤其在本研究的推理速度上,In-Context 更快、更穩、更準,展現了非參數記憶的強大即時適應力。
發現七:文本記憶易「觸頂」,參數記憶可持續提速
反思類與In-Context等文本記憶方法存在上下文窗口的「瓶頸」,在加入3個案例后效果逐漸飽和;相比之下,SFT通過權重更新記憶內容,不受窗口限制,推理速度隨經驗持續提升。
發現八:越「泛化」的反思,提速越明顯
三種反思機制中,Reflect-Update表現最佳。原因在于它能持續總結抽象規則,而不是堆積具體數字或案例。這種「泛化性強」的反思更容易跨任務遷移、輔助加速,未來設計更好反思機制時值得關注。
讓LLM擁有「記憶力」和「熟練度」
這項研究提出了一種值得重視的新范式:
推理效率不只是堆硬件,也能靠「學習歷史」提升。
在客服、搜索、問診等反復場景中,部署「記憶型LLM」將帶來:更低的響應延遲、更少的算力消耗、更強的適應性和個性化。
這項研究不僅補足了現有推理加速研究的空白,更為構建「具備人類熟練性」的AI模型提供了新思路。
參考資料:
https://arxiv.org/abs/2505.20643
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.