99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

大模型「越用越快」!SpeedupLLM首次驗證,大降56%推理預算

0
分享至


新智元報道

編輯:LRST

【新智元導讀】LLM用得越久,速度越快!Emory大學提出SpeedupLLM框架,利用動態計算資源分配和記憶機制,使LLM在處理相似任務時推理成本降低56%,準確率提升,為AI模型發展提供新思路。

在人類的認知世界里,熟練意味著更快、更高效。

比如看似復雜的魔方,只需訓練幾十次后便能「盲擰」;而面對一道做過幾遍的數學題,我們往往能在腦海中迅速復現思路,幾秒內作答。

那,大語言模型也能這樣嗎?

Emory大學的研究者Bo Pan和Liang Zhao最近發布了一篇令人振奮的成果:大語言模型的性能,也和熟練度有關,確實能「越用越快」!


論文地址:https://arxiv.org/abs/2505.20643

論文首次系統性地驗證了LLM在「有經驗」的條件下,不僅性能不降,反而能大幅減少推理時間和計算資源,揭示了「AI也能熟能生巧」的全新范式。

如何讓LLM變熟練?

為系統驗證「熟練加速效應」,作者提出一個統一框架,構造并量化三類記憶機制下的「使用經驗」。

該框架由兩部分組成,一是推理時動態計算資源分配,二是記憶機制。

對于動態計算資源分配,該文章系統性將多種已有test-time scaling方法擴展成動態計算資源分配,從而允許LLM在熟練的問題上分配更少的計算資源。

對于記憶機制,該框架引入記憶機制,從而實現通過過往經驗加速當前推理。

在多輪使用中,大模型是否能像人類一樣「從經驗中變快」?是否存在一種方法,能系統性地提升效率,而非單純堆算力?

研究亮點1:用經驗節省算力

在任務重復或相似的推理過程中,研究者發現LLM通過利用以往經驗(包括 memory cache、in-context memory 等),可以實現減少高達56%的推理預算,保持甚至提升準確率。

這意味著模型在處理「熟悉」的任務時能少走很多彎路,不僅答得準,還答得快。

研究亮點2:系統性大規模實驗

為了驗證普適性,研究者考察了:

  1. 多種test-time scaling方法,包括Self-Refine、Best-of-N、Tree-of-Thoughts和當前最新的Long Chain-of-Thought(o1式思考)

  2. 多種記憶,包括監督學習(Supervised Fine-tuning)、檢索過去經歷、三種自我反思(Reflection)

  3. 多種問題相似度,包括LLM在1)完全相同、2)意思一樣僅表述不同、3)題目一樣,僅換數字、4)不同題目但需要相同知識回答。

不同機制均表現出顯著的推理加速,展示了這一現象的廣泛性。

實驗結果

在「重復問答」、「分步推理」等任務中,越是「重復」,模型推理越快,效果越好。而且,這種趨勢隨著經驗積累更加明顯。



實驗結果帶來了以下八大關鍵發現

發現一:LLM真的可以「越用越快」!

實驗結果表明,在配備適當記憶機制和計算預算調控策略的前提下,LLM在處理重復或相似任務時,平均可節省高達56%的推理開銷,且這一行為在80組實驗設置中有64組都出現了顯著的加速現象,覆蓋率高達80%,驗證了「經驗式加速」具有普適性。

發現二:越快≠越差,反而更準!

令人驚喜的是,推理成本的下降不僅沒有犧牲準確率,反而普遍帶來了準確率的提升。實驗測得推理成本與準確率提升之間的Pearson相關系數為 -0.41(p=0.0002),這表明「更快」也意味著「更穩」「更準」。

發現三:相似度越高,提速越明顯

研究設計了4個相似度等級,從完全重復(S1)到結構變化大(S4)。結果發現,S1和S2類問題下的加速最顯著(分別節省16.0%和15.4%計算),而S4問題由于結構不同、記憶不具備直接遷移性,加速效果最弱。

發現四:問題相似度低時,記憶機制可能反噬

當問題間差異過大時,記憶機制可能誤導模型走錯方向,導致推理成本反升、準確率反降。這種現象在部分S4設置中顯著,提示我們記憶并非越多越好,而應「選得準、用得巧」。

發現五:情節記憶 > 反思記憶,更能加速推理

在不同記憶機制對比中,情節式記憶(如SFT和In-Context)在推理加速上表現更佳。例如In-Context平均節省27.4%計算,而反思類記憶僅為3.6%~8.8%。這與心理學研究一致:人類在形成熟練技能時,最初依賴的是具體實例的情節記憶。

發現六:In-Context比SFT更高效

在低樣本(1~3輪)場景下,In-Context學習相比SFT更具泛化能力、更少過擬合,尤其在本研究的推理速度上,In-Context 更快、更穩、更準,展現了非參數記憶的強大即時適應力。

發現七:文本記憶易「觸頂」,參數記憶可持續提速

反思類與In-Context等文本記憶方法存在上下文窗口的「瓶頸」,在加入3個案例后效果逐漸飽和;相比之下,SFT通過權重更新記憶內容,不受窗口限制,推理速度隨經驗持續提升。

發現八:越「泛化」的反思,提速越明顯

三種反思機制中,Reflect-Update表現最佳。原因在于它能持續總結抽象規則,而不是堆積具體數字或案例。這種「泛化性強」的反思更容易跨任務遷移、輔助加速,未來設計更好反思機制時值得關注。

讓LLM擁有「記憶力」和「熟練度」

這項研究提出了一種值得重視的新范式:

推理效率不只是堆硬件,也能靠「學習歷史」提升。

在客服、搜索、問診等反復場景中,部署「記憶型LLM」將帶來:更低的響應延遲、更少的算力消耗、更強的適應性和個性化。

這項研究不僅補足了現有推理加速研究的空白,更為構建「具備人類熟練性」的AI模型提供了新思路。

參考資料:

https://arxiv.org/abs/2505.20643


特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
“禁酒令”升級成“禁飯令”,這是何其荒唐之舉措

“禁酒令”升級成“禁飯令”,這是何其荒唐之舉措

清濱酒客
2025-07-09 22:24:36
紅姐到紅爺再到紅哥 無處不在的影像啊

紅姐到紅爺再到紅哥 無處不在的影像啊

攝影筆記
2025-07-08 13:57:11
380萬拆遷款全給弟弟,姐姐跪求5萬救命被拒,15年父母報應來了

380萬拆遷款全給弟弟,姐姐跪求5萬救命被拒,15年父母報應來了

曉艾故事匯
2025-07-09 17:17:38
央視曝光!成本10塊賣5000塊,暴利500倍!網友智商稅

央視曝光!成本10塊賣5000塊,暴利500倍!網友智商稅

史行途
2025-07-09 08:25:23
王思聰都追不到的神顏!孫一寧線下見面會現場美瘋了!

王思聰都追不到的神顏!孫一寧線下見面會現場美瘋了!

橙星文娛
2025-07-09 17:11:58
怪事!20年前房產登記錯誤“替人”被查封,鎮江市民維權遭遇“踢皮球”,一年多難討說法

怪事!20年前房產登記錯誤“替人”被查封,鎮江市民維權遭遇“踢皮球”,一年多難討說法

揚子晚報
2025-07-08 22:35:23
發現了沒,凡是結婚不主動要彩禮的女方家庭,一般都是以下幾種

發現了沒,凡是結婚不主動要彩禮的女方家庭,一般都是以下幾種

娛樂看阿敞
2025-06-28 10:39:21
張天愛張雪迎重慶同框!34歲張天愛似網紅臉鞋丑,張雪迎狀態自然

張天愛張雪迎重慶同框!34歲張天愛似網紅臉鞋丑,張雪迎狀態自然

智凌縱橫
2025-07-08 15:13:14
曝韓國U16改年齡,比國少大一歲,身體條件碾壓國少,韓足協回應

曝韓國U16改年齡,比國少大一歲,身體條件碾壓國少,韓足協回應

小金體壇大視野
2025-07-09 08:08:12
日子過久了才發現:家里最該斷舍離的是這6樣東西,根本就扔不完

日子過久了才發現:家里最該斷舍離的是這6樣東西,根本就扔不完

裝修秀
2025-07-01 11:00:03
上海炒股大賽冠軍的箴言:如果手里有二十萬,建議死啃中字頭戰法

上海炒股大賽冠軍的箴言:如果手里有二十萬,建議死啃中字頭戰法

股經縱橫談
2025-07-08 22:33:33
明星粉絲強闖廈航頭等艙,司乘人員大喊飛機還沒停,機場警方回應

明星粉絲強闖廈航頭等艙,司乘人員大喊飛機還沒停,機場警方回應

界面新聞
2025-07-09 16:57:07
想跑路?集團負債千億,前掌門人套現巨款,在登機口被帶走調查

想跑路?集團負債千億,前掌門人套現巨款,在登機口被帶走調查

游古史
2025-07-09 13:49:34
徐志勝代言森馬遭瘋搶,網友:這衣服我必買,我穿著還能比他丑

徐志勝代言森馬遭瘋搶,網友:這衣服我必買,我穿著還能比他丑

魚樂星鮮事
2025-07-09 13:05:38
銷量暴跌!廣汽“親兒子”,被貼上車圈恒大標簽!

銷量暴跌!廣汽“親兒子”,被貼上車圈恒大標簽!

象視汽車
2025-07-08 07:00:09
涉嫌竊密?烏克蘭情報部門抓捕兩名中國公民

涉嫌竊密?烏克蘭情報部門抓捕兩名中國公民

頭條爆料007
2025-07-10 00:18:32
毛主席雖活了83歲,保健醫生卻說:其實毛主席不具備長壽條件

毛主席雖活了83歲,保健醫生卻說:其實毛主席不具備長壽條件

老謝談史
2025-06-25 19:08:07
湖人隊傳聞:盧卡·東契奇與湖人續約談判或將曠日持久

湖人隊傳聞:盧卡·東契奇與湖人續約談判或將曠日持久

好火子
2025-07-10 01:05:50
“多人收到河北文旅千條短信轟炸”,運營商:建議開啟屏蔽功能

“多人收到河北文旅千條短信轟炸”,運營商:建議開啟屏蔽功能

揚子晚報
2025-07-09 21:52:50
我軍用12噸炸藥2噸汽油,成功爆破越軍大型工事,埋葬越軍上千人

我軍用12噸炸藥2噸汽油,成功爆破越軍大型工事,埋葬越軍上千人

有范又有料
2025-07-06 22:04:37
2025-07-10 04:00:49
新智元 incentive-icons
新智元
AI產業主平臺領航智能+時代
13029文章數 66083關注度
往期回顧 全部

科技要聞

創造歷史,英偉達成首個4萬億美元上市公司

頭條要聞

紐約市長候選人稱若當選將逮捕內塔尼亞胡 特朗普發聲

頭條要聞

紐約市長候選人稱若當選將逮捕內塔尼亞胡 特朗普發聲

體育要聞

東亞杯-姚偉傳射+世界波邵子欽頭槌 女足2-2韓國

娛樂要聞

周杰倫開抖音號瘋漲三百萬粉絲

財經要聞

金店業績分化 為何"一口價"賣得更好了?

汽車要聞

比亞迪為智能泊車安全兜底 天神之眼全面OTA升級

態度原創

本地
健康
教育
公開課
軍事航空

本地新聞

云游中國|踏入時光長廊!岐山八景訴說古今歲月風華

呼吸科專家破解呼吸道九大謠言!

教育要聞

好大的口氣!一博主直播稱“報我名字,隨便選班”,校方:已報警

公開課

李玫瑾:為什么性格比能力更重要?

軍事要聞

以軍稱打死哈馬斯一高級領導人 現場畫面公布

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 南开区| 长宁县| 阳谷县| 呼玛县| 陕西省| 湘西| 马龙县| 澳门| 南雄市| 望江县| 昭苏县| 岢岚县| 迭部县| 乐安县| 宁海县| 邮箱| 射阳县| 龙胜| 西贡区| 肥西县| 石柱| 灵璧县| 大冶市| 当雄县| 阿拉尔市| 游戏| 容城县| 尚义县| 怀仁县| 朝阳市| 富蕴县| 甘南县| 余干县| 双江| 普格县| 建阳市| 塔河县| 仁布县| 当阳市| 沙河市| 海南省|