99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

大模型「越用越快」!SpeedupLLM首次驗證,大降56%推理預算

0
分享至


新智元報道

編輯:LRST

【新智元導讀】LLM用得越久,速度越快!Emory大學提出SpeedupLLM框架,利用動態計算資源分配和記憶機制,使LLM在處理相似任務時推理成本降低56%,準確率提升,為AI模型發展提供新思路。

在人類的認知世界里,熟練意味著更快、更高效。

比如看似復雜的魔方,只需訓練幾十次后便能「盲擰」;而面對一道做過幾遍的數學題,我們往往能在腦海中迅速復現思路,幾秒內作答。

那,大語言模型也能這樣嗎?

Emory大學的研究者Bo Pan和Liang Zhao最近發布了一篇令人振奮的成果:大語言模型的性能,也和熟練度有關,確實能「越用越快」!


論文地址:https://arxiv.org/abs/2505.20643

論文首次系統性地驗證了LLM在「有經驗」的條件下,不僅性能不降,反而能大幅減少推理時間和計算資源,揭示了「AI也能熟能生巧」的全新范式。

如何讓LLM變熟練?

為系統驗證「熟練加速效應」,作者提出一個統一框架,構造并量化三類記憶機制下的「使用經驗」。

該框架由兩部分組成,一是推理時動態計算資源分配,二是記憶機制。

對于動態計算資源分配,該文章系統性將多種已有test-time scaling方法擴展成動態計算資源分配,從而允許LLM在熟練的問題上分配更少的計算資源。

對于記憶機制,該框架引入記憶機制,從而實現通過過往經驗加速當前推理。

在多輪使用中,大模型是否能像人類一樣「從經驗中變快」?是否存在一種方法,能系統性地提升效率,而非單純堆算力?

研究亮點1:用經驗節省算力

在任務重復或相似的推理過程中,研究者發現LLM通過利用以往經驗(包括 memory cache、in-context memory 等),可以實現減少高達56%的推理預算,保持甚至提升準確率。

這意味著模型在處理「熟悉」的任務時能少走很多彎路,不僅答得準,還答得快。

研究亮點2:系統性大規模實驗

為了驗證普適性,研究者考察了:

  1. 多種test-time scaling方法,包括Self-Refine、Best-of-N、Tree-of-Thoughts和當前最新的Long Chain-of-Thought(o1式思考)

  2. 多種記憶,包括監督學習(Supervised Fine-tuning)、檢索過去經歷、三種自我反思(Reflection)

  3. 多種問題相似度,包括LLM在1)完全相同、2)意思一樣僅表述不同、3)題目一樣,僅換數字、4)不同題目但需要相同知識回答。

不同機制均表現出顯著的推理加速,展示了這一現象的廣泛性。

實驗結果

在「重復問答」、「分步推理」等任務中,越是「重復」,模型推理越快,效果越好。而且,這種趨勢隨著經驗積累更加明顯。



實驗結果帶來了以下八大關鍵發現

發現一:LLM真的可以「越用越快」!

實驗結果表明,在配備適當記憶機制和計算預算調控策略的前提下,LLM在處理重復或相似任務時,平均可節省高達56%的推理開銷,且這一行為在80組實驗設置中有64組都出現了顯著的加速現象,覆蓋率高達80%,驗證了「經驗式加速」具有普適性。

發現二:越快≠越差,反而更準!

令人驚喜的是,推理成本的下降不僅沒有犧牲準確率,反而普遍帶來了準確率的提升。實驗測得推理成本與準確率提升之間的Pearson相關系數為 -0.41(p=0.0002),這表明「更快」也意味著「更穩」「更準」。

發現三:相似度越高,提速越明顯

研究設計了4個相似度等級,從完全重復(S1)到結構變化大(S4)。結果發現,S1和S2類問題下的加速最顯著(分別節省16.0%和15.4%計算),而S4問題由于結構不同、記憶不具備直接遷移性,加速效果最弱。

發現四:問題相似度低時,記憶機制可能反噬

當問題間差異過大時,記憶機制可能誤導模型走錯方向,導致推理成本反升、準確率反降。這種現象在部分S4設置中顯著,提示我們記憶并非越多越好,而應「選得準、用得巧」。

發現五:情節記憶 > 反思記憶,更能加速推理

在不同記憶機制對比中,情節式記憶(如SFT和In-Context)在推理加速上表現更佳。例如In-Context平均節省27.4%計算,而反思類記憶僅為3.6%~8.8%。這與心理學研究一致:人類在形成熟練技能時,最初依賴的是具體實例的情節記憶。

發現六:In-Context比SFT更高效

在低樣本(1~3輪)場景下,In-Context學習相比SFT更具泛化能力、更少過擬合,尤其在本研究的推理速度上,In-Context 更快、更穩、更準,展現了非參數記憶的強大即時適應力。

發現七:文本記憶易「觸頂」,參數記憶可持續提速

反思類與In-Context等文本記憶方法存在上下文窗口的「瓶頸」,在加入3個案例后效果逐漸飽和;相比之下,SFT通過權重更新記憶內容,不受窗口限制,推理速度隨經驗持續提升。

發現八:越「泛化」的反思,提速越明顯

三種反思機制中,Reflect-Update表現最佳。原因在于它能持續總結抽象規則,而不是堆積具體數字或案例。這種「泛化性強」的反思更容易跨任務遷移、輔助加速,未來設計更好反思機制時值得關注。

讓LLM擁有「記憶力」和「熟練度」

這項研究提出了一種值得重視的新范式:

推理效率不只是堆硬件,也能靠「學習歷史」提升。

在客服、搜索、問診等反復場景中,部署「記憶型LLM」將帶來:更低的響應延遲、更少的算力消耗、更強的適應性和個性化。

這項研究不僅補足了現有推理加速研究的空白,更為構建「具備人類熟練性」的AI模型提供了新思路。

參考資料:

https://arxiv.org/abs/2505.20643


特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
高考575被掃地出門后續,品行惡劣,罵人六親不認,難怪父母心狠

高考575被掃地出門后續,品行惡劣,罵人六親不認,難怪父母心狠

寒士之言本尊
2025-07-09 18:08:10
94歲楊少華去世,曹云金直播哀悼,郭德綱發直播預告、已趕回天津

94歲楊少華去世,曹云金直播哀悼,郭德綱發直播預告、已趕回天津

動物奇奇怪怪
2025-07-10 00:12:18
“放下碗就罵娘?”拒報清北事件反轉,3個利己者背刺好心班主任

“放下碗就罵娘?”拒報清北事件反轉,3個利己者背刺好心班主任

熙熙說教
2025-07-09 18:16:22
馮德萊恩對中國提出三項要求,外交部回應

馮德萊恩對中國提出三項要求,外交部回應

環球網資訊
2025-07-09 15:47:46
網傳女獸醫強奸男律師,流著大姨媽也要做,男律師身上全是證據

網傳女獸醫強奸男律師,流著大姨媽也要做,男律師身上全是證據

社會醬
2025-07-09 17:55:25
楊少華去世當天上午被推著參加剪彩 店家:狀態挺好沒有異常

楊少華去世當天上午被推著參加剪彩 店家:狀態挺好沒有異常

大象新聞
2025-07-09 19:28:36
烏克蘭逮捕中國籍“父子間諜”,涉嫌刺探“海王星”導彈機密

烏克蘭逮捕中國籍“父子間諜”,涉嫌刺探“海王星”導彈機密

桂系007
2025-07-09 23:20:49
中國首臺HA級重燃機驚艷問世:動力超越核動力航母,遠超老美20年

中國首臺HA級重燃機驚艷問世:動力超越核動力航母,遠超老美20年

顧史
2025-07-09 20:45:44
日媒:因在亞冠看臺毆打中國觀眾,一日本男子被警方逮捕

日媒:因在亞冠看臺毆打中國觀眾,一日本男子被警方逮捕

直播吧
2025-07-09 22:30:07
顏料鉛含量國家標準90mg,幼兒園糕點1340mg,人工智能說做不到

顏料鉛含量國家標準90mg,幼兒園糕點1340mg,人工智能說做不到

歷史總在押韻
2025-07-10 01:30:35
李小璐生子風波再起!更多內幕被扒后,與賈乃亮復合一事水落石出

李小璐生子風波再起!更多內幕被扒后,與賈乃亮復合一事水落石出

白面書誏
2025-07-10 00:21:31
懷孕后工作就擺爛的編制人員,被質疑不符合當地人才引進標準,呼吁當地公開詳情

懷孕后工作就擺爛的編制人員,被質疑不符合當地人才引進標準,呼吁當地公開詳情

小蘿卜絲
2025-07-09 10:05:20
特朗普宣布將對巴西征收50%關稅 巴回應稱不公平

特朗普宣布將對巴西征收50%關稅 巴回應稱不公平

大象新聞
2025-07-10 06:16:06
巴西國家隊主帥安切洛蒂因稅務欺詐被判入獄一年

巴西國家隊主帥安切洛蒂因稅務欺詐被判入獄一年

界面新聞
2025-07-09 22:39:51
正式退出!全紅嬋官宣意外決定,中國跳水隊無奈批準,陳芋汐祝福

正式退出!全紅嬋官宣意外決定,中國跳水隊無奈批準,陳芋汐祝福

博覽歷史
2025-07-08 13:16:05
隊報:2026年美加墨世界杯將是史上最不環保的一屆世界杯

隊報:2026年美加墨世界杯將是史上最不環保的一屆世界杯

懂球帝
2025-07-09 18:57:05
從珠海出發的巨輪被胡塞擊沉!外國船只掛紅旗,解放軍回應費腦筋

從珠海出發的巨輪被胡塞擊沉!外國船只掛紅旗,解放軍回應費腦筋

昨夜軍帖
2025-07-08 19:14:42
男子在深圳購買28斤重冬瓜帶回香港,給3個月大的女兒當避暑玩具

男子在深圳購買28斤重冬瓜帶回香港,給3個月大的女兒當避暑玩具

半島晨報
2025-07-09 19:05:03
天水幼兒園買的哪家的顏料里鉛含量那么高?網友質疑監控擺拍:后廚太干凈了

天水幼兒園買的哪家的顏料里鉛含量那么高?網友質疑監控擺拍:后廚太干凈了

互聯網大觀
2025-07-09 17:31:34
菲防長一語驚人:不管特朗普是不是美總統,中國都不太可能打我們

菲防長一語驚人:不管特朗普是不是美總統,中國都不太可能打我們

博覽歷史
2025-07-09 17:20:13
2025-07-10 07:47:00
新智元 incentive-icons
新智元
AI產業主平臺領航智能+時代
13029文章數 66083關注度
往期回顧 全部

科技要聞

三星推三款折疊屏機 Fold 7起售價1999美元

頭條要聞

媒體:商務部對8家臺實體出手 臺軍的麻煩大了

頭條要聞

媒體:商務部對8家臺實體出手 臺軍的麻煩大了

體育要聞

東亞杯-姚偉傳射+世界波邵子欽頭槌 女足2-2韓國

娛樂要聞

周杰倫開抖音號瘋漲三百萬粉絲

財經要聞

潮玩規模破千億的幕后故事

汽車要聞

比亞迪為智能泊車安全兜底 天神之眼全面OTA升級

態度原創

本地
教育
游戲
公開課
軍事航空

本地新聞

云游中國|踏入時光長廊!岐山八景訴說古今歲月風華

教育要聞

老師逼學生報清北事件后續:網傳家長對處理結果不滿意,要求開除

口碑爆棚!《死亡擱淺2》獲得6月PS玩家選擇獎

公開課

李玫瑾:為什么性格比能力更重要?

軍事要聞

以軍稱打死哈馬斯一高級領導人 現場畫面公布

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 宾川县| 民勤县| 宜兰县| 华容县| 广东省| 通州区| 云霄县| 临夏市| 玛纳斯县| 广州市| 建德市| 阳西县| 剑阁县| 桂林市| 淮阳县| 日照市| 调兵山市| 土默特左旗| 天长市| 曲周县| 山阳县| 金山区| 白沙| 塘沽区| 和田市| 同仁县| 冕宁县| 沈丘县| 镇宁| 昌邑市| 长春市| 凭祥市| 姚安县| 宣武区| 鲁山县| 宝丰县| 武宁县| 密云县| 南川市| 靖宇县| 个旧市|