R-KV團隊 投稿
量子位 | 公眾號 QbitAI

推理大模型雖好，但一個簡單的算數(shù)問題能推理整整三頁，還都是重復(fù)的“廢話”，找不到重點……

一種可以把大模型的“碎碎念”轉(zhuǎn)化為可控記憶條目的高效壓縮方法，出現(xiàn)了！

R-KV開源登場：顯存↓90%、吞吐×6.6、準(zhǔn)確率=100%。

它可以通過實時對token進行排序，兼顧重要性和非冗余性，僅保留信息豐富且多樣化的token，從而解決大模型推理時的冗余問題。

讓“長時間推理”不再是奢侈品。

項目詳情可見文末鏈接。

R-KV三步走：冗余識別+重要性評估+動態(tài)淘汰

鏈?zhǔn)剿伎迹–hain-of-Thought,CoT）讓LLM解題思路清晰可見，卻也讓推理長度指數(shù)級膨脹。

以DeepSeek-R1-Llama-8B為例，一道AIME數(shù)學(xué)題就能寫出3.2萬個Token：模型權(quán)重15.5GB，KV緩存再吃4.1GB——顯存瞬間見底。

現(xiàn)有KV壓縮方法（SnapKV、StreamingLLM、H2O等）主要針對長輸入設(shè)計，可一旦模型在輸出端開始“碎碎念”，相似句子之間互相打高分注意力，反而讓“按注意力刪低分”策略失靈：

造成關(guān)鍵步驟被誤刪、重復(fù)內(nèi)容卻被保留、準(zhǔn)確率斷崖式下跌等問題。

而R-KV通過以下步驟，在模型解碼時實時壓縮KV緩存來處理冗余的鍵/值（KV）標(biāo)記，僅保留重要且非冗余的標(biāo)記：

• 邊生成邊壓縮（Decoding-Time Compression）
• Token還沒寫進KV，就先判斷“去留”，徹底阻斷顯存膨脹。
• 重要性打分（Importance）
• 多頭注意力綜合評估，每個Token對后續(xù)答案的貢獻度。
• 冗余打分（Redundancy）
• 計算Key向量余弦相似度，找出“復(fù)讀機”式內(nèi)容。
• 聯(lián)合淘汰（Joint Eviction）
• 按「高重要+低冗余」優(yōu)先級實時調(diào)度KV配額，λ≈0.1時效果最佳。

整個流程訓(xùn)練-free、模型-agnostic，無需改動模型結(jié)構(gòu)，直接“即插即用”。因此可以直接被用到強化學(xué)習(xí)的采樣過程中，非常靈活。

可視化：R-KV vs. SnapKV

上圖展示了R-KV和純注意力基線SnapKV在相同解碼步驟中選擇了哪些token。灰色＝未選；由淺到深紅＝被越多注意力頭選中。

可以看到，SnapKV關(guān)注點集中在離當(dāng)前Query最近的局部片段，甚至重復(fù)保留多次「3 students are leaving early…」等無用自述。

而R-KV選出的Token橫跨整段推理：題目關(guān)鍵詞30 students，關(guān)鍵中間值24,12及最終答案全部被保留，此外語義覆蓋面更廣。

通過結(jié)合注意力強度與冗余過濾，R-KV保留了重要上下文并去除噪聲，成功完成任務(wù)；而SnapKV誤刪關(guān)鍵信息導(dǎo)致答案錯誤。

得到結(jié)果：R-KV有更廣泛的覆蓋范圍、更高的信息多樣性和更顯著的去冗余能力。

性能測試：準(zhǔn)確率不降反升

可以看到，R-KV在具有挑戰(zhàn)性的數(shù)學(xué)基準(zhǔn)測試中大幅超越了基線，甚至超過了完整的KV。

在計算開銷上，R-KV引入了重要性評分和冗余評分的額外計算，但總體開銷適中，通常會被壓縮KV緩存帶來的注意力成本降低所抵消。隨著序列長度的增加，這種權(quán)衡變得越來越有利。

對內(nèi)存節(jié)省和端到端吞吐量提升進行實時分析，可以看到，當(dāng)批處理大小為1時，R-KV在吞吐量上略優(yōu)于FullKV。這表明R-KV通過減少注意力計算所實現(xiàn)的加速效果超過了R-KV自身的計算開銷。

然而，這種直接的速度提升僅占整體收益的一小部分，R-KV帶來的主要吞吐量提升來自于KV緩存壓縮，使模型能夠支持顯著更大的推理批處理大小。

對基于比例和固定KV緩存預(yù)算的端到端吞吐量進行評估，發(fā)現(xiàn)R-KV始終能夠?qū)崿F(xiàn)比FullKV大得多的批處理大小和更高的吞吐量，同時不損失任務(wù)性能。

R-KV的適用場景如下：

• 邊端設(shè)備長鏈推理
• 顯存斷崖縮減，讓消費級GPU甚至手機NPU也能跑
• 多輪Agent
• 反思-重寫-自評等復(fù)雜流程不再受顯存限制。
• 直接用于加速強化學(xué)習(xí)的采樣過程
• training-free的方法即插即用。

論文PDF：https://arxiv.org/pdf/2505.24133.pdf
項目主頁：https://zefan-cai.github.io/R-KV.page/
代碼倉庫：https://github.com/Zefan-Cai/R-KV