在金融科技智能化轉(zhuǎn)型進(jìn)程中，大語言模型以及多模態(tài)大模型（LVLM）正成為核心技術(shù)驅(qū)動力。盡管 LVLM 展現(xiàn)出卓越的跨模態(tài)認(rèn)知能力，其部署卻長期受限于顯著的算力瓶頸 —— 大小中等的模型一次多圖推理可能需要 100 G 的顯存空間，嚴(yán)重制約產(chǎn)業(yè)落地。

針對這一技術(shù)痛點(diǎn)，哈工大團(tuán)隊(duì)聯(lián)合度小滿金融科技正式發(fā)布 EFFIVLM-BENCH，業(yè)界首個支持跨場景統(tǒng)一評估的多模態(tài)大模型高效化基準(zhǔn)框架，為學(xué)術(shù)界提供可復(fù)現(xiàn)的壓縮方案對比基準(zhǔn)，同時賦能工業(yè)界實(shí)現(xiàn)最優(yōu)部署策略遴選。該項(xiàng)目框架已在 GitHub 全面開源, 對應(yīng)論文《EFFIVLM-BENCH: A Comprehensive Benchmark for Evaluating Training-Free Acceleration in Large Visual-Language Models》被 ACL（CCF-A）錄用為主會論文。

• 論文地址：https://arxiv.org/pdf/2506.00479
• 項(xiàng)目地址：https://effivlm-bench.github.io/

EFFIVLM-BENCH：

為LVLM高效化方案提供全面、系統(tǒng)的“體檢報(bào)告”

在 LVLM 的研究和應(yīng)用中，不同的方法常常應(yīng)用于不同的模型上，另一方面，即使最新的研究為能夠公平比較仍應(yīng)用于較為古早的模型上。如何在最先進(jìn)的模型上公平有效地評估和比較各種加速方法的性能，一直是一個亟待解決的問題。EFFIVLM-BENCH 的出現(xiàn)，正是為了填補(bǔ)這一空白。該平臺的核心價(jià)值在于其先進(jìn)性、全面性和系統(tǒng)性。

EFFIVLM-BENCH 提供了一個統(tǒng)一的評估框架，對主流的加速技術(shù)進(jìn)行細(xì)致的性能剖析，包括 kv cache 壓縮、token 壓縮和參數(shù)壓縮（如剪枝、量化），共計(jì)近 20 種模型高效化方法。在評測上，它不僅關(guān)注模型在特定任務(wù)上的絕對性能，更創(chuàng)新性地引入了泛化能力、忠誠度（即壓縮后模型與原始模型行為的一致性）以及實(shí)際推理效率（如真實(shí)推理時間）等多維度評估指標(biāo)。這意味著，EFFIVLM-BENCH 能夠?yàn)椴煌募铀俜椒ǔ鼍咭环菰敱M的 “體檢報(bào)告”，揭示其在不同場景下的優(yōu)勢與不足。

EFFIVLM-BENCH 的評估范圍廣泛，涵蓋了多種前沿的 LVLM 架構(gòu)（如 LLaVA-OneVision, Qwen2-VL, InternVL2.5）、模型高效化方法以及近 20 個不同類型的多模態(tài)基準(zhǔn)任務(wù)，從文檔圖像理解、圖表問答到長文本視頻理解等，力求模擬真實(shí)應(yīng)用場景的復(fù)雜性。通過對這些場景的深入分析，EFFIVLM-BENCH 旨在幫助研究者和開發(fā)者找到性能與效率之間的最佳平衡點(diǎn)，即所謂的 “帕累托最優(yōu)” 解。

圖 2 不同模型在多個 Benchmarks 上的輸入輸出長度

EFFIVLM-BENCH 的深度洞察：

加速 LVLM 并非 “一刀切”

通過 EFFIVLM-BENCH 的廣泛實(shí)驗(yàn)與深度分析，哈工大團(tuán)隊(duì)聯(lián)合度小滿獲得了一系列關(guān)于 LVLM 加速的重要發(fā)現(xiàn)。研究表明，LVLM 的加速并非簡單的 “一刀切” 方案，其效果與具體應(yīng)用場景和所采用的技術(shù)策略緊密相關(guān)。例如，任務(wù)依賴性顯著，token 壓縮方法在處理不同類型的任務(wù)時表現(xiàn)各異，尤其對于需要精細(xì)視覺信息或生成長序列輸出的任務(wù)，其性能可能會受到較大影響。在保持模型泛化能力和忠誠度方面，KV 緩存壓縮技術(shù)通常展現(xiàn)出更佳的優(yōu)勢。

同時，效率權(quán)衡也是一門藝術(shù)，不同的加速策略在 “首 token 生成時間”（TTFT）和后續(xù)解碼速度上各有側(cè)重，開發(fā)者需要根據(jù)實(shí)際應(yīng)用需求進(jìn)行選擇，例如 token 壓縮可能更適合需要快速響應(yīng)的短文本任務(wù)。此外，參數(shù)壓縮的穩(wěn)健性也值得關(guān)注，像量化這樣的技術(shù)在保持模型原始性能方面往往更為可靠。更進(jìn)一步，該研究還深入探討了層自適應(yīng)稀疏性、注意力匯聚點(diǎn)（Attention Sink）在 LVLM 中的關(guān)鍵作用，以及模態(tài)特定的信息合并策略等前沿機(jī)制，這些探索為未來的 LVLM 優(yōu)化指明了新的方向。這些發(fā)現(xiàn)共同揭示了 LVLM 加速的復(fù)雜性和多面性，強(qiáng)調(diào)了針對性優(yōu)化和綜合評估的重要性。

圖 3 針對 Token 壓縮方法在效率與性能之間的權(quán)衡關(guān)系

開源共建，推動 LVLM 技術(shù)發(fā)展

EFFIVLM-BENCH 的推出，標(biāo)志著 LVLM 效率評估領(lǐng)域的一個重要進(jìn)展。哈工大團(tuán)隊(duì)與度小滿表示，EFFIVLM-BENCH 將秉承開放共享的原則，其完整的代碼和評估方案已在 GitHub 上開源，希望能為研究者和開發(fā)者提供一個強(qiáng)大而易用的評估工具。

通過 EFFIVLM-BENCH，團(tuán)隊(duì)期望能夠激發(fā)更多關(guān)于 LVLM 加速技術(shù)的創(chuàng)新研究，推動相關(guān)技術(shù)的快速迭代和優(yōu)化，最終使得強(qiáng)大的大型視覺語言模型能夠以更低的成本、更高的效率服務(wù)于更廣泛的應(yīng)用場景。

隨著人工智能技術(shù)的不斷深化，LVLM 等先進(jìn)技術(shù)必將在各行各業(yè)發(fā)揮越來越重要的作用。此次哈工大團(tuán)隊(duì)聯(lián)合度小滿推出 EFFIVLM-BENCH，是雙方在大模型領(lǐng)域合作的又一重要成果。未來，雙方將繼續(xù)深化合作，探索更多前沿技術(shù)，為推動人工智能技術(shù)的發(fā)展和應(yīng)用貢獻(xiàn)力量。