來源：量子位

檢索增強(qiáng)生成（RAG）雖好，但一直面臨著資源消耗大、部署復(fù)雜等技術(shù)壁壘。

近日，香港大學(xué)黃超教授團(tuán)隊(duì)提出MiniRAG，成功將RAG技術(shù)的應(yīng)用門檻降至1.5B參數(shù)規(guī)模，實(shí)現(xiàn)了算力需求的大幅降低。這一突破性成果不僅為邊緣計(jì)算設(shè)備注入新活力，更開啟了基于小模型輕量級RAG的探索。

研究團(tuán)隊(duì)開發(fā)的這套MiniRAG系統(tǒng)采用小模型架構(gòu)，實(shí)現(xiàn)了輕量級的檢索增強(qiáng)生成功能。通過本地部署的方式，既降低了資源消耗，又能妥善保護(hù)用戶隱私。

為驗(yàn)證系統(tǒng)在現(xiàn)實(shí)環(huán)境下的實(shí)用性，團(tuán)隊(duì)專門設(shè)計(jì)了LiHua-World評測數(shù)據(jù)集，這套數(shù)據(jù)集包含了個(gè)人通訊、信息檢索等日常應(yīng)用場景的模擬數(shù)據(jù)，為小模型RAG性能評估提供了系統(tǒng)化的測試標(biāo)準(zhǔn)。

模型的性能評測評估了不同框架在遷移至小模型時(shí)的適應(yīng)能力差異：GraphRAG完全無法保持基本功能，LightRAG的表現(xiàn)銳減近半，而MiniRAG即便在輕量化后依然保持了較高水準(zhǔn)，最優(yōu)情況下性能僅下降不到1%，最差情況也僅降低21%左右。值得關(guān)注的是，MiniRAG在顯著節(jié)省存儲(chǔ)空間的同時(shí)（僅需原來25%），仍能維持如此穩(wěn)定的輸出質(zhì)量。

MiniRAG架構(gòu)設(shè)計(jì)

針對傳統(tǒng)RAG系統(tǒng)過度依賴大型語言模型的問題，研究團(tuán)隊(duì)提出了新的MiniRAG框架。這一設(shè)計(jì)摒棄了依賴大模型處理復(fù)雜語義理解和多步推理的傳統(tǒng)路線，轉(zhuǎn)而構(gòu)建了一套適配小型語言模型特點(diǎn)的精簡架構(gòu)。

通過深入研究，團(tuán)隊(duì)發(fā)現(xiàn)小型語言模型雖然在復(fù)雜認(rèn)知任務(wù)上存在局限，但具有三個(gè)可供充分利用的優(yōu)勢特性：

• 在模式識(shí)別和局部文本處理等基礎(chǔ)任務(wù)上表現(xiàn)突出

• 借助結(jié)構(gòu)化信息的引入可顯著提升其語義理解能力

• 通過將復(fù)雜任務(wù)分解為簡單子任務(wù)的策略，能夠保證系統(tǒng)穩(wěn)定可靠運(yùn)行

基于這些發(fā)現(xiàn)，研究團(tuán)隊(duì)開發(fā)了兩項(xiàng)核心技術(shù)創(chuàng)新：

• 異構(gòu)圖索引：優(yōu)化信息組織結(jié)構(gòu)，提升檢索精確度

• 輕量級知識(shí)檢索：確保高效準(zhǔn)確的信息獲取

基于小模型的語義檢索機(jī)制

為突破端側(cè)智能檢索的瓶頸，MiniRAG團(tuán)隊(duì)構(gòu)建了一套全新的語義感知框架。這套系統(tǒng)將離散的文本信息與結(jié)構(gòu)化的實(shí)體知識(shí)融為一體，構(gòu)建成一張動(dòng)態(tài)感知的智能網(wǎng)絡(luò)，實(shí)現(xiàn)了檢索效率的質(zhì)的飛躍。

• 文本語義分析：識(shí)別并存儲(chǔ)文檔中的核心要素，包括時(shí)間、地點(diǎn)、事件描述和領(lǐng)域概念

• 文本Chunk融合：維護(hù)原始段落的完整性，保留必要的上下文信息

這種設(shè)計(jì)讓系統(tǒng)在檢索時(shí)可以充分利用結(jié)構(gòu)化特征和原文信息。通過并行匹配策略，既提升了檢索的準(zhǔn)確度，又有效避免了小模型在語義理解上的局限性，使端側(cè)RAG應(yīng)用更加實(shí)用可靠。

輕量級知識(shí)檢索架構(gòu)

端側(cè)RAG應(yīng)用面臨著獨(dú)特的挑戰(zhàn)：計(jì)算資源受限且需要保護(hù)數(shù)據(jù)隱私，這使得傳統(tǒng)的大模型方案難以落地。基于此，MiniRAG提出了一套輕量化的圖式檢索方案，通過優(yōu)化的語義分析和簡化的嵌入技術(shù)，在保證效果的同時(shí)大幅降低了系統(tǒng)開銷。
檢索框架主要包含兩個(gè)關(guān)鍵設(shè)計(jì)：

• 查詢語義映射：系統(tǒng)采用精簡的語義分析流程，專注于提取查詢中的關(guān)鍵實(shí)體和邏輯關(guān)系。這種輕量級的處理方式充分發(fā)揮了小模型在特定任務(wù)上的優(yōu)勢，確保檢索過程快速高效。

• 拓?fù)湓鰪?qiáng)檢索：檢索過程分為兩個(gè)環(huán)節(jié)，先基于語義特征快速定位核心信息點(diǎn)，再通過異質(zhì)圖結(jié)構(gòu)化的關(guān)聯(lián)分析擴(kuò)展相關(guān)內(nèi)容，實(shí)現(xiàn)準(zhǔn)確和全面的信息獲取。

這種設(shè)計(jì)既保證了檢索質(zhì)量，又很好地適應(yīng)了端側(cè)環(huán)境的資源約束。相比傳統(tǒng)方案，具有更強(qiáng)的實(shí)用性和可擴(kuò)展性。

模擬真實(shí)端側(cè)場景的評測數(shù)據(jù)集: “假如你是LiHua…”

為了更準(zhǔn)確地評估端側(cè)RAG系統(tǒng)的實(shí)際表現(xiàn)，團(tuán)隊(duì)開發(fā)了一個(gè)貼近現(xiàn)實(shí)的評測數(shù)據(jù)集。這個(gè)名為LiHua-World的數(shù)據(jù)集模擬了一位普通用戶”李華”在移動(dòng)設(shè)備上產(chǎn)生的各類信息記錄，包括社交對話、運(yùn)動(dòng)日志、休閑娛樂和日程安排等豐富內(nèi)容。

數(shù)據(jù)集涵蓋了從單一信息查詢到多層次關(guān)聯(lián)分析的各類任務(wù)。通過還原移動(dòng)設(shè)備的真實(shí)使用場景，LiHua-World不僅體現(xiàn)了端側(cè)應(yīng)用的實(shí)際需求，更建立起一個(gè)完整的評測體系，為端側(cè)RAG技術(shù)的發(fā)展和優(yōu)化提供了可靠的實(shí)驗(yàn)基準(zhǔn)。

實(shí)驗(yàn)評估

團(tuán)隊(duì)通過實(shí)驗(yàn)設(shè)計(jì)對MiniRAG系統(tǒng)進(jìn)行了性能評測，重點(diǎn)關(guān)注其在端側(cè)實(shí)際應(yīng)用場景中的表現(xiàn)。評估工作主要從三個(gè)層面展開：

• 整體性能評估- 團(tuán)隊(duì)選取了當(dāng)前主流的移動(dòng)端RAG解決方案作為對照組，從檢索質(zhì)量、運(yùn)行效率和資源占用等維度進(jìn)行了量化對比，全面衡量系統(tǒng)的綜合表現(xiàn)

• 模塊效能分析：深入探索MiniRAG核心組件的性能貢獻(xiàn)，包括語義感知異構(gòu)圖索引機(jī)制的檢索效果、輕量級檢索策略的計(jì)算開銷，以及各模塊間的協(xié)同效應(yīng)

• 實(shí)際場景案例研究：實(shí)驗(yàn)中團(tuán)隊(duì)考察系統(tǒng)處理復(fù)雜信息檢索和多步推理等高難度任務(wù)的能力。通過實(shí)際案例的詳細(xì)分析，直觀展示了MiniRAG在真實(shí)環(huán)境中的應(yīng)用價(jià)值和優(yōu)勢

性能評估結(jié)果

實(shí)驗(yàn)重點(diǎn)考察了各類RAG系統(tǒng)在適配小型語言模型(SLMs)時(shí)的表現(xiàn)差異。測試結(jié)果顯示，傳統(tǒng)方案在這一場景下普遍面臨嚴(yán)峻挑戰(zhàn)：以LightRAG為例，系統(tǒng)整體效果大幅下滑，性能降幅接近一半。更令人擔(dān)憂的是，GraphRAG在小模型環(huán)境下完全喪失了基本功能。這些現(xiàn)象反映出現(xiàn)有RAG架構(gòu)過度依賴大模型的計(jì)算能力。

相較之下，MiniRAG通過優(yōu)化的圖索引設(shè)計(jì)和創(chuàng)新的檢索機(jī)制，有效地解決了這一技術(shù)瓶頸。實(shí)驗(yàn)數(shù)據(jù)令人振奮：在遷移至小型語言模型的過程中，系統(tǒng)性能最大降幅僅為兩成左右，個(gè)別任務(wù)類型的性能甚至基本保持不變（降幅不足1%）。這充分證明了MiniRAG在輕量化場景下的獨(dú)特優(yōu)勢和較強(qiáng)適應(yīng)能力。

存儲(chǔ)效率評測

經(jīng)過詳細(xì)的性能測試，MiniRAG在資源優(yōu)化方面展現(xiàn)出顯著優(yōu)勢。對比使用gpt-4-mini的LightRAG基準(zhǔn)系統(tǒng)，團(tuán)隊(duì)的方案僅占用四分之一的存儲(chǔ)空間就達(dá)到了相近的性能指標(biāo)。這種顯著的存儲(chǔ)壓縮（降低約75%）并未影響系統(tǒng)的檢索質(zhì)量，說明了團(tuán)隊(duì)在架構(gòu)設(shè)計(jì)上的價(jià)值。

消融實(shí)驗(yàn)分析

團(tuán)隊(duì)制定了一套系統(tǒng)化的評測方案，旨在深入分析各核心模塊對整體性能的具體貢獻(xiàn)。評測分為兩個(gè)主要部分：

首先是索引機(jī)制測試，我們將系統(tǒng)中的異構(gòu)圖索引替換為基于語義描述的傳統(tǒng)方案（簡記為- 實(shí)驗(yàn)），這類方案與現(xiàn)有主流系統(tǒng)采用相似的處理思路，主要通過模型的語義理解來構(gòu)建實(shí)體和關(guān)系的描述表示。

其次是檢索流程測試，通過在圖檢索環(huán)節(jié)選擇性地禁用不同功能組件（簡記為- 實(shí)驗(yàn)），我們能夠準(zhǔn)確衡量每個(gè)模塊的獨(dú)立貢獻(xiàn)。這種細(xì)粒度的實(shí)驗(yàn)設(shè)計(jì)為評估創(chuàng)新組件的實(shí)際價(jià)值提供了可靠依據(jù)。

實(shí)驗(yàn)結(jié)果表明：

基于小語言模型RAG的挑戰(zhàn)。實(shí)驗(yàn)數(shù)據(jù)充分揭示了傳統(tǒng)索引方法在小模型環(huán)境下的局限性。當(dāng)我們用基于文本語義的傳統(tǒng)索引技術(shù)（- 測試）替換MiniRAG的創(chuàng)新方案時(shí)，系統(tǒng)表現(xiàn)大幅衰退。這一結(jié)果印證了我們的理論推測：小型語言模型在處理復(fù)雜知識(shí)結(jié)構(gòu)和深層語義理解時(shí)確實(shí)存在天然瓶頸。

Reasoning Path Discovery的有效性。進(jìn)一步的功能模塊測試也帶來了重要發(fā)現(xiàn)。實(shí)驗(yàn)表明，無論是剔除邊際關(guān)聯(lián)信息（- ）還是移除塊級節(jié)點(diǎn)（- ），都會(huì)對系統(tǒng)效果造成顯著影響。這些關(guān)鍵組件不僅通過智能路徑推理提升了查詢準(zhǔn)確度，還有效克服了小型語言模型在知識(shí)處理上的固有不足。這雙重優(yōu)勢凸顯了MiniRAG架構(gòu)設(shè)計(jì)的獨(dú)特價(jià)值。

實(shí)際案例分析

以下通過一個(gè)富有挑戰(zhàn)性的餐廳識(shí)別場景，展示MiniRAG如何在實(shí)際應(yīng)用中充分發(fā)揮其技術(shù)優(yōu)勢，尤其在處理多維度信息檢索方面的出色表現(xiàn)。

挑戰(zhàn)：復(fù)雜查詢解析的困境

研究團(tuán)隊(duì)選取了一個(gè)具有挑戰(zhàn)性的測試案例，查詢內(nèi)容為：Wolfgang和Li Hua為慶祝Wolfgang升職而共進(jìn)晚餐的那家意大利餐廳叫什么名字？這一查詢涉及多重約束條件，要求系統(tǒng)能從在線聊天數(shù)據(jù)中準(zhǔn)確識(shí)別特定意大利餐廳及其相關(guān)上下文。盡管LightRAG采用了phi-3.5-mini-instruct模型，但受限于小型語言模型的固有局限性，特別是在提取high-level信息和處理圖索引噪聲方面的不足，導(dǎo)致其檢索效果不夠理想。

MiniRAG的解決方案

MiniRAG通過其獨(dú)特的查詢引導(dǎo)推理路徑發(fā)現(xiàn)機(jī)制成功應(yīng)對了上述挑戰(zhàn)。系統(tǒng)利用異構(gòu)圖索引結(jié)構(gòu)，首先預(yù)測答案類型（如”社交互動(dòng)”或”地點(diǎn)”），然后通過策略性分解查詢要素（專注于”意大利場所”和”餐廳”語境），結(jié)合目標(biāo)實(shí)體匹配，實(shí)現(xiàn)了精確且具有上下文關(guān)聯(lián)的知識(shí)檢索。這種結(jié)構(gòu)化推理方法使MiniRAG能夠精確導(dǎo)航知識(shí)空間，最終成功定位目標(biāo)餐廳——Venedia Grancaffe。

結(jié)論

MiniRAG是一款輕量級的檢索增強(qiáng)生成系統(tǒng)，成功解決了小型語言模型(SLMs)在傳統(tǒng)RAG框架中的應(yīng)用限制。該系統(tǒng)采用創(chuàng)新的異構(gòu)圖索引架構(gòu)和輕量級啟發(fā)式檢索機(jī)制，有效整合了文本與圖式方法的優(yōu)勢，大幅降低了對模型能力的依賴要求。實(shí)驗(yàn)結(jié)果表明，基于SLMs的MiniRAG性能可與大語言模型方案媲美。

為促進(jìn)邊緣設(shè)備RAG技術(shù)的發(fā)展，研究團(tuán)隊(duì)同時(shí)發(fā)布了首個(gè)專門的評估基準(zhǔn)數(shù)據(jù)集，重點(diǎn)覆蓋個(gè)人通信和多約束查詢等實(shí)際應(yīng)用場景。這一研究不僅代表著端側(cè)RAG系統(tǒng)的重要突破，也為注重隱私保護(hù)和資源效率的邊緣AI應(yīng)用開創(chuàng)了新的可能。

項(xiàng)目鏈接: https://github.com/HKUDS/MiniRAG
論文鏈接: https://arxiv.org/abs/2501.06713
實(shí)驗(yàn)室主頁: https://github.com/HKUDS

蛇年大吉

紅梅傲雪報(bào)春來

喜氣洋洋迎新歲