為解決現(xiàn)有檢索增強生成(RAG)系統(tǒng)在模擬人類長期記憶的動態(tài)和關(guān)聯(lián)性方面的局限性,一種新型框架HippoRAG 2提出并將開源~
在三個關(guān)鍵維度上評估持續(xù)學習能力:事實記憶、感知構(gòu)建和關(guān)聯(lián)性。HippoRAG 2在所有基準類別中均超越了其他方法(RAPTOR、GraphRAG、LightRAG、HippoRAG),使其更接近真正的長期記憶系統(tǒng)。
HippoRAG 2框架的核心思想:HippoRAG 2基于HippoRAG的個性化PageRank算法,通過深度段落整合和更有效的在線LLM使用,推動RAG系統(tǒng)更接近人類長期記憶的效果。
離線索引:
使用LLM從段落中提取三元組,并將其整合到開放知識圖譜(KG)中。
通過嵌入模型檢測同義詞,并在KG中添加同義詞邊。
將原始段落與KG結(jié)合,形成包含概念和上下文信息的開放KG。
在線檢索:
使用嵌入模型將查詢與KG中的三元組和段落鏈接,確定圖搜索的種子節(jié)點。
通過LLM過濾檢索到的三元組,保留相關(guān)三元組。
應用個性化PageRank算法進行上下文感知檢索,最終為下游問答任務提供最相關(guān)的段落。
基線方法:包括經(jīng)典檢索器(BM25、Contriever、GTR)、大型嵌入模型(GTE-Qwen2-7B-Instruct、GritLM-7B、NV-Embed-v2)和結(jié)構(gòu)增強RAG方法(RAPTOR、GraphRAG、LightRAG、HippoRAG)。
評估指標:問答任務使用F1分數(shù),檢索任務使用passage recall@5。
性能提升:HippoRAG 2在所有基準類別上均超越其他方法,平均F1分數(shù)比標準RAG高出7個百分點,特別是在關(guān)聯(lián)記憶任務上表現(xiàn)突出。
一個HippoRAG 2 pipeline示例
https://github.com/OSU-NLP-Group/HippoRAG
From RAG to Memory: Non-Parametric Continual Learning for Large Language Models
https://arxiv.org/pdf/2502.14802
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.