本文針對LLMs與KG整合時常被忽視的兩個問題——知識覆蓋不足與知識更新不一致——提出了解決方案。為應對這些挑戰，作者提出了CogMG，一個旨在協同增強LLMs與KG的框架。CogMG通過明確定義并補全相關知識，彌補KG未涵蓋的信息缺口。此外，它還能主動收集并驗證知識需求，以確保KG的動態更新。作者還基于智能體框架微調LLMs以實現CogMG，并開發了直觀的交互系統，便于可視化其能力。用例分析與實驗結果均驗證了CogMG的有效性。

論文標題： CogMG: Collaborative Augmentation Between Large Language Model and Knowledge Graph 論文鏈接： https://aclanthology.org/2024.acl-demos.35.pdf

一、動機

大語言模型（LLMs）在問答任務中已經被廣泛應用，然而LLMs容易出現幻覺和事實性錯誤。雖然可以通過查詢知識圖譜（KG）來減少這種幻覺，但是存在兩個挑戰：

（1）KG中的知識可能覆蓋不完全：KG有能力涵蓋大量信息，但在存儲知識時也面臨著實現全面覆蓋的挑戰。KG中明確編碼的三元組不足以完全涵蓋實際問答場景所需的知識。現有的用KG增強問答系統的方法主要集中在改進解析形式語言或檢索知識三元組中的語義相關性，為預定義問題在KG中尋找相應的知識預存儲。對于未命中KG的查詢的后續處理關注相對較少；

（2）通過信息抽取和KG補全來更新KG的時候，面臨著知識不一致的問題：當前更新KG的方法主要依賴于兩種策略：從非結構化文本中提取知識三元組（信息提取）和通過分析節點之間的現有連接來推斷未見鏈接（KG補全）。這些用于更新KG的范式具有無目的且看似無限的特點，因此不能完全解決新獲取的知識與現實世界用戶需求之間的不一致問題。這凸顯了在更新KG以更好地與用戶需求保持一致方面缺乏積極的考慮。

在本文中，作者引入了一個協同增強框架CogMG，利用KG來解決LLMs在問答場景中的局限性，明確針對知識覆蓋不完整和知識更新不一致的問題。當查詢超出當前KG的知識范圍時，LLMs被鼓勵明確分解所需的知識三元組。隨后，基于LLMs參數中編碼的廣泛知識進行補全，作為最終答案的參考。明確識別必要的知識三元組是模型內省以減輕幻覺的一種手段，并主動突出KG在滿足現實世界需求方面的不足。

此外，識別這些三元組允許通過使用外部文檔的檢索增強生成（RAG）對其進行自動驗證。檢索到的相關文檔也可以在將三元組納入KG之前作為手動審查的參考。這種持續且主動的知識更新過程使KG能夠逐漸滿足實際知識需求。

二、貢獻

本文的主要貢獻有：

(1)提出了LLMs和KG之間的協同增強框架CogMG，解決LLMs中的知識缺陷，并倡導根據用戶需求主動更新KG中的知識

(2)微調一個開源LLMs以在智能體框架中適應協同增強范式CogMG，并通過實現一個網站系統來展示它，智能體框架是模塊化和可插拔的，并且系統是交互式且用戶友好的

(3)根據一個用例展示和在各種情況下的實驗結果，展示了CogMG在主動更新知識和提高各種現實世界問答場景中的回復質量方面的有效性。

三、方法

總體框架如圖1所示，左側部分是示意圖，說明協作增強框架CogMG的總體設計，涉及LLMs和KG。右側部分是使用基于代理的框架實現CogMG，每個模塊都設計為即插即用，以確保通用性。

圖1 總體框架圖

CogMG 框架的單次迭代包括三個步驟：

（1）查詢KG：LLMs利用推理和規劃能力分解查詢并生成用于查詢KG的形式化查詢語句。對于一個知識密集型問題，我們通過將相應的形式化查詢分解為自然語言子步驟來啟動我們的方法。這種分解有助于闡明查詢KG所需的必要和通用邏輯，確保我們的方法在各種KG模式中的通用性。然后LLMs調用一個形式語言解析工具來執行查詢。該工具接收自然語言中的邏輯分解步驟作為輸入，將其翻譯成適合目標KG的形式化查詢語言，并返回查詢結果。

（2）處理結果：如果成功返回結果，則整合人類偏好的詳細答案。如果不成功，則在整合到答案之前明確識別并分解所需的三元組。在從KG接收到查詢結果后，LLMs利用其理解和推理能力組織最終答案。如果查詢執行遇到錯誤，LLMs根據分解步驟描繪出具有未知組件的必要知識三元組。假設這些三元組的補充可以提供回答問題所需的知識。隨后，利用模型參數中編碼的知識來補全這些三元組。然后，模型根據這些事實生成最終答案。在這里，補全步驟適用于任何能力水平的LLMs。明確必要的知識不僅減輕了當前輸出中由于滾雪球效應導致的幻覺影響，還識別了KG中的知識差距，從而有助于提高圖譜的知識覆蓋率。不完整的知識三元組及其補全被記錄下來，以便可能納入圖譜或進一步驗證。

圖2 處理KG中未找到的查詢以及相關知識處理的完整示例

（3）圖譜演化：利用外部知識驗證和修改將未命中的三元組納入KG。LLMs參數中編碼的高度通用性和廣泛覆蓋的知識可以補充KG中更專業的知識。由LLMs補全的這些三元組可以直接添加到KG中。然而，LLMs在處理罕見、長尾和特定領域知識方面存在困難，并且其知識表述缺乏穩健性。

因此作者提供手動干預選項，管理員可以選擇（1）直接將補全的三元組納入KG，（2）在添加之前手動調整它們，或（3）根據外部知識源自動驗證它們。為了自動驗證和糾正這些三元組，CogMG在非結構化語料庫中搜索相關文檔，并在文檔和三元組之間進行事實比較。這些文檔可以來自特定領域文本、通用百科全書或快速更新的搜索引擎，不僅提高了知識的事實準確性，還為手動審查提供了可解釋的參考。基于這些外部來源的見解，模型調整提議的知識三元組，使其適合手動納入KG。

四、實現用例

模型與組件：采用 ReAct 的智能體框架來使LLMs適應CogMG理念中的模塊化和泛化。作者使用維基數據的一個子集作為KG，KoPL作為查詢引擎，KQA-Pro數據集作為微調數據集的骨干。KQA-Pro包含自然語言問題以及相應的KoPL查詢、SPARQL查詢和標準答案。為確保智能體在各種場景中表現出預期行為，作者構建定制的SFT數據集來微調或利用上下文學習來提示模型。Qwen-14B-Chat負責所有SFT數據生成和智能體骨干。作者提出，該框架適用于各種KG和LLMs并逐個場景介紹解決方案。

（1）問題分解：利用分解步驟作為問題和形式語言之間的中介，闡明了解決問題的邏輯，并增強了對問題不同表達方式的魯棒性。作者手動編寫幾個查詢步驟的自然語言解釋，以根據相應的KoPL函數調用獲得問題和自然語言解釋之間的并行數據案例。利用這些并行示例，我們提示LLMs在整個數據集中生成子步驟，并獲得5萬對數據。這些數據被保留用于構建智能體行為SFT數據集。

（2）形式查詢生成：一個將查詢步驟的自然語言解釋解析為KoPL形式程序的模型可以使用并行數據快速訓練。由于解析過程對模型能力的要求相對較低，作者微調一個7B模型來在查詢KG的工具中創建一個專用模型。

（3）查詢KG：作者包裝KoPL引擎的執行，以便在出錯時統一返回 “失敗”，便于模型決策和識別。查詢工具通過解析模型處理分解步驟輸入，預測KoPL查詢程序并返回KG查詢結果。

（4）知識補全：作者直接指示模型承擔知識補全任務，參考圖2手動編寫的示例。為了適應整個ReAct智能體框架并確保模塊化，作者將知識補全部分封裝為一個工具，輸入問題和相應的不完整知識三元組，輸出參數知識與這些三元組的映射。

（5）答案整合：KQA Pro提供的標準答案在單詞級別簡潔精確，與人類偏好的更詳細解釋存在差距。因此，作者向推理模型提供來自KG執行的問題和標準答案，指示它為數據集中的每個問題生成更詳盡、解釋性更強的回復。答案整合場景是智能體行為的一部分。

（6）知識分解：作者明確分解形式查詢的目標三元組，以闡明回答問題所需的事實。這一步對于手動注釋一些查詢語句為不完整三元組至關重要，將未知事實部分表示為問號，然后使用這些樣本作為模型推斷所有數據的三元組分解的示例。鑒于KoPL程序中的精確標簽名稱作為實體鏈接，作者在三元組推斷期間添加標簽名稱約束，如果產生非標準標簽名稱則重新生成三元組。所有知識分解數據都用于模擬處理KG未涵蓋的問題。

（7）RAG驗證：由于經過通用指令調整和偏好對齊的LLMs熟悉RAG，作者利用提示工程要求模型根據檢索到的相關文檔、帶問號的不完整三元組以及相應的參數知識補全三元組生成知識三元組的修正。作者采用維基百科作為檢索語料庫，每256個詞元分割為一個塊。作者通過BM25構建文檔索引，通過連接知識三元組和原始問題進行搜索，并選擇前十個塊作為外部知識參考。對于整個ReAct智能體框架，作者為智能體的規劃和調用工具構建了兩條路線，區分必要知識是否包含在KG中。利用構建的并行訓練數據，作者構建了考慮上述每個場景的兩條Thought-Action-Observation 執行路線的SFT數據。智能體使用總共 10 萬條行為 SFT 數據進行微調。

五、實驗

為了展示CogMG框架的有效性，作者從KQA Pro數據集中抽樣問題并測試了以下場景：（1）直接回答：僅使用骨干LLMs回答，不利用KG；（2）CogMG無知識：從圖譜中刪除相關知識并使用知識的參數補全回答；（3）CogMG更新：更新所有相關知識，利用圖譜查詢結果回答。由于精確匹配難以反映真實答案的正確性，作者手動評估了50個問題的正確性。表1展示了這三種場景下的準確性。

表1 三種不同場景下問答準確率對比結果

實驗結果表明，由于缺乏精確的事實知識，直接使用LLMs回答問題的準確性較低。此外，利用模型的知識澄清和補全可以減輕一些幻覺并提高準確性。最后，在利用協同增強框架更新KG后，后續查詢的準確性得到提高。

圖3 系統界面
六、總結

本文解決了在整合LLMs和KG時兩個相對被忽視的問題：知識覆蓋不完整和知識更新不一致。針對這些挑戰，作者引入了CogMG，一個用于LLMs和KG協同增強的框架。CogMG通過明確定義和補全相關知識來解決使用KG未涵蓋的知識回答問題的問題。此外，它積極收集和驗證知識需求以更新KG。此外，作者基于智能體框架微調一個LLMs來實現CogMG，并開發一個用戶友好的交互系統來可視化其能力。用例和實驗結果展示了CogMG的有效性。

作者：杜超超 來源：公眾號【開放知識圖譜 】

llustration From IconScout By IconScout Store

-The End-

掃碼觀看！

本周上新！

“AI技術流”原創投稿計劃

TechBeat是由將門創投建立的AI學習社區（

www.techbeat.net

投稿內容

// 最新技術解讀/系統性知識分享 //

// 前沿資訊解說/心得經歷講述 //

投稿須知

稿件需要為原創文章，并標明作者信息。

我們會選擇部分在深度技術解析及科研心得方向，對用戶啟發更大的文章，做原創性內容獎勵

投稿方式

發送郵件到

melodybai@thejiangmen.com

或添加工作人員微信（yellowsubbj）投稿，溝通投稿詳情；還可以關注“將門創投”公眾號，后臺回復“投稿”二字，獲得投稿說明。

關于我“門”

將門是一家以專注于數智核心科技領域的新型創投機構，也是北京市標桿型孵化器。 公司致力于通過連接技術與商業，發掘和培育具有全球影響力的科技創新企業，推動企業創新發展與產業升級。

將門成立于2015年底，創始團隊由微軟創投在中國的創始團隊原班人馬構建而成，曾為微軟優選和深度孵化了126家創新的技術型創業公司。

如果您是技術領域的初創企業，不僅想獲得投資，還希望獲得一系列持續性、有價值的投后服務，歡迎發送或者推薦項目給我“門”:

bp@thejiangmen.com

點擊右上角，把文章分享到朋友圈