AutoSchemaKG團隊 投稿
量子位 | 公眾號 QbitAI

知識圖譜（KGs）已經可以很好地將海量的復雜信息整理成結構化的、機器可讀的知識，但目前的構建方法仍需要由領域專家預先創建模式，這限制了KGs的可擴展性、適應性和領域覆蓋范圍。

為此，香港科技大學KnowComp實驗室聯合香港華為理論部提出了AutoSchemaKG：一個無需預定義模式、用于完全自主知識圖譜構建的框架。

該系統利用大型語言模型，可以直接從文本中同時提取知識三元組并歸納出全面的模式，對實體和事件進行建模，同時采用概念化方法將實例組織成語義類別。

實驗證實，該模式歸納在零人工干預的情況下，與人類設計的模式達到了95%的語義對齊。

另外，通過處理超過5000萬份文檔，AutoSchemaKG團隊還構建了ATLAS（自動三元組鏈接與模式歸納）：一個包含超過9億節點和59億邊的知識圖譜系列。

論文第一作者白佳欣是香港科技大學計算機科學與工程系的博士后研究員，受香港研究資助局新晉學者計劃(JRFS)獎項資助。

白博士的研究重點在于圖神經數據庫系統構建，大規模知識圖譜構建和推理，檢索增強生成等。他在ACL、NeurIPS、KDD等頂級會議發表了多篇論文，工作涵蓋電子商務意圖建模、復雜查詢回答和隱私保護神經圖數據庫等前沿領域。

創新：驅動模式歸納的概念化過程

上圖展示的是ATLAS的結構，實體節點（藍色）和事件節點（綠色）從文本中提取，而概念節點（橙色）則通過模式歸納獲得。

AutoSchemaKG利用大型語言模型的語義理解能力，能夠直接從文本中同時提取知識三元組并動態歸納模式，將特定的實體、事件和關系泛化為更廣泛的概念類別。

這種概念化具有多種關鍵功能：它在看似無關的信息之間建立語義橋梁，支持跨領域的零樣本推理，減少知識圖譜中的稀疏性，并提供支持具體和抽象推理的層級組織。

該框架將事件與實體一同建模，認識到現實世界的知識是動態而非靜態的；通過將事件視為語義基元，可以捕捉到僅有實體的圖譜所忽略的時間關系、因果關系和過程性知識。

像這樣將傳統的靜態模式轉變為一個動態的、多層次的概念框架，能夠適應新領域而無需預定義本體。

構建：完全自動化知識圖譜

三元組提取

AutoSchemaKG采用一個多階段流水線，使用大型語言模型將Dolma語料庫中的非結構化文本轉換為知識三元組。該流水線通過三個連續階段提取實體-實體、實體-事件和事件-事件關系：

階段1：使用系統提示提取實體-實體關系，該提示指示大型語言模型檢測實體及其相互關系。輸出被解析為三元組(e(1),r,e(2))，其中e(1),e(2)∈V(N)是實體節點，r∈R是關系類型。

階段2：使用提示識別實體-事件關系，生成三元組(e,r,v)或(v,r,e)，其中e∈V(N)，v∈V(E)，r∈R。

階段3：針對事件-事件關系，使用提示生成三元組(v(1),r,v(2))，其中v(1),v(2)∈V(E)，r∈R。該流水線支持各種大型語言模型，并具有優化的精度設置和GPU加速。

提取的三元組及其對應的文本和元數據被序列化為JSON文件。

模式歸納

在三元組提取之后，AutoSchemaKG會再進行模式歸納，將特定的實體、事件和關系抽象為通用的類型。

這個過程使用大型語言模型為每個圖元素生成代表其類型的概念短語，這與該形式化定義G=(V,E,C,?,ψ)相符。

對于每個類別（事件、實體和關系），分批處理元素，大型語言模型為每個元素生成至少三個短語，這些短語在不同抽象層次上概括了其類型或相關概念。

對于實體(e∈V(N))，通過整合來自鄰近節點的上下文信息來增強抽象。最多采樣N(ctx)個鄰居來構建一個提供額外語義線索的上下文字符串。

模式歸納流水線處理從三元組提取階段序列化出來的圖，元素被劃分為批次，并可選擇切片以進行分布式計算。

生成的短語記錄在一個CSV文件中，通過?和ψ將每個節點v∈V和關系r∈R映射到C中的一個概念子集。

這種自動化的模式增強了知識圖譜在不同領域間的適應性，無需人工策劃。

實踐：ATLAS系列知識圖譜的構建

在語料庫的選擇上，如表所示，ATLAS-Wiki、ATLAS-Pes2o和ATLAS-CC分別由Dolma的維基百科與維基教科書子集、Semantic Scholar子集和Dolma的CC子集構建。

使用完整的維基百科與維基教科書來構建ATLAS-Wiki，使用Semantic Scholar的摘要部分來構建ATLAS-Pes2o，并使用cc-head、cc-middle和cc-tail各3%的數據來構建ATLAS-CC。

Dolma數據集中的CC的頭部、中部和尾部分類是用于衡量與維基百科文本的分布相似性。

在計算成本上，使用配備80GB顯存、具有1,513TFLOPS FP16計算能力的GPU，并運行帶有Flash Attention的Llama-3-8B-instruct來構建該知識圖譜。

計算需求巨大：En-Wiki（2.439億節點，14.9億邊）需要14,300GPU小時；Pes2o-Abstract（1.744億節點，11.5億邊）需要11,800GPU小時；Common Crawl（9.373億節點，59.6億邊）需要52,300GPU小時。

以批次方式處理1024-token的文本塊，總共投入了約78,400GPU小時來提取數十億的語義關系。

測試：準確、連貫、通用

評估三元組提取準確性

使用一種嚴格的基于計數的評估方法，不依賴主觀評分，而是使用DeepSeek-V3作為評判者進行結構化驗證。

這種方法使能夠計算精確的指標：

• 精確率：正確提取的三元組占所有提取三元組的比例；
• 召回率：正確提取的三元組占文本中所有真實三元組的比例；
• F1分數：精確率和召回率的調和平均值。

可以看出，AutoSchemaKG在所有數據集上都表現出卓越的提取質量，尤其是在維基百科內容上表現強勁。在大多數情況下，知識圖譜中三元組的精確率、召回率和F1分數都超過了90%，證明了提取的三元組具有高質量和高可靠性。

衡量知識圖譜中的信息保留度

測試AutoSchemaKG將原始段落轉換為知識圖譜數據后，多項選擇題（MCQ）的性能保留情況，遵循現有工作的評估協議，為每個原始段落使用LLaMA-3-70B-Instruct生成五個多項選擇題，為每個數據集采樣了200個原始段落，共獲得1,000個多項選擇題。

讓大型語言模型在沒有上下文的情況下回答這些問題（記為下限），然后再次提供原始段落回答（記為上限）以進行健全性檢查。最后，使用實體級三元組（記為實體）、事件級三元組（記為事件）以及實體級和事件級三元組的組合（記為事件+實體）進行測試。

根據結果，得出以下見解：

(1)信息在構建的知識圖譜中得到了很好的保留。使用實體、事件或事件+實體的多項選擇題性能遠高于下限基線，并接近原始段落的上限。這表明原始段落中的信息在AutoSchemaKG構建的知識圖譜中得到了很好的保留；

(2)事件比實體更有效。使用事件或事件+實體的多項選擇題性能比僅使用實體的性能更接近上限，在大多數情況下準確率超過95%。這表明事件級三元組可以比實體級三元組保留更豐富、更精確的信息。

衡量模式質量

為了展示AutoSchemaKG歸納方法的能力，將其應用于實體、事件和關系類型化任務，衡量該方法可以召回多少類型。

由于基于規則的評估可能會忽略語義相似性，使用了兩個語義級別的指標：基于BERTScore的recall和coverage（BS-R和BS-C）。

結合三種大小的LLaMA-3的使用結果，可以看出，在大多數情況下，AutoSchemaKG在實體、事件和關系類型上的召回率超過80%，通常達到90%，并且隨著大型語言模型參數規模的增加而性能提升。

在多跳問答任務上的性能

選擇了MuSiQue、HotpotQA和2WikiMultihopQA三個以多跳推理需求著稱的基準數據集，這些任務需要跨文章的復雜關系路徑。從每個數據集中隨機選擇一千個問題。

將基于知識圖譜的RAG系統與幾種最先進的方法進行比較：基于圖的基線包括HippoRAG、HippoRAG2、GraphRAG、LightRAG以及MiniRAG。對于基于文本的RAG比較，評估了BM25+LLM（使用傳統BM25評分進行檢索）、Contriever以及RAPTOR。

使用開放領域問答的標準指標來評估AutoSchemaKG。精確匹配（EM）在歸一化后衡量二元正確性。F1分數衡量歸一化答案之間的詞元重疊度。

實驗結果表明，AutoSchemaKG在三個基準數據集的多跳問答中表現出色。

與HippoRAG2集成后，Full-KG配置（實體、事件和概念）的性能比BM25和Contriever等傳統檢索方法高出12-18%，凸顯了其在復雜推理場景中的優勢。

另外，與需要LLaMA-3.3-70B-Instruct進行構建和問答閱讀的原始HippoRAG2實現相比，AutoSchemaKG使用LLaMA-3.1-8B-Instruct作為圖構建器取得了相當或更好的結果。

在增強事實性方面的有效性

遵循FELM的協議，對三個領域（世界知識、科學/技術和寫作/推薦）應用RAG，同時對數學和推理領域保持原始設置。

為了進行全面比較，評估了多種檢索方法：HippoRAGv2、BM25和使用MiniLM的密集檢索。

所有實驗都使用相同的LLaMA-3.1-8B-Instruct模型，并集成了Neo4j和零樣本CoT設置，以確保方法間的公平比較。性能使用平衡準確率（對真假片段給予同等權重）和檢測事實錯誤的F1分數來衡量。

結果表明，使用AutoSchemaKG的HippoRAG2在維基百科（56.43%準確率，30.48%F1）和Common Crawl語料庫上持續優于基線，同時在Pes2o-Abstract上取得了有競爭力的結果。在維基百科上的優越性能可能源于FELM部分樣本以維基百科為參考。

通用領域知識能力

使用與FELM實驗相同的檢索和生成設置，將MMLU任務分類為主體類別，并專注于知識密集型領域，包括歷史、法律、宗教、哲學/倫理、醫學/健康、全球事實和社會科學。

結果表明，ATLAS知識圖譜在所有測試語料庫的這些領域中都提升了性能。

每個ATLAS變體都展示了獨特的優勢：ATLAS-Pes2o在醫學/健康和社會科學領域表現出色，反映了其源自學術論文的知識；ATLAS-Wiki在宗教、哲學/倫理和全球事實等一般知識領域顯示出優勢；而ATLAS-CC在法律和歷史方面表現最佳，利用了其更廣泛的網絡來源內容。

在這些人文學科和社會科學領域，所有ATLAS變體都持續優于無檢索基線和Freebase-ToG。例如，在法律領域，該方法比基線提高了4個百分點，而其他一些檢索方法實際上降低了性能。

領域特定的性能模式符合直觀預期：知識圖譜在檢索對人文學科和社會科學至關重要的事實關系方面表現出色，而在數學和技術領域，節點-關系結構在捕捉過程性知識方面效果有限，因此優勢有限。

論文鏈接：https://arxiv.org/abs/2505.23628