導語

上海科學智能研究院、集智科學研究中心和阿里云聯(lián)合發(fā)布了《AI × Science十大前沿觀察》，梳理出35個研究前沿，來推動科學發(fā)展的黃金時代到來。本篇為前沿觀察3，掃描下方二維碼，可獲得完整版下載地址，并能快速鏈接論文原文。

掃描二維碼 下載完整報告

融入先驗知識的AI模型

背景介紹

在構(gòu)建科學大模型的過程中，數(shù)據(jù)驅(qū)動和先驗知識的融合是關(guān)鍵，需要AI 模型具備可驗證的推理能力和邏輯體系，從單獨的模式識別演進出復雜認知能力。“融入先驗知識的 AI 模型”是在數(shù)據(jù)驅(qū)動的基礎(chǔ)上，通過融入人類積累的數(shù)學、邏輯、科學規(guī)律等系統(tǒng)性知識，使 AI 能夠在復雜場景中進行可解釋的推理。不同于歷史上符號主義具有明確的規(guī)則編碼，不同于歷史上符號主義具有明確的規(guī)則編碼，在現(xiàn)在的研究中，可以通過符號推理、知識圖譜與深度學習的結(jié)合，來逐步實現(xiàn)這一目標。

常見的知識表示形式，包括邏輯規(guī)則、概率圖、知識圖譜、數(shù)學公式等。下面將分別介紹其與深度學習融合的進展。

（1）融入邏輯規(guī)則與概率圖的神經(jīng)符號推理

近年來，神經(jīng)符號人工智能（Neuro-symbolic AI）致力于將符號推理與連接主義學習相結(jié)合，以實現(xiàn)更接近人類認知的AI系統(tǒng)。從知識形式的角度看，邏輯規(guī)則和概率圖都是符號推理的重要表現(xiàn)形式，它們通過顯式的符號化表示來捕獲和處理人類的先驗知識，只是關(guān)注的側(cè)重點有所不同[1][2][3][4]。邏輯規(guī)則主要用于表達確定性的推理關(guān)系，能夠?qū)＜抑R和領(lǐng)域規(guī)律形式化為嚴格的推理規(guī)則[5]。概率圖則主要用于表達不確定性知識，通過圖結(jié)構(gòu)描述變量間的概率依賴關(guān)系[6]。

在符號推理AI模型架構(gòu)方面，研究探索了多種將知識形式與深度學習相結(jié)合的方法[7][8][9]。同時，這種知識形式與模型架構(gòu)的結(jié)合也帶來了新的挑戰(zhàn)。2024年Marconato等人[10]指出了“推理捷徑”問題，即模型可能繞過預期的推理路徑，利用非預期的特征達到目標。這一發(fā)現(xiàn)提醒我們在設(shè)計神經(jīng)符號系統(tǒng)時，需要同時關(guān)注知識表示的語義完整性和模型推理的可控性。

邏輯規(guī)則與概率圖的融合為神經(jīng)符號AI注入了強大的推理能力，通過與深度學習的結(jié)合，在可解釋性和性能上都取得了顯著進展。隨著理論框架的完善和技術(shù)的不斷創(chuàng)新，這一方向?qū)⑦M一步拓展AI系統(tǒng)的認知邊界。

（2）圖結(jié)構(gòu)先驗知識的融入：從圖神經(jīng)網(wǎng)絡到知識圖譜

圖結(jié)構(gòu)作為一種基礎(chǔ)的知識表達形式，能夠自然地描述實體間的關(guān)系與交互。從知識表示的角度看，圖結(jié)構(gòu)通過節(jié)點和邊的形式提供了關(guān)系推理的基本框架。圖神經(jīng)網(wǎng)絡和知識圖譜作為圖結(jié)構(gòu)計算的兩個主要范式，體現(xiàn)了先驗知識融入的不同層次。圖神經(jīng)網(wǎng)絡專注于從數(shù)據(jù)中學習結(jié)構(gòu)化表示，通過網(wǎng)絡架構(gòu)本身體現(xiàn)關(guān)系推理的偏置[11]；而知識圖譜則致力于構(gòu)建顯式的知識表達，通過實體關(guān)系的形式化描述來整合領(lǐng)域知識[12][13]。這兩種范式在AI系統(tǒng)融入結(jié)構(gòu)化先驗知識方面具有一定互補性。

在圖神經(jīng)網(wǎng)絡層面，關(guān)系歸納偏置為模型提供了結(jié)構(gòu)化學習能力。幾何圖神經(jīng)網(wǎng)絡進一步強化了對物理規(guī)律的編碼[14]。在知識圖譜層面，圖結(jié)構(gòu)的表達從基礎(chǔ)的物理幾何約束提升到了高層的語義關(guān)聯(lián)，并在多個領(lǐng)域展現(xiàn)出獨特價值[15][16][17]。

這兩種計算范式的發(fā)展揭示了圖結(jié)構(gòu)先驗知識融入的基本規(guī)律：從隱式的結(jié)構(gòu)化學習到顯式的知識表達，從物理約束到語義關(guān)聯(lián)，構(gòu)建了AI系統(tǒng)獲取和利用結(jié)構(gòu)化知識的技術(shù)鏈條。

（3）數(shù)學定律與物理規(guī)律作為先驗知識的融入：數(shù)理公式的形式化表達

數(shù)學定律和物理規(guī)律是人類認知自然界最嚴謹?shù)南闰炛R。通過數(shù)理公式的形式化表達，這些知識可以精確地描述系統(tǒng)行為和約束條件，為AI模型提供了堅實的理論基礎(chǔ)。近年來，如何將這種嚴格的數(shù)理知識有效地融入深度學習模型，成為了提升AI系統(tǒng)可解釋性和泛化能力的重要研究方向。基于物理第一性原理的先驗知識雖然具有可解釋性和樣本效率，但在實際應用中常常需要強假設(shè)和復雜的數(shù)值計算[18][19][20]。相比之下，純數(shù)據(jù)驅(qū)動的深度學習雖然提供了高效的建模方案，卻可能違背基本的物理規(guī)律。這一認識推動了物理引導的深度學習框架的發(fā)展，其核心是將形式化的科學知識融入數(shù)據(jù)驅(qū)動方法。

在知識融入的模型架構(gòu)方面，物理引導神經(jīng)網(wǎng)絡展現(xiàn)出獨特優(yōu)勢。該方法通過優(yōu)化網(wǎng)絡架構(gòu)和損失函數(shù)，將物理約束引入模型訓練過程[21][22][23]。作為一種重要的先驗知識形式，數(shù)理公式的融入正在推動新一代AI模型的發(fā)展。這些模型既保持了科學規(guī)律的嚴謹性，又具備數(shù)據(jù)驅(qū)動的適應能力。

研究進展

進展目錄 1. 神經(jīng)符號人工智能 2. 幾何圖神經(jīng)網(wǎng)絡 3. 物理啟發(fā)的圖神經(jīng)網(wǎng)絡

推薦理由：NSAI是一種新興的AI范式，它整合了神經(jīng)網(wǎng)絡拓撲和符號推理的方法，來提高人工智能系統(tǒng)的準確性、可解釋性和精度，并實現(xiàn)從更少的數(shù)據(jù)中學習。

NSAI 模型中神經(jīng)網(wǎng)絡能從數(shù)據(jù)中提取復雜特征；符號推理模塊能夠結(jié)合物理世界的既定模型，增強可解釋性并減少對大量訓練數(shù)據(jù)的依賴。神經(jīng)網(wǎng)絡和符號推理分別對應于丹尼爾·卡尼曼（Daniel Kahneman）所說的系統(tǒng) 1 的快速思考模式和系統(tǒng) 2 的推理模式，這兩者的結(jié)合是 AI 模型發(fā)展的一場重要革命。

具有代表性的AlphaGeometry [24]是2024年DeepMind團隊在Nature文章中提出的一個神經(jīng)符號系統(tǒng)，它由神經(jīng)語言模型和符號推演引擎組成，用來尋找復雜幾何定理的證明。在訓練中，它使用了綜合不同復雜程度的數(shù)百萬個定理和證明的合成數(shù)據(jù)，通過引導符號推演引擎解決具有挑戰(zhàn)性的問題以產(chǎn)生無限分支點，從而擴增數(shù)據(jù)。在包含 30 道最新奧林匹克級問題的測試集中，AlphaGeometry 解決了 25 道問題，超越了之前僅解決 10 道問題的最佳方法，接近國際數(shù)學奧林匹克 (IMO) 金牌得主的平均表現(xiàn)。值得注意的是AlphaGeometry 產(chǎn)生了人類可讀的證明。后來模型更新到AlphaProof、AlphaGeometry2版本，并在2024 IMO大賽上進行了實戰(zhàn)，達到了銀牌得主的水平。

神經(jīng)符號AlphaGeometry的概述，以及解決簡單問題和IMO 2015年的第3個問題的案例 | 來源：Trinh， Trieu H.， et al. "Solving olympiad geometry without human demonstrations." Nature 625.7995 (2024): 476-482.

除了AlphaGeometry，從 2017 年到現(xiàn)在，人們已經(jīng)提出超過 15 種的 NSAI 模型，包括IBM的神經(jīng)向量符號架構(gòu)（NVSA）[25]能夠使用神經(jīng)網(wǎng)絡作為前端進行感知和語義解析；神經(jīng)概率軟邏輯（NeuPSL）[9]能夠?qū)⒏邔哟畏柾评砼c深度神經(jīng)網(wǎng)絡的低級感知相結(jié)合；邏輯張量網(wǎng)絡（LTNs）[5]可以使用邏輯公式來定義張量表示上的約束等模型；邏輯信息傳遞（LogicMP）[26]使用平均場變分推斷，將一階邏輯約束融合到任意深度學習網(wǎng)絡中實現(xiàn)高效準確的模型訓練與推理。

幾何圖神經(jīng)網(wǎng)絡

推薦理由：現(xiàn)有的圖神經(jīng)網(wǎng)絡（Graph Neural Network，簡稱GNN）模型僅考慮研究對象的拓撲信息，而忽略了其空間幾何結(jié)構(gòu)特征。Geo GNN 模型專注于處理和分析包含幾何信息的數(shù)據(jù)，如圖像、三維點云和分子結(jié)構(gòu)等，具有良好的可解釋性、泛化性和通用性。

幾何圖神經(jīng)網(wǎng)絡在對例如分子、蛋白質(zhì)、晶體、宏觀世界中的物體等進行建模的時候，會根據(jù)其特定的空間幾何結(jié)構(gòu)，建模為幾何圖。其中幾何圖需要滿足物理對稱性的約束，這種幾何約束便可以通過幾何圖神經(jīng)網(wǎng)絡嵌入到機器學習的流程中，從而更好地刻畫數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和變化規(guī)律，提高算法能力。例如在分子動力學模擬中，一個原子到另一個原子的空間方向信息在分子的經(jīng)驗勢中發(fā)揮核心作用，Geo GNN中信息的傳遞就包含了空間信息，可以來提高預測能力。而Geo GNN通過在信息傳遞過程中融入此類空間信息，可有效提升模型的預測能力。

在最新研究中，復旦大學和百奧幾何聯(lián)合推出了一種可預訓練的幾何圖神經(jīng)網(wǎng)絡Gearbind[27]，該模型在圖構(gòu)建階段，通過鍵邊、順序邊、最近鄰邊、徑向邊等多種關(guān)系對先驗知識進行嵌入；在特征提取階段，在原子層、邊層、殘基層多層級進行了信息傳遞，來全面了解蛋白質(zhì)界面上的復雜相互作用；在訓練階段，他們提出了對比預訓練算法，利用 CATH 中豐富的未標記單鏈蛋白質(zhì)結(jié)構(gòu)，將側(cè)鏈扭轉(zhuǎn)角知識提取到模型中，進一步提升模型性能。通過多關(guān)系圖構(gòu)建、多層次幾何信息傳遞和大規(guī)模未標記蛋白質(zhì)結(jié)構(gòu)數(shù)據(jù)的對比預訓練，模型提高了抗體與其靶標抗原的結(jié)合親和力，并成功增強了兩種不同格式和靶標的抗體結(jié)合能力，顯著提升了抗體治療性開發(fā)中的親和力成熟化。

基于Gearbind的計算機抗體親和力成熟化的流程 | 來源：Cai， Huiyu， et al. "Pretrainable geometric graph neural network for antibody affinity maturation." Nature communications 15.1 (2024): 7785.

除 Geo GNN外，GNN及其一些變體可以將相關(guān)性、因果性以及拓撲等各種與結(jié)構(gòu)有關(guān)的先驗知識轉(zhuǎn)化為圖結(jié)構(gòu)，從而融入到基于神經(jīng)網(wǎng)絡的機器學習框架中，并已經(jīng)在 AI for Science 領(lǐng)域取得了顯著進展。例如，結(jié)合物理化學約束的圖神經(jīng)網(wǎng)絡模型 PSICHIC[28]，與化學語言模型結(jié)合的模型DRAGONFLY[29]，等變圖擴散模型Chroma[30]，晶體材料穩(wěn)定性預測模型GNoME[31]，幾何增強表示學習方法GEM[32]等。

物理啟發(fā)的圖神經(jīng)網(wǎng)絡

推薦理由:物理啟發(fā)的圖神經(jīng)網(wǎng)絡 (Physics-Informed Graph Neural Networks)通過顯式建模粒子或網(wǎng)格之間的物理相互作用關(guān)系，既保持了神經(jīng)網(wǎng)絡強大的學習能力，又融入了先驗物理規(guī)律約束，在提升仿真精度和效率方面取得了突破性進展。

在科學仿真過程中，我們首先關(guān)心的問題是精確模擬。基于第一性原理求解偏微分方程的方法雖然可解釋性高，但是需要已知具體的偏微分方程及其參數(shù)，而且運算速度緩慢，難以大規(guī)模求解，更重要的是難以結(jié)合大量的微觀數(shù)據(jù)。 而物理啟發(fā)的圖神經(jīng)網(wǎng)絡技術(shù)可以彌補這些不足，這里我們以一系列基于圖神經(jīng)網(wǎng)絡（Graph Neural Network， GNN）[33]的工作為例，展開論述GNN在科學仿真領(lǐng)域的進展。首先是 DeepMind 提出了一種圖網(wǎng)絡模擬器（Graph Network Simulator，GNS）[34]，模擬粒子物理系統(tǒng)，可以應用于流體力學或者計算圖形學等領(lǐng)域。具體架構(gòu)如下圖所示。首先，研究人員可以根據(jù)先驗信息建立一個圖，然后基于消息傳遞（Message Passing）機制更新節(jié)點的特征，這里的“消息”可以代表粒子之間的相互作用關(guān)系，通過神經(jīng)網(wǎng)絡的映射，實現(xiàn)粒子狀態(tài)的更新，最終實現(xiàn)模擬粒子通過相互作用發(fā)生運動的動力學過程。

使用圖神經(jīng)網(wǎng)絡模擬復雜系統(tǒng)。| 圖片來源: Sanchez-Gonzalez et al. Learning to Simulate Complex Physics with Graph Network. ICML 2020.

鑒于GNS的成功，研究人員進一步發(fā)展了這一方法。混合圖神經(jīng)網(wǎng)絡 (HGNS) [35]通過引入多步預測機制顯著提升了長期預測的準確性，成功應用于百萬級網(wǎng)格規(guī)模的地下流體仿真，相比傳統(tǒng)求解器實現(xiàn)了18倍的加速。最新的GraphCast模型[36]更是將這一思路擴展到全球天氣預報應用上，通過巧妙設(shè)計的多尺度圖結(jié)構(gòu)，模型能夠同時捕捉從局部（幾十公里）到全球（幾千公里）尺度的大氣動力學，將天氣預報的計算時間從小時級降低到分鐘級。此外，一系列的后續(xù)工作還進一步將物理先驗知識，例如對稱性[37]、方程先驗信息[38]等嵌入神經(jīng)網(wǎng)絡架構(gòu)中，實現(xiàn)更高的準確度和數(shù)據(jù)應用效率。

挑戰(zhàn)與展望

數(shù)據(jù)與知識

新 AI 模型的設(shè)計，本質(zhì)是一個跨學科的科學問題。一方面需要對傳統(tǒng)領(lǐng)域知識有深刻的理解，另一方面需要對 AI 框架和能力有系統(tǒng)性的認識。將領(lǐng)域知識融入到AI模型中，可以實現(xiàn)更有效率的學習和推理。

系統(tǒng)化整合

數(shù)據(jù)驅(qū)動和知識驅(qū)動結(jié)合的嘗試仍處在初步階段，如何通過系統(tǒng)化的方式，將不同類型的知識、嵌入技術(shù)進行整合仍然是一個根本性且未解決的挑戰(zhàn)。構(gòu)建統(tǒng)一的算法設(shè)計框架，可以將神經(jīng)網(wǎng)絡、符號推理、概率圖、人類反饋等組件進行系統(tǒng)性整合。

底層軟件框架的支持

新的 AI 系統(tǒng)通常使用底層邏輯（如模糊邏輯、參數(shù)化和可微分結(jié)構(gòu)）來支持學習和推理能力。然而，當前主流AI系統(tǒng)多針對特定邏輯開發(fā)定制化推理工具，導致模塊化架構(gòu)設(shè)計與系統(tǒng)可擴展性受限。因此，亟需解決能夠包含廣泛推理邏輯功能的語法和語義擴展，同時具有快速且節(jié)省內(nèi)存特性的新軟件框架。此外，還需要新的編程模型、編譯器和運行時，來簡化和高效實現(xiàn)新的AI模型，并開放其全部潛力。

參考文獻

[1] Bhuyan， Bikram Pratim， et al. "Neuro-symbolic artificial intelligence: a survey." Neural Computing and Applications (2024): 1-36.

https://dl.acm.org/doi/10.1007/s00521-024-09960-z

推薦理由：這篇文章為神經(jīng)符號人工智能的綜述，回顧了過去二十年文獻，展示了如何將符號推理與連接主義學習相結(jié)合，以構(gòu)建更具人類思維能力的AI系統(tǒng)。

[2] Dickens， Charles. A Unifying Mathematical Framework for Neural-Symbolic Systems. Diss. University of California， Santa Cruz， 2024.

https://www.proquest.com/openview/9cc4f4c12499fa9ce39f4f7890d97608/1?pq-origsite=gscholar&cbl=18750&diss=y

推薦理由：這篇文章提出了一個統(tǒng)一的數(shù)學框架，用于神經(jīng)-符號系統(tǒng)的研究，探討如何實現(xiàn)神經(jīng)網(wǎng)絡與符號方法的協(xié)同。作者定義了實現(xiàn)有效NeSy AI的四個里程碑，并介紹了神經(jīng)符號能量基礎(chǔ)模型（NeSy-EBMs）。

[3] Wan， Zishen， et al. "Towards cognitive ai systems: a survey and prospective on neuro-symbolic ai." arXiv preprint arXiv:2401.01040 (2024).

https://arxiv.org/abs/2401.01040

推薦理由：這篇文章探討了朝向認知AI系統(tǒng)的進展，強調(diào)神經(jīng)符號AI在提升AI系統(tǒng)可解釋性、魯棒性和信任度方面的潛力。文章系統(tǒng)性地回顧了NSAI的發(fā)展，分析了其性能特征和計算操作，提出改進的必要性，并探討未來的挑戰(zhàn)和方向。NSAI為人機協(xié)作提供了新的視角，展現(xiàn)了在減少數(shù)據(jù)需求下的學習能力，是發(fā)展下一代AI系統(tǒng)的重要途徑。

[4] Marra， Giuseppe， et al. "From statistical relational to neurosymbolic artificial intelligence: A survey." Artificial Intelligence (2024): 104062.

https://www.sciencedirect.com/science/article/pii/S0004370223002084

推薦理由：這篇文章通過將神經(jīng)符號人工智能（NeSy）與統(tǒng)計關(guān)系人工智能（StarAI）進行比較，探討了學習與推理融合的關(guān)鍵挑戰(zhàn)。

[5] Badreddine， S.， Garcez， A. d.， Serafini， L.， and Spranger，M. Logic tensor networks. Artificial Intelligence， 303:103649， 2022.

https://www.sciencedirect.com/science/article/abs/pii/S0004370221002009

推薦理由：這篇文章提出了邏輯張量網(wǎng)絡（LTN）一種神經(jīng)符號框架，支持利用豐富的數(shù)據(jù)和關(guān)于世界的抽象知識進行查詢、學習和推理。LTN提供了一種統(tǒng)一的語言有效地表示和完成了AI的任務，包括多標簽分類、關(guān)系學習、數(shù)據(jù)分類、半監(jiān)督學習、回歸、嵌入學習和查詢應答等。

[6] Wohlgemut， Jared M.， et al. "Bayesian networks may allow better performance and usability than logistic regression." Critical Care 28.1 (2024): 234.

https://link.springer.com/article/10.1186/s13054-024-05015-w

推薦理由：這篇文章展示了在醫(yī)療預測任務中，基于貝葉斯網(wǎng)絡的方法相比傳統(tǒng)的邏輯回歸模型具有更好的性能和可用性，特別是在處理復雜的因果關(guān)系時。

[7] Dickens， Charles， et al. "A mathematical framework， a taxonomy of modeling paradigms， and a suite of learning techniques for neural-symbolic systems." arXiv preprint arXiv:2407.09693 (2024).

https://arxiv.org/abs/2407.09693

推薦理由：本文提出了一種統(tǒng)一的數(shù)學框架神經(jīng)符號能量基礎(chǔ)模型（NeSy-EBMs），以促進神經(jīng)符號系統(tǒng)（NeSy）的發(fā)展。作者構(gòu)建了一個模型范式的分類法，聚焦于神經(jīng)符號接口和推理能力，填補了NeSy系統(tǒng)中存在的理論空白。

[8] Duckham， Matt， et al. "Qualitative spatial reasoning with uncertain evidence using Markov logic networks." International Journal of Geographical Information Science 37.9 (2023): 2067-2100.

https://www.tandfonline.com/doi/full/10.1080/13658816.2023.2231044

推薦理由：這篇文章探索通過結(jié)合已有的定性空間演算與馬爾可夫邏輯網(wǎng)絡構(gòu)建具有不確定性證據(jù)的定性空間推理。文章提出了一種方法論，將不確定知識庫與確定的空間推理規(guī)則庫相結(jié)合，旨在自動化復雜空間場景的表示和推理。

[9] Pryor， Connor， et al. "NeuPSL: neural probabilistic soft logic." Proceedings of the Thirty-Second International Joint Conference on Artificial Intelligence. 2023.

https://dl.acm.org/doi/abs/10.24963/ijcai.2023/461

推薦理由：這篇文章介紹了神經(jīng)概率軟邏輯（NeuPSL）將先進的符號推理和深度神經(jīng)網(wǎng)絡的低級感知結(jié)合起來，比獨立神經(jīng)網(wǎng)絡模型實現(xiàn)了30%以上的改進。

[10] Marconato， Emanuele， et al. "Not all neuro-symbolic concepts are created equal: Analysis and mitigation of reasoning shortcuts." Advances in Neural Information Processing Systems 36 (2024).

https://proceedings.neurips.cc/paper_files/paper/2023/hash/e560202b6e779a82478edb46c6f8f4dd-Abstract-Conference.html

推薦理由：這篇文章分析了神經(jīng)符號預測模型中的推理捷徑問題，即模型雖然高準確率，但可能是基于具有“意外語義”的概念，從而未能實現(xiàn)預期的優(yōu)勢。通過對推理捷徑的系統(tǒng)性特征化，作者確定了其產(chǎn)生的四個關(guān)鍵條件，并提出了多種針對性的緩解策略。這項研究為改進NeSy模型的可信性提供了重要的見解，強調(diào)了解決推理捷徑的重要性。

[11] Ye， Zi， et al. "A comprehensive survey of graph neural networks for knowledge graphs." IEEE Access 10 (2022): 75729-75741.

https://ieeexplore.ieee.org/abstract/document/9831453

推薦理由：這篇綜述文章深入探討了圖神經(jīng)網(wǎng)絡（GNN）在知識圖譜（KG）中的應用，展示了其在解決多個關(guān)鍵任務的潛力。知識圖譜作為一種多關(guān)系圖，能夠有效表達各種實體之間的豐富事實信息，然而目前的知識圖譜仍面臨一些挑戰(zhàn)，這些問題近年來已成為研究的熱點。

[12] Rajabi， Enayat， and Kobra Etminani. "Knowledge-graph-based explainable AI: A systematic review." Journal of Information Science 50.4 (2024): 1019-1029.

https://journals.sagepub.com/doi/full/10.1177/01655515221112844

推薦理由：這篇文章系統(tǒng)性回顧了知識圖譜在可解釋人工智能（XAI）中的應用，著重分析了知識圖譜如何通過層次結(jié)構(gòu)表示實體、屬性及其關(guān)系，從而增強AI系統(tǒng)的可解釋性和可理解性。

[13] Peng， Ciyuan， et al. "Knowledge graphs: Opportunities and challenges." Artificial Intelligence Review 56.11 (2023): 13071-13102.

https://link.springer.com/article/10.1007/s10462-023-10465-9

推薦理由：這篇文章對知識圖譜領(lǐng)域進行了系統(tǒng)性的綜述，重點討論了知識圖譜的機遇與挑戰(zhàn)。作者指出，隨著人工智能和大數(shù)據(jù)的迅猛發(fā)展，知識圖譜在有效表示復雜信息方面的重要性日益突出。

[14] Han， Jiaqi， et al. "A Survey of Geometric Graph Neural Networks: Data Structures， Models and Applications." arXiv preprint arXiv:2403.00485 (2024).

https://arxiv.org/abs/2403.00485

推薦理由：這篇文章全面綜述了幾何圖神經(jīng)網(wǎng)絡（Geometric GNN）的數(shù)據(jù)結(jié)構(gòu)、模型和應用，強調(diào)了幾何圖在科學問題建模中的重要性。

[15] Zhong， Zhiqiang， and Davide Mottin. "Knowledge-augmented Graph Machine Learning for Drug Discovery: From Precision to Interpretability." Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2023.

https://dl.acm.org/doi/abs/10.1145/3580305.3599563

推薦理由：這篇文章介紹了知識增強圖機器學習（KaGML）的概念，專注于其在藥物發(fā)現(xiàn)中的應用。作者指出傳統(tǒng)人工智能模型在處理復雜生物醫(yī)學結(jié)構(gòu)時的局限，并提出通過整合外部生物醫(yī)學知識來提升準確性和可解釋性。

[16] Chen， Zhuo， et al. "Knowledge graphs meet multi-modal learning: A comprehensive survey." arXiv preprint arXiv:2402.05391 (2024).

https://arxiv.org/abs/2402.05391

推薦理由：這篇綜述文章系統(tǒng)回顧了知識圖譜與多模態(tài)學習的結(jié)合，分析了知識圖譜在多模態(tài)任務中的支持作用及多模態(tài)知識圖譜的構(gòu)建進展。

[17] Pan， Shirui， et al. "Unifying large language models and knowledge graphs: A roadmap." IEEE Transactions on Knowledge and Data Engineering (2024).

https://ieeexplore.ieee.org/abstract/document/10387715

推薦理由：這篇文章提出了將大型語言模型（LLMs）與知識圖譜（KGs）結(jié)合的框架，強調(diào)兩者在推理與可解釋性方面的互補性。作者定義了三個框架：KG增強LLMs、LLM增強KGs以及協(xié)同作用的LLMs與KGs，展示了它們?nèi)绾卧诓煌蝿罩袇f(xié)同工作。

[18] Yu， Rose， and Rui Wang. "Learning dynamical systems from data: An introduction to physics-guided deep learning." Proceedings of the National Academy of Sciences 121.27 (2024): e2311808121.

https://www.pnas.org/doi/abs/10.1073/pnas.2311808121

推薦理由：這篇文章介紹了物理引導深度學習的框架，強調(diào)將物理知識融入數(shù)據(jù)驅(qū)動方法的重要性，尤其是在建模復雜動態(tài)系統(tǒng)方面。

[19] Faroughi， Salah A.， et al. "Physics-guided， physics-informed， and physics-encoded neural networks in scientific computing." arXiv preprint arXiv:2211.07377 (2022).

https://arxiv.org/abs/2211.07377

推薦理由：這篇綜述文章詳細探討了物理引導、物理信息驅(qū)動和物理編碼的神經(jīng)網(wǎng)絡在科學計算中的應用。作者論述了這些網(wǎng)絡如何在面臨稀疏數(shù)據(jù)的科學和工程領(lǐng)域仍能有效地結(jié)合物理約束，提升多物理現(xiàn)象的數(shù)值建模能力。

[20] Han， Jiequn， and Linfeng Zhang. "Integrating machine learning with physics-based modeling." arXiv preprint arXiv:2006.02619 (2020).

https://arxiv.org/abs/2006.02619

推薦理由：這篇文章探討了如何將機器學習有效結(jié)合物理基礎(chǔ)建模，以開發(fā)可解釋且可靠的物理模型。作者重點分析了施加物理約束和獲取最優(yōu)數(shù)據(jù)集的關(guān)鍵問題，并以分子動力學和動量閉合方程為案例說明相關(guān)概念。

[21] Guo， Fangzhou， et al. "Improving the out-of-sample generalization ability of data-driven chiller performance models using physics-guided neural network." Applied Energy 354 (2024): 122190.

https://www.sciencedirect.com/science/article/abs/pii/S0306261923015544

推薦理由：這篇文章提出了一種物理引導神經(jīng)網(wǎng)絡模型，以改善冷卻器性能模型的外推能力，解決了傳統(tǒng)數(shù)據(jù)驅(qū)動模型在有限操作條件下的通用性問題。作者通過新的網(wǎng)絡架構(gòu)和修改損失函數(shù)，將領(lǐng)域知識融入數(shù)據(jù)驅(qū)動模型，從而顯著提升模型的外插性能。

[22] Bolderman， Max， et al. "Physics-guided neural networks for feedforward control with input-to-state-stability guarantees." Control Engineering Practice 145 (2024): 105851.

https://www.sciencedirect.com/science/article/pii/S096706612400011X

推薦理由：這篇文章介紹了一種新型物理引導神經(jīng)網(wǎng)絡架構(gòu)，旨在提升高精度機電控制的準確性。通過將物理基礎(chǔ)層與黑箱神經(jīng)層結(jié)合，該模型能在訓練中保證輸入狀態(tài)穩(wěn)定性，并顯著改善現(xiàn)有物理基礎(chǔ)前饋控制的性能。

[23] Kochkov， Dmitrii， et al. "Neural general circulation models for weather and climate." Nature 632.8027 (2024): 1060-1066.

https://www.nature.com/articles/s41586-024-07744-y

推薦理由：這篇文章提出了結(jié)合機器學習組件與可微分求解器的新型天氣與氣候模型（NeuralGCM）。該模型能在天氣預報和氣候模擬中實現(xiàn)與傳統(tǒng)物理模型競爭的表現(xiàn)，尤其在多天到多周的短期氣候預測上具有優(yōu)勢。

[24] Trinh, Trieu H., et al. "Solving olympiad geometry without human demonstrations." Nature 625.7995 (2024): 476-482.

https://www.nature.com/articles/s41586-023-06747-5

推薦理由：這篇文章來自谷歌 Deepmind 團隊，介紹了歐幾里得平面幾何的定理證明器AlphaGeometry，采用神經(jīng)符號架構(gòu)設(shè)計，在大規(guī)模合成數(shù)據(jù)上訓練，結(jié)合符號推理引擎來證明數(shù)學定理。

[25] Hersche， Michael， et al. "A neuro-vector-symbolic architecture for solving Raven’s progressive matrices." Nature Machine Intelligence 5.4 (2023): 363-375.

https://www.nature.com/articles/s42256-023-00630-8

推薦理由：這篇文章來自 IBM 團隊，提出了神經(jīng)向量符號架構(gòu)（NVSA），可以利用高維分布式表示運算符作為神經(jīng)網(wǎng)絡和符號人工智能之間的通用語言，來解決神經(jīng)網(wǎng)絡無法分解聯(lián)合表示來獲得不同的對象，以及符號人工智能面臨詳盡的規(guī)則搜索等問題.

[26] Xu, Weidi, et al. "LogicMP: A Neuro-symbolic Approach for Encoding First-order Logic Constraints." arXiv preprint arXiv:2309.15458 (2023). ICLR 2024

https://iclr.cc/virtual/2024/poster/19220

推薦理由：通過在馬爾科夫邏輯網(wǎng)絡實現(xiàn)平均場變分推斷，將一階邏輯約束融合到任意神經(jīng)網(wǎng)絡中，實現(xiàn)高效的模型訓練與推理

[27] Cai， Huiyu， et al. "Pretrainable geometric graph neural network for antibody affinity maturation." Nature communications 15.1 (2024): 7785.

https://www.nature.com/articles/s41467-024-51563-8

推薦理由：這篇文章提出一種預訓練的幾何圖神經(jīng)網(wǎng)絡Gearbind，利用多關(guān)系圖構(gòu)建、多級幾何信息傳遞和對大規(guī)模未標記蛋白質(zhì)結(jié)構(gòu)數(shù)據(jù)的對比預訓練，在SKEMPI和獨立測試集上優(yōu)于之前最先進的方法。并成功增強了兩種具有不同形式和目標抗原的抗體結(jié)合。

[28] Koh， Huan Yee， et al. "Physicochemical graph neural network for learning protein–ligand interaction fingerprints from sequence data." Nature Machine Intelligence (2024): 1-15.

https://www.nature.com/articles/s42256-024-00847-1

推薦理由：這篇文章提出了一個結(jié)合物理化學約束的框架 PSICHIC，可以直接從序列數(shù)據(jù)中解碼蛋白質(zhì)-配體的相互作用機制，實現(xiàn)更先進的準確性和可解釋性。

[29] Atz， Kenneth， et al. "Prospective de novo drug design with deep interactome learning." Nature Communications 15.1 (2024): 3408.

https://www.nature.com/articles/s41467-024-47613-w

推薦理由：這篇文章提出的DRAGONFLY模型，它利用了圖神經(jīng)網(wǎng)絡和化學語言模型組成的神經(jīng)網(wǎng)絡架構(gòu)，用于全面研究藥物-靶標相互作用組，包括蛋白質(zhì)-蛋白質(zhì)相互作用、藥物-靶點相互作用和藥物-藥物關(guān)系等。

[30] Ingraham， John B.， et al. "Illuminating protein space with a programmable generative model." Nature 623.7989 (2023): 1070-1078.

https://www.nature.com/articles/s41586-023-06728-8

推薦理由：這篇文章介紹了一種蛋白質(zhì)和蛋白質(zhì)復合物的生成模型Chroma，可以直接對新的蛋白質(zhì)結(jié)構(gòu)和序列進行采樣，并且可以進行調(diào)節(jié)以引導生成過程實現(xiàn)所需的特性和功能。通過這種統(tǒng)一的蛋白質(zhì)設(shè)計方法，來加速蛋白質(zhì)物質(zhì)的變成，來造福人類健康、材料科學和合成生物學。

[31] Merchant， Amil， et al. "Scaling deep learning for materials discovery." Nature 624.7990 (2023): 80-85.

https://www.nature.com/articles/s41586-023-06735-9

推薦理由：這篇文章基于圖神經(jīng)網(wǎng)絡構(gòu)建了一種晶體材料穩(wěn)定性預測模型GNoME，發(fā)現(xiàn)了多達220萬種理論上穩(wěn)定的新型材料。

[32] Fang， Xiaomin， et al. "Geometry-enhanced molecular representation learning for property prediction." Nature Machine Intelligence 4.2 (2022): 127-134.

https://www.nature.com/articles/s42256-021-00438-4

推薦理由：這篇文章提出了一種新穎的幾何增強分子表示學習方法GEM，基于幾何的圖神經(jīng)網(wǎng)絡架構(gòu)和專用的幾何級自監(jiān)督學習策略來學習分子幾何知識。

[33] Sanchez-Gonzalez， Alvaro， et al. "Learning to Simulate Complex Physics with Graph Networks." International Conference on Machine Learning， 2020.

https://arxiv.org/abs/2002.09405

這篇論文提出了基于圖神經(jīng)網(wǎng)絡的物理系統(tǒng)仿真框架,是該領(lǐng)域的開創(chuàng)性工作。

[34] Rubanova， Yulia， et al. "Constraint-based Graph Network Simulator." arXiv preprint arXiv:2112.09161， 2021.

https://arxiv.org/pdf/2112.09161.pdf

該工作提出的約束圖網(wǎng)絡模擬器為復雜物理系統(tǒng)仿真提供了新思路。

[35] Wu, Tailin, et al. "Learning large-scale subsurface simulations with a hybrid graph network simulator." proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2022.

https://dl.acm.org/doi/abs/10.1145/3534678.3539045

該論文提出混合圖神經(jīng)網(wǎng)絡，首次將圖神經(jīng)網(wǎng)絡用于3D百萬網(wǎng)格級別的地下流體仿真，并在實際生產(chǎn)中部署

[36] Lam， Remi， et al. "GraphCast: Learning Skillful Medium-range Global Weather Forecasting." arXiv preprint arXiv:2212.12794， 2022.

https://arxiv.org/abs/2212.12794

該工作將圖神經(jīng)網(wǎng)絡應用于全球天氣預報,顯著提升了預報效率。

[37] Satorras， Victor Garcia， et al. "E(n) Equivariant Graph Neural Networks." International Conference on Machine Learning， 2021.

https://arxiv.org/abs/2102.09844

該論文將對稱性約束引入圖神經(jīng)網(wǎng)絡,提高了物理仿真的準確性。

[38] Li， Zongyi， et al. "Physics-informed Neural Operator for Learning Partial Differential Equations." ACM/JMS Journal of Data Science， vol. 1， no. 3， 2024， pp. 1-27.

https://dl.acm.org/doi/10.1145/3590262

該工作將物理知識融入神經(jīng)算子,提高了偏微分方程求解的效率。

出品：漆遠、吳力波、張江 運營：孟晉宇、王婷 撰稿：張江、楊燕青、王婷、王朝會、十三維、周莉、梁金、袁冰、江千月、劉志毅 鳴謝（按姓氏拼音順序，排名不分先后）： 曹風雷 、陳小楊 、程遠、杜沅豈 、方榯楷 、付彥偉、 高悅、黃柯鑫、李昊、劉圣超、譚偉敏、吳泰霖、吳艷玲、向紅軍、張驥、張艷、朱思語

AI+Science 讀書會

詳情請見：

1.

2.

3.

4.

5.

6.