新智元報道

編輯：Aeneas KingHZ

【新智元導讀】MIT物理學大牛Max Tegmark團隊，再出重磅力作。他們發(fā)現(xiàn)：AI能夠在沒有任何先驗知識的情況下，完全獨立地提出哈密頓物理量，或拉格朗日方程式。僅僅通過嘗試解釋數(shù)據(jù)，AI就自己收斂到了這些物理原則，發(fā)現(xiàn)了宇宙間的奧秘！

充滿想象力的MIT大牛團隊，又有新作了！

大佬Max Tegmark、Ziming Liu等人在一項新研究中發(fā)現(xiàn)，AI能夠在沒有任何先驗知識的情況下，能夠完全獨立地提出哈密頓物理量。

論文地址：https://arxiv.org/pdf/2504.02822v1

不過要注意，這里的AI是LNN，而非LLM。

他們提出一種新的架構MASS（Multiple AI Scalar Scientists），允許單個神經(jīng)網(wǎng)絡學習跨多個物理系統(tǒng)的理論。

MASS在來自各種物理系統(tǒng)（擺或振蕩器）的觀測數(shù)據(jù)上進行了訓練，且事先并未被告知底層的物理定律。

結果，神奇的事來了。

MASS開發(fā)的理論，往往與已知的經(jīng)典力學哈密頓或拉格朗日表述高度相似，具體取決于其分析的系統(tǒng)的復雜性。

也就是說，AI僅僅通過嘗試解釋數(shù)據(jù)，就收斂到了這些已經(jīng)成熟的物理原理！

果然Max Tegmark出品，必屬精品。

驚人腦洞：AI科學家大PK，結果如何？

這項研究，源于研究者們的一個腦洞：如果兩個AI科學家是在相同的訓練數(shù)據(jù)上訓練的，他們會不同意彼此的觀點嗎？

有趣的是，他們發(fā)現(xiàn)，這些AI科學家在學習經(jīng)典物理學之后，起初可能會存在分歧，但當數(shù)據(jù)變得多樣化之后，他們就會不約而同地收斂到拉格朗日/哈密頓這些已知的理論。

如果簡單概括這項研究的幾大發(fā)現(xiàn)，可以歸結如下。

1.一個AI科學家能夠?qū)W習對同一物理現(xiàn)象的多種不同解釋；

2.當面對更復雜的系統(tǒng)時，表現(xiàn)出色的AI科學家會對其原有理論進行修正，以適應新的觀測；

3.AI科學家學到的理論具有高度相似性，這些理論通常與哈密頓或拉格朗日描 述形式非常接近；

4.在初期所學的理論更接近哈密頓動力學，但隨著系統(tǒng)復雜性的提升，最終學習結果更趨近于拉格朗日描述，這表明在豐富的理論空間中，拉格朗日動力學仍是唯一正確的描述體系。

在論文開篇，他們拋出了這張有趣的圖——AI科學家的演化。

即使在如單擺這樣簡單的物理系統(tǒng)中，不同的AI科學家在從數(shù)據(jù)中學習時，也會得出不同的結果。無法解釋當前數(shù)據(jù)的理論會被判定為錯誤。存活下來的AI科學家，則將面對更復雜的系統(tǒng)，例如雙擺，并據(jù)此不斷修正自己的理論以適應新的數(shù)據(jù)。最終，剩下的AI科學家將學到什么？

縱觀人類歷史，科學的進步是由好奇心推動的。

從阿基米德的浮力原理，到伽利略對運動的系統(tǒng)研究，到牛頓的經(jīng)典力學公式，再到愛因斯坦的相對論，這些科學家通過觀察提出假設，從而成為經(jīng)典的科學原理。

而在今天，我們正見證著全新的范式：ML和數(shù)據(jù)驅(qū)動方法，開始在粒子物理、天文學、材料科學和量子化學等領域取代傳統(tǒng)的統(tǒng)計工具。

下一步，機器學習方法很可能就將轉(zhuǎn)變?yōu)橥耆墒斓摹窤I科學家」，以最少的人為干預來提出假設、設計實驗、解釋結果。

牛頓和萊布尼茨，會對同一現(xiàn)象（微積分）提出互補但又不同的表述。那么在架構、初始方案和訓練范式上各不相同的AI，會收斂于不同的理論公式或視角嗎？

當AI科學家涉足更大更復雜的數(shù)據(jù)集，它們學到的理論會怎樣以意想不到的方式演變？

這次，研究者在實驗中，研究了不同條件下訓練的多個AI科學家，是會在科學理論上趨于一致，還是產(chǎn)生分歧。

AI不依賴物理先驗，發(fā)現(xiàn)潛在物理規(guī)律

在論文中，團隊提出了一種新方法，在幾乎不依賴物理先驗的前提下，通過學習一個標量函數(shù)，并利用「作用量守恒原理」，來發(fā)現(xiàn)潛在的物理規(guī)律。

這一思路與哈密頓神經(jīng)網(wǎng)絡（HNN）和拉格朗日神經(jīng)網(wǎng)絡（LNN）相似。

受經(jīng)典力學中哈密頓描述方式的啟發(fā)，HNN將物理系統(tǒng)運動方程的學習任務分解為兩個步驟：首先學習一個標量函數(shù)（即哈密頓量H），然后通過哈密頓正則方程計算運動狀態(tài)：

LNN則通過改為學習拉格朗日量來規(guī)避這一問題，并通過歐拉-拉格朗日方程來求導：

本文關注的核心問題就是：如果模型擁有學習多種理論的自由，它最終會學到什么？

MASS登場！

為此，團隊提出了MASS的模型。這是一種通用框架，同樣以「作用量守恒原理」為出發(fā)點，也從數(shù)據(jù)中學習一個自由形式的標量函數(shù)。

但與LNN和HNN不同，MASS并不會預設運動方程，而是具備自行學習運動方程的能力。

MASS背后的核心思想，就是在一個神經(jīng)網(wǎng)絡中嵌入跨多個物理系統(tǒng)學習與統(tǒng)一信息的能力。

它的目標是內(nèi)化一個共享框架，從而捕捉所有數(shù)據(jù)集中所體現(xiàn)的基本模式。

具體來說，它通過學習一個標量函數(shù)（類似于拉格朗日量或哈密頓量），利用其導數(shù)來編碼各個系統(tǒng)的特定動力學特征。

MASS 的工作流程如下：

1.數(shù)據(jù)輸入：MASS 接收來自不同物理系統(tǒng)的觀測數(shù)據(jù)，例如軌跡、狀態(tài)或能量值

2.假說生成：為每個系統(tǒng)分別設立的神經(jīng)網(wǎng)絡將學習一個標量函數(shù)，描述該系統(tǒng)的特定動力學

3.理論推導：MASS在所有系統(tǒng)間共享的最終一層會對學習到的標量函數(shù)在系統(tǒng)坐標（如位置、動量和/或速度）上的導數(shù)進行計算，推導出控制方程

4.精化與泛化：模型的輸出會與真實訓練數(shù)據(jù)比對以計算誤差，然后通過累加、優(yōu)化，獲得與多物理系統(tǒng)觀測結果一致的統(tǒng)一理論

實驗

單個AI科學家

在The Grand Design一書中，霍金表達過他對物理的理解：只要預測結果和實驗一致，多種理論框架，可以同樣有效地描述物理現(xiàn)象。

比如，對于無阻尼彈簧-質(zhì)量系統(tǒng)，牛頓運動定律可以解釋這個系統(tǒng)。

但通過能量函數(shù)與守恒定律，哈密頓力學體系獲得了全新的理論視角。

相比之下，即便對于簡諧振蕩器這類相對簡單的物理系統(tǒng)，機器學習模型也展現(xiàn)出極強的數(shù)據(jù)擬合靈活性。

這引出了一個深刻問題：如果訓練單個「AI科學家」來研究簡諧振蕩系統(tǒng)，學習到的理論表征將呈現(xiàn)何種形態(tài)？

與經(jīng)典的牛頓力學或哈密頓力學相比，又會有何異同？

對此，在無阻尼彈簧-質(zhì)量系統(tǒng)的模擬數(shù)據(jù)上，研究團隊對MASS進行了訓練。

圖3展示了訓練結果。

可以看出，MASS可以很容易地模擬出振子的運動軌跡，它所給出的預測具有良好的一致性和準確性。

圖3：MASS在簡單諧振子上的訓練結果

那在對最后一層添加L1和L2正則化的情況下，模型是如何學習并簡化理論的？

這要在訓練過程中，跟蹤模型中的顯著權重數(shù)量，即在最終輸出層中貢獻了前99%總范數(shù)的權重數(shù)量。

可以觀察到，隨著訓練步數(shù)的增加，這個數(shù)量也在減少，但最終會在42這個相對較大的數(shù)值上趨于穩(wěn)定。

這說明有將近42個權重項具有顯著數(shù)值，這顯然遠不能稱為一個簡單的理論。

畢竟只要4個參數(shù)，都能擬合出鼻子會動的大象！

圖4描述了在相空間中，MASS學習到的標量函數(shù)S與經(jīng)典哈密頓函數(shù)H的對比。

研究發(fā)現(xiàn)，單個MASS智能體，能夠成功重構出勢能與動能之和的表達式。

圖4：(a)學習得到的標量函數(shù)S與(b)哈密頓量x2+y2的等值線對比圖

具體來說，MASS通常能夠?qū)W習到與傳統(tǒng)物理先驗相似卻存在差異的函數(shù)形式。

在圖5中，研究者將每個激活的平均范數(shù)E(a_i)與對應的權重w_i進行了比較。

總體來看，非零權重通常對應著非零的激活范數(shù)。對最終預測貢獻最大的激活項，和按權重范數(shù)排的前五項完全一樣。

這就說明，它們是MASS所學習理論中最關鍵的組成部分，對最終預測起到了重要作用。

圖5的熱力圖顯示出，顯著項形成了三個明顯的聚類。

這就說明：模型形成了某種結構化的表示方式，將不同類型的變量組合成特定模式進行預測。

總之，本節(jié)結論可以概括如下。

1. 單個AI科學家可以非常有效地學習一個簡單的系統(tǒng)（見圖3），而且它會隨著訓練深入自動篩選出重要理論部分。

2. 學習到的理論結構類似于我們熟悉的物理表達式（見圖4）。

3. 當模型容量增大時，單個AI科學家往往會學習到多個看似不同的理論（見圖5(a)）。

4. 不過，這些不同的理論之間往往是強相關的（見圖5(b)），實質(zhì)上反映的是同一種規(guī)律。

那么，當AI科學家面對更復雜的物理系統(tǒng)時，哪些重要項會保留，哪些會消失？

AI科學家：更復雜的系統(tǒng)

簡諧振子系統(tǒng)可能對于一個機器學習模型來說太簡單了——它只需要擬合-x就夠了。

接下來，研究者探索了當AI科學家起初只觀察單一系統(tǒng)，后來逐步接觸到更復雜的物理系統(tǒng)時，會發(fā)生什么變化。

本節(jié)關注的四個具體系統(tǒng)：簡諧振子、單擺系統(tǒng)、開普勒問題/引力勢能系統(tǒng)、相對論簡諧振子。

當面對多個系統(tǒng)時，AI科學家如何稀疏化其理論（即篩選出關鍵項）？

又如何多樣化地學習，適用于不同物理規(guī)律表達結構的？

圖6展示了MASS模型在面對逐步增加復雜度的物理系統(tǒng)時的訓練表現(xiàn)。

訓練過程的具體安排如下：

- 在第0步開始，模型首先接觸的是簡諧振子系統(tǒng)；

- 到了第10,000步，加入了單擺系統(tǒng)；

- 第20,000步時，再加入引力勢能系統(tǒng)（開普勒問題）；

- 第30,000步時，引入最后一個系統(tǒng)——相對論簡諧振子。

這個訓練策略模擬了「AI科學家」逐步暴露在越來越復雜的自然規(guī)律面前的過程，進而觀察它如何在學習過程中調(diào)整和發(fā)展自己的理論結構。

可以發(fā)現(xiàn)如下結論。

1. 隨著系統(tǒng)數(shù)量的增加，模型學習到的顯著項數(shù)量反而減少了。

2. 隨著系統(tǒng)數(shù)量的增加，模型學習到的理論變得更加多樣化。

這說明：能同時解釋多個系統(tǒng)的項要比解釋單一或部分系統(tǒng)的項少得多。

第二個發(fā)現(xiàn)則體現(xiàn)在圖7中相關性熱圖的右下角：隨著訓練系統(tǒng)的增多，越來越多彼此不相關的項開始出現(xiàn)。

有趣的是，他們還發(fā)現(xiàn)：當MASS被要求同時解釋多個系統(tǒng)時，它最終傾向于使用幾乎相同的一組項來統(tǒng)一建模！

這表明在多系統(tǒng)學習中，模型傾向于尋找通用理論表達。

多個科學家：理論融合共生

當不同科學家回答同樣的問題時，似乎得出不同的理論，但其實只是同一硬幣的兩面（比如牛頓和萊布尼茨）。

當多個科學家去學習同樣的知識呢？

可以看出，不同智能體間的權重參數(shù)與激活值，存在顯著差異。

如下圖所示，根據(jù)初始化條件的不同，顯著項的選擇會發(fā)生劇烈變化。

然而即便如此，不同智能體篩選出的顯著項卻保持高度一致。

圖8展示了各激活項的相對強度分布，可見清晰的帶狀分布特征——這些條紋標定了可用于構建系統(tǒng)描述理論的可能項。

然而，激活強度與權重的大幅波動表明：雖然所有MASS學習的理論都落在圖8的暗紋區(qū)域內(nèi)，但每位「AI科學家」完全可能學會不同的理論形式。

那么，這些AI科學家是否在學習完全不同的內(nèi)容？

下文將證明，事實并非如此。

研究者針對MASS模型輸出層的激活矩陣，進行主成分分析(PCA)，可以發(fā)現(xiàn)：在大多數(shù)隨機初始化情況下，僅第一主成分就能解釋90%以上的方差。

將主成分降維后的B×1激活值，分布如圖14所示——統(tǒng)計分布特性實際上與均勻分布等效。

這一發(fā)現(xiàn)，在相對論性彈簧質(zhì)量系統(tǒng)（圖15b）和單擺系統(tǒng)（圖15a）的多智能體實驗中得到進一步驗證。

通過計算降維后B×1激活向量的相關系數(shù)（見圖9），可以發(fā)現(xiàn)：不同智能體間存在強相關性。

基于上述實驗結果，可以得出明確結論：當針對同一物理系統(tǒng)訓練時，不同智能體確實能夠?qū)W到相同的底層理論。

這樣，文章最初的核心問題就被證實了：兩位AI科學家確實能夠達成共識！

探索未知：Is拉格朗日all you need？

現(xiàn)在將分析拓展至完全普適的情形：讓多個MASS智能體在多個物理系統(tǒng)上進行訓練。

如果將現(xiàn)有框架拓展至尚未發(fā)現(xiàn)的系統(tǒng)時，會發(fā)生什么？

為此，研究者引入了合成系統(tǒng)。

如表I所示，通過定義每個系統(tǒng)的動能T與勢能V進行系統(tǒng)改造，特別構建了兩個附加合成系統(tǒng)。

核心實驗結果如圖10所示。

其中正確MASS智能體的數(shù)量定義為：在全部已見物理系統(tǒng)上，最大MSE損失低于5×10?3的初始化種子數(shù)；而顯著項的數(shù)量定義為：輸出層172個項中，累計貢獻95%總范數(shù)所需的最少項數(shù)。

隨著訓練系統(tǒng)數(shù)量的增加，始終保持正確的MASS智能體數(shù)量呈下降趨勢（圖10藍色虛線）。

研究者在所有正確的MASS科學家上進行這種受限優(yōu)化擬合，結果列于表II中。

與先前的觀察結果一致，MASS幾乎可以直接被轉(zhuǎn)換為拉格朗日理論，其R^2值普遍高于0.9。

這種與拉格朗日理論之間的強相關性引出了一個更深層次的問題：我們是否還能找到第三種經(jīng)典力學的描述方式？

至少，在MASS所探索的T=172個表達項的豐富理論空間中，答案似乎是否定的——拉格朗日描述就足夠了。

AI學會拓展到高維系統(tǒng)

盡管前文主要研究一維問題，但自然界中絕大多數(shù)物理系統(tǒng)都具有更高維度。

本節(jié)中，研究者以經(jīng)典的雙擺混沌系統(tǒng)為例展開研究——該系統(tǒng)的兩個自由度分別為兩個擺桿的擺動角度。實驗結果表明，MASS能有效拓展至高維場景。

研究團隊成功復現(xiàn)了雙擺系統(tǒng)的解析軌跡（圖12）。

實驗實現(xiàn)了對擺動角度的精確預測，與拉格朗日神經(jīng)網(wǎng)絡的結果相當。

值得注意的是，盡管沒有在架構中直接引入拉格朗日方程和歐拉-拉格朗日方程來強制能量守恒，MASS仍能自主習得該特性！

這就跟團隊的預期相一致了，他們發(fā)現(xiàn)：MASS學到的理論形式，與拉格朗日量高度相似。

作者介紹

Xinghong Fu

麻省理工學院數(shù)學和CS專業(yè)的本科生，在Max Tegmark實驗室做過本科研究員，工作為將機器學習應用到物理學領域。

劉子鳴（Ziming Liu）

劉子鳴，從事AI與科學交叉領域研究。

2021年2月，他進入麻省理工學院，攻讀物理學博士學位，預計今年5月畢業(yè)。

2020年9月-2021年2月，他在業(yè)界從事機器學習理論研究。

2016年9月-2020年6，他就讀于北京大學物理學專業(yè)。

Max Tegmark

Max Tegmark，MIT的明星物理學教授。

他在獲得皇家理工學院的物理學理學士學位后，于1990年離開了瑞典。之后，他就讀于加利福尼亞大學伯克利分校，并于1992年獲得碩士學位，1994年獲得博士學位。

博士畢業(yè)后，他先后在馬克斯-普朗克物理研究所、普林斯頓高等研究院、賓夕法尼亞大學任職。2004年至今，他一直在麻省理工學院物理系。

他專注于宇宙學和量子信息，但他當前研究的主要焦點是智能物理學。

參考資料：

https://arxiv.org/pdf/2504.02822v1