99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

馬爾可夫毯的宏觀物理發(fā)現(xiàn)框架

0
分享至


來源:CreateAMind

DYNAMIC MARKOV BLANKET DETECTION FOR MACROSCOPIC

PHYSICS DISCOVERY

基于動(dòng)態(tài)馬爾可夫毯的宏觀物理發(fā)現(xiàn)框架

https://arxiv.org/pdf/2502.21217



摘要

自由能原理(FEP)及其相關(guān)的馬爾可夫毯(Markov blankets)和本體勢(shì)(ontological potentials)最近被提出,作為一種廣義建模方法的核心組成部分,能夠數(shù)學(xué)地描述在隨機(jī)動(dòng)力系統(tǒng)中持續(xù)存在的任意對(duì)象;也就是說,這是一種關(guān)于“每一個(gè)”“事物”的數(shù)學(xué)理論。在這里,我們利用FEP發(fā)展出一種數(shù)學(xué)物理方法,用于識(shí)別對(duì)象、對(duì)象類型以及支配它們行為的宏觀、對(duì)象類型特定的規(guī)則。為此,我們深入探討了馬爾可夫毯、強(qiáng)化學(xué)習(xí)、系統(tǒng)辨識(shí)理論和宏觀物理學(xué)發(fā)現(xiàn)之間的深層聯(lián)系。

更具體地說,我們利用馬爾可夫毯的統(tǒng)計(jì)特性來實(shí)現(xiàn)文獻(xiàn)中系統(tǒng)等價(jià)性的兩個(gè)條件,并開發(fā)了一種子系統(tǒng)發(fā)現(xiàn)的方法,即如何最優(yōu)地將一個(gè)系統(tǒng)劃分為子系統(tǒng),以及如何最優(yōu)地對(duì)(子)系統(tǒng)進(jìn)行分類。通過馬爾可夫毯的統(tǒng)計(jì)特性,我們證明:如果一個(gè)給定系統(tǒng)的兩個(gè)子系統(tǒng)其馬爾可夫毯具有相同的穩(wěn)態(tài)統(tǒng)計(jì)特性或獎(jiǎng)勵(lì)率,則這兩個(gè)子系統(tǒng)是弱等價(jià)的;而如果它們邊界的時(shí)間演化或路徑具有相同的統(tǒng)計(jì)特性,則它們是強(qiáng)等價(jià)的。

這使我們能夠形式化地根據(jù)對(duì)象與其環(huán)境的相互作用方式來定義對(duì)象類型。同時(shí),這也讓我們可以將系統(tǒng)辨識(shí)與宏觀物理學(xué)發(fā)現(xiàn)的問題重新表述為馬爾可夫毯檢測(cè)的問題。我們采用生成模型的方法,并使用變分貝葉斯期望最大化算法,開發(fā)出一種動(dòng)態(tài)馬爾可夫毯檢測(cè)算法,能夠在僅部分觀測(cè)微觀動(dòng)力學(xué)的情況下,識(shí)別并分類宏觀對(duì)象。

這種無(wú)監(jiān)督算法使用貝葉斯注意力機(jī)制,顯式地標(biāo)記可觀測(cè)的微觀元素在其當(dāng)前系統(tǒng)中的角色,將其歸類為某一宏觀對(duì)象的內(nèi)部元素或邊界元素;并且它還能識(shí)別支配該對(duì)象與環(huán)境相互作用的宏觀物理定律。由于這些標(biāo)簽是動(dòng)態(tài)變化的或隨時(shí)間演化的,因此該算法能夠識(shí)別穿越固定介質(zhì)或與環(huán)境交換物質(zhì)的復(fù)雜對(duì)象。

這種方法直接引出了一個(gè)靈活的結(jié)構(gòu)化無(wú)監(jiān)督算法類別,能夠合理地將復(fù)雜的多粒子或多組件系統(tǒng)劃分為一系列相互作用的宏觀子系統(tǒng),即所謂的“對(duì)象”或“事物”。我們推導(dǎo)了幾個(gè)這類宏觀物理學(xué)發(fā)現(xiàn)算法的例子,并通過簡(jiǎn)單的數(shù)值實(shí)驗(yàn)展示了其效用,在這些實(shí)驗(yàn)中,該算法正確地標(biāo)注了牛頓擺、燃燒的導(dǎo)火線、洛倫茲吸引子和模擬細(xì)胞的組成部件。

1 引言

在本文中,我們重新審視了系統(tǒng)辨識(shí)理論、工程學(xué)和統(tǒng)計(jì)物理學(xué)中用于系統(tǒng)識(shí)別與分類的方法,并借助信息論的工具進(jìn)行分析,特別是使用了自由能原理(FEP)文獻(xiàn)中發(fā)展出的馬爾可夫毯(Markov blankets)和本體勢(shì)函數(shù)(ontological potential functions)等概念。受近年來從信息論原理出發(fā)推導(dǎo)經(jīng)典力學(xué)和統(tǒng)計(jì)力學(xué)成果的啟發(fā)[31, 10],我們提出了一種新的FEP推導(dǎo)方式,強(qiáng)調(diào)其如何用于寫出定義對(duì)象類型或表型的“本體勢(shì)函數(shù)”。

這種方法基于Jaynes最大熵原理(maximum caliber principle)的相對(duì)熵表述[41, 36, 42],并對(duì)宏觀對(duì)象或某一類型的子系統(tǒng)的邊界(即馬爾可夫毯)施加約束條件。我們展示了這些馬爾可夫毯約束完全刻畫了一個(gè)對(duì)象或?qū)ο箢愋团c其環(huán)境中其他對(duì)象之間的相互作用,從而以該子系統(tǒng)對(duì)其他子系統(tǒng)的影響為依據(jù),形式化地定義其行為特征。

這種方法涵蓋了當(dāng)代強(qiáng)化學(xué)習(xí)、系統(tǒng)辨識(shí)理論和宏觀物理學(xué)發(fā)現(xiàn)中更常見的對(duì)象識(shí)別與分類方法。

系統(tǒng)及其子系統(tǒng)的識(shí)別與分類問題表面上看似簡(jiǎn)單。用通俗的語(yǔ)言來說,傳統(tǒng)的系統(tǒng)辨識(shí)理論提出的問題是:如何用一個(gè)簡(jiǎn)單的黑箱函數(shù)逼近器來描述一個(gè)多組分系統(tǒng)的復(fù)雜相互作用和行為?在標(biāo)準(zhǔn)的系統(tǒng)辨識(shí)方法中,用戶將子系統(tǒng)識(shí)別為一個(gè)大型多組分復(fù)雜系統(tǒng)中的連通子集,然后刻畫該子系統(tǒng)的輸入與輸出之間的關(guān)系。

例如,在強(qiáng)化學(xué)習(xí)中,系統(tǒng)的輸入是智能體的觀測(cè),輸出是其動(dòng)作。將輸入映射到輸出的函數(shù)稱為“策略”(policy),在這種背景下,如果兩個(gè)智能體執(zhí)行相同的策略,則在相同輸入條件下會(huì)執(zhí)行相同的行為,因此被認(rèn)為是等價(jià)的。更一般地,具有相同輸入-輸出關(guān)系的兩個(gè)子系統(tǒng)可以被認(rèn)為屬于同一類型。

除了提供一種對(duì)子系統(tǒng)進(jìn)行分類的方法外,這種方法的優(yōu)勢(shì)在于它能夠通過建模為一個(gè)簡(jiǎn)單的傳遞函數(shù)或低維動(dòng)力系統(tǒng),來提供對(duì)復(fù)雜子系統(tǒng)的簡(jiǎn)潔描述。這通常涉及“黑箱化”整個(gè)系統(tǒng)內(nèi)部的組成部分:即在一個(gè)多對(duì)象或多組件系統(tǒng)周圍畫出一個(gè)邊界,然后確定一個(gè)(希望是簡(jiǎn)化的)數(shù)學(xué)表達(dá)式,用以總結(jié)邊界內(nèi)部復(fù)雜活動(dòng)對(duì)其邊界的影響,即通過其對(duì)子系統(tǒng)邊界的影響(也就是它與其他子系統(tǒng)的輸入-輸出關(guān)系)來描述。在此設(shè)定下,邊界本身是一個(gè)任意的、由用戶定義的邊界,用于將感興趣的子系統(tǒng)與其他子系統(tǒng)區(qū)分開。

在強(qiáng)化學(xué)習(xí)中使用的系統(tǒng)等價(jià)性定義來自系統(tǒng)辨識(shí)理論:如果兩個(gè)系統(tǒng)具有相同的輸入-輸出關(guān)系或策略,無(wú)論其內(nèi)部機(jī)制細(xì)節(jié)如何,它們就被認(rèn)為屬于同一類型。

在統(tǒng)計(jì)物理學(xué)中,也使用了類似的宏觀系統(tǒng)等價(jià)性概念。如果兩個(gè)系統(tǒng)可以用相同的動(dòng)力系統(tǒng)或能量函數(shù)(哈密頓量或拉格朗日量)建模,則它們被視為同一類型。系統(tǒng)辨識(shí)方法與統(tǒng)計(jì)物理方法之間的主要區(qū)別在于后者使用了一種粗粒化程序(coarse-graining procedure)來簡(jiǎn)化復(fù)雜的微觀動(dòng)力學(xué)。

這一過程始于在一個(gè)連通的微觀粒子體積周圍畫出一個(gè)任意邊界,并識(shí)別出概括該體積內(nèi)微觀成分活動(dòng)的宏觀狀態(tài)變量(如溫度、壓力和密度)。隨后,從對(duì)微觀動(dòng)力學(xué)的理解中推導(dǎo)出連接內(nèi)部狀態(tài)變量與邊界上守恒量?jī)敉康囊?guī)則或定律。由于通量是一種守恒量,不同的體積可以相互連接,從而得到描述更大系統(tǒng)的場(chǎng)方程,而該大系統(tǒng)本身又由使用相同通量變量的小子系統(tǒng)組成。于是,某種類型的宏觀系統(tǒng)就可以被識(shí)別為那些可以用相同通量-狀態(tài)關(guān)系建模的連通體積——也就是說,它是一桶水,因?yàn)橥爸械拿總€(gè)流體元素都具有相同的通量-狀態(tài)關(guān)系。這將狀態(tài)空間擴(kuò)展為依賴于宏觀物體形狀的場(chǎng),并將水桶視為提供了邊界條件。

自由能原理(FEP)被提出作為一個(gè)通用的數(shù)學(xué)建模框架,統(tǒng)一了統(tǒng)計(jì)力學(xué)與信息論,并為信念形成與更新以及信息處理提供了形式化的、生物學(xué)上合理的途徑。FEP從對(duì)“事物”或“對(duì)象”的數(shù)學(xué)定義開始:任何我們可以合理地稱之為“對(duì)象”的東西,必須由一個(gè)邊界將其與環(huán)境隔開。在FEP框架下,這個(gè)邊界被形式化為一個(gè)馬爾可夫毯,它建立了該對(duì)象與其環(huán)境之間的條件獨(dú)立性。

在這個(gè)框架中,對(duì)象不是通過物理狀態(tài)與通量或用戶標(biāo)記的輸入與輸出來定義的,而是通過馬爾可夫毯上的信息流動(dòng)來定義的。嚴(yán)格來說,馬爾可夫毯是對(duì)一組變量 Z ? X 的統(tǒng)計(jì)邊界的定義:它是最小的一組 B ? X,使得給定毯 B 后,Z 與不在 Z 或 B 中的所有其他變量之間是條件獨(dú)立的 [15, 36]。

在FEP文獻(xiàn)中,馬爾可夫毯通常被用來形式化“對(duì)象”的概念,因?yàn)轳R爾可夫毯的統(tǒng)計(jì)特性完整地刻畫了一個(gè)對(duì)象與其環(huán)境中其他對(duì)象之間的輸入-輸出關(guān)系。

這個(gè)看似抽象的邊界定義實(shí)際上隱含在系統(tǒng)辨識(shí)和統(tǒng)計(jì)物理學(xué)中所使用的邊界的定義之中。在系統(tǒng)辨識(shí)中,系統(tǒng)的邊界直接由其輸入和輸出來定義。完整地指定一個(gè)系統(tǒng)的輸入和輸出后,就可以將該子系統(tǒng)視為對(duì)整個(gè)系統(tǒng)起驅(qū)動(dòng)作用的力量。同樣,在統(tǒng)計(jì)物理學(xué)中,對(duì)進(jìn)入和離開一個(gè)子系統(tǒng)的通量(flux)的了解完全刻畫了該子系統(tǒng)及其對(duì)系統(tǒng)其余部分的影響,這與初始條件加上邊界條件足以確定狀態(tài)變量演化的方式是一致的。

因此,“條件獨(dú)立性是子系統(tǒng)與其環(huán)境之間邊界的一個(gè)屬性”這一觀點(diǎn)并不存在爭(zhēng)議。因此在FEP文獻(xiàn)中有人主張,我們可以根據(jù)對(duì)象的馬爾可夫毯來定義對(duì)象類型或表型。然而為了準(zhǔn)確起見,我們指出:更準(zhǔn)確的說法應(yīng)該是,在給定系統(tǒng)中存在一個(gè)馬爾可夫毯,僅僅表明該系統(tǒng)可以被劃分為兩個(gè)相互作用的子系統(tǒng)——僅此而已。

一旦識(shí)別出一個(gè)馬爾可夫毯,我們就可以利用它總結(jié)相關(guān)子系統(tǒng)的輸入和輸出這一事實(shí),得出結(jié)論:正是馬爾可夫毯的統(tǒng)計(jì)特性定義了一個(gè)對(duì)象類型。最近的研究已經(jīng)明確指出了在穩(wěn)態(tài)下保證子系統(tǒng)及其馬爾可夫毯劃分存在的數(shù)學(xué)條件 [44, 20];而在基于路徑的FEP公式中,它們的存在性是可以被保證的 [43, 44]。

相比之下,如何以數(shù)據(jù)驅(qū)動(dòng)的方式首先發(fā)現(xiàn)這些邊界的問題卻鮮有關(guān)注。事實(shí)上,在大多數(shù)FEP文獻(xiàn)中,研究重點(diǎn)是對(duì)存在馬爾可夫毯的情況下信息流動(dòng)的動(dòng)力學(xué)進(jìn)行解釋,因此通常假設(shè)馬爾可夫毯是存在的,即其存在性和范圍是先驗(yàn)指定的。當(dāng)文獻(xiàn)中確實(shí)提出了識(shí)別馬爾可夫毯的方法時(shí),例如在[17]中,關(guān)注的是平穩(wěn)分布中的近似毯結(jié)構(gòu)。這種類型的馬爾可夫毯即使是在具有實(shí)際毯結(jié)構(gòu)的系統(tǒng)中也很少實(shí)現(xiàn)。

此外,馬爾可夫毯總是被假定為靜態(tài)的——或者與固定組件相關(guān)聯(lián),從而造成一種錯(cuò)誤印象:像行波、火焰和生物體這樣表現(xiàn)出物質(zhì)更新的事物無(wú)法被建模為具有馬爾可夫毯的對(duì)象 [35, 30]。

綜上所述,所有這些都表明FEP文獻(xiàn)中缺失的關(guān)鍵成分是一個(gè)能夠識(shí)別動(dòng)態(tài)馬爾可夫毯子系統(tǒng)的程序,從而能夠描述廣泛的靜態(tài)和非靜態(tài)現(xiàn)象,包括火焰、閃電、生物體以及其他具有瞬態(tài)或可滲透邊界的系統(tǒng),這些系統(tǒng)可能隨時(shí)出現(xiàn)或消失。

這就需要闡明一個(gè)理論框架以及相關(guān)的推理算法類別,使我們能夠比喻性地“按事物本身的關(guān)節(jié)來切割世界”:即將復(fù)雜的多組分系統(tǒng)劃分為宏觀對(duì)象和對(duì)象類型,并發(fā)現(xiàn)支配這些對(duì)象之間相互作用的物理定律或宏觀規(guī)則。理想情況下,這種無(wú)監(jiān)督劃分應(yīng)滿足以下兩個(gè)條件:

  1. 能夠?qū)?duì)象及其相互作用提供一個(gè)緊湊、低維的描述;

  2. 在很大程度上符合人類直覺,即它生成的系統(tǒng)到子系統(tǒng)的劃分應(yīng)與人類對(duì)相關(guān)感知現(xiàn)象的直覺大致一致。

出于下文將要說明的原因,我們所描述的這類算法被稱為動(dòng)態(tài)馬爾可夫毯檢測(cè)算法。我們整體方法的基礎(chǔ)是對(duì)FEP在系統(tǒng)隨時(shí)間演化的路徑或軌跡空間中的表述,該表述源自Jaynes的最大熵原理,并結(jié)合了基于馬爾可夫毯的對(duì)象和對(duì)象類型的定義。

這種表述直接引出了“本體勢(shì)函數(shù)”的概念,它是通過施加在毯統(tǒng)計(jì)特性和毯動(dòng)力學(xué)上的約束來定義的,可以用作對(duì)象類型分類的基礎(chǔ)。在這里,“毯統(tǒng)計(jì)特性”指的是用子系統(tǒng)與環(huán)境之間的輸入-輸出關(guān)系來總結(jié)其動(dòng)力學(xué)行為的一般方式;而“毯動(dòng)力學(xué)”則指的是邊界本身如何隨時(shí)間變化。

從對(duì)象和對(duì)象類型的這一定義出發(fā),我們考慮了一類宏觀生成模型,該模型使用兩種類型的潛在變量:

  1. 宏觀潛在變量,用于以與施加馬爾可夫毯結(jié)構(gòu)一致的方式對(duì)微觀動(dòng)力學(xué)進(jìn)行粗粒化;

  2. 潛在分配變量,用于標(biāo)記微觀元素或觀測(cè)值在其所屬宏觀對(duì)象、邊界或環(huán)境中的角色。

關(guān)鍵在于,這些潛在分配變量也允許隨時(shí)間演化,演化方式需與馬爾可夫毯結(jié)構(gòu)保持一致。

最后,通過采用貝葉斯方法進(jìn)行模型發(fā)現(xiàn),我們利用貝葉斯推理中的自動(dòng)奧卡姆剃刀效應(yīng),選擇將系統(tǒng)劃分為子系統(tǒng)的方案,使得全局動(dòng)力學(xué)盡可能簡(jiǎn)單或低維。

總之,我們將系統(tǒng)辨識(shí)問題重新表述為一個(gè)馬爾可夫毯檢測(cè)問題。我們采用生成模型的方法,并使用變分貝葉斯期望最大化算法,開發(fā)出一種動(dòng)態(tài)馬爾可夫毯檢測(cè)算法,能夠在僅部分觀測(cè)微觀動(dòng)力學(xué)的情況下,識(shí)別并分類宏觀對(duì)象。

這種無(wú)監(jiān)督算法使用貝葉斯注意力機(jī)制,顯式地標(biāo)記微觀元素的當(dāng)前角色,將其歸類為某一宏觀對(duì)象的內(nèi)部元素或邊界元素;并且它還能識(shí)別支配該對(duì)象與環(huán)境相互作用的宏觀物理定律。由于這些標(biāo)簽是動(dòng)態(tài)變化的或隨時(shí)間演化的,因此該算法能夠識(shí)別穿越固定介質(zhì)或與環(huán)境交換物質(zhì)的復(fù)雜對(duì)象。

至關(guān)重要的是,這種方法消除了傳統(tǒng)系統(tǒng)辨識(shí)通常依賴的任意人為設(shè)定邊界的必要,從而實(shí)現(xiàn)了對(duì)復(fù)雜系統(tǒng)的無(wú)監(jiān)督分割,將其劃分為一系列相互作用的宏觀對(duì)象集合。此外,由于其基礎(chǔ)是發(fā)現(xiàn)馬爾可夫毯的統(tǒng)計(jì)特性,它自然繼承了識(shí)別對(duì)象類型的能力,使我們能夠根據(jù)支配對(duì)象與環(huán)境相互作用的宏觀規(guī)則或定律來對(duì)子系統(tǒng)進(jìn)行分類。

本文其余部分的結(jié)構(gòu)如下:我們首先概述馬爾可夫毯及其在FEP中的應(yīng)用。然后我們討論強(qiáng)化學(xué)習(xí)、系統(tǒng)辨識(shí)理論和宏觀物理學(xué)發(fā)現(xiàn)的核心要素,將兩種關(guān)于系統(tǒng)等價(jià)性的概念映射到馬爾可夫毯的統(tǒng)計(jì)特性上,并討論其局限性。

接下來,我們?cè)贔EP框架下重新審視馬爾可夫毯,探討靜態(tài)與動(dòng)態(tài)馬爾可夫毯的數(shù)學(xué)性質(zhì)。隨后,我們介紹馬爾可夫毯檢測(cè)算法,并展示其應(yīng)用于簡(jiǎn)單系統(tǒng)的數(shù)值實(shí)驗(yàn)結(jié)果。最后,我們討論這項(xiàng)工作對(duì)FEP整體的影響以及未來的研究方向。我們認(rèn)為,F(xiàn)EP文獻(xiàn)中所提出的馬爾可夫毯統(tǒng)計(jì)特性為我們提供了建立“本體勢(shì)函數(shù)”概念所需的數(shù)學(xué)工具,即一個(gè)通過邊界約束嚴(yán)格定義對(duì)象類型的函數(shù)。


2 自由能原理:核心要素 2.1 自由能原理表述中的馬爾可夫毯

從高層次來看,F(xiàn)EP(自由能原理)的標(biāo)準(zhǔn)表述始于統(tǒng)計(jì)物理學(xué)的方程,并在其中引入了馬爾可夫毯結(jié)構(gòu)。
“馬爾可夫毯”這一概念最初由Pearl提出[33],作為識(shí)別影響關(guān)于某一給定“內(nèi)部”隨機(jī)變量集合取值推理的所有隨機(jī)變量的完整集合的一種手段。
從實(shí)用角度來看,在圖模型中,若已知每個(gè)節(jié)點(diǎn)的馬爾可夫毯,就可以用來識(shí)別用于高效概率推理的消息傳遞算法的結(jié)構(gòu)。
這一性質(zhì)直接繼承自對(duì)一組“內(nèi)部”隨機(jī)變量 z?X的馬爾可夫毯的定義:即存在一個(gè)集合 b?X,使得 z⊥s∣b,其中 s是 z和 b并集的補(bǔ)集,或者等價(jià)地:

在有向圖形模型中,一組節(jié)點(diǎn)Z的馬爾可夫毯(Markov blanket)包括Z中所有節(jié)點(diǎn)的父母節(jié)點(diǎn)、Z中所有節(jié)點(diǎn)的子節(jié)點(diǎn)以及Z中子節(jié)點(diǎn)的父母節(jié)點(diǎn)。這建立了Z中的節(jié)點(diǎn)與不在B的毯子中的所有其他節(jié)點(diǎn)之間的條件獨(dú)立關(guān)系,即S = (Z ∪ B)c,其中上標(biāo)c表示補(bǔ)集,


在自由能原理(FEP)中,這種馬爾可夫毯結(jié)構(gòu)是通過假設(shè)微觀系統(tǒng)的動(dòng)力學(xué)可以被劃分為三個(gè)變量子集來實(shí)現(xiàn)的:內(nèi)部變量(z)、邊界變量(b)以及外部或環(huán)境變量(s),且滿足以下關(guān)系:


條件獨(dú)立性源于 s與 z之間不存在直接的因果相互作用,但可以直觀地理解為:如果路徑 bτ被觀察到,則它可以被視為兩個(gè)獨(dú)立子系統(tǒng)的已知驅(qū)動(dòng)因素。需要注意的是,與此系統(tǒng)相關(guān)的馬爾可夫毯適用于路徑(即系統(tǒng)的時(shí)序演化或軌跡),而不是穩(wěn)態(tài)分布。同樣重要的是要注意,那些具有毯結(jié)構(gòu)的動(dòng)力系統(tǒng)(即符合公式6的系統(tǒng)),通常不會(huì)導(dǎo)致也具有毯結(jié)構(gòu)的穩(wěn)態(tài)分布。關(guān)于這一普遍規(guī)律的一些例外情況,請(qǐng)參見文獻(xiàn)[15]。

馬爾可夫毯與子系統(tǒng)或?qū)ο箢愋椭g的聯(lián)系也直接來源于這種條件獨(dú)立關(guān)系。這是因?yàn)椋瑑蓚€(gè)邊界路徑相同的對(duì)象,無(wú)論其內(nèi)部動(dòng)力學(xué)細(xì)節(jié)如何,從定義上來說必須對(duì)環(huán)境產(chǎn)生相同的影響。因此,可以通過馬爾可夫毯的路徑統(tǒng)計(jì)來定義對(duì)象類型。另請(qǐng)參見文獻(xiàn)[42]。關(guān)鍵在于,這種基于統(tǒng)計(jì)的對(duì)象類型的定義,與系統(tǒng)辨識(shí)理論中使用的對(duì)象類型定義是一致的,而系統(tǒng)辨識(shí)是強(qiáng)化學(xué)習(xí)中的標(biāo)準(zhǔn)方法。這是因?yàn)樘航y(tǒng)計(jì)完全刻畫了子系統(tǒng)與其環(huán)境之間的相互作用,從而包含了子系統(tǒng)的輸入和輸出。因此,兩個(gè)內(nèi)部結(jié)構(gòu)和狀態(tài)可能非常不同的對(duì)象,只要它們具有相同的邊界統(tǒng)計(jì)特性,就會(huì)具有相同的輸入-輸出關(guān)系,并以完全相同的方式與環(huán)境進(jìn)行交互。這一點(diǎn)在簡(jiǎn)單的例子中很容易看出:我們可以將毯劃分為直接影響外部變量的“主動(dòng)狀態(tài)”和直接影響內(nèi)部變量的“感覺狀態(tài)”,即 b={a,o}。在這種情況下,將貝葉斯規(guī)則直接應(yīng)用于基于馬爾可夫毯定義的對(duì)象類型 ,就可以直接計(jì)算出,這正是我們所熟知的智能體策略或子系統(tǒng)的響應(yīng)函數(shù)。

值得一提的是,這種基于馬爾可夫毯統(tǒng)計(jì)的系統(tǒng)等價(jià)性表述比系統(tǒng)辨識(shí)中的表述更為完整,因?yàn)樗粌H包含所討論智能體或?qū)ο蟮牟呗浴_@是由于方程是對(duì)稱的,因此毯統(tǒng)計(jì)信息還編碼了外部系統(tǒng)的“策略”,即。這清楚地表明,基于馬爾可夫毯的對(duì)象類型定義是依賴于環(huán)境的


2.2 最大效度路徑與本體勢(shì)函數(shù)

任何定義的價(jià)值都在于其預(yù)測(cè)能力。在此,我們展示當(dāng)結(jié)合 Jaynes 的最大效度原理(principle of maximum caliber)[23, 10, 31]時(shí),這種基于馬爾可夫毯統(tǒng)計(jì)的對(duì)象定義可以直接導(dǎo)出一個(gè)“本體勢(shì)函數(shù)”(ontological potential function),該函數(shù)通過實(shí)現(xiàn)某一類型對(duì)象所需的宏觀行為規(guī)則,形式化了“對(duì)象類型”的概念,而這里的“類型”正是由馬爾可夫毯的路徑統(tǒng)計(jì)所定義的 [41, 36]。

具體來說,給定馬爾可夫毯上的路徑統(tǒng)計(jì) p(bτ),利用 Jaynes 的最大效度原理,我們可以識(shí)別出一個(gè)能量函數(shù)以及相應(yīng)的拉格朗日函數(shù)(Lagrangian),這些函數(shù)描述了環(huán)境、邊界和對(duì)象變量的動(dòng)力學(xué),從而生成具有該類型的對(duì)象。

這與物理學(xué)中系統(tǒng)分類的概念是一致的:在物理學(xué)中,系統(tǒng)是通過它們所最小化的能量函數(shù)或作用量(stationary actions)來定義的。(關(guān)于基于最大熵原理的類似論證,請(qǐng)參見文獻(xiàn) [27]。)

在這里,我們展示了邊界統(tǒng)計(jì)特性可以直接導(dǎo)出一個(gè)特定于對(duì)象的能量函數(shù)——即一個(gè)本體勢(shì)函數(shù),它對(duì)應(yīng)于廣義自由能及相關(guān)拉格朗日函數(shù)。這一結(jié)果彌合了基于馬爾可夫毯的對(duì)象類型定義與統(tǒng)計(jì)物理中的“類型”概念之間的差距,并自然地引出了基于對(duì)其馬爾可夫毯施加統(tǒng)計(jì)約束的系統(tǒng)分類方法 [37]。

將馬爾可夫毯統(tǒng)計(jì)與 Jaynes 的最大效度原理(principle of maximum caliber)相結(jié)合所得到的目標(biāo)函數(shù)正是自由能,這為自由能原理(FEP)提供了一種替代性的推導(dǎo)方式。為此,我們借鑒了近年來從純信息論角度出發(fā)對(duì)統(tǒng)計(jì)物理的重新推導(dǎo) [31, 10],并在最大效度框架中引入邊界約束。我們展示了這種方法最終會(huì)歸結(jié)為一個(gè)自由能最小化問題,與基于路徑表述的 FEP 的核心要素是一致的 [36]。

Jaynes 的最大效度原理是一種信息論的表述方法,它將受約束的最大熵方法 [24] 擴(kuò)展到了狀態(tài)空間中的路徑或軌跡空間上。這種信息論方法在統(tǒng)計(jì)推斷中被廣泛使用,用于確定某種數(shù)據(jù)的最簡(jiǎn)潔模型;即我們?cè)谟蓴?shù)據(jù)或已知物理定律得出的約束條件下,最大化熵或效度 [23]。最近的研究表明,當(dāng)將 Jaynes 原理應(yīng)用于狀態(tài)空間中的路徑時(shí),可以為物理學(xué)的基本方程提供一個(gè)信息論的基礎(chǔ):也就是說,給定一組適當(dāng)選擇的約束條件,通過優(yōu)化 Jaynes 的效度目標(biāo)函數(shù),可以直接導(dǎo)出經(jīng)典物理、統(tǒng)計(jì)物理和量子物理的所有核心方程,并且以一種清晰的方式揭示作用量(action)、能量(energy)、功(work)與熱(heat)(哈密頓函數(shù)或拉格朗日函數(shù))之間的深層關(guān)系 [10, 31]。

該原理還可直接用于推導(dǎo)非平衡態(tài)統(tǒng)計(jì)物理中的重要定理,包括 Crooks 定理、Noether 定理、Jarzynski 不等式,以及熱力學(xué)第二定律本身 [31, 22, 19]。

當(dāng) Jaynes 的最大效度原理與基于馬爾可夫毯統(tǒng)計(jì)的對(duì)象類型定義結(jié)合時(shí),其幾乎普適的適用性使我們能夠?qū)?strong>非平穩(wěn)(non-stationary)和非遍歷系統(tǒng)(non-ergodic systems)納入 FEP 的建模框架之中,而這一點(diǎn)在以往的建模形式下難以實(shí)現(xiàn)(參見 [6, 35, 11, 30])。正如我們將看到的那樣,這種靈活性使我們能夠定義——并最終以數(shù)據(jù)驅(qū)動(dòng)的方式發(fā)現(xiàn)——那些用來建模非平穩(wěn)、不斷變化、具有移動(dòng)性的實(shí)體(如火焰、閃電、行波)以及與環(huán)境進(jìn)行物質(zhì)交換的對(duì)象所需的動(dòng)態(tài)或“游移”的馬爾可夫毯。

2.2.1 Jaynes 原理與本體勢(shì)函數(shù)

數(shù)學(xué)上,最大效度原理始于對(duì)物理定律的概率性(通常是粗粒化的)描述,記作 。接著假設(shè)我們擁有某一特定系統(tǒng)的額外信息,這些信息表現(xiàn)為一些時(shí)間依賴的期望值形式的約束條件:



期望能量、熵與自由能之間的這種關(guān)系,使我們能夠?qū)?strong>效度最大化(caliber maximization)問題轉(zhuǎn)化為一個(gè)自由能最小化問題,這與自由能原理(FEP)的最新表述是一致的 [16]。此外,在獲得拉格朗日函數(shù)之后,可以直接推導(dǎo)出相應(yīng)的哈密頓函數(shù),并將其解釋為:哈密頓動(dòng)力學(xué)給出的是最可能的路徑[10]。那些不隨時(shí)間變化的約束條件,再結(jié)合時(shí)間平移對(duì)稱性的假設(shè),可以直接導(dǎo)致拉格朗日乘子 λ為常數(shù),并識(shí)別出一個(gè)守恒的能量量 (λ?F)。

關(guān)鍵在于,我們可以將這種以對(duì)數(shù)配分函數(shù)形式出現(xiàn)的自由能解釋為一個(gè)勢(shì)函數(shù),其偏導(dǎo)數(shù)可以導(dǎo)出廣義意義上的熱和功的概念 [31]。在最大效度框架下,正是這些約束條件最終導(dǎo)致了這個(gè)勢(shì)函數(shù)的存在,以及描述物理系統(tǒng)的朗之萬(wàn)方程和哈密頓動(dòng)力學(xué)。這意味著約束本身就可以被視為定義系統(tǒng)類型的因素。

因此,我們得出結(jié)論:這個(gè)自由能泛函是噪聲動(dòng)力系統(tǒng)的本體勢(shì)函數(shù),也是對(duì)“每一個(gè)”“事物”的通用定義中的核心組成部分。

2.2.2 “每一個(gè)”“事物”的馬爾可夫毯

FEP 方法在 Jaynes 的最大效度原理基礎(chǔ)上所增加的是對(duì)“每一個(gè)”“事物”的邊界的物理定義。也就是說,F(xiàn)EP 在最大效度的基礎(chǔ)上引入了一種觀點(diǎn):邊界不僅僅是虛構(gòu)的(例如體積之間的通量關(guān)系),而是對(duì)應(yīng)于明確且可分離的對(duì)象。這一觀點(diǎn)繼承自“子系統(tǒng)由邊界或毯約束所定義”的概念。

將上述定義的本體勢(shì)函數(shù)與馬爾可夫毯對(duì)子系統(tǒng)類型的定義相結(jié)合,可以直接得出在一個(gè)給定環(huán)境中對(duì)子系統(tǒng)、“對(duì)象”或“事物”的簡(jiǎn)單定義:


很容易證明,施加馬爾可夫毯約束并不會(huì)破壞從先驗(yàn)動(dòng)力學(xué)中繼承下來的條件獨(dú)立性結(jié)構(gòu)。雖然可以強(qiáng)行讓某個(gè)特定的 p(bτ)直接實(shí)現(xiàn) [10],但我們發(fā)現(xiàn)更直觀的做法是用一組(可能是無(wú)限的)瞬時(shí)期望約束來重新表示這個(gè)毯分布。

當(dāng)然,要表示一個(gè)任意的 p(bτ)所需的約束,并不一定是通常與最大效度目標(biāo)函數(shù)一起使用的那種“瞬時(shí)”約束。然而,我們更傾向于使用瞬時(shí)約束,因?yàn)樗鼈兡軐?dǎo)致因果性的動(dòng)力學(xué)行為,因此被認(rèn)為是“物理上可實(shí)現(xiàn)的”。

我們通過定義一個(gè)時(shí)間依賴的馬爾可夫毯ΩB(t)?X,并施加如下形式的約束來限制在這一類瞬時(shí)約束之內(nèi):

請(qǐng)注意,當(dāng)這一方法應(yīng)用于一個(gè)作為流形(manifold)的馬爾可夫毯時(shí),幾何約束只是在相應(yīng)的朗之萬(wàn)方程中引入了一個(gè)額外的通量項(xiàng),并不會(huì)改變其整體結(jié)構(gòu)。這是由于限制邊界約束于邊界元素上的示性函數(shù)(indicator function)的時(shí)間導(dǎo)數(shù)所導(dǎo)致的結(jié)果。無(wú)論該毯是否連通、或是否持續(xù)存在一段時(shí)間,這一結(jié)論都成立。

同樣需要注意的是,通過合理選擇約束函數(shù) fB(?),我們可以對(duì)流形 ΩB(t)的形狀和演化施加約束。這種方法的靈活性來源于這樣一個(gè)事實(shí):邊界 ΩB(t)既可以被明確指定,也可以被視為一個(gè)隨機(jī)變量,其支撐集是先驗(yàn)分布 p(?)所定義的所有馬爾可夫毯的集合。

在繼續(xù)之前,我們指出一些與系統(tǒng)辨識(shí)(systems identification)和強(qiáng)化學(xué)習(xí)(reinforcement learning)之間的聯(lián)系。如前所述,馬爾可夫毯統(tǒng)計(jì)等價(jià)意味著策略等價(jià)。在強(qiáng)化學(xué)習(xí)中,這通常被稱為兩個(gè)智能體之間的“強(qiáng)等價(jià)”(strong equivalence)。由于策略可以從毯統(tǒng)計(jì)中推導(dǎo)出來,因此馬爾可夫毯統(tǒng)計(jì)的等價(jià)性意味著策略等價(jià);也就是說,具有相同馬爾可夫毯統(tǒng)計(jì)的智能體屬于同一類型。

強(qiáng)化學(xué)習(xí)中還有一個(gè)“弱等價(jià)”(weak equivalence)的概念,指的是實(shí)現(xiàn)相同獎(jiǎng)勵(lì)率的智能體。在無(wú)限時(shí)間視野下,若獎(jiǎng)勵(lì)函數(shù)僅依賴于動(dòng)作和結(jié)果,則由平穩(wěn)邊界統(tǒng)計(jì)定義的智能體必然實(shí)現(xiàn)相同的獎(jiǎng)勵(lì)率。反過來也成立:在最大熵逆強(qiáng)化學(xué)習(xí)范式 [49, 45] 所施加的假設(shè)條件下,具有相同平穩(wěn)邊界統(tǒng)計(jì)的智能體擁有相同的獎(jiǎng)勵(lì)函數(shù)。這意味著,“弱等價(jià)”的智能體對(duì)應(yīng)于對(duì)邊界平穩(wěn)分布 p~(b)施加的約束。

還可以更直接地看到與強(qiáng)化學(xué)習(xí)的聯(lián)系,即注意到 Jaynes 的最大效度目標(biāo)函數(shù)與 KL 控制理論 [26, 12] 之間存在關(guān)聯(lián)。這清楚地表明,基于馬爾可夫毯統(tǒng)計(jì)的對(duì)象類型概念以及相關(guān)的本體勢(shì)函數(shù),涵蓋了系統(tǒng)辨識(shí)和當(dāng)代強(qiáng)化學(xué)習(xí)中使用的各種系統(tǒng)等價(jià)性相關(guān)概念。

簡(jiǎn)而言之,這種基于最大效度原理和馬爾可夫毯統(tǒng)計(jì)的對(duì)象類型定義具有理想的性質(zhì):它具有廣泛的適用性,與系統(tǒng)辨識(shí)理論一致,并且與一個(gè)一致的目標(biāo)函數(shù)——自由能——相關(guān)聯(lián)。雖然由 FB所施加的具體約束細(xì)節(jié)指示了對(duì)象的具體類型,但約束函數(shù)本身的總體特性也可用于對(duì)不同類型的對(duì)象進(jìn)行分類。

這也暗示了一種可能性:可以根據(jù)毯的定義域及其所施加的“本體論”或?qū)ο箢愋吞囟s束的種類,發(fā)展出一套不同對(duì)象類型的分類體系。例如,在統(tǒng)計(jì)物理文獻(xiàn)中,通常將那些只依賴于 x的約束稱為幾何約束。本文提出的方法至少闡明了可以定義約束的三個(gè)自由度:邊界 ΩB(t)的形狀或拓?fù)浣Y(jié)構(gòu)、邊界的動(dòng)力學(xué)行為,以及邊界的統(tǒng)計(jì)特性

例如,從拓?fù)浣嵌瓤矗?xì)胞的邊界是一個(gè)球面,它是動(dòng)態(tài)的,因?yàn)樗c環(huán)境交換物質(zhì),并且在實(shí)現(xiàn)穩(wěn)態(tài)(homeostasis)的程度上具有平穩(wěn)的邊界統(tǒng)計(jì)特性。而另一方面,剛體本質(zhì)上沒有內(nèi)部狀態(tài),因此它的“邊界”是靜態(tài)的(指形狀不變),但從它可以移動(dòng)的角度看,它又是動(dòng)態(tài)的。

2.3 一個(gè)簡(jiǎn)單的例子:火焰

對(duì)“事物”的馬爾可夫毯定義,一個(gè)常見的批評(píng)是該定義不適用于火焰[30, 35]。這一誤解源于一個(gè)錯(cuò)誤的假設(shè):即馬爾可夫毯必須是靜態(tài)的,或必須與物質(zhì)綁定在一起。然而,本文所提出的框架由于引入了對(duì)動(dòng)態(tài)邊界的考慮,因此能夠很好地描述火焰以及其他行波現(xiàn)象。

例如,考慮一個(gè)在一維導(dǎo)火索上燃燒的簡(jiǎn)單火焰,它表現(xiàn)為一個(gè)非定常的行波(我們?cè)诤罄m(xù)章節(jié)中會(huì)提供一個(gè)數(shù)值示例)。在此情況下,我們將邊界定義為區(qū)分已燃區(qū)域與未燃區(qū)域的點(diǎn),記作 yb(t)。我們所施加的約束是:在該點(diǎn)處的溫度應(yīng)對(duì)應(yīng)于驅(qū)動(dòng)火焰?zhèn)鞑サ姆艧峄瘜W(xué)反應(yīng)的著火溫度




2.4 到目前為止的總結(jié)

在實(shí)踐中,如何使用一個(gè)本體勢(shì)函數(shù)?我們首先通過指定一個(gè)關(guān)于動(dòng)力學(xué)的先驗(yàn)分布 p(x˙,x,t)來定義一種物理;然后通過約束條件來指定邊界的統(tǒng)計(jì)特性。由此得到的動(dòng)力系統(tǒng)可以確保產(chǎn)生由這些邊界統(tǒng)計(jì)所定義的那種對(duì)象。

這可以被理解為回答了如下問題:(1)微觀元素(包括子系統(tǒng)的內(nèi)部和外部元素)必須如何組織自身,或者(2)為了生成特定類型的邊界,能量必須如何注入并耗散于系統(tǒng)之中。

然而,這種實(shí)例化目標(biāo)對(duì)象的方法仍然無(wú)法讓我們確定:在一個(gè)給定的動(dòng)力系統(tǒng)中,哪些特定的子集應(yīng)當(dāng)被視為一個(gè)“對(duì)象”。它只是告訴我們一些關(guān)于那些我們已經(jīng)識(shí)別出的、能夠支持特定類型對(duì)象的系統(tǒng)的性質(zhì)。

事實(shí)上,盡管上述方法都很有用,它們都無(wú)法充分解決子系統(tǒng)識(shí)別與分類的問題,其根本原因在于:這些方法中的邊界實(shí)際上是由用戶定義的

既然我們已經(jīng)確認(rèn)合理的邊界對(duì)應(yīng)于馬爾可夫毯,那么很自然地會(huì)得出這樣一個(gè)結(jié)論:任何擁有一張馬爾可夫毯的元素集合都對(duì)應(yīng)一個(gè)對(duì)象。不幸的是,馬爾可夫毯的定義過于寬泛,難以實(shí)際應(yīng)用,因?yàn)槊恳粋€(gè)微觀元素在每一個(gè)時(shí)刻快照下都有一個(gè)馬爾可夫毯(見圖2a);參見文獻(xiàn) [6] 中的批判性討論。


因此,F(xiàn)EP 文獻(xiàn)中的大部分工作采納了一個(gè)額外的“成物性”(thing-ness)原則:即平穩(wěn)性(stationarity)[9]。也就是說,該馬爾可夫毯和對(duì)象必須是整個(gè)系統(tǒng)的一個(gè)適當(dāng)子集,并且構(gòu)成該毯和對(duì)象的元素必須不隨時(shí)間變化 [15]。

這一假設(shè)將任意一個(gè)流體元排除在外,因?yàn)樵诹黧w中物質(zhì)可以自由進(jìn)出該元素。當(dāng)這種情況發(fā)生時(shí),物質(zhì)通過馬爾可夫毯從對(duì)象內(nèi)部轉(zhuǎn)移到外部,因此該毯相對(duì)于流體中的組成元素而言并不是平穩(wěn)的。但這同時(shí)也排除了建模各種有趣系統(tǒng)——甚至是可能最有趣的系統(tǒng)——的可能性,例如具有動(dòng)態(tài)邊界或經(jīng)歷物質(zhì)更替的系統(tǒng)。

在此,我們認(rèn)為這種對(duì)邊界的平穩(wěn)性定義對(duì)于我們的目的來說既是過于嚴(yán)格,又是不夠嚴(yán)格的。

一方面,它過于嚴(yán)格,因?yàn)樗刮覀儗⒒鹧婊蛉魏涡胁ㄒ暈橐粋€(gè)對(duì)象。這是因?yàn)殡S著波動(dòng)傳播,構(gòu)成行波介質(zhì)的元素也在發(fā)生變化。

另一方面,它又不夠嚴(yán)格,因?yàn)樗馕吨魏稳我膺B接的元素子集都可以對(duì)應(yīng)一個(gè)對(duì)象。以上面的火焰例子為例,這意味著導(dǎo)火索上任何一段原本被火焰燃燒的部分都必須被視為一個(gè)“事物”,無(wú)論其溫度分布、反應(yīng)速率及其動(dòng)力學(xué)行為如何。

這個(gè)例子清楚地表明:我們需要一個(gè)更加通用的對(duì)象或“事物”的定義,它應(yīng)該能夠容納可以移動(dòng)或變化的馬爾可夫毯的概念,并應(yīng)包含系統(tǒng)整體動(dòng)力學(xué)的某些方面。

此外,引入動(dòng)態(tài)馬爾可夫毯會(huì)導(dǎo)致任何一個(gè)給定系統(tǒng)中存在的馬爾可夫毯數(shù)量大幅增加。顯然,我們需要一個(gè)額外的原則,來幫助我們選擇那些真正對(duì)應(yīng)于我們?cè)敢夥Q為“事物”的馬爾可夫毯。

既然我們的目標(biāo)是以合理的方式在世界的“關(guān)節(jié)處”進(jìn)行切割,那么一個(gè)顯而易見的選擇就是采用作用于全局動(dòng)力學(xué)上的奧卡姆剃刀原理(Occam’s razor)。我們通過尋找具有動(dòng)態(tài)馬爾可夫毯結(jié)構(gòu)的低維動(dòng)力系統(tǒng),并采用貝葉斯建模方法來實(shí)現(xiàn)奧卡姆剃刀原理,從而落實(shí)這一新原則。

3 動(dòng)態(tài)馬爾可夫毯檢測(cè)算法

我們現(xiàn)在以一般形式介紹一種具有動(dòng)態(tài)馬爾可夫毯結(jié)構(gòu)的概率生成模型,該模型可以被“反演”(invert),用于識(shí)別馬爾可夫毯,并根據(jù)對(duì)象的毯統(tǒng)計(jì)特性和動(dòng)力學(xué)行為對(duì)對(duì)象進(jìn)行類型分類。

一般來說,馬爾可夫毯檢測(cè)是一個(gè)困難的問題。即使在靜態(tài)環(huán)境下,它也是一個(gè)NP難問題[18, 48]。這是因?yàn)樵诩幢闾菏瞧椒€(wěn)的情況下,給定系統(tǒng)中馬爾可夫毯的數(shù)量也會(huì)隨著系統(tǒng)組件數(shù)量的增加而呈組合式增長(zhǎng)。如果允許馬爾可夫毯是動(dòng)態(tài)變化的,問題只會(huì)變得更加復(fù)雜。

我們通過借鑒宏觀物理規(guī)律發(fā)現(xiàn)的方法來繞過這一難題,這種方法專注于發(fā)現(xiàn)能夠總結(jié)高維系統(tǒng)的低維動(dòng)力學(xué)。具體來說,我們提出了一類降維算法,將高維動(dòng)力系統(tǒng)劃分為具有馬爾可夫毯結(jié)構(gòu)的子系統(tǒng)。

這基于一個(gè)假設(shè):低維潛在變量的動(dòng)力學(xué)具有馬爾可夫毯結(jié)構(gòu),并且原始高維觀測(cè)空間中的每一個(gè)元素都只受其中一個(gè)低維潛在變量的驅(qū)動(dòng)。

例如,在假設(shè)系統(tǒng)中存在一個(gè)單一對(duì)象的情況下,我們尋找一組狀態(tài)變量來表示環(huán)境 s,以及為每個(gè)對(duì)象定義的兩組狀態(tài)變量:

  • 一組用來總結(jié)屬于邊界的元素的整體行為 b ;

  • 另一組用來描述邊界內(nèi)部元素的整體行為 z 。

我們保留了“內(nèi)部元素集合可能為空”的可能性。

為了發(fā)現(xiàn)具有非平穩(wěn)毯結(jié)構(gòu)的對(duì)象,我們?cè)谀P椭性O(shè)計(jì)了足夠的靈活性,方法是直接將邊界 ΣB(t)建模為一個(gè)潛在分配變量。這是通過構(gòu)建一個(gè)動(dòng)態(tài)注意力機(jī)制(dynamic attention mechanism)實(shí)現(xiàn)的,該機(jī)制以概率方式為每一個(gè)微觀元素或測(cè)量值分配一個(gè)標(biāo)簽。這些標(biāo)簽表明該元素是內(nèi)部元素外部元素還是毯元素

這些標(biāo)簽之間的轉(zhuǎn)換遵守馬爾可夫毯的通常規(guī)則:

  • 禁止從內(nèi)部到外部的標(biāo)簽轉(zhuǎn)換;

  • 標(biāo)簽轉(zhuǎn)換的概率僅依賴于宏觀的毯變量。


具體而言,每個(gè)測(cè)量值所關(guān)聯(lián)的標(biāo)簽決定了它的條件獨(dú)立性關(guān)系

當(dāng) 的情況時(shí),也有類似的方程成立。盡管該觀測(cè)模型是以生成形式書寫的,但它實(shí)際上對(duì)應(yīng)于一個(gè)從觀測(cè)值到目標(biāo)宏觀變量的帶有噪聲的非線性投影,并由分配變量進(jìn)行調(diào)制。

宏觀變量的動(dòng)力學(xué)以及分配變量的轉(zhuǎn)移概率都受到約束,必須服從馬爾可夫毯結(jié)構(gòu);此外還有一個(gè)附加限制:標(biāo)簽的轉(zhuǎn)移概率僅依賴于邊界變量



這構(gòu)成了這一類馬爾可夫毯發(fā)現(xiàn)算法的一般形式。

為了將這種通用的動(dòng)態(tài)馬爾可夫毯模型轉(zhuǎn)化為更易處理的形式,需要引入一些額外的簡(jiǎn)化假設(shè)。

例如,可以通過遞歸切換動(dòng)力學(xué)系統(tǒng)實(shí)現(xiàn)非線性動(dòng)力學(xué),并通過變分推理加以發(fā)現(xiàn) [29];或者由神經(jīng)網(wǎng)絡(luò)指定并通過梯度下降進(jìn)行學(xué)習(xí) [34]。

在此,我們假設(shè)采用簡(jiǎn)單的線性動(dòng)力學(xué),并使用一個(gè)切換線性變換來實(shí)例化非線性觀測(cè)模型。

我們還將假設(shè)分配變量的轉(zhuǎn)移概率在先驗(yàn)上獨(dú)立于宏觀潛在變量。

這導(dǎo)致了一個(gè)混合了離散和連續(xù)潛在變量的因子隱馬爾可夫模型(factorial Hidden Markov Model, HMM),其獨(dú)特之處在于:每一個(gè)觀測(cè)節(jié)點(diǎn) i所關(guān)聯(lián)的標(biāo)簽都有其獨(dú)立的離散 HMM。參見圖 4。


對(duì)于單一對(duì)象的情況,該線性模型表示如下:


其中矩陣 A通過在右上角和左下角放置零塊來施加馬爾可夫毯結(jié)構(gòu)的約束。

同樣地,的均值也被限制為包含零塊,使得每個(gè)觀測(cè)值僅依賴于三個(gè)連續(xù)潛在變量中的一個(gè)。

這些約束通過拉格朗日乘子的作用施加在均值上。

為了減少模型的退化性(degeneracy),我們假設(shè) 是對(duì)角矩陣,并通過對(duì)拉格朗日乘子施加后驗(yàn)均值的單位跡(unit trace)。

這進(jìn)一步借助貝葉斯推理中自動(dòng)發(fā)生的“奧卡姆剃刀效應(yīng)”,鼓勵(lì)模型發(fā)現(xiàn)低維的宏觀動(dòng)力學(xué)。

為了建模非線性觀測(cè)模型,我們將離散潛在分配變量的取值域擴(kuò)展為包括與每個(gè)標(biāo)簽 S,B,Z相關(guān)的“角色”(roles)。

這實(shí)際上為標(biāo)簽分配變量實(shí)例化了一個(gè)分層隱馬爾可夫模型(Hierarchical Hidden Markov Model, HHMM),其中馬爾可夫毯結(jié)構(gòu)在層次結(jié)構(gòu)的最高層被強(qiáng)制執(zhí)行,而最低層則表示一個(gè)線性專家混合模型(mixture of linear experts),用于描述目標(biāo)宏觀變量與觀測(cè)之間的關(guān)系。

如圖 3b 所示。

請(qǐng)注意,我們也可以對(duì)動(dòng)力學(xué)使用同樣的技巧,從而實(shí)現(xiàn)一個(gè)遞歸切換的動(dòng)力系統(tǒng);但我們選擇保留線性動(dòng)力學(xué)并結(jié)合非線性觀測(cè)模型,以此作為 Koopman 嵌入技巧(Koopman embedding trick)的一種實(shí)例化 [28]。

3.1 推斷與學(xué)習(xí)

我們使用變分貝葉斯期望最大化(Variational Bayesian Expectation Maximization, VBEM)來近似貝葉斯推斷,其后驗(yàn)分布在參數(shù)和兩類潛在變量上進(jìn)行因子分解,即:


這遵循了“注意、推斷、重復(fù)”(Attend, Infer, Repeat, AIR)范式 [14],其中對(duì)分配變量軌跡 ωi(t)的后驗(yàn)更新對(duì)應(yīng)于注意力機(jī)制的更新,隨后是聯(lián)合推斷 s、b和 z,然后在更新參數(shù)的后驗(yàn)分布之前再次重復(fù)這一過程。

請(qǐng)注意,將這兩個(gè)步驟展開為一個(gè)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)后,會(huì)得到一種強(qiáng)大的Transformer 架構(gòu)[46] 的變體,但該架構(gòu)具有額外的結(jié)構(gòu),使得注意力變量在網(wǎng)絡(luò)各層之間相互關(guān)聯(lián)。


4 結(jié)果

我們展示了一些簡(jiǎn)單的數(shù)值實(shí)驗(yàn),用以演示動(dòng)態(tài)馬爾可夫毯檢測(cè)算法如何合理地標(biāo)注牛頓擺(Newton’s cradle)、燃燒導(dǎo)火索、洛倫茲吸引子(Lorenz attractor)以及一個(gè)人工生命模擬系統(tǒng)中的各個(gè)組件。

該模型的推斷與學(xué)習(xí)是通過一個(gè)定制的消息傳遞框架實(shí)現(xiàn)的,專門設(shè)計(jì)用于利用條件共軛性(conditional conjugacy)和隨機(jī)坐標(biāo)上升法(stochastic coordinate ascent)[21]。

動(dòng)態(tài)馬爾可夫毯檢測(cè)算法及其所依賴的 VBEM 推斷模塊的代碼可在以下地址找到:
https://github.com/bayesianempirimancer/pyDMBD

所有模擬都在完整數(shù)據(jù)集上進(jìn)行訓(xùn)練,學(xué)習(xí)率設(shè)為 0.5,共訓(xùn)練 50 輪(epochs),并至少重復(fù) 10 次。所示結(jié)果來自在對(duì)數(shù)似然下界(ELBO)上表現(xiàn)最佳的一次計(jì)算運(yùn)行。

4.1 牛頓擺(Newton’s Cradle)

牛頓擺的模擬由 5 個(gè)大小和形狀完全相同的球體組成,它們通過繩子懸掛,彼此之間的間距正好等于任意一個(gè)球的直徑。

當(dāng)系統(tǒng)處于靜止?fàn)顟B(tài)時(shí),這些球緊挨在一起,剛好接觸。

當(dāng)最左側(cè)的球被初始置于遠(yuǎn)離其他四個(gè)球的位置時(shí),它會(huì)向下擺動(dòng),在回到靜止位置時(shí)停止運(yùn)動(dòng),并將其動(dòng)量依次傳遞給其他球體。

這些球隨后按順序移動(dòng),并將動(dòng)量最終傳遞給最右側(cè)的球,使其向上擺動(dòng)并離開原來的位置;之后再返回并重復(fù)這一過程。

如果初始擾動(dòng)了兩個(gè)球,則會(huì)有兩個(gè)球從另一側(cè)彈出,以此類推。

我們模擬了一個(gè)牛頓擺,其初始擾動(dòng)分別為0 個(gè)、1 個(gè)、2 個(gè)或 3 個(gè)球,擾動(dòng)角度是在 0 到 3π/2之間隨機(jī)選擇的相同角度。

之后,所有球都會(huì)受到一個(gè)小角度的隨機(jī)擾動(dòng),其標(biāo)準(zhǔn)差為0.1 弧度

將基于作用力的靜態(tài)馬爾可夫毯檢測(cè)算法[15] 應(yīng)用于該數(shù)據(jù)集時(shí),無(wú)論系統(tǒng)的動(dòng)力學(xué)如何,也不管初始有多少個(gè)球被擾動(dòng),它總是只發(fā)現(xiàn)一個(gè)對(duì)象,且該對(duì)象以中間的球?yàn)橹行摹?/p>

相比之下,動(dòng)態(tài)馬爾可夫毯檢測(cè)算法(DMBD)對(duì)球的標(biāo)注方式更符合人類直覺:

我們傾向于將牛頓擺的動(dòng)力學(xué)感知為一個(gè)鐘擺,或是一對(duì)分別位于左側(cè)和右側(cè)的相互作用的球組。這兩種常見的認(rèn)知方式恰好對(duì)應(yīng)于這個(gè)簡(jiǎn)單的 DMBD 算法最常發(fā)現(xiàn)的兩種劃分方式。

具體而言,圖 5 展示了這兩種解決方案,其中顏色表示標(biāo)簽:綠色代表邊界(boundary),紅色和藍(lán)色分別代表對(duì)象(object)與環(huán)境(environment)。

當(dāng)初始擾動(dòng)了兩個(gè)或更多球時(shí),一起運(yùn)動(dòng)的球總會(huì)被賦予相同的標(biāo)簽。

最常被識(shí)別出的解決方案(圖 5a-c)將運(yùn)動(dòng)中的球標(biāo)記為對(duì)象,不論它們位于擺的哪一側(cè)。在這種情況下,環(huán)境標(biāo)簽被分配給那些基本保持靜止的球。

而邊界則由那些在碰撞中短暫獲得高速度的球組成。因此,邊界在大多數(shù)時(shí)間并不具有物理上的真實(shí)存在感。

第二種最常見的劃分方式將邊界設(shè)為靜止的球,并將運(yùn)動(dòng)的球標(biāo)記為對(duì)象和環(huán)境。此時(shí),一側(cè)的球始終被標(biāo)記為環(huán)境,另一側(cè)的球被標(biāo)記為對(duì)象,見圖 5(d-f)。

同樣地,當(dāng)最左側(cè)或最右側(cè)的球基本處于靜止?fàn)顟B(tài)時(shí),它們就成為了邊界的一部分。


4.2 燃燒的導(dǎo)火索

為了展示該方法如何處理火焰行波現(xiàn)象,我們模擬了一個(gè)在一維介質(zhì)中傳播的燃燒前鋒,即一根燃燒的導(dǎo)火索

我們將導(dǎo)火索建模為一個(gè)非均勻介質(zhì),由離散的燃料顆粒組成,這些顆粒之間的間距是隨機(jī)的,均值為1,方差為0.02。氧化劑被建模為一個(gè)具有無(wú)限來源的擴(kuò)散過程,其方向與導(dǎo)火索垂直。它對(duì)燃燒的影響在于決定了熱量釋放的速率。當(dāng)顆粒達(dá)到臨界溫度時(shí),燃燒開始發(fā)生。假設(shè)導(dǎo)火索具有恒定的熱擴(kuò)散系數(shù) 1。


我們選擇這個(gè)簡(jiǎn)化模型的原因是:即使在沒有對(duì)燃料顆粒大小、位置和氧化劑可用性進(jìn)行隨機(jī)擾動(dòng)的情況下,已知該模型也能夠支持以平穩(wěn)周期性混沌方式傳播的行波 [4]。

在此模型中,可觀測(cè)變量 yit包括每個(gè)位置 i上的燃料濃度氧化劑濃度以及溫度

總體而言,在燃燒前鋒前方,燃料和氧化劑都很充足;而在燃燒前鋒后方,燃料已經(jīng)耗盡,但氧化劑仍然充足;在燃燒前鋒內(nèi)部,燃料迅速降至零,氧化劑先下降然后恢復(fù)到當(dāng)前可獲得的水平,同時(shí)釋放出熱量(見圖8a)。

我們通過系統(tǒng)地改變?nèi)剂系目捎眯?/strong>(作為位置的函數(shù))和氧化劑的可用性(作為時(shí)間的函數(shù)),模擬了多種類型的燃燒波。

這些參數(shù)的組合驅(qū)動(dòng)了燃料顆粒燃燒過程中熱量釋放速率的變化

此外,我們還在一個(gè)小范圍內(nèi)(0.4 到 0.5)調(diào)整了著火溫度

這導(dǎo)致了以不同平均速度傳播的燃燒波,并伴隨著周期性或隨機(jī)波動(dòng)

某些燃燒波甚至?xí)?strong>熄滅

圖8(b) 展示了一個(gè)燃燒波速度呈現(xiàn)周期性波動(dòng)的例子。


有趣的是,內(nèi)部變量與對(duì)象位置幾乎沒有相關(guān)性,似乎僅表示熱量釋放(參見圖9)。

相比之下,環(huán)境變量與火焰位置的相關(guān)性最強(qiáng)。

為完整起見,我們指出:雖然這里展示的結(jié)果是最常見的結(jié)果,但該算法有時(shí)也會(huì)收斂到不太合理的解。

例如,有時(shí)“對(duì)象”對(duì)應(yīng)于燃燒波后方已被燃燒的部分,“邊界”則對(duì)應(yīng)于熱量釋放區(qū)域

然而,前面描述的那些解對(duì)應(yīng)的ELBO(證據(jù)下界)更高,因此在貝葉斯模型比較中被明顯偏好。

4.3 洛倫茲吸引子(Lorenz Attractor)

洛倫茲吸引子也為這種方法提供了一個(gè)獨(dú)特的測(cè)試平臺(tái)。在本例中,只有一個(gè)三維觀測(cè)值,即對(duì)象的 x,y,z位置。

該系統(tǒng)的混沌動(dòng)力學(xué)支持兩個(gè)低維(約 2 維)吸引子,以及在這些吸引流形之間切換的全局動(dòng)力學(xué)。

在此情形下,算法發(fā)現(xiàn)了一種可以稱為相變的現(xiàn)象:當(dāng)軌跡靠近左側(cè)吸引子時(shí),被標(biāo)記為“對(duì)象”;而當(dāng)靠近右側(cè)吸引子時(shí),則被標(biāo)記為“環(huán)境”。邊界標(biāo)簽則合理地對(duì)應(yīng)于描述這兩個(gè)吸引子之間過渡過程的軌跡部分。

由于“對(duì)象”與“環(huán)境”之間的對(duì)稱性,我們也可以將這種現(xiàn)象解釋為一個(gè)相變建模的例子:一個(gè)單一對(duì)象在穿過相變邊界后改變了其身份(identity)。


4.4 合成生物學(xué)模擬

作為最后一個(gè)例子,我們使用Particle Lenia來模擬一個(gè)表現(xiàn)出類細(xì)胞結(jié)構(gòu)和行為的自組織系統(tǒng)。我們采用其中的“旋轉(zhuǎn)體”(rotator)示例 [7] 進(jìn)行模擬。

在這個(gè)模型中,單個(gè)粒子通過距離依賴的吸引與排斥函數(shù)來表征彼此之間的相互作用,從而展現(xiàn)出有趣的自組織行為。

如圖11所示,初始狀態(tài)下是一團(tuán)隨機(jī)分布的粒子,很快它們就自發(fā)形成一個(gè)類似細(xì)胞的結(jié)構(gòu),包含一個(gè)“細(xì)胞核”和一個(gè)簡(jiǎn)單的“細(xì)胞膜”。


經(jīng)過一段時(shí)間后,膜上發(fā)展出類似鞭毛的旋轉(zhuǎn)結(jié)構(gòu),而細(xì)胞核則收縮成更小的形狀。

我們將這個(gè)模擬用作多對(duì)象識(shí)別方案的測(cè)試平臺(tái),希望算法能夠識(shí)別出細(xì)胞的不同“部分”實(shí)際上是處于共同環(huán)境中的不同對(duì)象。

我們假設(shè)存在 11 個(gè)不同的對(duì)象,每個(gè)對(duì)象由毯變量和對(duì)象變量的二維動(dòng)力學(xué)所表征。

每個(gè)對(duì)象通過毯潛變量和對(duì)象潛變量各自的單一角色與觀測(cè)值相關(guān)聯(lián),以鼓勵(lì)發(fā)現(xiàn)具有空間局部性的對(duì)象。

在展示的示例中,該模擬共識(shí)別出 5 個(gè)對(duì)象,分別對(duì)應(yīng)于:

  1. 無(wú)序狀態(tài)(綠色)
  2. 簡(jiǎn)單細(xì)胞膜(黃色)
  3. 復(fù)雜細(xì)胞膜(橙色)
  4. 無(wú)序細(xì)胞核(紫色)
  5. 緊致細(xì)胞核(藍(lán)色)

    這說明了該方法在將復(fù)雜系統(tǒng)分割為多個(gè)相互作用的動(dòng)態(tài)子系統(tǒng)方面的

潛在實(shí)用性

5 討論

在本文中,我們將自由能原理(FEP)、貝葉斯力學(xué)馬爾可夫毯以及本體勢(shì)函數(shù)置于更廣泛的貝葉斯統(tǒng)計(jì)信息論思想之中,這些思想交匯于 Jaynesian 和貝葉斯對(duì)數(shù)學(xué)物理及一般數(shù)學(xué)建模的方法之間。


具體而言,我們?cè)诖苏故镜墓ぷ鞅砻鳎喝粢獙?FEP 的邏輯和構(gòu)建應(yīng)用于建模有趣的“事物”,我們必須跳出 FEP 自身的邏輯框架,并引入一個(gè)額外的原則——用來從指數(shù)級(jí)數(shù)量的可能馬爾可夫毯劃分中選出“最佳”的那一個(gè)。令人滿意的是,這一原則正是我們?cè)谧畛醢l(fā)展 FEP 時(shí)所依賴的核心思想:Jaynes 原理驚奇最小化(surprise minimization)。

這對(duì)我們來說并不意外,因?yàn)槲覀冮_發(fā)的動(dòng)態(tài)馬爾可夫毯檢測(cè)算法本身正是建立在導(dǎo)致 FEP 發(fā)展的相同基礎(chǔ)理念之上。

我們提出了一類模型及其相關(guān)的推斷算法,將動(dòng)態(tài)馬爾可夫毯檢測(cè)問題視為一個(gè)宏觀物理規(guī)律發(fā)現(xiàn)的問題。其根本在于識(shí)別那些能夠產(chǎn)生系統(tǒng)整體最簡(jiǎn)明宏觀描述的動(dòng)態(tài)邊界元素。

該過程的輸出是一組特定對(duì)象類型的宏觀規(guī)則,這些規(guī)則決定了對(duì)象邊界與其所處環(huán)境之間的相互作用方式(通過某些可能是虛構(gòu)的內(nèi)部變量進(jìn)行中介)。

我們?yōu)檫@種方法提供了動(dòng)機(jī):

  • 我們主張是馬爾可夫毯的統(tǒng)計(jì)特性定義了對(duì)象類型,這一觀點(diǎn)與系統(tǒng)辨識(shí)理論和強(qiáng)化學(xué)習(xí)一致;

  • 同時(shí)我們也指出,當(dāng)與Jaynes 的最大效度原理相結(jié)合時(shí),這種定義自然地引出了我們熟悉的關(guān)于相關(guān)物理系統(tǒng)的描述,如能量函數(shù)、哈密頓量和拉格朗日量;

  • 此外,這些數(shù)學(xué)工具的結(jié)合直接導(dǎo)出了以本體勢(shì)函數(shù)為特征的對(duì)象描述,而該勢(shì)函數(shù)恰好對(duì)應(yīng)于自由能泛函

  • 因此,這也提供了一種從信息論(最大效度建模)出發(fā)的 FEP 替代性推導(dǎo)方法,而不是傳統(tǒng)上從統(tǒng)計(jì)物理方程出發(fā)的 FEP 推導(dǎo)路徑。

僅憑這種基于信息論的對(duì)象分類方法,無(wú)法確定在一個(gè)系統(tǒng)中眾多動(dòng)態(tài)毯中哪一個(gè)應(yīng)被視為“真正的子系統(tǒng)”。為了解決這一模糊性,我們?cè)V諸于另一個(gè)原則:簡(jiǎn)約性(parsimony)。也就是說,好的標(biāo)簽應(yīng)該帶來整個(gè)系統(tǒng)的一種緊湊、低維的描述。

這并不是說被標(biāo)記的對(duì)象具有某種形而上學(xué)上的意義,而是說好的標(biāo)簽對(duì)于預(yù)測(cè)、泛化和數(shù)據(jù)壓縮是有用的。

為了理解這一切如何普遍適用,我們可以考慮一個(gè)簡(jiǎn)單的例子:質(zhì)子。盡管它由大量更為基本的粒子構(gòu)成,但如果我們正確地將這些粒子組成的集合標(biāo)記為“質(zhì)子”,那么我們的觀測(cè)熵就會(huì)降低——僅僅因?yàn)橘|(zhì)子帶有正電荷、具有特定質(zhì)量等性質(zhì),并因此表現(xiàn)出相應(yīng)的行為;而一個(gè)隨機(jī)選擇的粒子可能具有不同的質(zhì)量和電荷,因而行為也會(huì)不同。

事實(shí)上,正是出于這個(gè)原因,人們才給這個(gè)粒子群體賦予了一個(gè)標(biāo)簽:這個(gè)標(biāo)簽具有預(yù)測(cè)能力。換言之,在已知質(zhì)子可觀測(cè)屬性(位置、動(dòng)量、自旋等)的情況下,只要知道它的標(biāo)簽,我們就可以預(yù)測(cè)它將如何與環(huán)境中的其他事物相互作用,而無(wú)需去思考其內(nèi)部發(fā)生了什么。

換句話說,好的標(biāo)簽在全局范圍內(nèi)最小化了未來觀測(cè)的條件熵(或稱“驚奇”)。在這個(gè)意義上,在數(shù)學(xué)物理建模中,標(biāo)簽扮演著可檢驗(yàn)假設(shè)的解釋角色:

一個(gè)好的假設(shè)之所以有意義,是因?yàn)樗寯?shù)據(jù)變得不那么令人驚訝——即當(dāng)我們假設(shè)生成數(shù)據(jù)的過程可以被標(biāo)記為某種類型時(shí),數(shù)據(jù)就變得合情合理。

因此,標(biāo)簽之所以有用,是因?yàn)樗鼈冏屛覀兡軌蚝?jiǎn)潔地描述事物的動(dòng)力學(xué)或可觀測(cè)行為,從而在面對(duì)新數(shù)據(jù)或回顧舊數(shù)據(jù)時(shí)減少“驚奇”。

事物的動(dòng)力學(xué)取決于它們的屬性,而標(biāo)簽則是表示具有相似屬性和行為的事物的一種有效方式。

事實(shí)上,如果在某個(gè)標(biāo)簽條件下,我們觀測(cè)的熵并沒有下降,那么根據(jù)定義,標(biāo)簽與觀測(cè)之間的互信息為零,這意味著這個(gè)標(biāo)簽無(wú)論是在實(shí)用層面還是信息論意義上都是無(wú)意義的。

有趣的是,條件熵正是與自由能原理(FEP)最密切相關(guān)的“驚奇”目標(biāo)。然而,在FEP文獻(xiàn)中,驚奇最小化的角色是以同義反復(fù)的方式處理的,而不是以經(jīng)驗(yàn)性方式:其核心觀點(diǎn)是“事物會(huì)最小化驚奇”,而不是說“將某物標(biāo)記為特定類型的對(duì)象可以最小化我的驚奇”。

舉個(gè)具體的例子來說明這一點(diǎn):質(zhì)子。如果我們正確地將某個(gè)粒子標(biāo)記為“質(zhì)子”,那么我們的觀測(cè)熵就會(huì)降低——哪怕僅僅是因?yàn)橘|(zhì)子具有正電荷、特定質(zhì)量等屬性,并因此表現(xiàn)出相應(yīng)的行為;而一個(gè)隨機(jī)選擇的粒子可能具有不同的質(zhì)量和電荷,因而行為也會(huì)不同。

事實(shí)上,這正是我們?yōu)楹我o它賦予一個(gè)標(biāo)簽的原因:該標(biāo)簽具有預(yù)測(cè)能力。也就是說,在已知可觀測(cè)屬性(位置、動(dòng)量、自旋等)的情況下,只要知道它的標(biāo)簽,我們就可以預(yù)測(cè)該粒子將如何與環(huán)境中的其他事物相互作用。

為了達(dá)到這個(gè)目的,我們可以思考一下為什么我們要把質(zhì)子稱為一個(gè)“事物”。如果標(biāo)簽使用得當(dāng),它就能減少不確定性/熵,并增強(qiáng)我們對(duì)質(zhì)子及其整體系統(tǒng)行為的預(yù)測(cè)能力。換句話說,好的標(biāo)簽在全局范圍內(nèi)最小化了驚奇。

這表明,“驚奇最小化”這一目標(biāo)在經(jīng)驗(yàn)層面上扮演著關(guān)鍵角色。

這與FEP傳統(tǒng)上的討論方式有所不同。一個(gè)好的同義反復(fù)可以為定義提供一個(gè)好的起點(diǎn)。FEP從“對(duì)象”的定義出發(fā):對(duì)象是一組被馬爾可夫毯包裹的狀態(tài)集合,其內(nèi)部狀態(tài)或主動(dòng)狀態(tài)(或路徑)最小化驚奇(通過毯狀態(tài)或路徑的自由能來表征),并由此推導(dǎo)出最小作用量原理和隨之而來的貝葉斯力學(xué)。

換言之,F(xiàn)EP文獻(xiàn)的重點(diǎn)一直是事物的必要性質(zhì),而非經(jīng)驗(yàn)性地發(fā)現(xiàn)哪些集合我們可以合理地標(biāo)記為對(duì)象。

相反地,也是互補(bǔ)的方式,本文所提出的方法則基于馬爾可夫毯的對(duì)象類型定義,但采用了觀察者或建模者的經(jīng)驗(yàn)視角,旨在為觀察者在建模系統(tǒng)動(dòng)力學(xué)時(shí)所做的決策提供一種解釋依據(jù)。

5.1 對(duì)FEP的技術(shù)性批評(píng)的回應(yīng)

本研究回應(yīng)了一些關(guān)于基于FEP建模的核心技術(shù)性批評(píng)與局限性,這些問題此前在很大程度上仍未解決。

基于馬爾可夫毯的系統(tǒng)識(shí)別方法已被證明頗具爭(zhēng)議(例如參見 [6, 35, 11, 5])。有人認(rèn)為,馬爾可夫毯對(duì)“對(duì)象”及其“類型”的定義并不像其支持者所說的那樣顯而易見或理所當(dāng)然 [35]。

另一類批評(píng)指出,實(shí)際上識(shí)別馬爾可夫毯(無(wú)論是在數(shù)學(xué)上還是在現(xiàn)實(shí)世界數(shù)據(jù)中的經(jīng)驗(yàn)層面)都依賴于非平凡的建模決策,因此馬爾可夫毯的形式體系并沒有其所聲稱的那樣容易或廣泛適用 [6]。

還有一些人指出,F(xiàn)EP普遍適用性的演示似乎與其所假設(shè)的馬爾可夫毯形式以及非平衡穩(wěn)態(tài)條件之間存在矛盾,后者共同保證了生物體與環(huán)境之間、或內(nèi)部狀態(tài)與外部狀態(tài)之間的劃分 [1, 5, 11, 30]。

事實(shí)上,基于馬爾可夫毯的宏觀對(duì)象定義曾被批評(píng)為是不恰當(dāng)?shù)?/strong>(因?yàn)樵S多有趣的系統(tǒng)看起來?yè)碛卸鄠€(gè)馬爾可夫毯 [6]),或者不適用于那些與環(huán)境強(qiáng)耦合、高度變化或與環(huán)境交換物質(zhì)的系統(tǒng) [35, 11, 30]。

顯然,我們最感興趣的系統(tǒng)往往是開放系統(tǒng):它們與環(huán)境交換物質(zhì)和能量,遠(yuǎn)離熱力學(xué)平衡,并且通常具有移動(dòng)、動(dòng)態(tài)甚至可能不連續(xù)的邊界。

那些被視為馬爾可夫毯方法適用性反例的事物,恰恰是那些具有移動(dòng)或游移邊界的實(shí)體,比如火焰和生物體。

這個(gè)問題尤其成問題,因?yàn)镕EP最初就是為建模大腦動(dòng)力學(xué)和生命體行為而發(fā)展起來的,也正是在這個(gè)應(yīng)用領(lǐng)域最為人所知。

正如人們所希望的那樣,這些批評(píng)引發(fā)了大量爭(zhēng)論,并明確承認(rèn):FEP在穩(wěn)態(tài)下表述時(shí),僅適用于一類相當(dāng)“特殊”的宏觀對(duì)象,即那些只與環(huán)境稀疏或弱相互作用的對(duì)象 [15, 1]。

在此,我們認(rèn)為,這些批評(píng)大多源于FEP文獻(xiàn)先前對(duì)“靜態(tài)”馬爾可夫毯結(jié)構(gòu)的關(guān)注。

從數(shù)學(xué)角度來看,其中一些反對(duì)意見在將FEP從狀態(tài)空間表述轉(zhuǎn)向路徑基礎(chǔ)(path-based)或路徑積分(path integral)表述后得到了解決 [43, 16],這種新表述使我們無(wú)需對(duì)系統(tǒng)的穩(wěn)態(tài)統(tǒng)計(jì)特性做出假設(shè)(詳見 [36] 中的詳細(xì)討論),也無(wú)需依賴整個(gè)系統(tǒng)的平穩(wěn)統(tǒng)計(jì)中近似存在的馬爾可夫毯結(jié)構(gòu)。

在基于路徑的FEP表述中,感興趣的數(shù)量及其相關(guān)方程現(xiàn)在是針對(duì)系統(tǒng)的路徑定義的,即它們是在構(gòu)成結(jié)構(gòu)化空間或軌跡集的對(duì)象上定義的,每個(gè)軌跡代表系統(tǒng)隨時(shí)間演化的一種特定方式。

此外,考慮動(dòng)態(tài)毯與最大效度建模 [36, 42],使我們能夠識(shí)別包含相變的復(fù)雜系統(tǒng)中的合理對(duì)象和邊界,并建立具有瞬態(tài)和移動(dòng)邊界的對(duì)象模型。

我們?cè)诖说呢暙I(xiàn)是提供一個(gè)數(shù)學(xué)框架及數(shù)值演示,明確展示這類動(dòng)態(tài)對(duì)象可以在該框架內(nèi)進(jìn)行建模,從而在經(jīng)驗(yàn)層面上解決了文獻(xiàn)中的這場(chǎng)爭(zhēng)論。

5.2 生態(tài)位構(gòu)建與環(huán)境在主動(dòng)推斷中的作用

在我們對(duì)燃燒導(dǎo)火索的模擬中,環(huán)境扮演了一個(gè)出人意料的角色:我們注意到,火焰的位置最好通過環(huán)境狀態(tài)來追蹤,而不是通過燃燒網(wǎng)絡(luò)的內(nèi)部狀態(tài)。

我們?cè)谇拔闹幸仓赋觯捎诳刂岂R爾可夫毯動(dòng)力學(xué)的方程在內(nèi)部狀態(tài)和外部狀態(tài)之間是對(duì)稱的,因此該毯編碼了內(nèi)部子系統(tǒng)外部子系統(tǒng)各自的策略。由此我們可以得出結(jié)論:基于馬爾可夫毯的對(duì)象類型定義總是依賴于環(huán)境的。

這一結(jié)果與最近關(guān)于重新思考環(huán)境在主動(dòng)推斷中角色的研究非常契合,也與將主動(dòng)推斷應(yīng)用于社會(huì)文化系統(tǒng)的研究相一致 [47]。

這些研究考慮了一種多尺度遞歸嵌套結(jié)構(gòu)的動(dòng)力學(xué),這種結(jié)構(gòu)將個(gè)體智能體、它們所構(gòu)成的社會(huì)文化系統(tǒng),以及它們通過行動(dòng)所塑造的生態(tài)位(niche)耦合在一起 [8, 39, 47, 32]。

并不是每一種任務(wù)或情境都必須以“智能體”為中心來建模。相反,我們可以將智能體建模為更廣泛環(huán)境中的一種特殊部分——即那些對(duì)其他智能體具有高度顯著性的部分;參見例如 [13]。

這也呼應(yīng)了該傳統(tǒng)下先前關(guān)于生態(tài)位構(gòu)建(niche construction)的研究,強(qiáng)調(diào)FEP所描述的對(duì)象之間的同步性具有對(duì)稱性這一特性,可以被智能體加以利用。

這些研究建模了生態(tài)位居住者對(duì)生態(tài)位的被動(dòng)構(gòu)建(習(xí)慣性、非故意的行為)與主動(dòng)構(gòu)建(如有意的設(shè)計(jì)),從而引導(dǎo)某些特定模式的行為發(fā)生,而抑制其他行為的發(fā)生 [8, 38]。

5.3 未來方向

我們對(duì)這類馬爾可夫毯檢測(cè)算法的一個(gè)具體實(shí)現(xiàn)依賴于線性近似,以及對(duì)毯(標(biāo)簽)動(dòng)力學(xué)與宏觀動(dòng)力學(xué)的解耦假設(shè)

這一選擇導(dǎo)致了這樣一個(gè)算法:它能夠合理地劃分系統(tǒng)結(jié)構(gòu),但在預(yù)測(cè)方面并不可靠。原因有兩個(gè):

  1. 線性動(dòng)力學(xué)假設(shè)

    使得系統(tǒng)中任何非線性效應(yīng)都被歸因于噪聲,從而導(dǎo)致擴(kuò)散強(qiáng)度的有效增強(qiáng);

  2. 邊界動(dòng)力學(xué)與宏觀動(dòng)力學(xué)解耦

    的假設(shè)意味著,在缺乏觀測(cè)數(shù)據(jù)的情況下,潛在分配變量會(huì)迅速擴(kuò)散到一個(gè)均勻的平穩(wěn)分布。

我們計(jì)劃在未來的工作中解決這些問題,方法是將馬爾可夫毯結(jié)構(gòu)施加于切換線性動(dòng)力系統(tǒng)模型(switching linear dynamical systems models)的貝葉斯實(shí)例化之上。

這項(xiàng)工作也與通過降維技術(shù)對(duì)下行因果關(guān)系(downward causality)和涌現(xiàn)現(xiàn)象(emergent phenomena)進(jìn)行數(shù)學(xué)建模的相關(guān)研究有關(guān),這也是我們計(jì)劃進(jìn)一步探索的方向 [2, 40]。

原文鏈接: https://arxiv.org/pdf/2502.21217

閱讀最新前沿科技趨勢(shì)報(bào)告,請(qǐng)?jiān)L問歐米伽研究所的“未來知識(shí)庫(kù)”

https://wx.zsxq.com/group/454854145828


未來知識(shí)庫(kù)是“ 歐米伽 未來研究所”建立的在線知識(shí)庫(kù)平臺(tái),收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級(jí)智能,數(shù)智大腦、能源、軍事、經(jīng)濟(jì)、人類風(fēng)險(xiǎn)等等領(lǐng)域的前沿進(jìn)展與未來趨勢(shì)。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進(jìn)入。

截止到3月31日 ”未來知識(shí)庫(kù)”精選的百部前沿科技趨勢(shì)報(bào)告

(加入未來知識(shí)庫(kù),全部資料免費(fèi)閱讀和下載)

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
庫(kù)里承認(rèn)進(jìn)入歷史得分榜前十是他的目標(biāo),目前還差2903分

庫(kù)里承認(rèn)進(jìn)入歷史得分榜前十是他的目標(biāo),目前還差2903分

雷速體育
2025-07-26 11:39:10
330萬(wàn)億躺在銀行睡大覺:數(shù)字很尷尬,現(xiàn)實(shí)很殘酷

330萬(wàn)億躺在銀行睡大覺:數(shù)字很尷尬,現(xiàn)實(shí)很殘酷

大道微言
2025-07-23 15:23:47
青樓出身,無(wú)法生育被休,改嫁上將連生11子,人人敬重的廣東之母

青樓出身,無(wú)法生育被休,改嫁上將連生11子,人人敬重的廣東之母

柳絮憶史
2025-07-21 11:30:50
如果皇馬用維尼修斯換伊薩克,將會(huì)是四贏的絕妙方案,原因有三!

如果皇馬用維尼修斯換伊薩克,將會(huì)是四贏的絕妙方案,原因有三!

田先生籃球
2025-07-25 18:38:52
離開倒計(jì)時(shí)?庫(kù)明加已與國(guó)王高管見面 用薩里奇卡特1首輪報(bào)價(jià)勇士

離開倒計(jì)時(shí)?庫(kù)明加已與國(guó)王高管見面 用薩里奇卡特1首輪報(bào)價(jià)勇士

醉臥浮生
2025-07-26 08:32:18
阿森納官宣第5簽,三條線都有補(bǔ)強(qiáng)!塔帥歐洲第6,新賽季首發(fā)浮現(xiàn)

阿森納官宣第5簽,三條線都有補(bǔ)強(qiáng)!塔帥歐洲第6,新賽季首發(fā)浮現(xiàn)

球場(chǎng)沒跑道
2025-07-25 16:16:13
美媒聚焦:射程800公里的中國(guó)霹靂-S導(dǎo)彈讓美軍壓力山大

美媒聚焦:射程800公里的中國(guó)霹靂-S導(dǎo)彈讓美軍壓力山大

楊風(fēng)
2025-07-25 18:52:51
第一次感受到白醋的“殺傷力”,以為只能做菜,沒想到用途那么廣

第一次感受到白醋的“殺傷力”,以為只能做菜,沒想到用途那么廣

裝修秀
2025-07-24 11:55:03
汪小菲家保姆在臺(tái)北街頭直播,坦言大S對(duì)她很好,不然早辭職了

汪小菲家保姆在臺(tái)北街頭直播,坦言大S對(duì)她很好,不然早辭職了

小嵩
2025-07-26 15:42:06
不可復(fù)制的風(fēng)流

不可復(fù)制的風(fēng)流

深度報(bào)
2025-07-24 10:44:05
49國(guó)大佬將聚北京,93大閱兵名單藏著你所不知的門道

49國(guó)大佬將聚北京,93大閱兵名單藏著你所不知的門道

大道微言
2025-07-23 16:25:48
被開除的廚師透露,飯店里最“臟”的6道菜,內(nèi)行人從來不吃!

被開除的廚師透露,飯店里最“臟”的6道菜,內(nèi)行人從來不吃!

椰青美食分享
2025-07-26 11:20:11
還是沒有熬過楊振寧!陪伴21年后,冷凍9顆卵子的翁帆痛苦嗎?

還是沒有熬過楊振寧!陪伴21年后,冷凍9顆卵子的翁帆痛苦嗎?

明月聊史
2025-07-17 15:29:09
726罷免開始,藍(lán)營(yíng)情勢(shì)大逆轉(zhuǎn),賴清德難以自處,王金平何去何從

726罷免開始,藍(lán)營(yíng)情勢(shì)大逆轉(zhuǎn),賴清德難以自處,王金平何去何從

小彭聊社會(huì)
2025-07-26 14:36:03
郭麒麟,正式開除德云社。

郭麒麟,正式開除德云社。

人間頌
2025-07-26 12:48:28
報(bào)仇不隔夜?以色列挑戰(zhàn)一個(gè)中國(guó)原則后,外交部支持巴勒斯坦建國(guó)

報(bào)仇不隔夜?以色列挑戰(zhàn)一個(gè)中國(guó)原則后,外交部支持巴勒斯坦建國(guó)

小濤叨叨
2025-07-26 15:44:19
同性戀,收金條,保姆實(shí)名舉報(bào),何炅央媒公開回應(yīng),發(fā)言惹人心疼

同性戀,收金條,保姆實(shí)名舉報(bào),何炅央媒公開回應(yīng),發(fā)言惹人心疼

新語(yǔ)愛八卦
2025-07-25 17:37:02
胡適去世,眾人來悼,遺孀江冬秀卻當(dāng)眾捶打遺體:死鬼胡適之啊

胡適去世,眾人來悼,遺孀江冬秀卻當(dāng)眾捶打遺體:死鬼胡適之啊

海東傾
2025-07-23 12:03:16
李霄鵬:希望這場(chǎng)比賽能打出氣勢(shì),給球迷奉獻(xiàn)一場(chǎng)精彩的比賽

李霄鵬:希望這場(chǎng)比賽能打出氣勢(shì),給球迷奉獻(xiàn)一場(chǎng)精彩的比賽

懂球帝
2025-07-26 17:32:08
3天4個(gè)瓜!貪污國(guó)家財(cái)產(chǎn)、婚內(nèi)出軌、賠光億萬(wàn)家產(chǎn),娛樂圈太炸裂

3天4個(gè)瓜!貪污國(guó)家財(cái)產(chǎn)、婚內(nèi)出軌、賠光億萬(wàn)家產(chǎn),娛樂圈太炸裂

農(nóng)村娛樂光哥
2025-07-25 12:11:18
2025-07-26 18:20:49
人工智能學(xué)家 incentive-icons
人工智能學(xué)家
人工智能領(lǐng)域權(quán)威媒體
4048文章數(shù) 37241關(guān)注度
往期回顧 全部

科技要聞

AI教父辛頓現(xiàn)身上海:人類如何不被AI殺掉

頭條要聞

高分考生被廈門大學(xué)國(guó)外分校誤錄取:已有16人決定復(fù)讀

頭條要聞

高分考生被廈門大學(xué)國(guó)外分校誤錄取:已有16人決定復(fù)讀

體育要聞

楊瀚森效力NBA期間 青島男籃將暫存球隊(duì)15號(hào)球衣

娛樂要聞

董璇首談保釋前夫細(xì)節(jié)!高云翔突然不回消息

財(cái)經(jīng)要聞

劉煜輝:當(dāng)下重要不是找確定性而是轉(zhuǎn)折點(diǎn)

汽車要聞

"得房率"超90% 全新嵐圖知音空間信息曝光

態(tài)度原創(chuàng)

健康
游戲
家居
時(shí)尚
軍事航空

呼吸科專家破解呼吸道九大謠言!

XGP的又一成功!首發(fā)新游Xbox玩家破三百萬(wàn)!

家居要聞

環(huán)繞設(shè)計(jì) 空間動(dòng)線合理

10樣回購(gòu)N次的解饞小零食!好吃到嗦手指

軍事要聞

泰軍方向26國(guó)發(fā)函:柬埔寨率先開火

無(wú)障礙瀏覽 進(jìn)入關(guān)懷版 主站蜘蛛池模板: 禹城市| SHOW| 韩城市| 霍山县| 普陀区| 德州市| 聊城市| 紫金县| 枣阳市| 富平县| 云安县| 河南省| 临泉县| 卢湾区| 女性| 金平| 佛坪县| 察隅县| 满洲里市| 静海县| 勃利县| 津南区| 航空| 彰武县| 陈巴尔虎旗| 双鸭山市| 方正县| 青浦区| 沧源| 平安县| 青川县| 菏泽市| 建平县| 武邑县| 桂平市| 招远市| 永清县| 绵竹市| 扬中市| 广南县| 永丰县|