摘要
人們習慣于從不同尺度去描述同一個對象。比如對于一個人類群體,你既可以從社會學經濟學角度解釋這個系統的現象,也可以從生物學生理過程的層次去描述它,還可以從分子尺度的物理學去描述它。畢竟人的組成來自于一個個器官和細胞,而每一個細胞都有分子組成。這些尺度上的各自規律可以獨立成立,由此誕生了各個學科。這種分層次的現象一直被哲學家們用因果閉合或因果閉包的概念進行討論。在Fernando E. Rosas等人的最近研究工作中,這種層次涌現的現象可以被定量化地描述。借助復雜系統涌現理論,我們可以對這種神奇的現象確立共識,并且獲取更深刻的洞見。
關鍵詞:層次涌現、信息閉合、因果閉合、因果態、計算閉合
楊明哲丨作者
梁京昊丨審校
論文題目:Software in the natural world: A computational approach to hierarchical emergence 論文地址:https://arxiv.org/abs/2402.09090
涌現的計算機比喻
你是否覺得周圍有很多詞語原本都是屬于計算機的語言?比如有時我們會說,大腦死機了。這實際上就默認了可以把人或人的大腦比做一臺計算機。隨著計算機技術的普及,日常生活中,計算機隨處可見。我們最常用的手機就是一臺計算機,你或許正在用手機看這篇文章。但如果你不是手機方面的專家,其實你不知道它具體是如何運行的,比如芯片上具體發生了哪些變化,而這并不影響你正常使用手機的所有功能。這就是這類計算機很神奇的地方:軟件和硬件是可以分開討論的。大多數人使用手機,都是在跟軟件打交道,不了解硬件的知識,只有在手機出故障的時候才會去找懂硬件的人幫助。同時我們又知道,軟件是依附于硬件,軟件中每一個計算都離不開硬件上的特定變化。比如下面是一個代碼塊:
像這樣的編程語言是在軟件層次上編寫和運行的,而我們知道實際發生的只是硬件層次的二進制運算,但我們在寫代碼時不會去想那些繁雜的二進制語言。如果你之前讀過關于因果涌現的文章,會發現相似的現象:我們可以類比硬件是系統的微觀層,軟件是宏觀層。以上的討論說明,宏觀層次上的動力學和因果可以完全脫離微觀層的信息來討論。
研究因果涌現的學者Fernando E. Rosas及其合作者認為[3],除了狹義的計算機外很多系統其實都具備類似的性質。如果一個系統有輸入有輸出,具備計算的能力,我們就可以把它比作一臺機器,然后檢驗一下看看它是否具有能夠和硬件解耦的軟件層,或者說軟件性(software-ness)。Rosas等人認為,具有這樣性質的系統便發生了計算視角下的涌現。
信息閉合與因果閉合
為了進一步說清楚這種軟件性,作者們提出信息閉合(information closure)這一概念。信息閉合是指,對于一個粗粒化后的宏觀過程,已知其自身過去的信息就足以進行最優預測,進一步引入底層(微觀)信息也不能提升預測能力——也就是說,微觀的信息對宏觀未來的預測是冗余的。所謂一個尺度在某某方面閉合,便是在說這個尺度上系統可以“自給自足”,不需要再考慮其他尺度。
信息閉合的概念其實在之前的研究工作中已經被提出過,而且有對應的形式化表達。在Anil Seth團隊的工作中,它叫做動力學解耦[1]。二者在數學表達上是相同的,用互信息或條件互信息來定義:
X和Z分別是微觀與宏觀變量。讀者可參考23期的內容(下方掃碼直達)。從另一個角度來看,這實際上是構成了 的馬爾可夫鏈,即控制 ,得到 與 獨立。
但是信息閉合的提出僅是從一個觀測者的視角提出的,并未觸及該性質實現的底層原理,即因果機制。為此,作者們進一步提出因果閉合(causal closure)的概念,與信息閉合非常相似。還以手機為例,信息閉合是你作為旁觀者看別人使用手機,發現軟件的運行可以“獨立”于硬件層。而因果閉合則是把你自己置于使用者的位置。當你操作手機時,其實是在施加宏觀層次的干預。而軟件輸出的結果只來自于這宏觀的干預,與底層硬件無關,這便是因果閉合。如果手機壞了,無論你怎么按鍵它都不響應,那么你就不得不到硬件層去追究它壞掉的原因,這時候壞掉的手機就是因果不閉合的系統。
現在問題來了,我們要如何形式化表達因果閉合這個概念?早在上個世紀80年代,圣塔菲學者Crutchfield提出了計算力學(Computational Mechanics)這一整套理論,從計算的視角為涌現現象進行了建模。Rosas等人便借鑒計算力學的核心思想,來為因果閉合構建理論基礎。如果讀者想全面了解計算力學這個理論框架,可參考集智百科詞條【】。下面是對相關內容的一個簡略介紹。
因果態和?機器
包括人類在內的智能體,每時每刻都在對周圍環境觀察,得到大量的觀測數據,以時間序列的方式可以形式化表達出來,如下圖中的 。
但我們觀測到的數據并不代表產生數據的機制本身。而智能體為了生存,必須在自己的內部(大腦中)構建簡潔的機制來預測觀測數據的變化,這便是上圖中的 。而計算力學假設,進化的壓力使得智能體構建的預測機制趨向于一個最理想的狀態——因果態(Causal States)。
因果態是根據預測等價性來定義的。如下圖所示,二進制數字串分別代表不同的狀態,右側的黑色箭頭表示它們對未來預測的概率分布。 中兩個狀態的預測分布完全相同,所以它們屬于同一個因果態。而 中的狀態對未來的預測與 不同,所以 是另一個因果態。
因果態彼此之間有它們自己的概率轉移矩陣。把因果態和概率轉移矩陣放在一起,便構成了 機器。對于描述和預測一組觀測數據來說, 機器就是最簡潔和有效的機制模型,保留了一個計算過程中最有用的那部分信息,同時去除了其他對預測無用的冗余信息。
因果態和 機器有很多非常理想的數學性質,感興趣的朋友可以參考文獻[2]和第5期。
ν機器
機器和因果閉合又有什么關系呢?我們來看下圖,X和Z分別表示微觀和宏觀過程。對于這兩個尺度,我們可以分別構建關于它們自身的 機器,其因果態為 和 。它們分別是微觀預測微觀,宏觀預測宏觀最有效的機制。而作者又定義了 機器,其因果態為圖中的 。
從圖中箭頭關系可以看出, 機器是對微觀變量的劃分,目的則是對宏觀的未來進行預測,也就是說,它是根據對宏觀未來的預測等價性對微觀狀態進行了分組。下面兩個式子分別是 機器中關于劃分的定義,以及 機器中對于劃分的定義:
式子中L表示序列長度,變量上箭頭往左代表歷史狀態,往右代表未來狀態。它們的區別只是在于, 機器是對同一個尺度的最有效預測機制, 機器是對更宏觀尺度的最有效預測機制。
接下來我們就可以給出因果閉合的定義了。對于一個系統的宏觀過程,如果預測未來所使用的 機器和 機器完全等價,即上圖中 和 相等,那么我們就說該宏觀過程是因果閉合的。其物理意義為,在宏觀上的干預,和微觀上與之對應的干預,作用在宏觀層面上產生的結果完全相同。因此,我們可以把宏觀的結果視為只來自于宏觀的干預,與微觀無關。
從定性的角度來看,似乎因果閉合和信息閉合是一樣的。在給出數學定義后,作者在文章中嚴格證明了信息閉合和因果閉合確實是等價的。不過這不意味著以上討論是沒有意義的。一方面如前文所述,因果閉合相比于信息閉合是另一種對系統宏觀過程更本質的描述;另一方面,當宏觀過程因果和信息不閉合的時候,作者還證明了 機器總比 機器掌握更多的信息,是一個更強有力的表征。讀者注意,這里的“更強”實際上來自于微觀總比宏觀有更多可能的信息,這與宏觀的 機器在只考慮宏觀尺度自身信息時是最有效的預測機制并不矛盾。
計算閉合
作者們的思考到這里還沒有結束。其實信息閉合或因果閉合是一個比較強的要求。在歷史上,我們也不是一蹴而就發明創造出了智能手機,這里面有很多中間形態。在人類發明機器的早期,我們一方面嘗試搭建宏觀的編碼規則,另一方面我們也需要了解微觀原理才能更好地操作機器。在這個階段,對機器系統的粗粒化依然有好壞之分。對于一臺機器,我們肯定希望它的宏觀的計算過程要更加的簡潔,也就是說宏觀的 機器最好是微觀的 機器的一種粗粒化。
這就是計算閉合(Computational closure)的定義。難道宏觀 機器還可以不是微觀 機器的粗粒化嗎?粗粒化意味著宏觀變量是微觀變量的單射。這個映射過程可能引入更多的噪音,導致宏觀過程的因果態反而比微觀的還要多。我們看下面這樣一個例子:
考慮一個馬爾可夫鏈 ,有三個狀態 、 和 。假設 和 的所有轉移概率向量都相同且為正數。這樣,微觀 機器 只有兩個因果態,分別是 和 。
現在進一步設定, 不能轉移到 ,而且 和 的轉移概率也不相同。假設我們的粗粒化方案為:若 ,則 ;若 或 ,則 。
可以證明, 不是馬爾可夫的。理由是, 連續處于 狀態的時間越長, 的概率就越高(因為 的轉移被禁止)。由于 和 轉移到 的概率不同,因此 的 機器 需要區分以不同長度的 結尾的歷史,例如 。顯然, 的因果態多于 的因果態,因此 不可能是 的粗粒化。
我們本以為,把底層系統用 機器描述后,宏觀層的?-機可能只需把底層 機器的狀態合并即可。但事實遠非如此。在這個例子中,原始系統有3個狀態,但因為 和 看起來完全一樣,所以微觀 機器只需要區分 和 兩種狀態。但宏觀的粗粒化選擇卻是,把 和 映射到一個宏觀狀態上。因為底層動力學的特殊性,想預測下一個 何時出現,宏觀?-機需要記住最近連續出現了幾個 。也就是說,宏觀行為實際上增加了記憶長度,需要無窮多個不同的因果態,而不僅僅是簡單的兩種狀態。所以,這并不是一個好的粗粒化方案。
現在我們用稍微抽象一點的圖示來說明一般情況下的計算閉合。如下圖所示, 和 分別是兩個粗粒化映射。計算閉合的要求,是希望從微觀變量到宏觀因果態的兩條映射路徑是可交換的,即。
如果滿足計算閉合的要求,我們就可以從計算模型的角度對一個系統進行多尺度建模,如下圖所示。圖中的概率分布和有向圖表示的都是各個尺度上的 機器,也就是各個尺度上的最佳預測模型。在考慮多尺度建模的時候,我們只需要關注各個尺度機器上的粗粒化過程即可。
案例分析
原文中有很多更復雜的案例分析,因為篇幅有限,我這里僅介紹模塊化網絡上的隨機游走案例。
如下圖所示,假設一個網絡由好幾個“社群”或“模塊”組成,每個模塊內部的連接很強(容易從一個節點跳到另一個節點),模塊之間則連接很弱(一旦進了別的模塊,要跳出來很難)。有一個“游走者”(比如一個酒醉的人),每一步會隨機決定是否在原地停留、在本社區內亂逛,或者偶爾跳到別的社區。這樣的網絡在現實中很常見,比如社交網絡中的小圈子、功能分區的交通系統等。
從微觀到宏觀,我們首先進行的粗粒化策略是:只關注“游走者當前在哪個模塊/社群”,不關心他在模塊內的具體位置,如圖中的A、B、C、D、E所示。這種粗粒化有個重要性質:只要你知道現在在第幾個社區,未來在哪個社區僅僅取決于現在在的社區,而不取決于在這個社區里的具體點——粗粒化后的社區間轉移的動態是因果閉合的。
在更宏觀的尺度上,我們可以只關心他所在社區的規模,而不是具體哪一個社區。社區A、B分別有25個節點,C、D、E則分別有9個節點。這便把介觀尺度上的5個變量粗粒化得到最宏觀的兩個變量。這樣得到的宏觀過程也是因果(信息)閉合的。而且根據作者在文中證明的定理,這多個尺度的過程也都是計算閉合的。三個閉合說明我們可以在不考慮其他尺度的情況下單獨為三個尺度上的變化建模,比如微觀上的隨機游走動力學,介觀上社區間的轉移動力學,宏觀上不同規模社區間的交互規律。
概念辨析
在歷史上,對于馬爾可夫系統的粗粒化,已經有學者提出成塊性(Lumpability)這一概念來約束粗粒化函數的選取。成塊性和閉合性都是對粗粒化選取的約束條件,所以我們來做一個概念的梳理與辨析。對于成塊性感興趣的讀者,可進一步通過集智百科詞條【馬爾科夫鏈的成塊性】了解這個概念。 強成塊性(Strong Lumpability)是指,無論初始分布怎么選,粗粒化后的宏觀過程都是馬爾可夫的,轉移概率只由當前宏觀狀態決定。從這個定義不難看出,如果一個粗粒化是滿足強成塊性的,那么它必然是因果和信息閉合的,也就必然是計算閉合的。
馬爾可夫鏈詞條
弱成塊性(Weak Lumpability)則是說,只在某些初始分布條件下,粗粒化后的宏觀過程是馬爾可夫的。強弱k階成塊性便是在前面定義的基礎上,可以放寬要求,讓宏觀過程是k階馬爾可夫過程即可。k越大,要求越寬松。從論文[3]中提供的示意圖可以看出,除了強成塊性以外,閉合性和成塊性之間沒有必然的包含或被包含的關系。
成塊性的提出對于馬爾可夫動力系統的多尺度建模非常關鍵,比如在多主體建模中,底層機制往往是馬爾可夫的,我們希望粗粒化出來的宏觀規則也能是馬爾可夫的。這樣研究者可以避免在微觀模型上高成本的模擬,可以直接在宏觀尺度上進行迭代。而閉合性則更關注宏觀的尺度是否能自洽。它們約束的角度不同,但最終可以有一種最理想的粗粒化方式同時滿足最高要求的成塊性和閉合性。 下表是文中涉及的關鍵概念的術語表,供讀者參考:
講座推薦
論文一作是薩塞克斯大學講師Fernando Rosas,他的學習和研究經歷非常豐富,本科先后獲得音樂理論與作曲、數學學士。他有非常明確的科學目標:揭示驅動分布式多智能體系統計算的迷人原則:它們如何實現整體大于部分之和,共同執行單個個體無法實現的任務,甚至產生預先未定義的新特性。集智俱樂部曾邀請他來做過分享,掃碼即可觀看。
參考文獻
[1] L. Barnett and A. K. Seth, “Dynamical independence: discovering emergent macroscopic processes in complex dynamical systems,” Physical Review E, vol. 108, no. 1, p. 014304, 2023.
[2] J. P. Crutchfield, “The calculi of emergence: computation, dynamics and induction,” Physica D: Nonlinear Phenomena, vol. 75, no. 1-3, pp. 11–54, 1994.
[3] F. E. Rosas, et al. "Software in the natural world: A computational approach to hierarchical emergence." arXiv preprint arXiv:2402.09090, 2024.
因果涌現讀書會第六季
在霓虹燈的閃爍、蟻群的精密協作、人類意識的誕生中,隱藏著微觀與宏觀之間深刻的因果關聯——這些看似簡單的個體行為,如何跨越尺度,涌現出令人驚嘆的復雜現象?因果涌現理論為我們揭示了答案:復雜系統的宏觀特征無法通過微觀元素的簡單疊加解釋,而是源于多尺度動態交互中涌現的因果結構。從奇異值分解(SVD)驅動的動態可逆性分析,到因果抽象與信息分解的量化工具,研究者們正逐步構建起一套跨越數學、物理與信息科學的理論框架,試圖解碼復雜系統的“涌現密碼”。
為了系統梳理因果涌現最新進展,北京師范大學系統科學學院教授、集智俱樂部創始人張江老師領銜發起,組織對本話題感興趣的朋友,深入研讀相關文獻,激發科研靈感。
讀書會將從2025年3月16日開始,每周日早9:00-11:00,持續時間預計10周左右。每周進行線上會議,與主講人等社區成員當面交流,之后可以獲得視頻回放持續學習。誠摯邀請領域內研究者、尋求跨領域融合的研究者加入,共同探討。
詳情請見:
1.
2.
3.
4.
5.
6.
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.