摘要

當(dāng)前大語(yǔ)言模型的流行帶火了一個(gè)概念——涌現(xiàn)。人們發(fā)現(xiàn)當(dāng)人工智能參數(shù)足夠多的時(shí)候，可以涌現(xiàn)出很多神奇的能力，比如邏輯推理，還有像人一樣說(shuō)話。其實(shí)涌現(xiàn)是復(fù)雜系統(tǒng)的重要特征，在我們的生活中無(wú)處不在。比如至今還沒(méi)有被人工智能超越的人類大腦，為什么會(huì)有自我意識(shí)和自由意志？天空中的鳥(niǎo)群和地上的蟻群為什么可以自發(fā)地形成靈活而又有序的集群行為？作為觀察者，我們常常驚訝于這些涌現(xiàn)現(xiàn)象，然而事實(shí)上，涌現(xiàn)也可以被科學(xué)量化和研究——機(jī)器觀察者可以像人類一樣識(shí)別涌現(xiàn)的發(fā)生。

今天跟大家聊聊我們課題組關(guān)于量化涌現(xiàn)的一項(xiàng)最新研究。

關(guān)鍵詞：量化涌現(xiàn)，觀察者，機(jī)器學(xué)習(xí)

楊明哲丨作者

論文題目：Finding emergence in data: causal emergence inspired dynamics learning 論文地址：https://academic.oup.com/nsr/advance-article/doi/10.1093/nsr/nwae279/7732052 論文作者：楊明哲，王志鵬，劉凱威，榮英淇，袁冰，張江

論文解讀：

1. 涌現(xiàn)如何量化？

看到天空中的云彩，我們很容易把它們看成各種圖案，比如一個(gè)人，一只兔子，一臺(tái)機(jī)器。同樣地，觀察蟻群這樣的復(fù)雜系統(tǒng)，有的人在看幾只螞蟻之間的互動(dòng)，而有人會(huì)把整個(gè)蟻群看成一個(gè)具備智能的有機(jī)體。

當(dāng)我們觀察一個(gè)系統(tǒng)時(shí)，下意識(shí)地會(huì)在多個(gè)尺度上觀察。比如構(gòu)成云彩的水分子在運(yùn)動(dòng)和碰撞，是在微觀尺度；而我們看到云彩形成的“人臉”圖案，則是在宏觀尺度。發(fā)生涌現(xiàn)是說(shuō)，宏觀尺度上的因果效應(yīng)大于微觀尺度上的因果效應(yīng)。

這里所說(shuō)的因果效應(yīng)強(qiáng)度是什么意思呢？當(dāng)我們看一團(tuán)氣體分子的時(shí)候，固然可以用牛頓定律來(lái)描述每一個(gè)分子的運(yùn)動(dòng)軌跡，但這太復(fù)雜了，幾乎是不可能的。而當(dāng)我們可以用溫度、壓強(qiáng)等宏觀量來(lái)描述系統(tǒng)時(shí)，就有了理想氣體狀態(tài)方程 PV=nRT 這樣簡(jiǎn)潔明了的公式，這就是因果效應(yīng)更強(qiáng)的尺度。因果效應(yīng)最強(qiáng)的尺度是我們對(duì)一個(gè)系統(tǒng)建模研究的最佳尺度。

好比我們看云彩的時(shí)候，更愿意討論云朵的形狀是像人臉還是某個(gè)動(dòng)物，而不會(huì)一直想著水分子在云彩中如何激烈碰撞，因?yàn)橛藐P(guān)于整體形狀的描述把云朵變幻的規(guī)律說(shuō)的更明白。這一點(diǎn)對(duì)于每個(gè)人來(lái)說(shuō)都是非常自然的?？删烤篂槭裁慈藗?nèi)绱俗匀坏剡x擇在這一尺度上觀察，而不是那一個(gè)尺度上觀察呢？比如我們?cè)诳匆环咔鍒D片時(shí)，盡管你知道它是由像素組成的，但不會(huì)去想像素的事。而當(dāng)我們不斷讓圖像“放大”，直至每一個(gè)像素或其他構(gòu)成圖像的基本單元粒粒可數(shù)，你會(huì)開(kāi)始猶豫，是應(yīng)該把注意力放在一個(gè)個(gè)像素上，還是放在圖畫(huà)所承載的整體內(nèi)容上？我們的大腦似乎總是在依據(jù)某種指標(biāo)或目標(biāo)對(duì)比不同的尺度，尋找著最佳觀測(cè)尺度。

因果涌現(xiàn)理論便是試圖用科學(xué)的定量框架來(lái)描述這種多尺度變化的過(guò)程。在因果涌現(xiàn)理論中，科學(xué)家們用有效信息這一定量指標(biāo)來(lái)度量因果效應(yīng)的強(qiáng)弱。有效信息作為一個(gè)專業(yè)術(shù)語(yǔ)，刻畫(huà)的是一個(gè)系統(tǒng)動(dòng)力學(xué)受到擾動(dòng)后變化的波動(dòng)大小以及確定性程度。我們?cè)谟^察時(shí)，其實(shí)大腦中自動(dòng)在“計(jì)算”究竟哪個(gè)尺度上有效信息更高，然后選擇了對(duì)自己當(dāng)前來(lái)說(shuō)有效信息最高的尺度。現(xiàn)在想象觀察云彩和螞蟻的不是人類，而是機(jī)器人。“機(jī)器觀察者”可以替代人類觀察者，對(duì)系統(tǒng)是否發(fā)生涌現(xiàn)現(xiàn)象給出更加清晰、客觀的判斷。

2. 機(jī)器觀察者如何識(shí)別涌現(xiàn)？

如何搭建這樣一個(gè)機(jī)器觀察者呢？人工智能與機(jī)器學(xué)習(xí)的發(fā)展，讓我們自然意識(shí)到，可以用人工神經(jīng)網(wǎng)絡(luò)代替因果涌現(xiàn)理論中需要給定或擬合的函數(shù)，以宏觀因果效應(yīng)強(qiáng)度為優(yōu)化目標(biāo)搭建機(jī)器學(xué)習(xí)框架。其中用以度量因果效應(yīng)強(qiáng)度的有效信息指標(biāo)也可以在神經(jīng)網(wǎng)絡(luò)上計(jì)算。

回顧人類觀察云彩的過(guò)程：原本萬(wàn)億個(gè)水分子聚集在天空中的某一處位置上，光線所反映的信息經(jīng)過(guò)我們眼睛和相關(guān)神經(jīng)系統(tǒng)的轉(zhuǎn)換和過(guò)濾，對(duì)應(yīng)到我們過(guò)往經(jīng)驗(yàn)中的某一種圖案上，這時(shí)候我們會(huì)說(shuō)云朵的形狀看起來(lái)像是人臉或者貓啊狗啊。這一系列過(guò)程中我們有選擇地?fù)p失了很多信息，可以說(shuō)是一種粗?；^(guò)程。粗粒化得到的“圖案”隨著時(shí)間流逝一直維持著穩(wěn)定，這便是一個(gè)宏觀動(dòng)力學(xué)。

在搭建機(jī)器時(shí)，我們可以用一種神經(jīng)網(wǎng)絡(luò)“編碼器”代替粗?；^(guò)程，再用一個(gè)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)宏觀動(dòng)力學(xué)，于是機(jī)器觀察者就被搭建起來(lái)了，我們把它叫做神經(jīng)信息壓縮器（Neural Information Squeezer，簡(jiǎn)稱NIS）。這里編碼器就好似機(jī)器觀察者的眼睛，把觀察到的萬(wàn)事萬(wàn)物粗?；揭粋€(gè)虛擬的“腦?！崩?。而為了能訓(xùn)練好這個(gè)機(jī)器觀察者，我們還需要把它腦海里“想”的那些事情解碼出來(lái)，對(duì)現(xiàn)實(shí)世界做預(yù)測(cè)，以防止它“胡思亂想”。

那么對(duì)于機(jī)器觀察者，我們?nèi)绾伪ＷC，機(jī)器不是去計(jì)算每一個(gè)分子運(yùn)動(dòng)的微分方程，而是像人一樣盡可能去尋找 PV=nRT 這樣簡(jiǎn)潔的視角呢？機(jī)器如何尋找到最佳觀測(cè)尺度，識(shí)別出涌現(xiàn)的發(fā)生呢？關(guān)鍵在于前面所說(shuō)的，要最大化宏觀動(dòng)力學(xué)的有效信息。我們?cè)诔跏紮C(jī)器學(xué)習(xí)框架的基礎(chǔ)上，在宏觀尺度上添加一個(gè)反向動(dòng)力學(xué)的預(yù)測(cè)，不僅要讓它從過(guò)去預(yù)測(cè)未來(lái)能預(yù)測(cè)準(zhǔn)，同時(shí)從未來(lái)的狀態(tài)反過(guò)來(lái)猜測(cè)過(guò)去的狀態(tài)時(shí)，也能溯因比較準(zhǔn)，以此來(lái)保證宏觀動(dòng)力學(xué)這個(gè)狹窄的信息瓶頸中，流通的都是有效信息。這個(gè)改進(jìn)的框架我們稱之為擴(kuò)展版本的神經(jīng)信息壓縮器（NIS+），它可以通過(guò)訓(xùn)練得到有效信息最大的宏觀動(dòng)力學(xué)，從而客觀地識(shí)別出涌現(xiàn)。

3. 機(jī)器觀察者

是不是可以像人類一樣識(shí)別出涌現(xiàn)？

有了更加完善的機(jī)器觀察者，我們就可以拿來(lái)識(shí)別復(fù)雜系統(tǒng)的涌現(xiàn)了。那么機(jī)器觀察者是不是可以像人類一樣識(shí)別出涌現(xiàn)呢？我們給它輸入了各式各樣的多維時(shí)間序列，比如鳥(niǎo)群運(yùn)動(dòng)軌跡、腦電波序列等等，它會(huì)告訴你有沒(méi)有發(fā)生涌現(xiàn)，涌現(xiàn)的程度有多大，以及涌現(xiàn)出來(lái)的斑圖長(zhǎng)什么樣子。

1）預(yù)測(cè)鳥(niǎo)群的運(yùn)動(dòng)軌跡

在第一個(gè)實(shí)驗(yàn)中，我們讓機(jī)器觀察者預(yù)測(cè)鳥(niǎo)群的運(yùn)動(dòng)軌跡。我們?cè)谟?jì)算機(jī)上模擬鳥(niǎo)群，只需要設(shè)定好局部規(guī)則，讓每只鳥(niǎo)盡可能和周?chē)镍B(niǎo)保持一定的距離，同時(shí)在方向上保持平行，就可以復(fù)現(xiàn)栩栩如生的鳥(niǎo)群和復(fù)雜的集群行為。在足夠的訓(xùn)練之后，機(jī)器觀察者可以預(yù)測(cè)鳥(niǎo)群的運(yùn)動(dòng)軌跡，同時(shí)在8維的尺度上觀察到最大程度的因果涌現(xiàn)。這是因?yàn)槊總€(gè)鳥(niǎo)群有平均的速度和位置兩個(gè)屬性，而每個(gè)屬性有兩個(gè)維度，所以兩個(gè)鳥(niǎo)群一共有8個(gè)維度。并且我們畫(huà)出了宏微觀變量關(guān)系對(duì)應(yīng)圖，證明機(jī)器真的是如我們所說(shuō)的那樣在做粗?；?。

2）捕捉生命游戲涌現(xiàn)出的斑圖

再來(lái)看另一個(gè)好玩的模擬實(shí)驗(yàn)，生命游戲。這是一個(gè)方格世界，每一個(gè)方格是一個(gè)元胞，都有生或死兩種狀態(tài)，而且局部作用規(guī)則非常簡(jiǎn)單。每一個(gè)元胞會(huì)因?yàn)橹車(chē)^(guò)于擁擠或孤獨(dú)而死亡，也會(huì)因?yàn)榛罴?xì)胞比例合適的環(huán)境而獲得新生。當(dāng)我們站在宏觀的角度去看整個(gè)生命游戲世界，會(huì)發(fā)現(xiàn)很多有意思的斑圖，比如滑翔機(jī)、飛船、信號(hào)燈等等。這都是我們?nèi)祟惤o起的名字啦，而機(jī)器觀察者也可以捕捉到這些有意思的圖案，呈現(xiàn)在宏觀尺度上。

3）識(shí)別大腦動(dòng)力學(xué)

最后，我們來(lái)讓機(jī)器觀察者進(jìn)行實(shí)戰(zhàn)，在真實(shí)的大腦核磁共振數(shù)據(jù)上識(shí)別涌現(xiàn)和大腦動(dòng)力學(xué)。數(shù)據(jù)來(lái)自800多個(gè)被試者在觀看電影時(shí)收集的腦核磁共振數(shù)據(jù)，同時(shí)還有靜息態(tài)數(shù)據(jù)做對(duì)比，也就是被試者在什么都不做的情況下收集的數(shù)據(jù)。結(jié)果發(fā)現(xiàn)，機(jī)器觀察者從數(shù)據(jù)中識(shí)別出的涌現(xiàn)的宏觀動(dòng)力學(xué)，主要反映的是最為活躍的大腦視覺(jué)區(qū)域。雖然目前沒(méi)有涉及到意識(shí)的問(wèn)題，但以后我們可以發(fā)展這套機(jī)器學(xué)習(xí)框架，讓它觀察意識(shí)產(chǎn)生的腦電數(shù)據(jù)或行為數(shù)據(jù)，來(lái)識(shí)別對(duì)于意識(shí)產(chǎn)生最關(guān)鍵的區(qū)域或某種模式。

大量水分子聚集而成的云彩是什么形狀？人腦中數(shù)以億計(jì)的神經(jīng)元如何相互作用涌現(xiàn)出意識(shí)？我們?cè)撊绾味康嘏袛嘤楷F(xiàn)何時(shí)發(fā)生？當(dāng)大家跟著走完這探索歷程，會(huì)發(fā)現(xiàn)觀察者的主觀解讀是非常重要的一環(huán)。而機(jī)器觀察者可以代替人類觀察者，在與所觀察的系統(tǒng)進(jìn)行互動(dòng)時(shí)，更加清晰、客觀地去研究涌現(xiàn)問(wèn)題?；蛟S在以后，這將是對(duì)復(fù)雜問(wèn)題研究的新范式。

本文為科普中國(guó)·星空計(jì)劃扶持作品 作者 | 楊明哲（北京師范大學(xué)系統(tǒng)科學(xué)學(xué)院碩士生） 審核 | 張江（北京師范大學(xué)系統(tǒng)科學(xué)學(xué)院教授） 出品 | 中國(guó)科協(xié)科普部 監(jiān)制 | 中國(guó)科學(xué)技術(shù)出版社有限公司、北京中科星河文化傳媒有限公司

因果涌現(xiàn)讀書(shū)會(huì)第六季

在霓虹燈的閃爍、蟻群的精密協(xié)作、人類意識(shí)的誕生中，隱藏著微觀與宏觀之間深刻的因果關(guān)聯(lián)——這些看似簡(jiǎn)單的個(gè)體行為，如何跨越尺度，涌現(xiàn)出令人驚嘆的復(fù)雜現(xiàn)象？因果涌現(xiàn)理論為我們揭示了答案：復(fù)雜系統(tǒng)的宏觀特征無(wú)法通過(guò)微觀元素的簡(jiǎn)單疊加解釋，而是源于多尺度動(dòng)態(tài)交互中涌現(xiàn)的因果結(jié)構(gòu)。從奇異值分解（SVD）驅(qū)動(dòng)的動(dòng)態(tài)可逆性分析，到因果抽象與信息分解的量化工具，研究者們正逐步構(gòu)建起一套跨越數(shù)學(xué)、物理與信息科學(xué)的理論框架，試圖解碼復(fù)雜系統(tǒng)的“涌現(xiàn)密碼”。

為了系統(tǒng)梳理因果涌現(xiàn)最新進(jìn)展，北京師范大學(xué)系統(tǒng)科學(xué)學(xué)院教授、集智俱樂(lè)部創(chuàng)始人張江老師領(lǐng)銜發(fā)起，組織對(duì)本話題感興趣的朋友，深入研讀相關(guān)文獻(xiàn)，激發(fā)科研靈感。

讀書(shū)會(huì)將從2025年3月16日開(kāi)始，每周日早9:00-11:00，持續(xù)時(shí)間預(yù)計(jì)10周左右。每周進(jìn)行線上會(huì)議，與主講人等社區(qū)成員當(dāng)面交流，之后可以獲得視頻回放持續(xù)學(xué)習(xí)。誠(chéng)摯邀請(qǐng)領(lǐng)域內(nèi)研究者、尋求跨領(lǐng)域融合的研究者加入，共同探討。

詳情請(qǐng)見(jiàn)：

1.

2.

3.

4.

5.

6.