CreateAMind
2025年01月07日 08:55

https://direct.mit.edu/books/oa-monograph/5299/Active-InferenceThe-Free-Energy-Principle-in-Mind

10章：Active Inference as a Unified Theory of Sentient Behavior

In general we are least aware of what our minds do best.

—Marvin Minsky

本章是主動(dòng)推理的深入總結(jié)及對(duì)大量不同理論進(jìn)行了深入比較。（2萬字）

10.1 簡(jiǎn)介

10.2 各章總結(jié)

10.3 連接點(diǎn)：主動(dòng)推理的綜合視角

10.4 預(yù)測(cè)大腦、預(yù)測(cè)心智和預(yù)測(cè)處理（次優(yōu)）

10.4.1 預(yù)測(cè)處理

10.5 感知

10.5.1 貝葉斯大腦假設(shè)（次優(yōu)）

10.6 動(dòng)作控制

10.6.1 意念運(yùn)動(dòng)理論

10.6.3 最優(yōu)控制理論

10.7 效用和決策

10.7.1 貝葉斯決策理論（次優(yōu)）

10.7.2 強(qiáng)化學(xué)習(xí)（次優(yōu))

10.7.3 Planning as Inference

10.8 行為和有限理性

10.8.1 有限理性自由能理論

10.9 Valence, Emotion, and Motivation

10.10 穩(wěn)態(tài) 動(dòng)態(tài)平衡和內(nèi)感受處理 Homeostasis, Allostasis, and Interoceptive Processing

10.11 注意力、顯著性和認(rèn)知?jiǎng)討B(tài) Attention, Salience, and Epistemic Dynamics

10.12 規(guī)則學(xué)習(xí)、因果推理和快速泛化 Rule Learning, Causal Inference, and Fast Generalization

10.13 主動(dòng)推理和其他領(lǐng)域：開放方向

10.13.1 社會(huì)和文化動(dòng)態(tài)

10.13.2 機(jī)器學(xué)習(xí)和機(jī)器人技術(shù)

10.14 總結(jié)

10.1 簡(jiǎn)介

在本章中，我們總結(jié)了主動(dòng)推理的主要理論要點(diǎn)（來自本書的第一部分）及其實(shí)際實(shí)現(xiàn)（來自第二部分）。然后，我們將這些點(diǎn)聯(lián)系起來：我們從前面章節(jié)中討論的特定主動(dòng)推理模型中抽象出來，專注于框架的集成方面。主動(dòng)推理的好處之一是它為有感知力的生物體必須解決的適應(yīng)性問題提供了完整的解決方案。因此，它為感知、行動(dòng)選擇、注意力和情緒調(diào)節(jié)等問題提供了統(tǒng)一的視角，這些問題通常在心理學(xué)和神經(jīng)科學(xué)中被單獨(dú)處理，并在人工智能中使用不同的計(jì)算方法來解決。我們將在控制論、行動(dòng)思想運(yùn)動(dòng)理論、強(qiáng)化學(xué)習(xí)和最優(yōu)控制等既定理論的背景下討論這些問題（以及更多問題）。最后，我們簡(jiǎn)要討論如何將主動(dòng)推理的范圍擴(kuò)展到涵蓋本書未深入討論的其他生物、社會(huì)和技術(shù)主題。

10.2 總結(jié)

本書系統(tǒng)地介紹了主動(dòng)推理的理論基礎(chǔ)和實(shí)際實(shí)現(xiàn)。在這里，我們簡(jiǎn)單總結(jié)一下前九章的討論。這提供了一個(gè)機(jī)會(huì)演練主動(dòng)推理的關(guān)鍵結(jié)構(gòu)，這將在本章的其余部分中發(fā)揮作用。

在第1章中，我們介紹了主動(dòng)推理作為理解有感知力的生物的規(guī)范方法，這些生物其環(huán)境構(gòu)成了的動(dòng)作感知循環(huán)的一部分（Fuster 2004）。我們解釋說，規(guī)范性方法從第一原理開始，得出并測(cè)試有關(guān)感興趣現(xiàn)象的經(jīng)驗(yàn)預(yù)測(cè) 在這里，生物體在與生物體進(jìn)行適應(yīng)性（行動(dòng)?感知的環(huán)境互動(dòng)循環(huán)）時(shí)持續(xù)存在在他們的環(huán)境。

在第2章中，我們闡述了主動(dòng)推理的低級(jí)之路。這條道路始于這樣的想法：大腦是一臺(tái)預(yù)測(cè)機(jī)器，具有生成模型：世界上隱藏的原因如何產(chǎn)生感覺的概率表示（例如，從蘋果反射的光如何刺激視網(wǎng)膜）。通過反轉(zhuǎn)這個(gè)模型，它可以推斷出其感覺的原因（例如，考慮到我的視網(wǎng)膜以某種方式受到刺激，我是否看到了一個(gè)蘋果）。這種感知觀點(diǎn)（又名感知即推理）的歷史根源在于亥姆霍茲的無意識(shí)推理概念，以及最近的貝葉斯大腦假說。主動(dòng)推理通過將動(dòng)作控制和規(guī)劃納入推理范圍內(nèi)（也稱為控制即推理、規(guī)劃即推理）擴(kuò)展了這一觀點(diǎn)。最重要的是，它表明感知和行動(dòng)并不是典型的可分離過程，而是實(shí)現(xiàn)相同的目標(biāo)。我們首先更非正式地描述這個(gè)目標(biāo)，作為模型與世界之間差異的最小化（通常減少到意外或預(yù)測(cè)誤差最小化）。簡(jiǎn)而言之，人們可以通過兩種方式最小化模型與世界之間的差異：改變自己的想法以適應(yīng)世界（感知）或改變世界以適應(yīng)模型（行動(dòng)）。這些可以用貝葉斯推理來描述。然而，精確推理通常很棘手，因此主動(dòng)推理使用（變分）近似（請(qǐng)注意，精確推理可能被視為近似推理的特殊情況）。這導(dǎo)致了對(duì)感知和行動(dòng)的共同目標(biāo)的第二個(gè)更正式的描述，即變分自由能最小化。這是主動(dòng)推理中使用的核心量，并且可以根據(jù)其組成部分（例如，能量和熵、復(fù)雜性和準(zhǔn)確性、或意外和發(fā)散）進(jìn)行分解。最后，我們引入了第二種自由能：預(yù)期自由能。這在規(guī)劃時(shí)尤其重要，因?yàn)樗峁┝艘环N通過考慮替代政策預(yù)期產(chǎn)生的未來結(jié)果來對(duì)替代政策進(jìn)行評(píng)分的方法。這也可以根據(jù)其組成部分（例如，信息增益和實(shí)用價(jià)值、預(yù)期的模糊性和風(fēng)險(xiǎn)）來分解。

在第 3 章中，我們闡述了主動(dòng)推理的大道。這條替代道路始于生物有機(jī)體保持完整性和避免消散的的必要性，這可以被描述為避免令人驚奇的狀態(tài)。然后我們引入了馬爾可夫毯子的概念：有機(jī)體內(nèi)部狀態(tài)和世界外部狀態(tài)之間統(tǒng)計(jì)分離的形式化。至關(guān)重要的是，內(nèi)部和外部狀態(tài)只能通過中間（主動(dòng)和感覺）變量（稱為毯子狀態(tài)）相互影響。這種統(tǒng)計(jì)上的分離由馬爾可夫毯介導(dǎo)的 對(duì)于賦予有機(jī)體一定程度的獨(dú)立于外部世界的自主權(quán)至關(guān)重要。要理解為什么這是一個(gè)有用的觀點(diǎn)，請(qǐng)考慮以下三個(gè)后果。

首先，具有馬爾可夫毯的有機(jī)體似乎在貝葉斯意義上模擬外部環(huán)境：其內(nèi)部狀態(tài)平均對(duì)應(yīng)于關(guān)于世界外部狀態(tài)的近似后驗(yàn)信念approximate posterior belief。其次，自主性是由以下事實(shí)保證的：有機(jī)體的模型（其內(nèi)部狀態(tài)）不是無偏的，而是規(guī)定了一些必須維持的存在先決條件（或先驗(yàn)偏好），例如，對(duì)于魚來說，處于水中。第三，有了這種形式主義，就可以將最優(yōu)行為（相對(duì)于先驗(yàn)偏好）描述為感知和行動(dòng)的（貝葉斯）模型證據(jù)的最大化。通過最大化模型證據(jù)（即不證自明），生物體確保它實(shí)現(xiàn)其先前的偏好（例如，魚留在水中）并避免令人驚訝的狀態(tài)。反過來，模型證據(jù)的最大化在數(shù)學(xué)上（大約）等價(jià)于變分自由能的最小化因此我們?cè)俅危ㄒ粤硪环N方式）達(dá)到第 2 章中討論的主動(dòng)推理的相同中心結(jié)構(gòu)。最后，我們?cè)敿?xì)介紹了最小化意外與漢密爾頓最少行動(dòng)原則之間的關(guān)系。這證明了主動(dòng)推理與統(tǒng)計(jì)物理學(xué)第一原理之間的正式關(guān)系。

在第4章中，我們概述了主動(dòng)推理的形式方面。我們關(guān)注從貝葉斯推理到易于處理的近似的轉(zhuǎn)變變分推理 以及有機(jī)體通過感知和行動(dòng)最小化變分自由能的最終目標(biāo)。由此得到生物用來理解其世界的生成(世界)模型的重要性。我們引入了兩種生成(世界)模型，使用離散變量或連續(xù)變量來表達(dá)我們對(duì)數(shù)據(jù)如何生成的信念。我們解釋說，兩者都提供相同的主動(dòng)推理，但它們分別適用于在離散時(shí)間（如部分觀察的馬爾可夫決策問題）或連續(xù)時(shí)間（如隨機(jī)微分方程）中表述事態(tài)的情況。

在第五章中，我們?cè)u(píng)論了自由能最小化的規(guī)范原理與大腦如何實(shí)現(xiàn)該原理的過程理論之間的差異，并解釋說后者會(huì)產(chǎn)生可測(cè)試的預(yù)測(cè)。然后，我們概述了伴隨主動(dòng)推理的過程理論的各個(gè)方面，其中包括神經(jīng)元消息傳遞等領(lǐng)域，包括神經(jīng)解剖電路（例如，皮質(zhì)?皮質(zhì)下環(huán)路）和神經(jīng)調(diào)節(jié)。例如，在解剖層面，消息傳遞很好地映射到典型的皮質(zhì)微電路，其預(yù)測(cè)源于某一層的深層皮質(zhì)層，并以下面一個(gè)層面的表層皮層為目標(biāo)(（Bastos et al. 2012）。在更系統(tǒng)的層面上，我們討論了貝葉斯推理、學(xué)習(xí)和精確加權(quán)如何分別對(duì)應(yīng)于神經(jīng)元?jiǎng)恿W(xué)、突觸可塑性和神經(jīng)調(diào)節(jié)，以及預(yù)測(cè)編碼的自上而下和自下而上的神經(jīng)消息傳遞如何映射到較慢的（例如，α或β）和更快（例如，γ）的腦節(jié)律 At a more systemic level, we discussed how Bayesian inference, learning, and precision weighting correspond to neuronal dynamics, synaptic plasticity, andneuromodulation, respectively, and how the top- down and bottom-up neural message passing of predictive coding maps to slower (e.g., alpha or beta) and faster (e.g., gamma) brain rhythms。這些和其他示例表明，在設(shè)計(jì)特定的主動(dòng)推理模型后，人們可以從其生成世界模型的形式中得出神經(jīng)生物學(xué)含義。

在第6章中，我們提供了設(shè)計(jì)主動(dòng)推理模型的秘訣。我們看到，雖然所有生物都會(huì)最大限度地減少其變分自由能，但它們的行為方式不同，有時(shí)甚至相反，因?yàn)樗鼈儽毁x予了不同的生成模型。因此，區(qū)分不同（例如，更簡(jiǎn)單和更復(fù)雜）生物的只是它們的生成模型不同。有豐富的可能的生成模型，它們對(duì)應(yīng)于不同的生物（例如神經(jīng)元）實(shí)現(xiàn)，并在不同的環(huán)境和生態(tài)位中產(chǎn)生不同的適應(yīng)性或適應(yīng)不良行為。這使得主動(dòng)推理同樣適用于表征簡(jiǎn)單的生物，如感知和尋求營養(yǎng)梯度的細(xì)菌，像我們這樣追求復(fù)雜目標(biāo)并參與豐富文化實(shí)踐的復(fù)雜生物，甚至不同的個(gè)體 在某種程度上，人們適當(dāng)?shù)乇碚髁烁髯缘奶卣魃赡Ｐ汀＿M(jìn)化似乎已經(jīng)發(fā)現(xiàn)了越來越復(fù)雜的大腦和身體設(shè)計(jì)結(jié)構(gòu)，使生物體能夠處理（和塑造）豐富的生態(tài)位。建模者可以對(duì)這一過程進(jìn)行逆向工程，并根據(jù)感興趣的生物所占據(jù)的利基類型，以生成模型的形式指定其大腦和身體的設(shè)計(jì)。這對(duì)應(yīng)于一系列的設(shè)計(jì)選擇（例如，使用離散或分類變量的模型、淺層或分層模型）我們?cè)诒菊轮袑?duì)其進(jìn)行了解包。

在第7章和第8章中，我們提供了離散和連續(xù)時(shí)間的主動(dòng)推理模型的大量示例，這些示例解決了感知推理、目標(biāo)導(dǎo)向?qū)Ш健⒛Ｐ蛯W(xué)習(xí)、動(dòng)作控制等問題。這些示例旨在展示這些模型下的各種緊急行為，并詳細(xì)說明如何在實(shí)際中指定它們的原則。

在第9章中，我們討論了如何使用主動(dòng)推理進(jìn)行基于模型的數(shù)據(jù)分析，并恢復(fù)個(gè)體生成模型的參數(shù)，從而更好地解釋任務(wù)中主體的行為。這種計(jì)算表型分析使用了本書其余部分討論的相同形式的貝葉斯推理，但以不同的方式：它有助于設(shè)計(jì)和評(píng)估其他人（主觀）模型的（客觀）模型。

10.3連接點(diǎn)：主動(dòng)推理的綜合視角

幾十年前，哲學(xué)家丹尼特感嘆認(rèn)知科學(xué)家投入了太多精力來建模孤立的子系統(tǒng)（例如感知、語言理解），而這些子系統(tǒng)的邊界往往是任意的。他建議嘗試對(duì)“整個(gè)鬣蜥”進(jìn)行建模：一種完整的認(rèn)知生物（也許是一個(gè)簡(jiǎn)單的生物）和它需要應(yīng)對(duì)的環(huán)境生態(tài)位（Dennett 1978）。

主動(dòng)推理的一個(gè)好處是，它提供了生物體解決其適應(yīng)性問題的方式的首要原則。本書所追求的規(guī)范方法假設(shè)可以從變分自由能最小化原理出發(fā)，并得出有關(guān)特定認(rèn)知過程的含義，例如感知、行動(dòng)選擇、注意力和情緒調(diào)節(jié)及其神經(jīng)元基礎(chǔ)。

想象一個(gè)簡(jiǎn)單的生物，它必須解決諸如尋找食物或住所之類的問題。當(dāng)施展為主動(dòng)推理時(shí)，該生物的問題可以是用積極的術(shù)語描述，即采取行動(dòng)來征求偏好的感覺（例如，與食物相關(guān)的感覺）。在某種程度上，這些偏好的感覺被包含在其生成模型中（作為先驗(yàn)信念），有機(jī)體正在有效地收集其模型的證據(jù)，或者更寓言性地，為其存在收集證據(jù)（即最大化模型證據(jù)或不證自明的證據(jù)）。這個(gè)簡(jiǎn)單的原理對(duì)傳統(tǒng)上孤立地考慮的心理功能產(chǎn)生了影響，例如感知、行動(dòng)控制、記憶、注意力、意圖、情感等等。例如，感知和行動(dòng)都是自我證明的，從某種意義上說，生物可以通過改變其信念（關(guān)于食物的存在）或通過改變世界，將其期望（給定其生成模型）與其感知的東西結(jié)合起來。（追求與食物相關(guān)的感覺）。記憶和注意力也可以被認(rèn)為是優(yōu)化同一目標(biāo)。長期記憶是通過學(xué)習(xí)生成模型的參數(shù)來發(fā)展的。當(dāng)信念是關(guān)于過去和未來的外部狀態(tài)時(shí)，工作記憶就是信念更新。注意力是對(duì)感官輸入精確度的信念的優(yōu)化。規(guī)劃（和意圖）的形式可以通過吸引（某些）生物在替代未來中進(jìn)行選擇的能力來概念化，這反過來又需要時(shí)間深度的生成模型。這些預(yù)測(cè)了一系列行動(dòng)將產(chǎn)生的結(jié)果，并對(duì)這些結(jié)果持樂觀態(tài)度。這種樂觀主義表現(xiàn)為相信未來的結(jié)果將導(dǎo)致首選的結(jié)果。深度時(shí)間模型還可以幫助我們理解復(fù)雜形式的展望（其中對(duì)當(dāng)前的信念用于推導(dǎo)對(duì)未來的信念）和回顧（其中對(duì)當(dāng)前的信念用于更新對(duì)過去的信念）。內(nèi)感受調(diào)節(jié)和情緒的形式可以通過訴諸內(nèi)部生理學(xué)的生成模型來概念化，該模型預(yù)測(cè)未來事件的 allostatic后果。

正如上面的例子所示，從情感行為規(guī)范理論的角度研究認(rèn)知和行為有一個(gè)重要的結(jié)果。這種理論并不是從組裝單獨(dú)的認(rèn)知功能開始的，例如感知、決策和計(jì)劃。相反，它首先為生物體必須解決的問題提供完整的解決方案，然后分析該解決方案以得出有關(guān)認(rèn)知功能的含義。例如，哪些機(jī)制允許生物體或人造生物（例如機(jī)器人）感知世界、記住世界或計(jì)劃（Verschure 等人，2003 年、2014 年；Verschure 2012 年；Pezzulo、Barsalou 等人，2013 年；Krakauer 等人）等2017）？這是一個(gè)重要的隨著心理學(xué)和神經(jīng)科學(xué)教科書中使用的認(rèn)知功能分類法在很大程度上繼承自早期哲學(xué)和心理學(xué)理論（有時(shí)稱為詹姆斯主義范疇），這一趨勢(shì)正在發(fā)生變化。盡管它們具有巨大的啟發(fā)價(jià)值，但它們可能相當(dāng)任意，或者它們可能不對(duì)應(yīng)于單獨(dú)的認(rèn)知和神經(jīng)過程（Pezzulo 和 Cisek 2016，Buzsaki 2019，Cisek 2019）。事實(shí)上，這些詹姆斯式的范疇可能是我們的生成模型如何解釋我們與感覺中樞的接觸的候選者 而不是解釋這種接觸。candidates for how our generative models explain our engagement with the sensorium—as opposed to explaining that engagement例如，“我正在感知”的唯我論假設(shè)只是我對(duì)當(dāng)前事態(tài)的解釋，包括我的信念更新。

采用規(guī)范視角也可能有助于識(shí)別不同領(lǐng)域研究的認(rèn)知現(xiàn)象之間的形式類比。

一個(gè)例子是勘探和開發(fā)exploration and exploitation之間的權(quán)衡，它以各種形式出現(xiàn)（Hills et al. 2015）。這種權(quán)衡經(jīng)常在覓食過程中進(jìn)行研究，此時(shí)生物必須在利用以前的成功計(jì)劃和探索新的（可能更好）的計(jì)劃之間做出選擇。然而，當(dāng)生物可以在利用當(dāng)前最佳計(jì)劃與投入更多時(shí)間和認(rèn)知努力來探索其他可能性之間做出選擇時(shí)，在利用有限資源（例如，時(shí)間限制或搜索努力）進(jìn)行記憶搜索和深思熟慮期間，也會(huì)發(fā)生同樣的權(quán)衡。用自由能來表征這些明顯不相關(guān)的現(xiàn)象可能會(huì)揭示深層的相似性（Friston, Rigoli et al. 2015；Pezzulo, Cartoni et al. 2016；Gottwald and Braun 2020）。最后，除了對(duì)心理現(xiàn)象的統(tǒng)一視角之外，主動(dòng)推理還提供了一種理解相應(yīng)神經(jīng)計(jì)算的原則方法。換句話說，它提供了一種將認(rèn)知處理與（預(yù)期的）神經(jīng)元?jiǎng)恿W(xué)聯(lián)系起來的過程理論。主動(dòng)推理假設(shè)與大腦、思想和行為有關(guān)的一切行為可以用最小化自由變分來描述活力。反過來，這種最小化具有可以憑經(jīng)驗(yàn)驗(yàn)證的特定神經(jīng)特征（例如，在消息傳遞或大腦解剖學(xué)方面）。在本章的其余部分中，我們將探討主動(dòng)推理對(duì)心理功能的一些影響 就像我們?cè)诶L制一本心理學(xué)教科書一樣。對(duì)于每個(gè)函數(shù)，我們還強(qiáng)調(diào)了主動(dòng)推理與文獻(xiàn)中其他流行理論之間的一些聯(lián)系（或分歧）。

10.4預(yù)測(cè)大腦、預(yù)測(cè)心智和預(yù)測(cè)處理（次優(yōu)）

I have this picture of pure joy

it’s of a child with a gun

he’s aiming straight in front of himself,

shooting at something that isn’t there.

—Afterhours, “Quello che non c’è” (Something that isn’t there)

傳統(tǒng)的大腦和認(rèn)知理論強(qiáng)調(diào)從外部刺激到內(nèi)部表征，然后是運(yùn)動(dòng)動(dòng)作的前饋轉(zhuǎn)換。這被稱為“三明治模型”，因?yàn)?strong>刺激和反應(yīng)之間的一切都被貼上“認(rèn)知”標(biāo)簽（Hurley 2008）。從這個(gè)角度來看，大腦的主要功能是將傳入的刺激轉(zhuǎn)化為適合情境的反應(yīng)。主動(dòng)推理與這種觀點(diǎn)有很大不同，它強(qiáng)調(diào)大腦和認(rèn)知的預(yù)測(cè)和目標(biāo)導(dǎo)向方面。用心理學(xué)術(shù)語來說，主動(dòng)推理生物（或其大腦）是概率推理機(jī)器，它根據(jù)其生成模型不斷生成預(yù)測(cè)。不證自明的生物以兩種基本方式使用它們的預(yù)測(cè)。首先，他們將預(yù)測(cè)與傳入數(shù)據(jù)進(jìn)行比較，以驗(yàn)證他們的假設(shè)（預(yù)測(cè)編碼），并在較慢的時(shí)間尺度上修改他們的模型（學(xué)習(xí)）。其次，他們制定預(yù)測(cè)來指導(dǎo)他們收集數(shù)據(jù)的方式（主動(dòng)推理）。通過這樣做，主動(dòng)推理生物滿足了兩個(gè)必要條件：認(rèn)知（例如，視覺探索存在顯著信息的地方，可以解決假設(shè)或模型的不確定性）和實(shí)用（例如，移動(dòng)到可以進(jìn)行首選觀察（例如獎(jiǎng)勵(lì)）的位置。安全）。認(rèn)知命令使感知和學(xué)習(xí)過程變得活躍，而實(shí)用命令使行為目標(biāo)導(dǎo)向。

10.4.1 預(yù)測(cè)處理

這種以預(yù)測(cè)和目標(biāo)為中心的大腦和認(rèn)知觀點(diǎn)與預(yù)測(cè)處理（PP）密切相關(guān)（并為其提供了靈感） ：這是心靈哲學(xué)和認(rèn)識(shí)論中的一個(gè)新興框架，它將預(yù)測(cè)視為預(yù)測(cè)的核心。大腦和認(rèn)知，并訴諸“預(yù)測(cè)性大腦”或“預(yù)測(cè)性思維”的概念（Clark 2013，2015；Hohwy 2013）。有時(shí)，PP 理論會(huì)吸引主動(dòng)推理的特定功能及其一些結(jié)構(gòu)，例如生成模型、預(yù)測(cè)編碼、自由能、精確控制和馬爾可夫毯子，但有時(shí)它們會(huì)吸引其他結(jié)構(gòu)，例如耦合逆和耦合逆向推理。前向模型，不屬于主動(dòng)推理的一部分。因此，與主動(dòng)推理相比，術(shù)語“預(yù)測(cè)處理”的含義更廣泛（且限制更少）。

預(yù)測(cè)處理理論在哲學(xué)引起了人們的廣泛關(guān)注 ，因?yàn)樗鼈冊(cè)?strong>許多意義上具有統(tǒng)一的潛力：跨越多個(gè)認(rèn)知領(lǐng)域，包括感知、行動(dòng)、學(xué)習(xí)和心理病理學(xué)；從較低水平（例如，感覺運(yùn)動(dòng)）到較高水平的認(rèn)知處理（例如，心理結(jié)構(gòu)）；從簡(jiǎn)單的生物有機(jī)體到大腦、個(gè)體以及社會(huì)和文化結(jié)構(gòu)。 PP 理論的另一個(gè)吸引力是它們使用概念術(shù)語，例如信念和驚訝，這涉及哲學(xué)家熟悉的心理分析水平（需要注意的是，有時(shí)這些術(shù)語可能具有與常見用法不同的技術(shù)含義）。然而，隨著對(duì) PP 興趣的增長，哲學(xué)家們對(duì)其理論和認(rèn)識(shí)論含義有不同的看法，這一點(diǎn)變得越來越明顯。例如，它被解釋為內(nèi)在主義（Hohwy 2013）、體現(xiàn)或基于行動(dòng)（Clark 2015）以及行動(dòng)主義和非表征術(shù)語（Bruineberg et al. 2016，Ramstead et al. 2019）。圍繞這些概念解釋的爭(zhēng)論超出了本書的范圍。

10.5 感知

You can’t depend on your eyes when your imagination is out of focus.

—Mark Twain

主動(dòng)推理將感知視為基于如何生成感官觀察的生成模型的推理過程。貝葉斯規(guī)則本質(zhì)上是反轉(zhuǎn)模型，根據(jù)觀察結(jié)果來計(jì)算有關(guān)環(huán)境隱藏狀態(tài)的信念。這種“感知即推理”的想法可以追溯到亥姆霍茲（Helmholtz，1866），并且經(jīng)常在心理學(xué)、計(jì)算神經(jīng)科學(xué)和機(jī)器學(xué)習(xí)（例如綜合分析）中被重新提出。面臨具有挑戰(zhàn)性的感知問題，例如破壞基于文本的 CAPT?CHA (George et al. 2017)。

10.5.1 貝葉斯大腦假設(shè)（次優(yōu)）

這一想法最突出的當(dāng)代表達(dá)是貝葉斯大腦假說，該假說已應(yīng)用于決策、感覺處理和學(xué)習(xí)等多個(gè)領(lǐng)域（Doya 2007）。主動(dòng)推理通過將變分自由能最小化的要求推導(dǎo)出來，為這些推理思想提供了規(guī)范基礎(chǔ)。正如同樣的命令延伸到動(dòng)作動(dòng)力學(xué)，主動(dòng)推理自然地模擬了主動(dòng)感知以及有機(jī)體主動(dòng)采樣觀察結(jié)果來測(cè)試其假設(shè)的方式（Gregory 1980）。相反，在貝葉斯大腦議程下，感知和行動(dòng)根據(jù)不同的命令進(jìn)行建模（其中行動(dòng)需要貝葉斯決策理論；參見第 10.7.1 節(jié)）。更廣泛地說，貝葉斯大腦假說指的是一系列不一定是整合的方法，并且經(jīng)常做出不同的經(jīng)驗(yàn)預(yù)測(cè)。例如，這些包括大腦執(zhí)行貝葉斯最佳感覺運(yùn)動(dòng)和多感覺整合的計(jì)算級(jí)建議（Kording and Wolpert 2006），大腦實(shí)現(xiàn)貝葉斯推理的特定近似的算法級(jí)建議，例如決策?通過采樣（Stewart 等人，2006 年），以及關(guān)于神經(jīng)群體執(zhí)行概率計(jì)算或編碼概率分布的具體方式的神經(jīng)級(jí)提案例如，作為樣本或概率群體代碼（Fiser 等人，2006 年）。 2010，Pouget 等人。2013）。在每個(gè)解釋層面上，該領(lǐng)域都有相互競(jìng)爭(zhēng)的理論。例如，通常訴諸精確貝葉斯推理的近似值來解釋與最佳行為的偏差，但不同的工作考慮不同的（且并不總是兼容的）近似值，例如不同的采樣方法。更廣泛地說，不同級(jí)別的提案之間的關(guān)系并不總是直接的。這是因?yàn)樨惾~斯計(jì)算可以通過多種算法方式實(shí)現(xiàn)（或近似），即使沒有明確表示概率分布（Aitchison 和 Lengyel 2017）。

主動(dòng)推理提供了一個(gè)更綜合的視角，將規(guī)范原則和過程理論聯(lián)系起來。在規(guī)范層面，其核心假設(shè)所有過程都最小化變分自由能。相應(yīng)的推理過程理論使用自由能梯度下降，這具有明確的神經(jīng)生理學(xué)含義，在第 5 章中進(jìn)行了探討（Friston、FitzGerald 等人，2016 年）。更廣泛地說，我們可以從自由能最小化原理出發(fā)，推導(dǎo)出對(duì)大腦的影響架構(gòu)例如，感知推理的規(guī)范過程模型（在連續(xù)時(shí)間）是預(yù)測(cè)編碼。預(yù)測(cè)編碼最初由 Rao 和 Ballard (1999) 提出作為分層感知處理理論，用于解釋一系列記錄在案的自上而下效應(yīng)，這些效應(yīng)很難與前饋架構(gòu)以及已知的生理事實(shí)相一致（例如，感覺層次中存在前向或自下而上和后向或自上而下的連接）。然而，在某些假設(shè)下，例如拉普拉斯近似（Friston 2005），預(yù)測(cè)編碼可以從自由能最小化原理導(dǎo)出。此外，連續(xù)時(shí)間內(nèi)的主動(dòng)推理可以被構(gòu)建為預(yù)測(cè)編碼到動(dòng)作領(lǐng)域的定向延伸 通過賦予預(yù)測(cè)編碼代理運(yùn)動(dòng)反射（Shipp et al. 2013）。這將我們引向下一點(diǎn)。

10.6 動(dòng)作控制

If you can’t fly then run, if you can’t run then walk, if you can’t walk then crawl, but whatever you do you have to keep moving forward.

—Martin Luther King

在主動(dòng)推理中，動(dòng)作處理類似于感知處理，因?yàn)閮烧叨际艿角跋蝾A(yù)測(cè)（分別是外感受和本體感受）的指導(dǎo)。正是“我的手抓住杯子”的（本體感受）預(yù)測(cè)引發(fā)了抓握動(dòng)作。動(dòng)作和知覺之間的等價(jià)性也存在于神經(jīng)生物學(xué)層面：運(yùn)動(dòng)皮層的結(jié)構(gòu)與感覺皮層的組織方式相同作為預(yù)測(cè)編碼結(jié)構(gòu)，不同之處在于它可以影響腦干和大腦中的運(yùn)動(dòng)反射。脊柱（Shipp et al. 2013）并且它接收到的上升輸入相對(duì)較少。電機(jī)Motor反射允許通過沿著所需的方向設(shè)置“平衡點(diǎn)”來控制運(yùn)動(dòng)軌跡 對(duì)應(yīng)于平衡點(diǎn)假設(shè)的想法（費(fèi)爾德曼，2009）。重要的是，啟動(dòng)一個(gè)動(dòng)作（例如抓起一個(gè)杯子）需要適當(dāng)調(diào)節(jié)先前信念和感覺流的精度（逆方差）。這是因?yàn)檫@些精度的相對(duì)值決定了生物處理其先前信念（它拿著杯子）和它的感官輸入（表明它沒有拿著杯子）之間的沖突的方式。根據(jù)相互矛盾的感官證據(jù)，先前關(guān)于抓杯子的不精確信念可以很容易地被修正 導(dǎo)致改變想法而不采取任何行動(dòng)。相反，當(dāng)先驗(yàn)信念占主導(dǎo)地位（即具有更高的精確度）時(shí)，即使面對(duì)相互沖突的感官證據(jù)，它也會(huì)被維持，并且會(huì)引發(fā)解決沖突的抓住行動(dòng)。為了確保這種情況，動(dòng)作啟動(dòng)會(huì)引起短暫的感覺衰減（或降低感覺預(yù)測(cè)錯(cuò)誤的權(quán)重）。這種感覺衰減的失敗可能會(huì)產(chǎn)生適應(yīng)不良的后果，例如無法啟動(dòng)或控制運(yùn)動(dòng)（Brown et al. 2013）。

10.6.1 意念運(yùn)動(dòng)理論

在主動(dòng)推理中，行動(dòng)源于（本體感受）預(yù)測(cè)，而不是運(yùn)動(dòng)命令（Adams、Shipp 和 Friston 2013）。這個(gè)想法將主動(dòng)推理與行動(dòng)的意念ideomotor運(yùn)動(dòng)理論聯(lián)系起來：一個(gè)理解行動(dòng)控制的框架，可以追溯到威廉·詹姆斯（1890）和后來的“事件編碼”和“預(yù)期行為控制”理論（Hommel et al. 2001，霍夫曼 2003）。意念運(yùn)動(dòng)理論表明，動(dòng)作?效果聯(lián)系（類似于前向模型）是認(rèn)知架構(gòu)中的關(guān)鍵機(jī)制。重要的是，這些鏈接可以雙向使用。當(dāng)它們用于作用?效果方向時(shí)，它們?cè)试S生成感官預(yù)測(cè)；當(dāng)它們用于效果?動(dòng)作方向時(shí)，它們?cè)试S選擇實(shí)現(xiàn)所需感知結(jié)果的動(dòng)作 這意味著動(dòng)作是根據(jù)其預(yù)測(cè)的結(jié)果來選擇和控制的（因此稱為“ideo + motor”）。這種行動(dòng)控制的預(yù)期觀點(diǎn)得到了大量文獻(xiàn)的支持，這些文獻(xiàn)記錄了（預(yù)期的）行動(dòng)后果對(duì)行動(dòng)選擇和執(zhí)行的影響（Kunde et al. 2004）。主動(dòng)推理提供了這一想法的數(shù)學(xué)特征，其中還包括其他機(jī)制，例如精確控制和感覺衰減的重要性，這些機(jī)制在意念運(yùn)動(dòng)理論中尚未得到充分研究（但與意念運(yùn)動(dòng)理論兼容）。

10.6.2 控制論

主動(dòng)推理與控制論思想密切相關(guān)，這些思想涉及行為的有目的的、目標(biāo)導(dǎo)向的性質(zhì)以及（基于反饋的）主體與環(huán)境交互的重要性，如 TOTE（測(cè)試、操作、測(cè)試、退出）和相關(guān)的例子所示。模型（Miller 等人，1960 年；Pezzulo、Baldassarre 等人，2006 年）。在 TOTE 和主動(dòng)推理中，動(dòng)作的選擇是由首選（目標(biāo)）狀態(tài)和當(dāng)前狀態(tài)之間的差異決定的。這些方法不同于簡(jiǎn)單的刺激?反應(yīng)關(guān)系，正如行為主義理論和強(qiáng)化學(xué)習(xí)等計(jì)算框架中更常見的假設(shè)（Sutton 和 Barto 1998）。

主動(dòng)推理中的動(dòng)作控制概念特別類似于感知控制理論（Powers 1973）。感知控制理論的核心概念是受控制的是感知狀態(tài)，而不是運(yùn)動(dòng)輸出或動(dòng)作。在駕駛時(shí),我們所控制的——并且在面對(duì)干擾時(shí)保持穩(wěn)定——是我們的參考或期望速度(例如,90 英里/小時(shí)),如速度計(jì)所指示的,而我們?yōu)榇诉x擇的動(dòng)作(例如,加速或減速)更易變并且依賴于上下文。例如,根據(jù)干擾(例如,風(fēng)、陡峭的道路或其他汽車),我們需要加速或減速來保持參考速度。這一觀點(diǎn)實(shí)現(xiàn)了威廉·詹姆斯(1890)的建議,即“人類通過靈活的手段實(shí)現(xiàn)穩(wěn)定的目標(biāo)

雖然在主動(dòng)推理和感知控制理論中，控制動(dòng)作的是感知（特別是本體感受）預(yù)測(cè)，但這兩種理論在控制的操作方式上有所不同。在主動(dòng)推理（而不是感知控制理論）中，動(dòng)作控制具有基于生成模型的預(yù)期或前饋方面。相反，感知控制理論假設(shè)反饋機(jī)制在很大程度上足以控制行為，而嘗試預(yù)測(cè)干擾或施加前饋（或開環(huán)）控制是毫無價(jià)值的。不過，這種反對(duì)意見主要是指在解決使用逆控制理論的局限性正向模型（參見下一節(jié)）。在主動(dòng)推理下，生成或前向模型不用于預(yù)測(cè)干擾，而是用于預(yù)測(cè)未來（期望的）狀態(tài)和通過行動(dòng)實(shí)現(xiàn)的軌跡，并推斷感知事件的潛在原因。

最后，主動(dòng)推理和感知控制理論之間的另一個(gè)重要聯(lián)系點(diǎn)是它們概念化控制層次結(jié)構(gòu)的方式。感知控制理論提出，更高層次的控制低層次是通過設(shè)置參考點(diǎn)或設(shè)定點(diǎn)（即他們必須實(shí)現(xiàn)的目標(biāo)），讓他們自由選擇實(shí)現(xiàn)目標(biāo)的手段，而不是通過設(shè)置或偏向較低級(jí)別必須執(zhí)行的行動(dòng)（即，如何操作）。這與大多數(shù)分層和自上而下控制理論形成鮮明對(duì)比，在這些理論中，較高級(jí)別要么直接選擇計(jì)劃（Botvinick 2008），要么偏向較低級(jí)別的行動(dòng)或運(yùn)動(dòng)命令的選擇（Miller 和 Cohen 2001）。與感知控制理論類似，在主動(dòng)推理中，人們可以根據(jù)目標(biāo)和子目標(biāo)的（自上而下）級(jí)聯(lián)分解層次控制，這些目標(biāo)和子目標(biāo)可以在適當(dāng)?shù)模ㄝ^低）級(jí)別自主實(shí)現(xiàn)。此外，在主動(dòng)推理中，控制層次的不同級(jí)別所表示的目標(biāo)的貢獻(xiàn)可以通過激勵(lì)過程進(jìn)行調(diào)節(jié)（精確加權(quán)），從而優(yōu)先考慮更顯著或更緊急的目標(biāo)（Pezzulo，Rigoli） ，和弗里斯頓 2015，2018）。

10.6.3 最優(yōu)控制理論

主動(dòng)推理解釋動(dòng)作控制的方式與神經(jīng)科學(xué)中的其他控制模型顯著不同，例如最優(yōu)控制理論（Todorov 2004，Shadmehr et al. 2010）。該框架假設(shè)大腦的運(yùn)動(dòng)皮層使用將刺激映射到反應(yīng)的（反應(yīng)性）控制策略來選擇動(dòng)作。相反，主動(dòng)推理假設(shè)運(yùn)動(dòng)皮層傳達(dá)預(yù)測(cè)，而不是命令。此外，雖然最優(yōu)控制理論和主動(dòng)推理都吸引內(nèi)部模型，但它們以不同的方式描述內(nèi)部模型（Friston 2011）。在最優(yōu)控制中，兩種內(nèi)部模型之間存在區(qū)別：逆模型對(duì)刺激響應(yīng)偶然事件進(jìn)行編碼并選擇運(yùn)動(dòng)命令（根據(jù)某些成本函數(shù)），而正向模型對(duì)行動(dòng)結(jié)果偶然事件進(jìn)行編碼并為逆模型提供模擬結(jié)果。輸入來代替噪聲或延遲反饋，從而超越了純粹的反饋控制方案。逆向和正向模型還可以在與外部動(dòng)作感知分離的循環(huán)中運(yùn)行（即，當(dāng)輸入和輸出被抑制時(shí)），以支持動(dòng)作序列的內(nèi)部“假設(shè)”模擬。這種對(duì)動(dòng)作的內(nèi)部模擬與各種認(rèn)知功能有關(guān)，例如社會(huì)領(lǐng)域的計(jì)劃、動(dòng)作感知和模仿（Jeannerod 2001，Wolpert 等人 2003）以及各種運(yùn)動(dòng)障礙和精神病理學(xué)（Frith 等人） .2000）。

與正向?逆向建模方案相反，在主動(dòng)推理中，正向（生成）模型負(fù)責(zé)動(dòng)作控制的繁重工作，而逆向模型則非常簡(jiǎn)單，并且通常簡(jiǎn)化為在外周水平（即在腦干或大腦中）解決的簡(jiǎn)單反射。 當(dāng)預(yù)期狀態(tài)和觀察到的狀態(tài)（例如，期望的、當(dāng)前的手臂位置）之間存在差異時(shí)，即感官預(yù)測(cè)誤差，就會(huì)開始采取行動(dòng)。這意味著電機(jī)命令相當(dāng)于正向模型做出的預(yù)測(cè)，而不是最優(yōu)控制中逆向模型計(jì)算的結(jié)果。感覺（更準(zhǔn)確地說，本體感受）預(yù)測(cè)誤差通過動(dòng)作（即手臂運(yùn)動(dòng)）來解決。通過行動(dòng)填補(bǔ)的空白被認(rèn)為非常小，以至于不需要復(fù)雜的逆模型，但需要簡(jiǎn)單得多的運(yùn)動(dòng)反射（Adams、Shipp 和 Friston 20131).運(yùn)動(dòng)反射比逆模型更簡(jiǎn)單的原因在于，它不編碼從推斷的世界狀態(tài)到動(dòng)作的映射，而是編碼動(dòng)作和感覺結(jié)果之間更簡(jiǎn)單的映射。參見 Friston、Daunizeau 等人。 （2010）進(jìn)一步討論。最佳電機(jī)控制和主動(dòng)控制之間的另一個(gè)關(guān)鍵區(qū)別推論是，前者使用成本或價(jià)值函數(shù)的概念來激勵(lì)行動(dòng)，而后者則用貝葉斯先驗(yàn)概念（或先驗(yàn)偏好，隱含在預(yù)期自由能中）取代它正如我們?cè)谙乱还?jié)。

10.7 效用和決策

Action expresses priorities.

—Mahatma Gandhi

狀態(tài)成本或價(jià)值函數(shù)的概念是許多領(lǐng)域的核心，例如最優(yōu)運(yùn)動(dòng)控制、效用最大化的經(jīng)濟(jì)理論和強(qiáng)化學(xué)習(xí)。例如，在最優(yōu)控制理論中，到達(dá)任務(wù)的最優(yōu)控制策略通常被定義為最小化特定成本函數(shù)的策略（例如，更平滑或具有最小的加加速度）。在強(qiáng)化學(xué)習(xí)問題中，例如在包含一種或多種獎(jiǎng)勵(lì)的迷宮中導(dǎo)航，最優(yōu)策略是允許最大化（折扣）獎(jiǎng)勵(lì)同時(shí)最小化移動(dòng)成本的策略。這些問題通常使用貝爾曼方程（或連續(xù)時(shí)間的哈密爾頓?雅可比?貝爾曼方程）來求解，其一般思想是決策的問題可以分解為兩部分：立即獎(jiǎng)勵(lì)和決策問題剩余部分的價(jià)值。這種分解提供了動(dòng)態(tài)規(guī)劃的迭代過程，這是控制理論和強(qiáng)化學(xué)習(xí)（RL）的核心（Bellman 1954）。

主動(dòng)推理與上述方法有兩個(gè)主要不同之處。首先， 主動(dòng)推理不僅僅考慮效用最大化，而是考慮（預(yù)期）自由能最小化的更廣泛目標(biāo)，其中還包括其他（認(rèn)知）命令，例如消除當(dāng)前狀態(tài)的歧義和尋求新穎性 （見圖2.5）。這些額外的目標(biāo)有時(shí)會(huì)添加到經(jīng)典獎(jiǎng)勵(lì)中，例如作為“新奇獎(jiǎng)勵(lì)”（Kakade 和 Dayan 2002）或“內(nèi)在獎(jiǎng)勵(lì)”（Schmidhuber 1991，Oudeyer 等人 2007，Baldassarre 和 Mirolli 2013，Gottlieb 等人 2013）但它們?cè)谥鲃?dòng)推理中自動(dòng)出現(xiàn)，使其能夠解決探索?利用平衡。原因是自由能是信念的函數(shù)，這意味著我們處于信念優(yōu)化領(lǐng)域，而不是外部獎(jiǎng)勵(lì)函數(shù)。這對(duì)于探索性問題至關(guān)重要，其中的成功取決于解決盡可能多的不確定性。

???

其次，在主動(dòng)推理中，成本的概念被吸收到先驗(yàn)中。先驗(yàn)（或先驗(yàn)偏好）指定了控制目標(biāo)，例如要遵循的軌跡或要到達(dá)的終點(diǎn)。使用先驗(yàn)來編碼首選觀察結(jié)果（或序列）可能比使用實(shí)用程序更具表現(xiàn)力（Friston、Daunizeau 和 Kiebel 2009）。使用這種方法，尋找最優(yōu)策略被重新定義為一個(gè)推理問題（實(shí)現(xiàn)首選軌跡的一系列控制狀態(tài)），并且不需要價(jià)值函數(shù)或貝爾曼方程 盡管可以訴諸類似的方法如遞歸邏輯（Friston、Da Costa 等人，2020）。主動(dòng)推理和強(qiáng)化學(xué)習(xí)中通常使用先驗(yàn)函數(shù)和值函數(shù)的方式之間至少存在兩個(gè)根本區(qū)別。首先，強(qiáng)化學(xué)習(xí)方法使用狀態(tài)或狀態(tài)?動(dòng)作對(duì)的值函數(shù)，而主動(dòng)推理則使用觀測(cè)值的先驗(yàn)。其次，價(jià)值函數(shù)是根據(jù)遵循特定策略的狀態(tài)（或在狀態(tài)中執(zhí)行操作）的預(yù)期回報(bào)來定義的，即從該狀態(tài)開始然后獲得的未來（貼現(xiàn)）獎(jiǎng)勵(lì)的總和執(zhí)行政策。相比之下，在主動(dòng)推理中，先驗(yàn)通常不會(huì)對(duì)未來的獎(jiǎng)勵(lì)進(jìn)行求和，也不會(huì)對(duì)其進(jìn)行折扣。相反，當(dāng)預(yù)期自由能達(dá)到時(shí)，類似于預(yù)期回報(bào)的東西才會(huì)出現(xiàn)在主動(dòng)推理中。這意味著預(yù)期自由能是最接近價(jià)值函數(shù)的模擬。然而，即使如此，預(yù)期自由能是關(guān)于state的信念的函數(shù)，而不是state的函數(shù) a functional of beliefs about states, not a function of states，這一點(diǎn)也有所不同。話雖如此，構(gòu)建類似于 RL 中狀態(tài)的價(jià)值函數(shù)的先驗(yàn)是可能的，例如，通過緩存這些狀態(tài)中的預(yù)期自由能計(jì)算（Friston、FitzGerald 等人，2017）。2016年；邁斯托、弗里斯頓和佩祖洛 (2019)。

此外，將效用utility的概念吸收到先驗(yàn)中有一個(gè)重要的理論結(jié)果:先驗(yàn)扮演目標(biāo)的角色，并使生成模型有偏見——或樂觀,在某種意義上,生物相信它會(huì)遇到更好的結(jié)果。正是這種樂觀使推斷的計(jì)劃在積極的推理中達(dá)到預(yù)期的結(jié)果;這種樂觀的失敗可能對(duì)應(yīng)于冷漠(Hezemans et al. 2020)。這與其他正式的決策方法形成了鮮明的對(duì)比,例如貝葉斯決策理論,它將事件的概率與其效用分開。話雖如此,這種區(qū)分有些膚淺,因?yàn)樾в煤瘮?shù)總是可以被重寫為編碼先驗(yàn)信念,這與最大化效用函數(shù)的行為是先驗(yàn)的(通過設(shè)計(jì))更有可能的事實(shí)是一致的。從通貨緊縮的角度來看(稍微有點(diǎn)偏離邏輯)，這就是效用的定義。

10.7.1 貝葉斯決策理論（次優(yōu)）

貝葉斯決策理論是一個(gè)數(shù)學(xué)框架，它將貝葉斯大腦的思想（如上所述）擴(kuò)展到?jīng)Q策、感覺運(yùn)動(dòng)控制和學(xué)習(xí)領(lǐng)域（Kording and Wolpert 2006，Shadmehr et al. 2010，Wolpert and Landy 2012）。貝葉斯決策理論根據(jù)兩個(gè)不同的過程來描述決策。第一個(gè)過程使用貝葉斯計(jì)算來預(yù)測(cè)未來（行動(dòng)或政策相關(guān)）結(jié)果的概率，第二個(gè)過程使用（固定或?qū)W習(xí)的）效用或成本函數(shù)定義對(duì)計(jì)劃的偏好。最終決策（或行動(dòng)選擇）過程整合了兩個(gè)流，從而選擇（以更高的概率）具有更高概率產(chǎn)生更高獎(jiǎng)勵(lì)的行動(dòng)計(jì)劃。這與主動(dòng)推理形成鮮明對(duì)比，在主動(dòng)推理中，先驗(yàn)分布直接表明什么對(duì)有機(jī)體有價(jià)值（或者在進(jìn)化歷史中什么是有價(jià)值的）。然而，貝葉斯決策理論的兩個(gè)流派與變分自由能和預(yù)期自由能的優(yōu)化之間可以分別進(jìn)行相似之處。在下面主動(dòng)推理，變分自由能的最小化提供了關(guān)于世界狀態(tài)及其可能演化的準(zhǔn)確（且簡(jiǎn)單）的信念。先前的信念是，通過政策選擇，預(yù)期的自由能將被最小化，這包含了偏好的概念。

在一些圈子里，人們對(duì)貝葉斯決策理論的地位感到擔(dān)憂。這是從完整的類定理（Wald 1947，Brown 1981）得出的，該定理說，對(duì)于任何給定的決策和成本函數(shù)對(duì)，存在一些使貝葉斯決策最優(yōu)的先驗(yàn)信念。這意味著在單獨(dú)處理先驗(yàn)信念和成本函數(shù)時(shí)存在隱含的二元性或簡(jiǎn)并性。從某種意義上說，主動(dòng)推理通過將效用或成本函數(shù)吸收到偏好形式的先驗(yàn)信念中來解決這種退化問題。

10.7.2 強(qiáng)化學(xué)習(xí)（次優(yōu)）

強(qiáng)化學(xué)習(xí)（RL）是一種解決馬爾可夫決策問題的方法，在人工智能和認(rèn)知科學(xué)中都很流行（Sutton 和 Barto 1998）。它側(cè)重于智能體如何通過反復(fù)試驗(yàn)來學(xué)習(xí)策略（例如，桿平衡策略）：通過嘗試行動(dòng)（例如，向左移動(dòng)）并根據(jù)行動(dòng)成功（例如，桿平衡）或接收積極或消極的強(qiáng)化失敗（例如，桿子掉落）。

主動(dòng)推理和強(qiáng)化學(xué)習(xí)解決了一系列重疊的問題，但在數(shù)學(xué)和概念上在許多方面有所不同。如上所述，主動(dòng)推理省去了獎(jiǎng)勵(lì)、價(jià)值函數(shù)和貝爾曼最優(yōu)性的概念，而這些概念是強(qiáng)化學(xué)習(xí)方法的關(guān)鍵。此外，政策概念在兩個(gè)框架中的使用方式也不同。在強(qiáng)化學(xué)習(xí)中，策略表示一組需要學(xué)習(xí)的刺激?響應(yīng)映射。在主動(dòng)推理中，策略是生成模型的一部分：它表示需要推斷的一系列控制狀態(tài)。

強(qiáng)化學(xué)習(xí)方法有很多，但它們可以分為三個(gè)主要類別。前兩種方法嘗試學(xué)習(xí)良好的（狀態(tài)或狀態(tài)動(dòng)作）價(jià)值函數(shù)，盡管以兩種不同的方式。

RL 的無模型方法直接從經(jīng)驗(yàn)中學(xué)習(xí)價(jià)值函數(shù)：它們執(zhí)行操作、收集獎(jiǎng)勵(lì)、更新其價(jià)值函數(shù)，并使用它們來更新其策略。它們被稱為無模型的原因是因?yàn)樗鼈?strong>不使用允許預(yù)測(cè)未來狀態(tài)的（轉(zhuǎn)換）模型 類似于主動(dòng)推理中使用的那種。相反，它們隱含地訴諸于更簡(jiǎn)單的模型（例如，狀態(tài)?動(dòng)作映射）。無模型強(qiáng)化學(xué)習(xí)中的學(xué)習(xí)價(jià)值函數(shù)通常涉及計(jì)算獎(jiǎng)勵(lì)預(yù)測(cè)錯(cuò)誤，如流行的時(shí)間差異規(guī)則。雖然主動(dòng)推理經(jīng)常引起預(yù)測(cè)錯(cuò)誤，但這些都是狀態(tài)預(yù)測(cè)錯(cuò)誤（因?yàn)橹鲃?dòng)推理中沒有獎(jiǎng)勵(lì)的概念）。

基于模型的強(qiáng)化學(xué)習(xí)方法不會(huì)直接從經(jīng)驗(yàn)中學(xué)習(xí)價(jià)值函數(shù)或策略。相反，他們從經(jīng)驗(yàn)中學(xué)習(xí)任務(wù)模型，使用該模型進(jìn)行計(jì)劃（模擬可能的經(jīng)驗(yàn)），并根據(jù)這些模擬經(jīng)驗(yàn)更新價(jià)值函數(shù)和策略。雖然主動(dòng)推理和強(qiáng)化學(xué)習(xí)都適合基于模型的規(guī)劃，但它們的使用方式有所不同。在主動(dòng)推理中，規(guī)劃是計(jì)算每個(gè)策略的預(yù)期自由能，而不是更新價(jià)值函數(shù)的手段。可以說，如果預(yù)期自由能被視為價(jià)值函數(shù)，則可以說使用生成模型得出的推論用于更新該函數(shù)，從而在這 些方法之間提供了一個(gè)類比點(diǎn)。

強(qiáng)化學(xué)習(xí)方法的第三個(gè)系列是策略梯度方法，它試圖直接優(yōu)化策略，而不需要中間值函數(shù)，而中間值函數(shù)是基于模型和無模型強(qiáng)化學(xué)習(xí)的核心。這些方法從參數(shù)化策略開始，能夠生成（例如）運(yùn)動(dòng)軌跡，然后通過更改參數(shù)來優(yōu)化它們，以在軌跡導(dǎo)致高（低）正獎(jiǎng)勵(lì)時(shí)增加（減少）策略的可能性。 這種方法將策略梯度方法與主動(dòng)推理聯(lián)系起來，這也省去了價(jià)值函數(shù)（Millidge 2019）。然而，政策梯度的總體目標(biāo)（最大化長期累積獎(jiǎng)勵(lì)）不同 來自主動(dòng)推理。

除了主動(dòng)推理和強(qiáng)化學(xué)習(xí)之間的形式差異之外，還存在一些重要的概念差異。一個(gè)區(qū)別在于這兩種方法如何解釋目標(biāo)導(dǎo)向行為和習(xí)慣行為。在動(dòng)物學(xué)習(xí)文獻(xiàn)中，目標(biāo)導(dǎo)向的選擇是通過對(duì)行動(dòng)與其結(jié)果之間的偶然性的（前瞻性）知識(shí)來調(diào)節(jié)的（Dickinson and Balleine 1990），而習(xí)慣性選擇不是前瞻性的，而是依賴于更簡(jiǎn)單的選擇（例如，刺激?反應(yīng)）機(jī)制。強(qiáng)化學(xué)習(xí)中的一個(gè)流行觀點(diǎn)是，目標(biāo)導(dǎo)向和習(xí)慣性選擇分別對(duì)應(yīng)于基于模型和無模型的強(qiáng)化學(xué)習(xí)，并且這些選擇是并行獲得的，并不斷競(jìng)爭(zhēng)以控制行為（Daw et al. 2005）。

相反，主動(dòng)推理將目標(biāo)導(dǎo)向和習(xí)慣性選擇映射到不同的機(jī)制。在主動(dòng)推理（離散時(shí)間）中，策略選擇本質(zhì)上是基于模型的，因此符合目標(biāo)導(dǎo)向的深思熟慮選擇的定義。這與基于模型的強(qiáng)化學(xué)習(xí)中發(fā)生的情況類似，但有所不同。在基于模型的強(qiáng)化學(xué)習(xí)中，行動(dòng)是在預(yù)期中選擇的方式（使用模型）但以反應(yīng)方式進(jìn)行控制（使用刺激?反應(yīng)政策）；在主動(dòng)推理中，可以通過實(shí)現(xiàn)本體感受預(yù)測(cè)以主動(dòng)的方式控制動(dòng)作（關(guān)于動(dòng)作控制，請(qǐng)參閱第 10.6 節(jié)）。

在主動(dòng)推理中，可以通過執(zhí)行目標(biāo)導(dǎo)向的策略，然后緩存有關(guān)哪些策略在哪些上下文中成功的信息來獲得習(xí)慣。緩存的信息可以合并為策略的先驗(yàn)值（Friston、FitzGerald 等人，2016 年；Maisto、Friston 和 Pezzulo，2019 年）。該機(jī)制允許無需深思熟慮地執(zhí)行具有較高先驗(yàn)價(jià)值（在給定上下文中）的策略。這可以簡(jiǎn)單地被認(rèn)為是通過多次參與一項(xiàng)任務(wù)來觀察“我做了什么”并了解到“我是那種傾向于這樣做的生物”。與無模型強(qiáng)化學(xué)習(xí)不同，在無模型強(qiáng)化學(xué)習(xí)中，習(xí)慣是獨(dú)立于目標(biāo)導(dǎo)向的策略選擇而獲得的，而在主動(dòng)推理中，習(xí)慣是通過反復(fù)追求目標(biāo)導(dǎo)向的策略（例如，通過緩存其結(jié)果）來獲得的。

在主動(dòng)推理中，目標(biāo)導(dǎo)向和習(xí)慣機(jī)制可以合作而不僅僅是競(jìng)爭(zhēng)。這是因?yàn)閷?duì)政策的先驗(yàn)信念取決于習(xí)慣項(xiàng)（政策的先驗(yàn)值）和深思熟慮的項(xiàng)（預(yù)期自由能）。主動(dòng)推理的分層闡述表明，反應(yīng)性和目標(biāo)導(dǎo)向的機(jī)制可以按層次結(jié)構(gòu)排列，而不是并行路徑（Pezzulo、Rigoli 和 Friston 2015）。

最后，值得注意的是主動(dòng)推理和強(qiáng)化學(xué)習(xí)在以下方面有細(xì)微的區(qū)別：2012）。在這些方法中，規(guī)劃是通過推斷后驗(yàn)進(jìn)行的他們?nèi)绾慰创袨榧捌湓颉?strong>強(qiáng)化學(xué)習(xí)源自行為主義理論，認(rèn)為行為是由強(qiáng)化介導(dǎo)的試錯(cuò)學(xué)習(xí)的結(jié)果。相反，主動(dòng)推理假設(shè)行為是推理的結(jié)果。這將我們引向下一點(diǎn)。

10.7.3Planning as Inference

就像可以將感知問題轉(zhuǎn)化為推理問題一樣，也可以將控制問題轉(zhuǎn)化為（近似）貝葉斯推理（Todorov 2008）。與此相一致，在主動(dòng)推理中，規(guī)劃被視為推理過程：對(duì)生成模型的一系列控制狀態(tài)進(jìn)行推理。這個(gè)想法與其他方法密切相關(guān)，包括控制即推理（Rawlik et al. 2013，Levine 2018）、規(guī)劃即推理（Attias 2003，Botvinick 和 Toussaint 2012）以及風(fēng)險(xiǎn)敏感和KL 控制（卡彭等人。2012）。規(guī)劃通過使用動(dòng)態(tài)生成模型推斷動(dòng)作或動(dòng)作序列的后驗(yàn)分布來進(jìn)行，該動(dòng)態(tài)生成模型編碼狀態(tài)、動(dòng)作和未來(預(yù)期)狀態(tài)之間的概率偶然性。最佳行動(dòng)或計(jì)劃可以通過觀察未來回報(bào)(佩祖洛和里戈利2011年，索爾維和伯特溫尼克2012年)或最佳未來軌跡(萊文2018年)的條件生成模型來推斷。例如，可以將模型中的未來期望狀態(tài)固定(即，固定其值),然后推斷出更有可能填補(bǔ)從當(dāng)前狀態(tài)到未來期望狀態(tài)的差距的動(dòng)作序列

主動(dòng)推理、推理規(guī)劃和其他相關(guān)方案使用前瞻性控制形式，該控制形式從未來待觀察狀態(tài)的明確表示開始，而不是從一組刺激響應(yīng)規(guī)則或政策開始。更常見的是最優(yōu)控制理論和強(qiáng)化學(xué)習(xí)。然而，控制和規(guī)劃作為推理的具體實(shí)現(xiàn)至少在三個(gè)維度上有所不同 即，它們使用什么形式的推理（例如，采樣或變分推理），它們推理什么（例如，后驗(yàn)分布）動(dòng)作或動(dòng)作序列），以及推理的目標(biāo)（例如，最大化最優(yōu)條件的邊際可能性或獲得獎(jiǎng)勵(lì)的概率）。

主動(dòng)推理對(duì)每個(gè)維度都采取獨(dú)特的視角。

首先，它使用可擴(kuò)展的近似方案（變分推理）來解決規(guī)劃即推理過程中出現(xiàn)的具有挑戰(zhàn)性的計(jì)算問題2。其次，它提供基于模型的規(guī)劃，或?qū)刂茽顟B(tài)的后驗(yàn)推斷 對(duì)應(yīng)于行動(dòng)序列或策略，而不是單個(gè)行動(dòng)。第三，為了推斷行動(dòng)序列，主動(dòng)推理考慮了預(yù)期的自由能泛函，它在數(shù)學(xué)上包含了其他廣泛使用的規(guī)劃即推理方案（例如 KL 控制），并且可以處理不明確的情況（Friston、Rigoli 等人，2015 年）。

10.8 行為和有限理性

The wise are instructed by reason, average minds by experience, the stupid by necessity and the brute by instinct.

—Marcus Tullius Cicero

主動(dòng)推理中的行為自動(dòng)結(jié)合了多個(gè)組成部分：深思熟慮的、堅(jiān)持不懈的和習(xí)慣性的（Parr 2020）。想象一下一個(gè)人正走向她家附近的一家商店。如果她預(yù)見到后果根據(jù)她的行為（例如，左轉(zhuǎn)或右轉(zhuǎn)），她可以制定一個(gè)到達(dá)商店的好計(jì)劃。這種深思熟慮的行為是由預(yù)期的自由能提供的，當(dāng)一個(gè)人以某種方式采取行動(dòng)以實(shí)現(xiàn)首選觀察時(shí)（例如，在商店里），預(yù)期的自由能會(huì)最小化。請(qǐng)注意，預(yù)期的自由能還包括減少不確定性的動(dòng)力，這可以在深思熟慮中體現(xiàn)出來。例如，如果該人不確定最佳方向，她可以移動(dòng)到適當(dāng)?shù)挠欣恢茫瑥哪抢锼梢暂p松找到通往商店的路，即使這意味著更長的路線。簡(jiǎn)而言之，她的計(jì)劃獲得了認(rèn)知affordance可供性。

如果該人不太能夠進(jìn)行思考（例如，因?yàn)樗?strong>分心），她可能會(huì)在到達(dá)商店后繼續(xù)行走。行為的這種持久性是由變分自由能提供的，當(dāng)人們收集與當(dāng)前信念（包括關(guān)于當(dāng)前行為過程的信念）相一致的觀察結(jié)果時(shí)，變分自由能就會(huì)最小化。人收集的感官和前本體感受觀察為“行走”提供了證據(jù)，因此可以在沒有深思熟慮的情況下決定堅(jiān)持不懈。

最后，當(dāng)這個(gè)人不太能夠深思熟慮時(shí)，他可以做的另一件事是選擇通常的回家計(jì)劃，而不需要考慮它。這種習(xí)慣成分是由策略的先驗(yàn)值提供的。這可能會(huì)為回家的計(jì)劃分配很高的概率 她觀察到自己過去多次制定了這個(gè)計(jì)劃如果不經(jīng)過深思熟慮的話，它可能會(huì)成為主導(dǎo)。

請(qǐng)注意，行為的深思熟慮、堅(jiān)持不懈和習(xí)慣性方面是共存的，并且可以在主動(dòng)推理中結(jié)合起來。換句話說，我們可以推斷，在這種情況下，一種習(xí)慣是最有可能的行動(dòng)方案。這與“雙重理論”不同，“雙重理論”假設(shè)我們是由兩個(gè)獨(dú)立的系統(tǒng)驅(qū)動(dòng)的，一個(gè)是理性的，一個(gè)是直覺的（Kahneman 2017）。行為的深思熟慮、堅(jiān)持不懈和習(xí)慣性方面的混合似乎取決于情境條件，例如人們可以在可能具有高復(fù)雜性成本的深思熟慮過程中投入的經(jīng)驗(yàn)量和認(rèn)知資源量3。

認(rèn)知資源對(duì)決策的影響已在有限理性的框架下得到了廣泛的研究（Simon 1990）。其核心思想是，雖然理想的理性主體應(yīng)該始終充分考慮其行為的結(jié)果，但有限理性主體必須平衡計(jì)算的成本、努力和及時(shí)性，例如，審議最佳計(jì)劃的信息處理成本（Todorov 2009，Gershman 等人 2015）。

10.8.1 有限理性自由能理論

有限理性是根據(jù)亥姆霍茲自由能最小化來表達(dá)的：一種與主動(dòng)推理中使用的變分自由能概念嚴(yán)格相關(guān)的熱力學(xué)結(jié)構(gòu)；有關(guān)詳細(xì)信息，請(qǐng)參閱 Gottwald 和 Braun (2020)。 “有限理性的自由能理論”根據(jù)自由能的兩個(gè)組成部分：能量和熵，闡述了行動(dòng)選擇與有限信息處理能力的權(quán)衡（見第二章）。前者代表選擇的預(yù)期價(jià)值（準(zhǔn)確度術(shù)語），后者代表深思熟慮的成本（復(fù)雜性術(shù)語）。在深思熟慮過程中，代價(jià)高昂的是在選擇使信念更加精確之前降低信念的熵（或復(fù)雜性）（Ortega and Braun 2013，Zénon et al. 2019）。直觀上，具有更精確的后驗(yàn)信念的選擇會(huì)更準(zhǔn)確（并且可能需要更高的效用），但由于提高信念的精確度是有成本的，因此有界決策者必須找到折衷方案 通過最小化自由能。同樣的權(quán)衡也出現(xiàn)在主動(dòng)推理中，從而產(chǎn)生了有限理性的形式。有限理性的概念也與證據(jù)變分界限（或邊際可能性）的使用產(chǎn)生共鳴，這是主動(dòng)推理的一個(gè)確定方面。總之，主動(dòng)推理提供了（有限）理性和最優(yōu)性的模型，其中給定問題的最佳解決方案來自互補(bǔ)目標(biāo)之間的折衷：準(zhǔn)確性和復(fù)雜性。這些目標(biāo)源于規(guī)范（自由能最小化）的要求，它比經(jīng)濟(jì)理論中通常考慮的經(jīng)典目標(biāo)（例如效用最大化）更豐富。

10.9 Valence, Emotion, and Motivation

Consider your origins: you were not made to live as brutes, but to follow virtue and knowledge.

—Dante Alighieri

主動(dòng)推理側(cè)重于（負(fù)）自由能作為適應(yīng)性和有機(jī)體實(shí)現(xiàn)其目標(biāo)的能力的衡量標(biāo)準(zhǔn)。雖然主動(dòng)推理提出生物會(huì)采取行動(dòng)來最小化它們的自由能，但這并不意味著它們必須計(jì)算它。一般來說，處理自由能的梯度就足夠了。以此類推，我們不需要知道我們的海拔高度即可找到山頂，但只需沿著斜坡向上即可。然而，一些人建議生物可以模擬它們的自由能如何隨時(shí)間變化。這一假設(shè)的支持者認(rèn)為，它可能允許對(duì)valence, emotion, and motivation.等現(xiàn)象進(jìn)行表征。

根據(jù)這種觀點(diǎn)，有人提出 emotional valence, or thepositive or negative character of emotions，可以被視為自由能隨時(shí)間的變化率（一階導(dǎo)數(shù)）（Joffily 和 Coricelli 2013）。

具體來說，當(dāng)一個(gè)生物的自由能隨著時(shí)間的推移而增加時(shí)，它可能會(huì)為這種情況分配一個(gè)負(fù)價(jià)；而當(dāng)它的自由能隨著時(shí)間的推移而減少時(shí)，它可能會(huì)賦予它正價(jià)。將這一思路延伸到自由能（和二階導(dǎo)數(shù)）的長期動(dòng)態(tài)，也許可以描述復(fù)雜的情緒狀態(tài)；例如，從低價(jià)態(tài)過渡到高價(jià)態(tài)的欣慰，或者從高價(jià)態(tài)過渡到低價(jià)態(tài)的失望。監(jiān)測(cè)自由能動(dòng)態(tài)（以及它們引發(fā)的情緒狀態(tài)）可能允許根據(jù)長期環(huán)境統(tǒng)計(jì)數(shù)據(jù)調(diào)整行為策略或?qū)W習(xí)率。

假設(shè)第二個(gè)生成模型的作用是監(jiān)控第一個(gè)生成模型的自由能，這似乎有點(diǎn)跳躍。然而，這些想法還可以通過另一種方式來解釋。這些觀點(diǎn)的一個(gè)有趣的形式化在于思考是什么導(dǎo)致了自由能的快速變化。由于它是信念的函數(shù)，自由能的快速變化必定是由于信念的快速更新。該速度的關(guān)鍵決定因素是精度precision，它在預(yù)測(cè)編碼的動(dòng)態(tài)中充當(dāng)時(shí)間常數(shù)。有趣的是，這與自由能高階導(dǎo)數(shù)的概念相關(guān)，因?yàn)榫仁嵌A導(dǎo)數(shù)的負(fù)數(shù)（即自由能的曲率curvature of a free energy landscape）。然而，這引出了一個(gè)問題：為什么我們應(yīng)該將精度與效價(jià)聯(lián)系起來。答案來自于注意到精確性與模糊性成反比。事物越精確，其解釋就越不模糊。選擇最小化預(yù)期自由能的行動(dòng)方案也意味著最小化模糊性，從而最大化精度。在這里，我們看到自由能的高階導(dǎo)數(shù)、其變化率和動(dòng)機(jī)行為之間的直接關(guān)聯(lián)。

對(duì)自由能（增加或減少）的期望也可能發(fā)揮激勵(lì)作用并激勵(lì)行為。在主動(dòng)推理中，代理對(duì)自由能變化（增加或減少）的預(yù)期是對(duì)政策信念的精確性。這再次凸顯了二階統(tǒng)計(jì)量的重要性。例如，高度精確的信念表明人們已經(jīng)找到了一項(xiàng)好的政策，即一項(xiàng)可以自信地預(yù)期能夠最大限度地減少自由能的政策。有趣的是，政策（信念）的精確性與多巴胺信號(hào)傳導(dǎo)有關(guān)（FitzGerald、Dolan 和 Friston 2015）。從這個(gè)角度來看，提高政策信念精確度的刺激會(huì)引發(fā)多巴胺爆發(fā) 這可能表明它們的激勵(lì)顯著性（Berridge 2007）。這種觀點(diǎn)可能有助于闡明將目標(biāo)或獎(jiǎng)勵(lì)實(shí)現(xiàn)的期望與注意力的增加（Anderson et al. 2011）和動(dòng)機(jī)（Berridge and Kringelbach 2011）聯(lián)系起來的神經(jīng)生理學(xué)機(jī)制。

10.10 穩(wěn)態(tài)、動(dòng)態(tài)平衡和內(nèi)感受處理 Homeostasis, Allostasis, and Interoceptive Pro cessing?

There ismore wisdom in your body than in your deepest philosophy.

—Friedrich Nietzsche

生物的生成模型不僅與外部世界有關(guān)，而且還也許更重要的是 關(guān)于內(nèi)部環(huán)境。身體內(nèi)部（或內(nèi)感受圖式interoceptive schema）的生成模型具有雙重作用：解釋內(nèi)感受（身體）感覺是如何產(chǎn)生的，并確保生理參數(shù)的正確調(diào)節(jié)（Iodice et al. 2019），例如體溫或血液中的糖含量。控制論理論（在第 10.6.2 節(jié)中提到）假設(shè)生物體的中心目標(biāo)是維持體內(nèi)平衡（Cannon 1929） 確保生理參數(shù)保持在可行的范圍內(nèi)（例如，體溫永遠(yuǎn)不會(huì)變得太高） 并且體內(nèi)平衡只能通過對(duì)環(huán)境的成功控制來實(shí)現(xiàn)（Ashby 1952）。這種形式的穩(wěn)態(tài)調(diào)節(jié)可以在主動(dòng)推理中通過指定生理參數(shù)的可行范圍作為內(nèi)感受觀察的先驗(yàn)來實(shí)現(xiàn)。有趣的是，體內(nèi)平衡調(diào)節(jié)可以通過多種嵌套方式實(shí)現(xiàn)。最簡(jiǎn)單的調(diào)節(jié)回路是當(dāng)某些參數(shù)（預(yù)計(jì)）超出范圍時(shí)（例如，當(dāng)體溫過高時(shí)），自主反射（例如，血管舒張）的參與。這種自主控制可以構(gòu)建為內(nèi)感受推理：在內(nèi)感受 interoceptive流上運(yùn)行的主動(dòng)推理過程而不是本體感受 proprioceptive流，如外部定向動(dòng)作的情況（Seth et al. 2012、Seth and Friston 2016、Allen et al. 2019）。為此，大腦可以使用生成模型來預(yù)測(cè)內(nèi)感受和生理流并觸發(fā)自主反射來糾正內(nèi)感受預(yù)測(cè)錯(cuò)誤（例如，令人驚訝的高體溫）。這類似于激活運(yùn)動(dòng)反射以糾正本體感覺預(yù)測(cè)錯(cuò)誤和引導(dǎo)外部指導(dǎo)行動(dòng)的方式。

主動(dòng)推理超越了簡(jiǎn)單的自主循環(huán):它可以糾正以越來越復(fù)雜的方式產(chǎn)生相同的內(nèi)感受預(yù)測(cè)錯(cuò)誤（高體溫）（Pezzulo、Rigoli 和 Friston 2015）。它可以使用預(yù)測(cè)性的變穩(wěn)態(tài)策略（Sterling 2012，Barrett and Simmons 2015，Corcoran et al. 2020），超越穩(wěn)態(tài)，在觸發(fā)內(nèi)感受預(yù)測(cè)錯(cuò)誤之前以變穩(wěn)態(tài)的方式先發(fā)制人地控制生理學(xué) ，例如，在過熱之前尋找陰涼處。另一種預(yù)測(cè)策略需要在預(yù)期偏離生理設(shè)定點(diǎn)之前調(diào)動(dòng)資源，例如，在長跑之前增加心輸出量，以預(yù)期氧氣需求增加。這需要?jiǎng)討B(tài)地修改內(nèi)感受觀察的先驗(yàn)，超越穩(wěn)態(tài)（Tschantz et al. 2021）。最終，預(yù)測(cè)大腦可以制定復(fù)雜的目標(biāo)導(dǎo)向策略，例如確保將冷水帶到海灘，以更豐富、更有效的方式滿足同樣的要求（控制體溫）。

生物和內(nèi)感受調(diào)節(jié)可能對(duì)于情感和情緒affect and emotional處理至關(guān)重要（Barrett 2017）。在情境交互過程中，大腦的生成模型不僅不斷預(yù)測(cè)接下來會(huì)發(fā)生什么，而且還預(yù)測(cè)內(nèi)感受和動(dòng)態(tài)平衡的后果。內(nèi)感受流 在感知外部物體和事件期間引發(fā)給它們注入情感維度，這表明它們對(duì)于生物的動(dòng)態(tài)平衡和生存有多好或多壞，從而使它們“有意義”。如果這種觀點(diǎn)是正確的，那么這種內(nèi)感受和變穩(wěn)態(tài)處理的障礙可能會(huì)導(dǎo)致情失調(diào)和各種精神病理狀況（Pezzulo 2013；Barrett et al. 2016；Barca et al. 2019；Pezzulo, Maisto et al. 2019）

內(nèi)感受推理有一個(gè)新興的伙伴即情感推理。在主動(dòng)推理的這種應(yīng)用中，情緒被認(rèn)為是生成模型的一部分：它們只是大腦用來在深度生成中部署精度的另一種構(gòu)造或假設(shè)。從信念更新的角度來看，這意味著焦慮只是對(duì)貝葉斯信念“我很焦慮”的承諾，它最好地解釋了普遍的感覺和內(nèi)感受隊(duì)列。從行動(dòng)的角度來看，隨后的（內(nèi)感受）預(yù)測(cè)增強(qiáng)或減弱了各種精確度（即隱蔽行動(dòng)）或奴役自主反應(yīng)（即公開行動(dòng)）From the perspective of acting, the ensuing (interoceptive) predictions augment or attenuate vari ous precisions (i.e., covert action) or enslave autonomic responses (i.e., overt action)。

這可能看起來很像覺醒，證實(shí)了“我很焦慮”的假設(shè)。通常，情緒推理需要領(lǐng)域通用的信念更新，吸收來自內(nèi)感受和外感受感覺流的信息，因此情緒、內(nèi)感受和健康注意力之間存在密切關(guān)系（Seth 和 Friston 2016；Smith，Lane 等，2016） intimate relationship betweenemotion, interoception, and attention in health and disease

10.11 注意力、顯著性和認(rèn)知?jiǎng)討B(tài) Attention, Salience, and Epistemic Dynamics

True ignorance is not the absence of knowledge, but the refusal to acquire it.

—Karl Popper

鑒于我們僅在本章中就多次提到精度和預(yù)期自由能，如果不花一點(diǎn)空間來關(guān)注和突出，那就太疏忽了。這些概念在整個(gè)心理學(xué)中反復(fù)出現(xiàn)，并經(jīng)過多次重新定義和分類。有時(shí)，這些術(shù)語用于指代突觸增益控制機(jī)制synaptic gain control mechanisms（Hillyard et al. 1998），該機(jī)制優(yōu)先選擇某種感覺模態(tài)或模態(tài)內(nèi)的通道子集。有時(shí)它們指的是我們?nèi)绾瓮ㄟ^公開或秘密的行動(dòng)來定位自己，以獲得更多關(guān)于世界的信息（Rizzolatti et al. 1987; Sheliga et al. 1994, 1995）。

盡管注意力的多種含義帶來了不確定性證明了該研究領(lǐng)域的一些認(rèn)知吸引力，但解決隨之而來的歧義也具有價(jià)值。心理學(xué)的正式觀點(diǎn)提供的一件事是我們不需要擔(dān)心這種歧義。我們可以在操作上將注意力定義為與某些感官輸入相關(guān)的精確度。這巧妙地映射到增益控制的概念，因?yàn)槲覀?/strong>推斷為更精確的感覺將比那些推斷為不精確的感覺對(duì)信念更新產(chǎn)生更大的影響。這種關(guān)聯(lián)的結(jié)構(gòu)有效性已經(jīng)通過心理學(xué)范式得到了證明，包括著名的波斯納范式（費(fèi)爾德曼和弗里斯頓2010）。具體來說，對(duì)視覺空間中具有更高精度 afforded a higher precision的位置處的刺激做出響應(yīng)比對(duì)其他位置的刺激做出響應(yīng)要快。

這使得術(shù)語“顯著性”需要類似的正式定義。通常，在主動(dòng)推理中，我們將顯著性與預(yù)期信息增益（或認(rèn)知值）相關(guān)聯(lián)：預(yù)期自由能的組成部分。直覺上，當(dāng)我們期望某件事能產(chǎn)生更多信息時(shí)，它就更顯著。然而，這定義了行動(dòng)或政策的顯著性，而注意力是關(guān)于感官輸入的信念的一個(gè)屬性。這符合顯著性作為顯性或隱性定向的概念。我們?cè)?strong>第七章中看到，我們可以將預(yù)期信息增益進(jìn)一步細(xì)分為顯著性和新穎性。前者是推理的潛力，后者是學(xué)習(xí)的潛力。表達(dá)注意力和顯著性（或新穎性）之間差異的類比是科學(xué)實(shí)驗(yàn)的設(shè)計(jì)和分析。注意力是從我們已經(jīng)測(cè)量的數(shù)據(jù)中選擇最高質(zhì)量的數(shù)據(jù)并使用這些數(shù)據(jù)為我們的假設(shè)檢驗(yàn)提供信息的過程。顯著性是下一個(gè)實(shí)驗(yàn)的設(shè)計(jì)，以確保最高質(zhì)量的數(shù)據(jù)。

我們并不是為了簡(jiǎn)單地在文獻(xiàn)中添加對(duì)注意力現(xiàn)象的另一種重新分類而詳細(xì)討論這個(gè)問題，而是為了強(qiáng)調(diào)致力于形式心理學(xué)的重要優(yōu)勢(shì)。在主動(dòng)推理下，其他人是否以不同的方式定義注意力（或任何其他構(gòu)造）并不重要，因?yàn)槲覀兛梢院?jiǎn)單地引用所討論的數(shù)學(xué)構(gòu)造并排除任何混淆。最后要考慮的一點(diǎn)是，這些定義為為什么注意力和顯著性經(jīng)常被混為一談提供了簡(jiǎn)單的解釋。高度精確的數(shù)據(jù)很少有歧義。這意味著他們應(yīng)該受到關(guān)注，并且獲取這些數(shù)據(jù)的行動(dòng)非常重要（Parr 和 Friston 2019a）。

10.12 規(guī)則學(xué)習(xí)、因果推理和快速泛化 Rule Learning, Causal Inference, and Fast Generalization

Yesterday I was clever, so I wanted to change the world. Today I am wise, so I am changing myself.

—Rumi

與當(dāng)前的機(jī)器相比，人類和其他動(dòng)物擅長做出復(fù)雜的因果推論，學(xué)習(xí)抽象概念和物體之間的因果關(guān)系，并從有限的經(jīng)驗(yàn)中進(jìn)行概括學(xué)習(xí)范式，需要大量的例子才能獲得相似的性能。這種差異表明，當(dāng)前的機(jī)器學(xué)習(xí)方法主要基于復(fù)雜的模式識(shí)別，可能無法完全捕捉人類學(xué)習(xí)和思考的方式（Lake et al. 2017）。

主動(dòng)推理的學(xué)習(xí)范式基于生成模型的開發(fā)，該模型捕獲動(dòng)作、事件和觀察之間的因果關(guān)系。在本書中，我們考慮了相對(duì)簡(jiǎn)單的任務(wù)（例如，第 7 章的 T 迷宮示例），這些任務(wù)需要不復(fù)雜的生成模型。相比之下，對(duì)復(fù)雜情況的理解和推理需要深度生成模型來捕獲環(huán)境的潛在結(jié)構(gòu)，例如允許在許多明顯不同的情況下進(jìn)行泛化的隱藏規(guī)律（Tervo 等，2016年；弗里斯頓，林等人。 2017）。

管理復(fù)雜社交互動(dòng)的隱藏規(guī)則的一個(gè)簡(jiǎn)單例子是交通路口。想象一下，一個(gè)天真的人觀察了一個(gè)繁忙的十字路口，并且必須預(yù)測(cè)（或解釋）行人或汽車何時(shí)過馬路。人們可以積累有關(guān)同時(shí)發(fā)生的事件的統(tǒng)計(jì)數(shù)據(jù)（例如，一輛紅色汽車停下來，一個(gè)高個(gè)子男人過馬路；一個(gè)老婦人停下來，一輛大車經(jīng)過），但大多數(shù)最終都是無用的。人們最終可以發(fā)現(xiàn)一些重復(fù)出現(xiàn)的統(tǒng)計(jì)模式，例如在所有汽車停在道路上的某個(gè)點(diǎn)后不久，行人就會(huì)過馬路。如果任務(wù)只是預(yù)測(cè)行人何時(shí)即將行走，那么在機(jī)器學(xué)習(xí)環(huán)境中，這種確定就足夠了，但不需要對(duì)情況有任何了解。事實(shí)上，這甚至可能導(dǎo)致錯(cuò)誤的結(jié)論：汽車的停止解釋了行人的移動(dòng)。這種錯(cuò)誤在機(jī)器學(xué)習(xí)應(yīng)用程序中很常見，這些應(yīng)用程序不吸引（因果）模型，并且無法區(qū)分是下雨解釋了濕草還是濕草解釋了下雨（Pearl 和 Mackenzie 2018）。

另一方面，推斷正確的隱藏（例如，交通燈）規(guī)則可以更深入地理解情況的因果結(jié)構(gòu)（例如，交通燈導(dǎo)致汽車停車和行人行走）。隱藏規(guī)則不僅提供了更好的預(yù)測(cè)能力，而且還使推理更加簡(jiǎn)潔，因?yàn)樗梢猿橄蟪龃蠖鄶?shù)感官細(xì)節(jié)（例如，汽車的顏色）。反過來，這允許推廣到其他情況，例如不同的十字路口或城市，其中大多數(shù)感官細(xì)節(jié)都存在顯著差異 ? 但需要注意的是，在某些情況下面臨十字路口像羅馬這樣的城市可能需要的不僅僅是看交通信號(hào)燈。最后，了解交通燈規(guī)則還可以在新情況下實(shí)現(xiàn)更有效的學(xué)習(xí)，或者發(fā)展心理學(xué)中所謂的“學(xué)習(xí)集”或機(jī)器學(xué)習(xí)中的學(xué)習(xí)能力（Harlow 1949）。當(dāng)面對(duì)紅綠燈關(guān)閉的十字路口時(shí)，人們無法使用學(xué)到的規(guī)則，但可能會(huì)期望有另一個(gè)類似的隱藏規(guī)則在起作用，這可以幫助理解交警在做什么。

正如這個(gè)簡(jiǎn)單的例子所示，學(xué)習(xí)豐富的環(huán)境潛在結(jié)構(gòu)的生成模型（又名結(jié)構(gòu)學(xué)習(xí)）可以提供復(fù)雜形式的因果推理和概括。擴(kuò)大生成模型以解決這些復(fù)雜的情況是計(jì)算建模和認(rèn)知科學(xué)的一個(gè)持續(xù)目標(biāo)（Tenenbaum et al. 2006，Kemp and Tenenbaum 2008）。有趣的是，當(dāng)前的機(jī)器學(xué)習(xí)趨勢(shì)（一般思想是“越大越好”）與主動(dòng)推理的統(tǒng)計(jì)方法之間存在著緊張關(guān)系，這表明平衡模型的準(zhǔn)確性與其復(fù)雜性和準(zhǔn)確性的重要性。傾向于更簡(jiǎn)單的模型。模型縮減（以及修剪不必要的參數(shù)）不僅僅是避免資源浪費(fèi)的一種方法，它也是學(xué)習(xí)隱藏規(guī)則的有效方法，包括在睡眠等離線時(shí)段（Friston，Lin 等人，2017 年），也許表現(xiàn)在靜息狀態(tài)活動(dòng)中（Pezzulo、Zorzi 和 Corbetta 2020）。

10.13 主動(dòng)推理和其他領(lǐng)域：開放方向

It has to start somewhere, it has to start sometime,what better place than here? What better time than now?

—Rage Against the Machine, “Guerrilla Radio”

在本書中，我們主要關(guān)注解決生存和適應(yīng)生物學(xué)問題的主動(dòng)推理模型。然而主動(dòng)推理可以應(yīng)用于許多其他領(lǐng)域。在最后一節(jié)中，我們簡(jiǎn)要討論兩個(gè)這樣的領(lǐng)域：社會(huì)和文化動(dòng)態(tài)以及機(jī)器學(xué)習(xí)和機(jī)器人技術(shù)。

解決前者需要考慮多個(gè)主動(dòng)推理代理交互的方式以及這種交互的新興影響。解決更復(fù)雜的問題 但以與理論的基本假設(shè)兼容的方式。兩者都是有趣的開放研究方向。

10.13.1 社會(huì)和文化動(dòng)態(tài)

我們(人類)認(rèn)知的許多有趣的方面都與社會(huì)和文化有關(guān)文化動(dòng)態(tài)，而不是個(gè)人主義的看法，決定，和行動(dòng)(Veissière等人，2020年)。根據(jù)定義，社會(huì)動(dòng)力學(xué)需要multiple主動(dòng)推理生物參與物理互動(dòng)(例如，聯(lián)合行動(dòng)，例如玩團(tuán)隊(duì)運(yùn)動(dòng))或更抽象的交互(例如，選舉或社交網(wǎng)絡(luò))。互動(dòng)的簡(jiǎn)單演示相同生物之間的推論已經(jīng)產(chǎn)生了有趣的emergent現(xiàn)象，例如簡(jiǎn)單生命形式的自我組織抵制分散，參與形態(tài)發(fā)生過程的可能性獲取和恢復(fù)身體形態(tài)，以及相互協(xié)調(diào)的預(yù)測(cè)和話輪轉(zhuǎn)換(弗里斯頓2013；弗里斯頓和弗里斯2015a弗里斯頓，萊文等人。2015).其他模擬研究了生物可以將他們的認(rèn)知擴(kuò)展到物質(zhì)人工制品，并塑造他們的認(rèn)知生態(tài)位(Bruineberg等人2018年)。

這些模擬只捕捉到了我們社會(huì)復(fù)雜性的一小部分和文化動(dòng)態(tài)，但它們說明了主動(dòng)推理的潛力從個(gè)人科學(xué)擴(kuò)展到社會(huì)科學(xué)——以及如何擴(kuò)展認(rèn)知超越了我們的頭腦(Nave et al. 2020)。

10.13.2 機(jī)器學(xué)習(xí)和機(jī)器人技術(shù)

本書討論的生成建模和變分推理方法廣泛應(yīng)用于機(jī)器學(xué)習(xí)和機(jī)器人技術(shù)。在這些領(lǐng)域，重點(diǎn)通常是如何學(xué)習(xí)（聯(lián)結(jié)主義）生成模型而不是如何將它們用于主動(dòng)推理，這是本書的重點(diǎn)。這很有趣，因?yàn)闄C(jī)器學(xué)習(xí)方法可能有助于擴(kuò)大生成模型和本書中考慮的問題的復(fù)雜性，但需要注意的是，它們可能需要非常不同的主動(dòng)推理過程理論。

雖然在這里不可能回顧有關(guān)機(jī)器學(xué)習(xí)生成模型的大量文獻(xiàn)，但我們簡(jiǎn)要提及一些最流行的模型，并從中開發(fā)了許多變體。兩種早期的聯(lián)結(jié)主義生成模型，亥姆霍茲機(jī)和玻爾茲曼機(jī)（Ackley et al. 1985，Dayan et al. 1995）提供了范例如何以無監(jiān)督方式學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)內(nèi)部表示的示例。亥姆霍茲機(jī)與主動(dòng)推理的變分方法尤其相關(guān)，因?yàn)樗褂脝为?dú)的識(shí)別和生成網(wǎng)絡(luò)來推斷隱藏變量的分布，并從中采樣以獲得虛構(gòu)數(shù)據(jù)。這些方法早期的實(shí)際成功是有限的。但之后，堆疊多個(gè)的可能性（受限）玻爾茲曼機(jī)能夠?qū)W習(xí)多層內(nèi)部表示，是無監(jiān)督深度神經(jīng)網(wǎng)絡(luò)的早期成功之一（Hinton 2007）。

連接主義生成模型的兩個(gè)最新例子，變分自動(dòng)編碼器或 VAE（Kingma 和 Welling，2014 年）和生成對(duì)抗網(wǎng)絡(luò)或 GAN（Goodfellow 等人，2014 年），廣泛用于機(jī)器學(xué)習(xí)應(yīng)用，例如識(shí)別或生成圖片和視頻。 VAE 體現(xiàn)了變分方法在生成網(wǎng)絡(luò)學(xué)習(xí)中的優(yōu)雅應(yīng)用。他們的學(xué)習(xí)目標(biāo)，即證據(jù)下界 (ELBO)，在數(shù)學(xué)上等同于變分自由能。該目標(biāo)使得能夠?qū)W習(xí)數(shù)據(jù)的準(zhǔn)確描述（即，最大化準(zhǔn)確性），但也有利于與先驗(yàn)沒有太大差異的內(nèi)部表示（即，最小化復(fù)雜性）。后一個(gè)目標(biāo)充當(dāng)所謂的正則化器，有助于泛化并避免過度擬合。

GAN 遵循不同的方法：它們結(jié)合了兩個(gè)網(wǎng)絡(luò)，一個(gè)生成網(wǎng)絡(luò)和一個(gè)判別網(wǎng)絡(luò)，這兩個(gè)網(wǎng)絡(luò)在學(xué)習(xí)過程中不斷競(jìng)爭(zhēng)。判別網(wǎng)絡(luò)學(xué)習(xí)區(qū)分生成網(wǎng)絡(luò)生成的示例數(shù)據(jù)是真實(shí)的還是虛構(gòu)的。生成網(wǎng)絡(luò)試圖生成欺騙判別網(wǎng)絡(luò)（即被錯(cuò)誤分類）的虛構(gòu)數(shù)據(jù)。這兩個(gè)網(wǎng)絡(luò)之間的競(jìng)爭(zhēng)迫使生成網(wǎng)絡(luò)提高其生成能力并生成高保真度的虛構(gòu)數(shù)據(jù) 這種能力已被廣泛用于生成逼真的圖像等。

上述生成模型（和其他模型）可用于控制任務(wù)。 例如，Ha 和 Eck（2017）使用（序列到序列）VAE 來學(xué)習(xí)預(yù)測(cè)鉛筆筆畫。通過從 VAE 的內(nèi)部表示 中采樣，該模型可以構(gòu)建新穎的基于筆劃的繪圖。玻爾茲曼機(jī)能夠?qū)W習(xí)多層內(nèi)部表示，是無監(jiān)督深度神經(jīng)網(wǎng)絡(luò)的早期成功之一（Hinton 2007）。生成建模方法也已用于控制機(jī)器人運(yùn)動(dòng)。其中一些方法使用主動(dòng)推理（Pio?Lopez 等人， 2016，桑卡塔爾等人 2020，西里亞等人 2021）或密切相關(guān)的想法，但在聯(lián)結(jié)主義背景下（Ahmadi 和 Tani 2019，Tani 和 White 2020）。

該領(lǐng)域的主要挑戰(zhàn)之一是機(jī)器人運(yùn)動(dòng)是高維的并且需要（學(xué)習(xí)）復(fù)雜的生成模型。主動(dòng)推理和相關(guān)方法的一個(gè)有趣的方面是，要學(xué)習(xí)的最重要的事情是下一時(shí)間步驟的動(dòng)作和感覺（例如，視覺和本體感覺）反饋之間的前向映射。這種前向映射可以通過多種方式學(xué)習(xí)：通過自主探索、通過演示，甚至通過與人類的直接交互例如，老師（實(shí)驗(yàn)者）引導(dǎo)機(jī)器人的手沿著軌跡到達(dá)目標(biāo)，從而構(gòu)建有效的目標(biāo)導(dǎo)向行動(dòng)的獲取（Yamashita 和 Tani 2008）。以各種方式學(xué)習(xí)生成模型的可能性極大地?cái)U(kuò)展了機(jī)器人最終可以實(shí)現(xiàn)的技能范圍。反過來，使用主動(dòng)推理開發(fā)更先進(jìn)（神經(jīng)）機(jī)器人的可能性不僅在技術(shù)上而且在理論上都很重要。事實(shí)上，主動(dòng)推理的一些關(guān)鍵方面，例如自適應(yīng)代理與環(huán)境交互、認(rèn)知功能的集成以及體現(xiàn)的重要性，在機(jī)器人設(shè)置中自然得到解決。

10.14 總結(jié)

Home is behind, the world ahead,

and there are many paths to tread

through shadows to the edge of night,

until the stars are all alight.

—J. R. R. Tolkien,

The Lord of the Rings

我們?cè)?strong>本書的開頭就提出了一個(gè)問題：是否有可能從第一原理來理解大腦和行為。然后，我們引入主動(dòng)推理作為應(yīng)對(duì)這一挑戰(zhàn)的候選理論。我們希望讀者相信我們最初問題的答案是肯定的。在本章中，我們考慮了主動(dòng)推理為感知行為提供的統(tǒng)一視角，以及該理論對(duì)熟悉的心理結(jié)構(gòu)（例如感知、行動(dòng)選擇和情感）的影響。這使我們有機(jī)會(huì)重新審視整本書中介紹的概念，并提醒自己仍有待未來研究的有趣問題。我們希望本書為主動(dòng)推理的相關(guān)著作提供有用的補(bǔ)充，一方面包括哲學(xué)（Hohwy 2013，Clark 2015），另一方面包括物理學(xué)（Friston 2019a）。

我們現(xiàn)在已經(jīng)到了旅程的終點(diǎn)。我們的目標(biāo)是提供向那些對(duì)使用這些方法感興趣的人進(jìn)行介紹 無論是概念層面還是形式層面。然而，需要強(qiáng)調(diào)的是，主動(dòng)推理并不是純粹在理論上可以學(xué)習(xí)的東西。我們鼓勵(lì)任何喜歡這本書的人考慮在實(shí)踐中追求它。理論神經(jīng)生物學(xué)的重要階段是嘗試寫下生成模型，體驗(yàn)?zāi)M行為不當(dāng)時(shí)的挫敗感，并在意外發(fā)生時(shí)從違反先前信念的行為中學(xué)習(xí)。無論您是否選擇在計(jì)算層面進(jìn)行這種實(shí)踐，我們希望您在日常生活中進(jìn)行主動(dòng)推理時(shí)能夠進(jìn)行反思。這可能表現(xiàn)為強(qiáng)迫你的眼睛去解決你周邊視覺中某些事物的不確定性。它可能是選擇在最喜歡的餐廳吃飯以滿足先前的（味覺）偏好。它可能是在淋浴太熱時(shí)減少熱量，以確保溫度符合您的世界應(yīng)該如何的模型。最終，我們相信您將繼續(xù)以某種形式追求主動(dòng)推理。

https://direct.mit.edu/books/oa-monograph/5299/Active-InferenceThe-Fre