導(dǎo)語

什么是智能？我們?nèi)绾卫斫釧I的智能水平？DeepMind最近發(fā)文稱AI 的“智能”并非客觀存在，而是我們主觀建構(gòu)的產(chǎn)物。因此我們應(yīng)該更關(guān)注 AI 的“智能體性”，即系統(tǒng)朝向目標(biāo)引導(dǎo)的能力，更加關(guān)注 AI 與人類的互動(dòng)和協(xié)作。或許，未來的 AI 不再是“人工智能”，而是“增強(qiáng)智能”，甚至是“共生智能”。

關(guān)鍵詞：人工智能，人機(jī)協(xié)同，共生智能，客觀智能

chuoti丨作者

涌現(xiàn)聚點(diǎn)｜來源

讀書會(huì)推薦

集智俱樂部最近策劃了與此相關(guān)的兩個(gè)主題讀書會(huì)，歡迎你加入：

「」讀書會(huì)主要聚焦于人機(jī)共生的未來，探討人類智能和機(jī)器智能各自的優(yōu)勢(shì)有哪些？智能邊界如何？如何通過更有效的標(biāo)注策略和數(shù)據(jù)生成技術(shù)來解決數(shù)據(jù)稀缺問題？如何設(shè)計(jì)更加高效的人機(jī)協(xié)作系統(tǒng)，實(shí)現(xiàn)高效共贏的效果？如何提高機(jī)器決策的可解釋性與透明性，確保系統(tǒng)的可信度？如何通過多模態(tài)協(xié)作融合不同感知通道，應(yīng)對(duì)復(fù)雜的決策任務(wù)？

「」讀書會(huì)主要聚焦于人類理解AI的視角追問：自下而上：Transformer circuit 為什么有效？自上而下：神經(jīng)網(wǎng)絡(luò)的精細(xì)決策邏輯和性能根因是否可以被嚴(yán)謹(jǐn)、清晰地解釋清楚？復(fù)雜科學(xué)：滲流相變、涌現(xiàn)、自組織等復(fù)雜科學(xué)理論如何理解大模型的推理與學(xué)習(xí)能力？系統(tǒng)工程：如何擁抱不確定性，在具體的業(yè)界實(shí)踐中創(chuàng)造價(jià)值？

還記得 AlphaGo 戰(zhàn)勝李世石的那一刻嗎？全世界都為人工智能的“智能”所震撼，人們驚呼“人工智能時(shí)代”已經(jīng)到來。但 Google DeepMind 最近的一篇論文，卻給這種“智能”打上了一個(gè)大大的問號(hào)。這篇名為《Agency Is Frame-Dependent[1]》的論文指出，AI 的“智能體性”（Agency），并非其固有屬性，而是取決于我們觀察和評(píng)估它的“框架”。

等等，“智能體性”？“框架”？這都什么意思？別急，這正是本文要深入探討的問題。DeepMind 這篇論文，不僅有哲學(xué)思辨價(jià)值，更對(duì)我們理解 AI，乃至 AGI（通用人工智能）的未來發(fā)展，有著深遠(yuǎn)的影響，甚至?xí)嵏材銓?duì)“智能”的看法。

別再執(zhí)迷“客觀智能”了！

一直以來，我們似乎都在尋找一個(gè)客觀的、統(tǒng)一的 AI 智能標(biāo)準(zhǔn)。從“圖靈測(cè)試”到“中文房間”，各種思想實(shí)驗(yàn)層出不窮，試圖揭開 AI“理解”的真相。但 DeepMind 的研究告訴我們：別再執(zhí)迷于“客觀智能”了，根本不存在！

“中文房間”與 GPT-4：AI 真的“懂”中文嗎？

讓我們先回顧一下著名的“中文房間”思想實(shí)驗(yàn)。哲學(xué)家約翰·塞爾（John Searle）假設(shè)：一個(gè)只懂英語的人，被關(guān)在一個(gè)封閉的房間里。他手頭有一本詳細(xì)的規(guī)則手冊(cè)，告訴他如何根據(jù)收到的中文符號(hào)，輸出相應(yīng)的中文符號(hào)。即使他完美地執(zhí)行了這些規(guī)則，給出了令人信服的中文回答，但他真的“理解”中文嗎？

塞爾認(rèn)為，這僅僅是符號(hào)操作，與真正的理解無關(guān)。因?yàn)檫@個(gè)人缺乏將符號(hào)與真實(shí)世界經(jīng)驗(yàn)相連接的機(jī)制。他就像一臺(tái)機(jī)器，按照程序運(yùn)行，卻不知道自己在做什么。

這個(gè)思想實(shí)驗(yàn)在中國(guó)也引起了廣泛的討論。畢竟，理解，不僅僅是字面意思的解讀，更包含了意境、情感、文化背景等多重因素。

那么，GPT-4 呢？它在各種語言任務(wù)上都表現(xiàn)出了驚人的能力，甚至能夠生成流暢、連貫、富有邏輯的文本。在中文語境下，它也能對(duì)答如流，甚至能寫詩、寫代碼。它真的“理解”了中文嗎？

Anthropic團(tuán)隊(duì)在其研究論文《On the Biology of a Large Language Model》中，引入了一種名為“歸因圖”（Attribution Graphs）的新方法來理解大語言模型的工作機(jī)制。集智俱樂部對(duì)其進(jìn)行了翻譯，這篇文章主要探究 1. 大語言模型在推理時(shí)會(huì)走捷徑嗎？2. 大語言模型作詩是即興還是規(guī)劃的？3. 大語言模型有自己獨(dú)立的原生語言嗎？

從“中文房間”的角度來看，GPT-4 仍然是一個(gè)符號(hào)操作系統(tǒng)。它通過學(xué)習(xí)海量的文本數(shù)據(jù)，掌握了符號(hào)之間的關(guān)聯(lián)規(guī)則，但這些規(guī)則仍然是基于統(tǒng)計(jì)的，而不是基于語義的。

不信？你可以試試讓 GPT-4 解釋一下“火鉗劉明”是什么意思。它很可能一本正經(jīng)地給你分析“火鉗”和“劉明”這兩個(gè)詞的含義，卻不知道這其實(shí)是“火前留名”的諧音，是網(wǎng)友們?cè)谡搲锕嗨畷r(shí)常用的表達(dá)。

再比如，你讓 GPT-4 翻譯一首古詩，它或許能把每個(gè)字的意思都翻譯出來，但卻很難傳達(dá)出詩歌的意境和韻味。因?yàn)樗狈?duì)中國(guó)傳統(tǒng)文化的理解，缺乏對(duì)詩人情感的共鳴。這就像一個(gè)沒有靈魂的翻譯機(jī)器，雖然字字對(duì)應(yīng)，卻失去了靈魂。

“圖靈測(cè)試”的陷阱：我們可能一直被 AI“騙”了？

既然“理解”如此難以定義，那么我們能否通過“行為”來判斷 AI 是否具有智能呢？“圖靈測(cè)試”就是這樣一種嘗試。

“圖靈測(cè)試”的核心思想是：如果一臺(tái)機(jī)器能夠與人類進(jìn)行對(duì)話，并且讓人類無法區(qū)分它是機(jī)器還是真人，那么這臺(tái)機(jī)器就應(yīng)該被認(rèn)為具有智能。

然而，AI 真的能通過“圖靈測(cè)試”嗎？或者說，通過了“圖靈測(cè)試”的 AI，就真的具有“智能”嗎？

恐怕沒那么簡(jiǎn)單。近年來，越來越多的研究表明，“圖靈測(cè)試”存在著嚴(yán)重的局限性。

一方面，AI 系統(tǒng)越來越擅長(zhǎng)“欺騙”人類。2014 年，一個(gè)名為“尤金·古斯特曼”（Eugene Goostman）的聊天機(jī)器人，就成功地讓 33% 的評(píng)委相信它是一個(gè) 13 歲的烏克蘭男孩。

另一方面，人類對(duì) AI 的認(rèn)知也在發(fā)生變化。我們?cè)絹碓絻A向于將 AI 的“行為”表現(xiàn)與“理解”能力混淆。只要 AI 的回答看起來“像”人類，我們就容易認(rèn)為它具有了智能。

更令人擔(dān)憂的是，近年來出現(xiàn)了一種“逆向圖靈測(cè)試”的現(xiàn)象。也就是說，人類需要證明自己不是 AI！

在一項(xiàng)研究中，研究人員要求參與者在網(wǎng)上與一個(gè)未知的對(duì)象進(jìn)行對(duì)話，并判斷對(duì)方是人類還是 AI。結(jié)果發(fā)現(xiàn)，人類識(shí)別 AI 的準(zhǔn)確率只有 60% 左右。而當(dāng)人類被要求證明自己不是 AI 時(shí)，他們的“通過率”也只有 63%！

這意味著什么？“圖靈測(cè)試”的“門檻”正在變得越來越低。AI 越來越容易通過“圖靈測(cè)試”，而人類卻越來越難以證明自己是人類。甚至，在某些情況下，人類為了通過“逆向圖靈測(cè)試”，不得不主動(dòng)模仿 AI 的說話方式，比如故意犯一些拼寫錯(cuò)誤，或者使用一些生硬的表達(dá)。這簡(jiǎn)直是對(duì)人類智力的侮辱！難道，我們真的要向 AI 學(xué)習(xí)如何“不像 AI”嗎？

DeepMind 的“靈魂拷問”：AI 的“智能體性”是什么？

面對(duì) AI“智能”的種種爭(zhēng)議，DeepMind 的研究人員提出了一個(gè)新的視角：我們應(yīng)該關(guān)注 AI 的“智能體性”（Agency），而不是籠統(tǒng)的“智能”。

什么是“智能體性”？

DeepMind 將“智能體性”定義為：“系統(tǒng)朝向目標(biāo)引導(dǎo)結(jié)果的能力”。

這個(gè)定義包含四個(gè)關(guān)鍵要素，缺一不可：

1. 個(gè)體性（Individuality）：系統(tǒng)必須有一個(gè)明確的邊界，將它與外部環(huán)境區(qū)分開來。就像人的皮膚，把“我”和“非我”區(qū)分開。

2. 行動(dòng)源（Source of Action）：系統(tǒng)的行為必須是自主產(chǎn)生的，而不是完全由外部環(huán)境決定的。就像我的手，是我讓它動(dòng)，而不是風(fēng)吹動(dòng)的。

3. 規(guī)范性（Normativity）：系統(tǒng)必須有一個(gè)目標(biāo)，或者說，有一套規(guī)范來指導(dǎo)它的行為。就像下棋，目標(biāo)就是贏。

4. 適應(yīng)性（Adaptivity）：系統(tǒng)必須能夠根據(jù)環(huán)境的變化，調(diào)整自己的行為，以更好地實(shí)現(xiàn)目標(biāo)。就像開車，遇到紅燈要停，遇到障礙要繞。

這四個(gè)要素，構(gòu)成了一個(gè)完整的“智能體”框架。只有同時(shí)滿足這四個(gè)條件，一個(gè)系統(tǒng)才能被認(rèn)為是具有“智能體性”的。

“框架”：決定 AI“智能”的“隱形眼鏡”

然而，DeepMind 的研究人員進(jìn)一步指出，這四個(gè)要素的判斷，都依賴于一個(gè)“框架”（Frame）。

如果說“智能體性”的四個(gè)要素是“硬件”，那么“框架”就是“軟件”。它是我們觀察和評(píng)估 AI 的“視角”或者說“參考系”。它決定了我們?nèi)绾慰创?AI，如何定義 AI 的“智能”。

更具體地說，“框架”包含以下四個(gè)要素：

• 邊界定義（Boundary Definition）：我們?nèi)绾谓缍?AI 系統(tǒng)的邊界？是整個(gè)系統(tǒng)，還是其中的某個(gè)模塊？

• • 例子：我們可以把一個(gè)自動(dòng)駕駛汽車看作一個(gè)整體的系統(tǒng)（包含所有傳感器、計(jì)算單元、執(zhí)行機(jī)構(gòu)等），也可以只關(guān)注其中的某個(gè)模塊，比如感知模塊（負(fù)責(zé)識(shí)別路況、行人等）、決策模塊（負(fù)責(zé)規(guī)劃行駛路線、控制車速等）等。不同的邊界定義，會(huì)影響我們對(duì)系統(tǒng)“智能體性”的判斷。

• 因果變量選擇（Causal Variables）：我們將 AI 的行為歸因于什么？是內(nèi)部的算法，還是外部的數(shù)據(jù)？

• • 例子：我們可以把自動(dòng)駕駛汽車的行為歸因于車載計(jì)算機(jī)的決策（內(nèi)部算法），也可以歸因于訓(xùn)練數(shù)據(jù)、路況信息、交通規(guī)則等外部因素。不同的因果變量選擇，會(huì)影響我們對(duì)系統(tǒng)“行動(dòng)源”的判斷。

• 目標(biāo)識(shí)別原則（Goal Identification）：我們?nèi)绾闻袛?AI 的目標(biāo)是什么？是設(shè)計(jì)者賦予的，還是 AI 自主產(chǎn)生的？

• • 例子：我們可以認(rèn)為自動(dòng)駕駛汽車的目標(biāo)是安全到達(dá)目的地，也可以認(rèn)為它的目標(biāo)是遵守交通規(guī)則，或者最大化燃油效率，甚至可以是“不出事故就好”。不同的目標(biāo)識(shí)別原則，會(huì)影響我們對(duì)系統(tǒng)“規(guī)范性”的判斷。

• 適應(yīng)性標(biāo)準(zhǔn)（Adaptivity Criteria）：我們?nèi)绾魏饬?AI 的適應(yīng)性？是看它在特定任務(wù)上的表現(xiàn)，還是看它在不同環(huán)境下的泛化能力？

• • 例子：我們可以通過自動(dòng)駕駛汽車在不同路況（城市道路、高速公路、鄉(xiāng)村小路等）下的表現(xiàn)來評(píng)估它的適應(yīng)性，也可以通過它在模擬環(huán)境中的學(xué)習(xí)速度來評(píng)估。不同的適應(yīng)性標(biāo)準(zhǔn)，會(huì)影響我們對(duì)系統(tǒng)“適應(yīng)性”的判斷。

下圖展示了“框架”的四個(gè)要素：

DeepMind 用“隱形眼鏡”來比喻“框架”。我們戴上不同的“眼鏡”，看到的 AI 就會(huì)呈現(xiàn)出不同的“智能”形態(tài)。不同的“框架”，會(huì)導(dǎo)致對(duì)同一個(gè) AI 系統(tǒng)產(chǎn)生完全不同的“智能體性”判斷。

為了更清晰的闡述“框架”的概念，我們來看一個(gè)自動(dòng)駕駛的例子：

參考系要素

框架A（系統(tǒng)級(jí)）

框架B（模塊級(jí)）

邊界

包含所有傳感器、計(jì)算單元、執(zhí)行機(jī)構(gòu)

僅感知模塊（攝像頭、激光雷達(dá)等）

因果變量

車載計(jì)算機(jī)的決策

傳感器接收到的環(huán)境信息

目標(biāo)

安全、高效地到達(dá)目的地

準(zhǔn)確識(shí)別道路、車輛、行人等

適應(yīng)性

應(yīng)對(duì)復(fù)雜路況、突發(fā)事件

對(duì)不同光照、天氣條件的魯棒性

智能體性判定具備

（滿足四要素）

可能不具備

（取決于模塊的具體設(shè)計(jì)）

看到了嗎？同一個(gè)自動(dòng)駕駛系統(tǒng)，在不同的“框架”下，可以被認(rèn)為是“智能”的，也可以被認(rèn)為是“不智能”的。這就像“羅生門”，每個(gè)人看到的真相，都只是真相的一部分。

換個(gè)“角度”看 AlphaGo：它真的“無敵”嗎？

AlphaGo 無疑是 AI 發(fā)展史上的一個(gè)里程碑。它在圍棋領(lǐng)域戰(zhàn)勝了人類頂尖棋手，展現(xiàn)出了驚人的“智能”。

但是，如果我們從“框架依賴性”的角度來看，AlphaGo 的“智能”又是怎樣的呢？

如果我們把 AlphaGo 看作一個(gè)整體，那么它無疑具有強(qiáng)大的“智能體性”：它能夠在復(fù)雜的棋局中自主決策，目標(biāo)是贏得比賽，并且能夠通過學(xué)習(xí)不斷提升自己的棋力。

但是，如果我們把“框架”縮小到 AlphaGo 的內(nèi)部，只關(guān)注其中的神經(jīng)網(wǎng)絡(luò)，那么它就只是一個(gè)復(fù)雜的函數(shù)，根據(jù)輸入的棋盤狀態(tài)，輸出一個(gè)落子位置。它的行為完全由神經(jīng)網(wǎng)絡(luò)的參數(shù)決定，不具備任何“自主性”。

更進(jìn)一步，如果我們把 AlphaGo 與 AlphaGo Zero 和 AlphaZero 進(jìn)行對(duì)比，我們會(huì)發(fā)現(xiàn)，它們的“智能體性”也存在著微妙的差異。

AlphaGo 的訓(xùn)練，依賴于大量的人類棋譜數(shù)據(jù)。而 AlphaGo Zero[2] 則完全從零開始，通過自我對(duì)弈來學(xué)習(xí)。AlphaZero[3] 則更進(jìn)一步，將這種“自我學(xué)習(xí)”的能力推廣到了其他棋類游戲（如國(guó)際象棋、將棋）。

從“智能體性”的角度來看，AlphaGo Zero 和 AlphaZero 比 AlphaGo 更具有“自主性”。因?yàn)樗鼈儾灰蕾囉谌祟惖南闰?yàn)知識(shí)，而是通過自身的探索和學(xué)習(xí)，來構(gòu)建對(duì)棋類游戲的理解。AlphaZero 更是通過在不同棋類游戲中的出色表現(xiàn)，證明了其“智能體性”的“可遷移性”。

重新定義 AI“智能”：從“客觀”到“主觀”

DeepMind 的“框架依賴性”理論，對(duì) AI 研究和應(yīng)用具有深遠(yuǎn)的啟示。它讓我們意識(shí)到，AI 的“智能”并非客觀存在，而是我們主觀建構(gòu)的產(chǎn)物。

AGI 的“N 種可能”：沒有最好，只有最適合

“框架依賴性”意味著，不存在一個(gè)客觀的、絕對(duì)的 AGI（通用人工智能）標(biāo)準(zhǔn)。我們對(duì) AGI 的理解和評(píng)估，始終是相對(duì)的、主觀的。

不同的“框架”，會(huì)導(dǎo)致對(duì) AGI 提出不同的要求。

• 如果關(guān)注 AGI 的“實(shí)用性”，那么我們可能會(huì)更看重它在特定任務(wù)上的表現(xiàn)，而不太在意它是否具有“意識(shí)”或“情感”。

• 如果關(guān)注 AGI 的“可解釋性”，那么我們可能會(huì)更傾向于那些能夠清晰地展示其決策過程的 AGI，即使它們的性能可能稍遜一籌。

• 如果關(guān)注 AGI 的“可控性”，那么我們可能會(huì)更強(qiáng)調(diào) AGI 的安全性，即使這會(huì)犧牲一部分“智能”表現(xiàn)。

因此，未來的 AGI 發(fā)展，可能會(huì)呈現(xiàn)出多樣化的趨勢(shì)。不同的 AGI，可能會(huì)在不同的“框架”下，展現(xiàn)出不同的“智能”形態(tài)。也許，未來的 AGI 就像一個(gè)“變形金剛”，可以根據(jù)不同的任務(wù)和場(chǎng)景，切換不同的“形態(tài)”。

AI 評(píng)估的“新標(biāo)尺”：實(shí)用、可解釋、可控

“框架依賴性”也要求我們重新思考 AI 的評(píng)估標(biāo)準(zhǔn)。

傳統(tǒng)的“圖靈測(cè)試”，過于強(qiáng)調(diào) AI 的“擬人性”，而忽略了 AI 在其他方面的價(jià)值。

未來的 AI 評(píng)估，應(yīng)該更加全面、更加靈活。除了“智能”表現(xiàn)，我們還應(yīng)該關(guān)注 AI 的“實(shí)用性”、“可解釋性”和“可控性”。

• 實(shí)用性（Practicality）：AI 能否在真實(shí)世界中解決問題？它的效率如何？成本如何？

• 可解釋性（Explainability）：AI 的決策過程是否透明？我們能否理解它的行為？

• 可控性（Controllability）：AI 是否安全可靠？我們能否控制它的行為，防止它造成危害？

這三個(gè)維度，構(gòu)成了 AI 評(píng)估的“新標(biāo)尺”。在不同的應(yīng)用場(chǎng)景中，這三個(gè)維度的權(quán)重可能會(huì)有所不同。

例如，在醫(yī)療診斷領(lǐng)域，可解釋性可能比實(shí)用性更重要。因?yàn)獒t(yī)生需要理解 AI 的診斷依據(jù)，才能做出最終的決策。而在自動(dòng)駕駛領(lǐng)域，可控性可能是最重要的。因?yàn)?AI 的任何失誤，都可能導(dǎo)致嚴(yán)重的安全事故。

歡迎你加入集智俱樂部策劃的「大模型可解釋性」讀書會(huì)，旨在突破大模型“黑箱”困境，嘗試從以下四個(gè)視角梳理大語言模型可解釋性的科學(xué)方法論：自下而上：Transformer circuit 為什么有效？自上而下：神經(jīng)網(wǎng)絡(luò)的精細(xì)決策邏輯和性能根因是否可以被嚴(yán)謹(jǐn)、清晰地解釋清楚？復(fù)雜科學(xué)：滲流相變、涌現(xiàn)、自組織等復(fù)雜科學(xué)理論如何理解大模型的推理與學(xué)習(xí)能力？系統(tǒng)工程：如何擁抱不確定性，在具體的業(yè)界實(shí)踐中創(chuàng)造價(jià)值？歡迎你來交流與討論。 https://pattern.swarma.org/study_group/62?from=Yongxiaojudian

“框架依賴性”還對(duì)人機(jī)關(guān)系提出了新的挑戰(zhàn)。

如果我們不能真正理解 AI 的“智能”，我們?nèi)绾闻c AI 建立信任？我們?nèi)绾闻c AI 進(jìn)行有效的溝通和協(xié)作？

未來的 AI 應(yīng)該具備“共情”能力。也就是說，AI 應(yīng)該能夠理解人類的情感，并做出相應(yīng)的回應(yīng)。

但是，AI 的“共情”與人類的“共情”是不同的。AI 的“共情”是基于對(duì)人類行為和語言的分析，而不是基于自身的感受。

盡管如此，AI 的“共情”仍然可以幫助我們建立與 AI 之間的信任和理解。

例如，一個(gè)具有“共情”能力的聊天機(jī)器人，可以根據(jù)用戶的語氣和措辭，判斷用戶的情緒狀態(tài)，并做出相應(yīng)的回應(yīng)。這可以增強(qiáng)用戶與 AI 之間的互動(dòng)體驗(yàn)，減少用戶的挫敗感。

近年來，關(guān)于人機(jī)“共情”的研究取得了許多進(jìn)展。研究人員正在開發(fā)各種技術(shù)，使 AI 能夠更好地理解和回應(yīng)人類的情感。

例如，斯坦福大學(xué)的研究人員開發(fā)了一個(gè)名為 HAILEY[4] 的人機(jī)協(xié)作系統(tǒng)。這個(gè)系統(tǒng)能夠?qū)崟r(shí)分析人類的語言和行為，并提供相應(yīng)的反饋，讓人類在對(duì)話中更好地表達(dá)共情。這套系統(tǒng)的核心在于構(gòu)建了一個(gè)“框架嵌套”的設(shè)計(jì)：人類主導(dǎo)對(duì)話，而 AI 則通過分析對(duì)話中的語言特征，實(shí)時(shí)提供反饋，幫助人類更好地表達(dá)共情。實(shí)驗(yàn)表明，HAILEY 系統(tǒng)能夠?qū)⑷祟惖墓睬楸磉_(dá)提升 19.6%，在困難案例中更是提升了 38.9%。

DeepMind 的研究人員也在探索如何讓 AI 具備“框架感知”能力。也就是說，讓 AI 能夠理解人類對(duì)它的“智能”的看法，并根據(jù)人類的“框架”來調(diào)整自己的行為。

這些研究都表明，AI 的“共情”能力，不僅取決于 AI 本身的技術(shù)水平，還取決于我們?nèi)绾卧O(shè)計(jì)和使用 AI。未來的 AI，或許更像一個(gè)“善解人意”的伙伴，而不是一個(gè)冷冰冰的工具。

“框架依賴性”的倫理拷問

“框架依賴性”理論，不僅對(duì) AI 技術(shù)發(fā)展提出了新的要求，也對(duì) AI 倫理提出了新的挑戰(zhàn)。

如果 AI 的“智能”是主觀的、相對(duì)的，那么我們應(yīng)該如何界定 AI 的“責(zé)任”？如果 AI 在不同的“框架”下會(huì)做出不同的決策，那么我們應(yīng)該如何確保 AI 的決策符合人類的價(jià)值觀？

例如，一個(gè)自動(dòng)駕駛系統(tǒng)，在“安全框架”下，可能會(huì)選擇犧牲車內(nèi)乘客的生命來保護(hù)更多行人。但在“公平框架”下，這種選擇可能是不道德的。那么，我們應(yīng)該如何選擇“框架”？

更進(jìn)一步，如果 AI 的“偏見”是不可避免的，那么我們應(yīng)該如何應(yīng)對(duì)？

例如，一個(gè)用于招聘的 AI 系統(tǒng)，可能會(huì)因?yàn)橛?xùn)練數(shù)據(jù)中的偏見，而對(duì)某些群體的求職者產(chǎn)生歧視。那么，我們應(yīng)該如何消除這種偏見？

再進(jìn)一步，如果 AI 的“價(jià)值觀”是可以被塑造的，那么我們應(yīng)該如何引導(dǎo) AI 形成正確的價(jià)值觀？

例如，一個(gè)用于生成新聞的 AI 系統(tǒng)，可能會(huì)因?yàn)橛?xùn)練數(shù)據(jù)中的傾向性，而產(chǎn)生虛假或誤導(dǎo)性的報(bào)道。那么，我們應(yīng)該如何確保 AI 生成的信息是真實(shí)、客觀、公正的？

這些問題，都是“框架依賴性”理論給我們提出的倫理拷問。DeepMind 的論文并沒有給出這些問題的答案。但它提醒我們，AI 的發(fā)展不僅僅是一個(gè)技術(shù)問題，更是一個(gè)倫理問題、社會(huì)問題。我們需要在 AI 的設(shè)計(jì)、開發(fā)、應(yīng)用等各個(gè)環(huán)節(jié)，充分考慮到“框架依賴性”的影響，確保 AI 的發(fā)展符合人類的利益和價(jià)值觀。

DeepMind 的“框架依賴性”理論，為我們理解 AI“智能”提供了一個(gè)全新的視角。它告訴我們，AI 的“智能”不是一個(gè)固定的、客觀的屬性，而是一個(gè)動(dòng)態(tài)的、主觀的建構(gòu)。

未來的 AI 研究，應(yīng)該更加關(guān)注 AI 的“智能體性”，更加關(guān)注 AI 在不同“框架”下的表現(xiàn)，更加關(guān)注 AI 與人類的互動(dòng)和協(xié)作。或許，未來的 AI 不再是“人工智能”，而是“增強(qiáng)智能”，甚至是“共生智能”。

只有這樣，我們才能真正理解 AI 的“智能”，并讓 AI 更好地服務(wù)于人類。而這，或許才是“智能”的真諦。未來的世界，不是人類與AI的對(duì)決，而是人類與AI的共舞。在這場(chǎng)共舞中，'框架依賴性'理論可能會(huì)催生出一種全新的 AI 開發(fā)范式，即“框架工程”（Frame Engineering），專門研究如何設(shè)計(jì)、選擇、評(píng)估和優(yōu)化 AI 系統(tǒng)的“框架”，從而實(shí)現(xiàn) AI 與人類的深度融合。而我們，能否駕馭這場(chǎng)未知的舞蹈，將決定人類文明的走向。

集智俱樂部策劃了「大模型時(shí)代下的人機(jī)交互與協(xié)同」讀書會(huì)，將探討：人類智能和機(jī)器智能各自的優(yōu)勢(shì)有哪些？智能邊界如何？如何通過更有效的標(biāo)注策略和數(shù)據(jù)生成技術(shù)來解決數(shù)據(jù)稀缺問題？如何設(shè)計(jì)更加高效的人機(jī)協(xié)作系統(tǒng)，實(shí)現(xiàn)高效共贏的效果？如何提高機(jī)器決策的可解釋性與透明性，確保系統(tǒng)的可信度？如何通過多模態(tài)協(xié)作融合不同感知通道，應(yīng)對(duì)復(fù)雜的決策任務(wù)？歡迎你來參加交流、討論。 https://pattern.swarma.org/study_group/62?from=Yongxiaojudian

參考資料：

[1] Agency Is Frame-Dependent: https://arxiv.org/abs/2502.04403

[2] AlphaGo Zero: https://deepmind.google/discover/blog/alphago-zero-starting-from-scratch/

[3] AlphaZero: https://deepmind.google/discover/blog/alphazero-shedding-new-light-on-chess-shogi-and-go/

[4] HAILEY: https://www.newswise.com/pdf_docs/16744962898443_Full%20text_%20Althoff%2042256_2022_593_finalpdf.pdf

大模型可解釋性讀書會(huì)讀書會(huì)

集智俱樂部聯(lián)合上海交通大學(xué)副教授張拳石、阿里云大模型可解釋性團(tuán)隊(duì)負(fù)責(zé)人沈旭、彩云科技首席科學(xué)家肖達(dá)、北京師范大學(xué)碩士生楊明哲和浙江大學(xué)博士生姚云志共同發(fā)起。本讀書會(huì)旨在突破大模型“黑箱”困境，嘗試從以下四個(gè)視角梳理大語言模型可解釋性的科學(xué)方法論：

自下而上：Transformer circuit 為什么有效？

自上而下：神經(jīng)網(wǎng)絡(luò)的精細(xì)決策邏輯和性能根因是否可以被嚴(yán)謹(jǐn)、清晰地解釋清楚？

復(fù)雜科學(xué)：滲流相變、涌現(xiàn)、自組織等復(fù)雜科學(xué)理論如何理解大模型的推理與學(xué)習(xí)能力？

系統(tǒng)工程：如何擁抱不確定性，在具體的業(yè)界實(shí)踐中創(chuàng)造價(jià)值？

五位發(fā)起人老師會(huì)帶領(lǐng)大家研讀領(lǐng)域前沿論文，現(xiàn)誠(chéng)邀對(duì)此話題感興趣的朋友，一起共創(chuàng)、共建、共享「大模型可解釋性」主題社區(qū)，通過互相的交流與碰撞，促進(jìn)我們更深入的理解以上問題。無論您是致力于突破AI可解釋性理論瓶頸的研究者，探索復(fù)雜系統(tǒng)與智能本質(zhì)的交叉學(xué)科探索者，還是追求模型安全可信的工程實(shí)踐者，誠(chéng)邀您共同參與這場(chǎng)揭開大模型“黑箱”的思想盛宴。

讀書會(huì)計(jì)劃于2025年6月19日啟動(dòng)，每周四晚19:30-21:30，預(yù)計(jì)持續(xù)分享10周左右。

詳情請(qǐng)見：

1.

2.

3.

4.

5.

6.