追問快讀：

1. 當前AI并非具備人類心智或意識，而更像是反映人類行為的“鏡像”。

2. 將AI擬人化、視其擁有“心智”是對人類復雜性的低估，模糊了機器高效執行任務與真正思考、創造間的界限。

3. AI的主要風險并非技術本身，而是其可能潛移默化地改變我們對人類理性、創造力及自主性的理解，最終削弱我們作為自由智能體的自我認知。

4. AI在醫學、能源等領域的巨大潛力，但其發展必須置于健全的倫理規范和治理之下。

5. 需要確保AI成為促進人類福祉與創造力的工具，而非侵蝕我們對自身本質、價值和道德原則的認知。

菲利普·鮑爾

Philip Ball

物理學博士，化學學士，英國知名自由科普作家、BBC科學史欄目“科學的故事”出品人

他曾在《自然》雜志擔任編輯超過二十年，著有多部涵蓋科學、藝術與文化交叉領域的暢銷書，如《水的傳記》《預知社會》等。此外，他還獲得了2019年英國皇家物理學會的開爾文獎章和2022年英國皇家學會的威爾金斯-貝納爾-梅達瓦獎章，以表彰他在科學傳播和科學社會功能方面的貢獻。

香農·瓦勒

Shannon Vallor

愛丁堡大學哲學系數據與人工智能倫理學教授，愛丁堡未來研究所技術道德未來中心主任

艾倫·圖靈研究所（Alan Turing Institute）的研究員，也曾在谷歌擔任人工智能倫理學家，并著有《技術與美德：未來值得期待的哲學指南》（2016）和《人工智能之鏡：如何在機器思維時代重拾人性》（2024）。Vallor 教授的研究聚焦于新興技術（尤其是AI和數據科學）對人類道德和智力特征的影響，她還為政府和行業提供關于人工智能倫理的建議。她曾獲得2015年世界技術倫理獎和2022年國際計算與哲學協會的Covey獎。

香農·瓦勒（Shannon Vallor）和我身處的倫敦大英圖書館中，收藏著1.7億件藏品——書籍、錄音、報紙、手稿、地圖。換句話說，這里正是ChatGPT這樣的AI聊天機器人“覓食”信息的地方。

坐在圖書館咖啡館的陽臺上，我們眼前就在克里克研究所（Crick Institute）——一個專門研究人體內部機制的生物醫學研究中心。如果我們從這里朝著圣潘克拉斯火車站方向扔塊石頭，也許就能砸到谷歌倫敦總部。瓦勒在搬到蘇格蘭、領導愛丁堡大學技術倫理未來中心（Center for Technomoral Futures）之前，曾在這家公司擔任AI倫理學家。

在這里，身處人類的奧秘、人類語言中蘊含的認知財富以及商業AI的喧囂張揚之間，瓦勒正在幫助我理解：AI是會解決我們所有的問題，還是會讓我們變得多余甚至滅絕？

盡管這兩種觀點的可能性都催生了聳人聽聞的頭條新聞，但瓦勒對兩者都不以為然。她承認AI在帶來益處和造成破壞方面都具有巨大潛力，但她認為真正的危險潛藏在別處。正如她在其2024年的著作《人工智能之鏡》（The AI Mirror）中所解釋的那樣：

無論是認為“AI像我們一樣思考”的天真想法，還是認為“AI將化身為邪惡獨裁者”的偏執臆想，都虛構了它與人類的親緣關系。這樣做的代價，是創造了一種天真且有害的看法——這可能會鼓動我們放棄自己的能動性，舍棄智慧而去遵從機器。

閱讀《人工智能之鏡》一書時，我注意到瓦勒有意深入探討人機關系，而不僅限于隱私、虛假資訊等常見的AI議題。她的書中警示了一種現象：科技行業正在推行一種對于‘人’的膚淺而扭曲的定義，將我們重構為軟乎乎、濕漉漉的“計算機”。

雖然這些觀點聽來嚴肅，但瓦勒本人卻給人截然不同的印象。作為一位既具備哲學與科技領域的學術造詣，又有豐富的行業實踐的學者，她并非那種高舉旗幟的“反商業AI”人士。在言語間，她對在谷歌的那段經歷依然頗具好感，同時也會嘲笑硅谷的一些荒謬之處。但她對這些問題所展現的道德與智識上的清晰和正直，與硅谷那些“科技兄弟”（tech bros）慣常的膚淺和急功近利，形成了鮮明的對比。

“我們正處于這樣一個歷史時刻：我們需要重建對人類理性與集體決策能力的信心。”瓦勒告訴我，“除非我們能夠重新確立對人類思考和判斷力的信心，否則我們將既無法應對氣候緊急狀況，也無法修復已出現裂痕的民主基石。然而，目前AI領域的種種跡象，都在與此背道而馳。”

?《The AI Mirror: How to Reclaim Our Humanity in an Age of Machine Thinking》（《人工智能之鏡：如何在機器思維時代重拾人性》）是Shannon Vallor于2024年出版的一本探討人工智能與人類關系的著作，書中通過“AI之鏡”的隱喻，分析了人工智能如何反映人類的優點與缺點，并呼吁重新思考與AI的關系，以重拾人性和道德發展的潛能。

以人工智能為鏡

瓦勒認為，要理解AI算法，我們不應將其視為心智（minds）。“一個多世紀以來，我們都受到科幻和各種文化想象的影響，覺得AI一旦出現，就會是擁有心智的機器。”她告訴我，“但實際上，我們目前擁有的AI，在本質、結構和功能上都與‘心智’大相徑庭。”

相反，我們應該將AI想象成一面鏡子，它并不會與它所映射的對象完全相同。“當你走進浴室刷牙時，你不會認為有第二張臉在看著你，”瓦勒說。“那只是臉的映像，屬性截然不同——既沒有溫度，也沒有深度。”同樣地，心智的映像并非心智。基于大語言模型（LLM）的AI聊天機器人、圖像生成器，也僅僅是人類表現的鏡像。“你看到的ChatGPT的輸出，都只是人類智能的鏡像，我們的創造性偏好、我們的編程專長、我們的聲音，無論我們輸入什么，都會映射回來。”

即使是專家，也會在這個“鏡廳”里被愚弄。開發了深度學習技術并獲得2024年諾貝爾物理學獎的計算機科學家杰弗里·辛頓（Geoffrey Hinton），在2024年的一次AI會議上表示，“我們理解語言的方式與這些LLM非常相似。”

辛頓堅信，這些形式的AI，并非僅僅是在機械地復述看似有意義的文本模式，而是確實發展出了對詞語和概念自身的某種理解。LLM通過讓其不斷調整神經網絡中的連接，直到能否穩定地給出好的答案——辛頓將這個訓練過程比作“教育一個極度早慧的孩子”。但因為AI遠比我們“知道”得更多、“思考”得更快，辛頓得出結論，它最終可能會取代我們——

“人類很可能只是智能進化中的一個過渡階段。”

“當辛頓開始談論知識和經驗時，他完全是言過其實了，”瓦勒說。“我們知道，大腦和機器學習模型僅是在結構和功能上看起來相似。就物理層面發生的事情而言，兩者之間存在巨大的鴻溝，我們完全有理由認為這種差異至關重要。”兩者之間根本不存在真正的親緣關系。

我也認為那些末日預言論調確實占據了過多輿論空間。一些研究者認為，LLM正在具備越來越多的“認知”特征——OpenAI最新的聊天機器人模型o1據說是通過一系列的推理鏈（chain-of-reason）步驟來工作的（該公司并未透露相關細節，我們無從得知它們是否與人類推理相似）。

另外，AI確實具有可以被視為心智方面的特征，比如記憶和學習。計算機科學家梅拉妮·米切爾（Melanie Mitchell）和復雜性理論家大衛·克拉考爾（David Krakauer）曾提出，雖然我們不應將這些系統視為像我們一樣的心智，但它們或許可以被認為是某種截然不同的、我們不熟悉的類型的心智。

“我對這種方法持相當懷疑的態度。未來也許會適用，而且我原則上不反對我們可能造出機器心智的想法。我只是認為我們現在做的并非如此。”瓦勒之所以抵制“AI具有人類式心智”的觀點，很大程度上源于她的哲學背景。在哲學中，“心智性”（mindedness）往往根植于經驗：而這恰恰是當今AI所不具備的。因此，她說，聲稱這些機器“在思考”是不恰當的。

?Wikipedia

她的觀點與英國數學家、計算機先驅艾倫·圖靈（Alan Turing）1950年的論文《計算機器與智能》（Computing Machinery and Intelligence）相沖突，該論文常被視為AI的概念基礎。圖靈提出了問題：“機器能思考嗎？”——但他隨即將此問題替換為他認為更好的問題，即我們能否開發出這樣的機器：它對問題的回答無法與人類的回答區分開來。這就是圖靈的“模仿游戲”（Imitation Game），現在通常被稱為圖靈測試（Turing test）。

但那畢竟只是模仿，瓦勒說。“對我來說，‘思考’是一種獨特且具體的體驗。”

“離開了體驗，所謂‘思考’就沒了核心——這好比把水里的氫元素拿掉了，就失去了它的本來屬性。”

推理需要概念，而LLM并未真正發展出這些概念。“所謂LLM擁有的‘概念’，實際上是不同的東西。它是在高維數學向量空間中關聯性的統計映射。”“通過這種表示，模型可以找到通往解決方案的路徑，這比隨機搜索更有效率。但這不是我們人類的思考方式。”

不過它們非常擅長假裝在推理。“問模型：‘你是如何得出那個結論的？’它就會編造一整段看似連貫的思路。但如果我們深挖就會發現，這條‘推理鏈’很快就會瓦解成胡言亂語。”這說明，這并不是機器遵循并信奉的思考過程，而只是另一種類推理模式（reason-like shapes）的概率分布，與其生成的輸出恰當匹配而已。這完全是事后建構（post hoc）。”

?A?da Amer/Axios

隨著備受吹捧的“通用人工智能”（AGI）概念的出現，這些問題開始變得尖銳。AGI通常被定義為一種能夠執行人類可以執行的任何智能任務，并且做得更好的機器智能。有些人認為我們已經接近這個閾值了。只不過要做出這樣的斷言，必須將人類智能重新定義為我們所做事情的一個子集。

“沒錯，這是一種非常刻意的策略，目的是轉移人們的注意力，使其忽略我們尚未制造出AGI，而且離它還差得很遠這一事實。”瓦勒說。

最初，AGI指的是一種能夠做到人類心智所能做的一切的東西——一種我們毫不懷疑它在思考和理解世界的東西。但在《人工智能之鏡》中，瓦勒解釋說，像辛頓和OpenAI的CEO薩姆·奧特曼（Sam Altman）這樣的專家，現在將AGI定義為一個在計算、預測、建模、生產和解決問題方面與人類相當或更優的系統。

瓦勒說，“奧特曼篡改了評價標準，聲稱我們所說的AGI是指‘一臺實際上能完成人類所做的所有具有經濟價值任務的機器’。”這是（AI）圈子里的普遍看法。微軟AI部門的CEO穆斯塔法·蘇萊曼（Mustafa Suleyman）也曾寫道，AI的最終目標是“將人類高效多能的本質提煉轉化為軟件和算法”，他認為這等同于能夠“復制那個使我們成為獨一無二物種的特質——人類的智能”。

瓦勒說，當她看到奧特曼對AGI的重新定義時，“我不得不合上筆記本電腦，對著空氣發了半個小時的呆。”

“我們現在追求的AGI目標，不過是你的老板可以用來取代你的東西。”

“它可以像烤面包機一樣毫無思想，只要它能做你的工作就行。而這正是LLM的樣子——它們是無需思考就能完成大量認知勞動的、毫無思想的烤面包機。”

我向瓦勒進一步探詢這一點。畢竟，有AI能在國際象棋上擊敗我們是一回事——但現在我們有了能寫出令人信服的文章、進行引人入勝的對話、創作出能騙過一些人以為是人類所作音樂的算法。當然，這些系統可能相當有限和乏味——但它們難道不正在日益侵蝕那些我們可能視為人類獨有的任務嗎？

“這就是‘鏡子’這個比喻發揮作用的地方，”她說。“鏡像可以跳舞。一面足夠好的鏡子可以向你展示你身上那些深具人性的方面，但展示不了它們的內在體驗——僅僅是外在表現。”

對于AI藝術，她補充說：

“重要的是要認識到，在另一端并沒有任何東西在參與這場交流。”

讓我們困惑的是，我們面對AI生成的“藝術品”時會產生情感。但這并不奇怪，因為機器反映回來的只是人類創造的模式的排列組合：肖邦式的音樂、莎士比亞式的散文。而且，情感反應并非以某種方式編碼在刺激源中，而是在我們自己的頭腦中構建的：我們與藝術的互動遠不像我們通常想象的那么被動。

但這不僅僅關乎藝術。“我們是意義的創造者和發明者，這部分地賦予了我們個體化的、創造性的、政治的自由。”瓦勒說。“我們并非被鎖定在所吸收的模式中，而是能夠將它們重新排列成新的形態。”

“當我們在世界上主張新的道德訴求時，我們就在這樣做。但這些機器只是以微小的統計變異，不斷重復循環著相同的模式和形狀。它們不具備創造意義的能力。這從根本上就是那道鴻溝，使得聲稱‘我們與它們存在真正親緣關系’缺乏正當理由。”

硅谷的問題

我問瓦勒，關于AI的一些誤解和誤導是否根植于科技社群自身的特性——狹隘的訓練和文化背景并且缺乏多樣性？

她嘆了口氣，“我大半輩子都住在舊金山灣區，也在科技行業工作過。我可以告訴你，那種文化的影響是深遠的。它不僅僅是一種特定的文化觀念，它還具有宗教的特征。在這種思維方式中，存在某些信條，是任何反證或論點都無法動搖的。”

瓦勒說，事實上，提供反證只會被排除在對話之外。“這是一種非常狹隘的智能觀，由一套非常狹隘的價值觀驅動，‘效率至上’和‘贏家通吃’的支配地位，被視為任何智能生物追求的最高價值。”

瓦勒接著說，“但這種效率，從未參照任何更高價值來定義，這一點總是讓我極為無語。就像沒人會對縱火者說：‘你真是我們見過最高效的縱火狂！干得漂亮！’”

人們真的認為，人類決策的時代即將落幕。這讓我感到恐懼。

在硅谷，效率本身就是目的。“它希望達到一種狀態：問題被解決了，不再有摩擦、模棱兩可、未說或未做之事，你已經掌控了問題，問題消失了，剩下的只有你那完美閃耀的解決方案。”這樣的智慧理念，本身便是一套想要消除思考之勞的意識形態。

瓦勒告訴我，她曾試圖向一位AGI領域大佬解釋，正義（justice）問題沒有數學解。我告訴他，正義的本質在于我們擁有沖突的價值觀和利益，它們無法在單一標準上變得可衡量（commensurable），人類的審議、協商和訴求（appeal）的過程才是關鍵。“他卻回答我，那只說明你數學不好。你對此能說什么呢？這就變成了兩種互不相交的世界觀，而你是在與截然不同的現實觀對話。”

真正的危險

瓦勒并未低估日益強大的AI對我們社會構成的威脅，從隱私到虛假信息和政治穩定。但她眼下真正擔憂的是，AI正在如何重塑人類的自我認知。

“我認為，AI正在對人類生命的存在意義，構成了一種相當迫在眉睫的威脅”，瓦勒說。“通過自動化我們的思維實踐并圍繞其構建敘事體系，AI正在削弱我們‘作為世界上有責任感和自由的智能’的自我認知。你可以在那些試圖為剝奪人類自我治理權辯護的威權主義言論中找到這種論調，而AI為這類敘事注入了新的生機。

更糟糕的是，她說，這種敘事被包裝成一種客觀中立、無關政治的說辭——它僅僅是科學。“你會遇到這樣一些人，他們真的認為人類能動性的時代已經終結，人類決策的時代即將落幕——而且他們認為這是好事，并且是簡單的科學事實。這讓我感到恐懼。我們被告知，接下來AGI將會構建出更好的東西。而且我確實認為，有一些憤世嫉俗的人會信以為真，并從‘自己正在引領我們的機器繼任者誕生’這樣的信念中獲得某種宗教般的慰藉。”

瓦勒不希望AI停滯不前，它確實可以幫助解決我們面臨的一些嚴峻問題。“AI在醫學、能源、農業領域仍有巨大的應用前景。我希望它能以明智選擇、合理引導和規范治理的方式持續發展。”

正因如此，人們對AI的反對態度，盡管可以理解，但從長遠來看可能存在問題。“我看到越來越多的人開始抵制AI，”瓦勒表示。“這種敵視情緒在創意圈愈演愈烈。大約三年前，當LLM和圖像模型剛出現時，這些群體的態度要平和得多。當時有很多人覺得‘這玩意兒還挺酷的’。但由于AI行業對待創作者權利和自主權的掠奪性做法，以至于現在的創作者們都在說，‘去他的AI和所有與它相關的人，別讓它靠近我們的創作領域。’我擔心這種針對AI負面的抵制動能，會擴散成對AI解決任何問題的廣泛不信任。”

盡管瓦洛仍然希望推廣AI應用，但“我發現自己常常站在憤怒抵制者陣營，他們的理由完全正當。”她坦言，這種分裂正成為人們強加在“人性與技術之間的人為區隔”。她說，“這種區隔可能造成嚴重危害，因為技術是身份認知的基石——早在進化成現代智人（Homo sapiens）之前，我們就已是技術造就的生物。工具幫助我們解放自我、創造并更好地關愛他人，乃至愛護地球上的其他生命。我不想失去這種寶貴的‘人類-技術’連結，把所有東西都硬分成‘人性’對‘機器’。從本質上說，科技可以是一種最具‘人性’的活動。只是我們已經迷失了這種紐帶。”

譯者后記

當前對AI的討論，雖然警示了其作為“人類智能鏡像”可能侵蝕人類能動性的風險，但往往過度聚焦于“機器是否擁有體驗”這類抽象哲學邊界，從而忽視了算法已經造成的實際社會后果和潛在的全球性不平等。無論AI是否具備主觀感受，其部署已帶來緊迫的倫理、法律和社會影響，包括資源消耗、生態足跡、數據殖民及地緣政治風險。

對硅谷的批判也需更加深入、細致、不片面，應認識到產業內部存在的多樣聲音與外部治理的努力。近期AI領域重量級人物的不同表態——從追求超級智能卻回避監管，到內部安全與商業競爭的拉扯，再到對滅絕風險、行動代理危險性以及開源模式的激烈爭論——恰恰凸顯了單純憂慮“人類能動性被侵蝕”的局限性。

真正迫切的問題，并非機器是否“有感覺”，而是如何在商業競速、技術路線分歧（如開源與封閉）及地緣政治博弈的復雜力量間，建立起可驗證的外部約束和有效的全球多極治理框架。缺乏這種框架，無論AI是否只是“鏡像”，其背后集中的資本與算力都足以將其導向負面未來（“黑鏡”化）。

因此，AI治理亟需超越“人機對立”的哲學思辨，轉向關注全球數據主權、算法生態影響、跨文化價值公平和可行的制度設計等更為現實和多維的議題。

https://nautil.us/ai-is-the-black-mirror-1169121/

關于追問nextquestion

天橋腦科學研究院旗下科學媒體，旨在以科學追問為紐帶，深入探究人工智能與人類智能相互融合與促進，不斷探索科學的邊界。如果您有進一步想要討論的內容，歡迎評論區留言，或后臺留言“社群”即可加入社群與我們互動。

關于天橋腦科學研究院

天橋腦科學研究院（Tianqiao and Chrissy Chen Institute）是由陳天橋、雒芊芊夫婦出資10億美元創建的世界最大私人腦科學研究機構之一，圍繞全球化、跨學科和青年科學家三大重點，支持腦科學研究，造福人類。

Chen Institute與華山醫院、上海市精神衛生中心設立了應用神經技術前沿實驗室、人工智能與精神健康前沿實驗室；與加州理工學院合作成立了加州理工天橋神經科學研究院。

Chen Institute建成了支持腦科學和人工智能領域研究的生態系統，項目遍布歐美、亞洲和大洋洲，包括、、、科研型臨床醫生獎勵計劃、、等。