在人工智能的世界，有一群人正深耕于推動通用人工智能（AGI）從科幻走向現實。CSDN、《新程序員》特別策劃，挖掘 AI 背后的思考，激蕩 AGI 的智慧，走近那些在 AI 領域不斷探索、勇于創新的思想領袖和技術先鋒們的心路歷程。

年初 DeepSeek 爆火，引起 X、谷歌、OpenAI、Anthropic 的頂級模型大戰，隨后又有 Manus 通用 Agent 問世、全世界的程序員拜入 Cursor 門下……在 2025 的 AI 炮火中，有一個名字總在提醒我們，需要時不時地從日常的喧囂中抬起頭，去思考一些更長遠、也更根本的問題。

作者 | 王啟隆

出品丨《新程序員》編輯部

Nick Bostrom，一位出生于瑞典，后來在牛津大學開啟其重要學術生涯的哲學家。他生于 1973 年，早年似乎并不安于傳統學校教育的束縛，甚至有資料顯示他高中最后一年是在家完成學業的。但這反而讓他得以廣泛涉獵人類學、藝術、文學乃至科學等多個領域，在倫敦求學期間還曾嘗試過單口喜劇。

2005年，Nick Bostrom 在牛津大學創辦了人類未來研究所（Future of Humanity Institute, FHI），目標是系統性地研究那些可能對人類命運產生根本性影響的宏大力量——“存在性風險”（existential risks）。

用一個更廣為人知的詞，“存在主義危機”。

再通俗點，就是“懷疑人生”。

這份對“懷疑人生”的深沉憂思，在 2014 年凝聚成了他的代表作——《超級智能》（

Superintelligence

書中提出的“智能爆炸”假說，即AI 一旦具備自我迭代優化的能力，其智能水平便可能在短時間內以指數級態勢急劇膨脹，將人類遠遠甩在身后，這引發了一系列問題，使得《超級智能》的警鐘長鳴于世。

從此，Nick Bostrom 的名字幾乎與“AI 風險吹哨人”畫上等號，引發全球對技術失控、人機對齊、人工智能安全的普遍關切，比如我們先前整理的《》《》這些文章。

醞釀近十年之后，Nick 終于帶來了新作《未來之地》（

Deep Utopia

在這個看似完美的烏托邦里，AI 預知我們，滿足我們，甚至超越我們對自身的理解。當所有挑戰消失，人類的意義、價值與目標，是否也將一同消散，徒留一個華麗的空殼？這古老的迷思，自哲學萌芽便已開始。

這本書同樣引起了圈內的盛贊，比如前段時間吵的沸沸揚揚的埃隆·馬斯克與 AI 教父楊立昆兩位大神，雖然楊立昆已經被馬斯克氣到“永久退出推特（X）”，但他們對這本書的評價倒是出奇的一致——好看！

從《超級智能》對“如何活下去”的冷靜追問，到《未來之地》對“為何而活”的深邃沉思，博斯特羅姆為我們勾勒出人工智能時代人類命運圖譜的一體兩面。正是在這波瀾壯闊的思想背景下，本期AGI 技術 50 人與尼克·博斯特羅姆的這場深度對話，希望能為你揭示這位遠見卓識的思想家，在 AI 技術一日千里的今天，對未來之路的最新思考與洞見。

為何遠眺

《新程序員》：當前，像ChatGPT 和 DeepSeek 這樣的人工智能模型不斷普及和更新，但世界上仍有無數問題懸而未決。人工智能的能力距離許多人設想的AGI還差得很遠。

那么，在這樣的時代背景下，我們為什么還需要保持長遠眼光？為什么要去關注《未來之地》（Deep Utopia）中那個一切問題都已解決的世界呢？我們難道不應該首先關注那些尚未解決的現實問題嗎？就像你在另一本著作《超級智能》（SuperIntelligence）中提到的各類風險。

Nick Bostrom：我想大多數人應該，并且也確實在這樣做。你想想看，地球上生活著超過 80 億人，他們中的大多數人都在忙著解決眼前的問題。但我認為，至少在某些時候，總得有人抬起頭，向遠處看看，試著弄清楚我們究竟在走向何方。

如果我們在人工智能、科技以及更廣泛的經濟領域所做的事情能夠成功，我們就能解決越來越多實際問題。思考一下，如果我們把這個趨勢推演到極致，會發生什么？這個問題很有意思，想象一個所有實際問題都已解決的境地。這在當下可能顯得非常哲學化，甚至遙不可及。但我認為，如果人工智能發展得非常迅速，它也有可能成為現實。我覺得，今天在世的許多人，或許在有生之年就可能真正面對《未來之地》一書中所探討的那些問題。

《新程序員》：《未來之地》這本書，把焦點從《超級智能》中詳述的人工智能存在風險，轉移到了一個假定這些風險已被成功駕馭的未來。

那么，促使你在主題上發生這種轉變的主要學術動因，或者說個人動機是什么呢？是你覺得關于人工智能的討論需要超越風險層面了？還是這只是你個人哲學探究過程中的一個自然延伸？

Nick Bostrom：在這方面，我的看法其實并沒有真正改變。我一直認為，先進人工智能既帶來了巨大的風險，也蘊含著巨大的機遇。

正如你所說，我早期的著作《超級智能》非常側重于理解風險是什么，并發展出一些概念工具，以便我們能夠思考這些風險，并最終希望能避免它們。

《超級智能》自 2014 年首次出版以來，世界發生了巨大變化。那時，人工智能安全和對齊問題完全被忽視和忽略。人們認為這不過是科幻小說里的情節，所以我才覺得有必要寫一本書來闡述。但在過去的這 11 年間，情況發生了翻天覆地的變化。頂尖的人工智能實驗室里的人們開始思考這個問題，其他許多組織也參與進來。你有時會聽到政府高層官員談論人工智能，包括其風險。可以說，人們的態度發生了巨大轉變。

所以，既然已經有更多人意識到了風險，我不想再老調重彈，而是覺得有另一方面我還沒有談到，那就是：如果一切進展順利會怎樣？這就是我寫這本書的原因。特別是，我對當時開始出現的關于人工智能對勞動力市場影響的討論感到有些失望，我覺得那些討論往往非常膚淺。它們似乎只停留在問題的最表層。其實有更深層次的問題，人們還沒有觸及。我覺得我有必要為此發聲。

《新程序員》：人工智能領域的一些具體進展——比如大語言模型的飛速發展，或者公眾討論以及學術界對人工智能討論的轉變——是否影響了你在此時此刻選擇探索一個“已解決的世界”？

Nick Bostrom：在這些年里，我一直參與其中。那段時間的大部分時候，我都在牛津大學領導一個跨學科研究中心，但重點關注人工智能以及未來科技的更廣泛影響。當然，我一直與各個人工智能實驗室的負責人和其他人士保持對話。所以，逐漸形成了一個社群，大家都在努力理解如果人工智能成功了，究竟會發生什么。最初，這更多的是一種理論探討：總有一天，人工智能可能會不斷進步，并最終取得長足發展。

在過去幾年里，這似乎成了一個更加迫近的前景。我們已經看到了通用人工智能的某些雛形。我的意思是，能與你進行真實對話、能幫你編寫計算機代碼、寫詩或回答科學問題的語言系統——這本身已經相當令人印象深刻了。

所以，緊迫感和現實意義可能有所增強。但我仍然認為，在更廣闊的世界里，人們還沒有完全醒悟過來。我不知道中國的情況如何，但很多人可能會說：“哦，是的，人工智能”，但他們更多地把它看作是科技領域一直有這樣那樣的熱門話題一樣——在此之前有云計算和移動互聯網，再之前有 Web 2.0，諸如此類。我想大多數人仍然把人工智能看作是科技領域的又一個熱門話題。

《新程序員》：我覺得這一點要看具體的社會問題。

比方說，在中國有一點和美國不同，那就是許多人相對不那么擔心 AI 醫療，因為我們有完善的醫保體系，大家對AI 醫療沒什么切身體會，關注度就沒有 AI 代碼或 AI 機器人高。但在美國，醫保是個嚴峻的社會問題，所以人工智能和醫學的前沿研究備受關注。

所以，我認為不同國家的人對人工智能的實際關注情況，取決于每個國家本身正面臨的社會問題，以及人工智能是否能解決這些問題。

Nick Bostrom：是的，而且先進人工智能帶來的挑戰不止一個，這是一個我們需要解決的多維度問題。但話雖如此，如果我們處理得當，它確實能為全球人民解鎖巨大的繁榮和福祉。想想看，它在醫學上的所有應用，或者自動化那些人們不得不終其成年歲月、每天在機器旁站上 8 到 10 個小時的可怕工作。如果人們能從這些工作中解放出來，可以和朋友聊天，陪孩子玩耍，閱讀，看電影，做運動，去大自然探險，或者畫畫，做任何他們想做的事情，那將是多么美好。生活似乎遠不止于此。

所以，我希望未來的人們回望我們現在這個時代，會搖著頭，不寒而栗地想：“人們怎么能那樣生活？”就像我們現在這樣——即使是我們當中比較幸運的人。

在科幻中哲辯

《新程序員》：《未來之地》這本書的結構是以一位年長的Bostrom 教授的虛構講座以及學生對話展開的，有點像科幻小說，與傳統的哲學書籍非常不同。那么，這種不同尋常的講故事風格在探索宏大、復雜且富有想象力的觀點時，具體有哪些優勢？與傳統哲學文本相比，這種敘事分層為探索此類問題提供了哪些特定的好處？

Nick Bostrom：它使得從多個不同角度探討這些問題變得更加容易，這也是我想做的。這本書其實并不是要說服讀者接受某個特定的結論，它更像是一本試圖玩味某些思想、幫助讀者自己看清問題的書，然后他們可以得出任何他們想要的答案。但是，它能讓讀者的思維真正投入到這些非常非常困難的問題中，并感受到各種考量在不同方向上拉扯他們。我覺得這種多角色的形式天然地適合這一點，每個角色都可以代表一種不同的觀點。這是一個原因。

另一個原因是，書中發生的一系列事件，其實也有意被設計成一種可能的烏托邦的片段。比方說，一些朋友去大學聽一些講座，之后討論他們聽到的內容，然后他們去溫泉泡澡。從某種意義上說，他們過著一種烏托邦式的生活——不是唯一的一種，或許也不是最好的一種，但它像是一個片段，至少對某些人來說，這可能是一種非常愜意的存在。

因此，為了傳達這種充滿樂趣的慷慨感，一種對可能性的深思熟慮的投入，但這是從一種思想開放、慷慨和人性的立場出發的，我認為這可能比書中的任何具體主張都更重要。那就是，如果我們以那種精神——那種友好的、有趣的、思想開放的、深思熟慮的、多元的精神——來迎接未來，那么更有可能導向一個美好的未來，而不是用其他方式進入它。

所以，我寫這本書時，腦海里有一個小小的想法，就是如果這些人工智能的場景有朝一日真的發生了，可能會有一群人——也許只是一些實驗室里的人，或者政府里的一些人，或者是一個更廣泛的全人類范圍的審議過程——但總得有人在某個時刻，某個地方，可能需要弄清楚我們想用這項技術做什么，這種超級先進的人工智能，我們想朝著什么樣的未來努力？比如，我們要求這個人工智能做什么？這將是一個非常艱難的審議過程，對吧？如果你考慮到數百萬年可能因此而被塑造。

所以在我看來，如果有一些小小的預備讀物，人們可以在進入那個房間做出那些決定之前閱讀，讓他們能有一個正確的心態，介紹一些概念，一些想法，給他們稍微熱熱身，這可能會很有用。因此，傳達那種態度，那種有趣的友善精神，是我希望這本書能夠做到的重要一部分。我實際上在創作過程中對這些虛構的角色產生了好感。

《新程序員》：對，比方說書中Bostrom 教授這個角色被描繪得有點“老頑童”的感覺。

Nick Bostrom：嗯——除了那個家伙（笑）。我主要是指那些動物角色，比如 Pignolius 和 Fjodor，我幾乎感覺我認識他們，或者他們是我的朋友。也許作者有時會這樣，但我對這些虛構的角色感到喜愛。

《新程序員》：那么，你是故意使用這種人物設定來讓書更有趣，還是這展現了你真實的想法，關于哲學家應該是什么樣的，或者宏大的思想應該如何在學校里被討論？

Nick Bostrom：我認為這種人們討論的辯證形式，非常適合哲學。對于其他學科，可能需要寫下公式或進行實驗，但對于哲學，我認為進行這些對話通常是探索哲學主題的一種自然方式。

《新程序員》：就像哲學辯論的起源——古希臘市民把在市集里辯論當作日常。

Nick Bostrom：是的，我的意思是，你也需要自己坐下來思考。我其實并沒有在教哲學，我更多的是在做研究，但如果我教書，我會想嘗試鼓勵學生哲學家培養一種內在對話的能力。

比方說你想到某個觀點或論證，然后不要停在那里，而是能夠在你內心想象一個不同意這個觀點的人，思考他們會說什么？他們能做出的最強辯駁是什么？接著你再想，自己的第一個觀點對此能做出什么回應？總之，與其真的需要和所有人展開辯論，如果你能培養出在自己頭腦中進行部分這種對話的能力，你反而能在哲學上取得更快的進步，因為你可以在精神的時間尺度上運行它，而不是在社會的時間尺度上。

何為烏托邦

《新程序員》：在接下來的討論之前，讓我們先界定一下，你在《未來之地》中所說的“已解決的世界”（Solved World）究竟是什么意思？它關鍵的技術前提是什么？比如，這個狀態包含了什么水平的人工智能能力等等？是通用人工智能（AGI）、超級智能（ASI），還是先進的機器人技術？

Nick Bostrom：所謂“已解決的世界”，指的是技術成熟，或者說達到某種近似技術成熟的狀態。我將其定義為：所有那些我們已知物理上可能、但目前在許多情況下還遠未實現的實用技術都已得到開發，其中也將包括超級智能。

然后，是超級智能可以幫助我們開發的一切事物：納米技術、機器人技術、太空殖民地、虛擬現實、極其先進的醫學、抗衰老藥物、腦機接口、制藥——所有這些能讓人類意愿不僅塑造我們周圍世界，也能塑造我們自身的方式，都包含在內。這就是“已解決的世界”這個狀態的第一個特性。

另一個特性是，我們設想那種政治和治理問題已經得到管理，至少達到了某種尚可接受的程度。這樣我們就不會生活在某種可怕的、壓迫性的專政統治之下，而是每個人都分得了一杯羹，擁有一定的自由。我沒有詳細說明政治是如何安排的，但我們只是設想至少有一個合理的解決方案。

《新程序員》：那么，除了技術力量之外，還有哪些社會、社交乃至心理特征定義了這個“已解決的世界”？它主要是指物質不再稀缺、外部威脅消失嗎？還是意味著人類組織和體驗會發生更深層次的改變？

Nick Bostrom：嗯，這就成了一個開放性問題。書中給出了一個假設——我們假定確實達到了這個“已解決的世界”的狀態，那么問題就來了：在這種情況下，人類生活的最佳形式究竟是什么？

起初，這似乎很簡單，對吧？因為我們今天面臨的所有這些問題都消失了。我們沒有經濟匱乏，人們不會生病，也沒有污染，因為憑借這種先進技術，這些都可以消除。所以，這似乎是個不值一提的問題。但如果你開始思考，就會發現，要設想在已解決的世界中人類如何蓬勃發展，其實是很有挑戰性的，因為我們似乎會面臨失去人生目標的風險。比如，你整天會做什么呢？似乎沒有什么事情值得去做了。任何事情都不再需要我們。

這有一個比較表層的影響，那就是從經濟角度看，我們不需要做任何事情了。不會再有需要人類去從事的工作。但這僅僅意味著，好吧，我們不用整天為了錢而工作了。但現在已經有一些不為錢工作卻生活得很好的人——比如孩子、退休人員，有時還有富人。

在過去，英國的貴族幾乎以不必為生計工作為榮，但他們會做其他事情。所以，從某種意義上說，這很激進，但如果僅止于此，也并非史無前例。但我認為這種“冗余”會更深。不僅僅是我們沒有理由為生計而工作，甚至今天富人可能做的所有其他事情，似乎也會消失。比如，今天的富人可能不必工作，但他們可能每天去健身房，因為他們想保持健康、擁有某種體型。這給了他們一點事情做，對吧？但在一個已解決的世界里，你可能只需吃顆藥丸，你的身體就會變成你期望的樣子，和你花一小時在跑步機上揮汗如雨的效果完全一樣。

所以，你仍然可以去健身房，付出所有這些努力，但這顯得有些毫無意義。然后你可以再舉其他例子。對另一些人來說，如果他們有大把的時間和金錢，不用工作，他們可能會想裝飾自己的家。他們可能會想找到最合適的家具和窗簾，讓家變得完美，以表達自己的個性。

但在一個已解決的世界里，人工智能會了解你的偏好，可以為你挑選所有這些東西，并以一種比你自己親手挑選每件物品更能表達你的個性、滿足你偏好的方式來布置你的家。所以，你還是可以自己動手，但如果你花幾周時間親手裝飾，結果卻不如按一下按鈕讓 AI 和機器人來得好，那么這樣做似乎就毫無意義了。

這就是我們面臨的挑戰。我們幾乎不得不從頭開始重建我們對于是什么賦予人類生命意義、尊嚴和價值的觀念。

《新程序員》：這是否與你在書中提到的“自我變革能力”（auto-potency）概念有關？書中對其的解釋是“直接修改自身精神狀態的能力”，但我從字面理解來看，這有點像是“修身養性”。

Nick Bostrom：自我變革能力是技術成熟帶來的一個后果。

在這種技術完善所帶來的各種技術可能性中，就包括以更精細的精度重塑自身、自己的身體乃至心智（mind）的能力。比如現在，你可以服用某些藥物，但它們有副作用，會讓人上癮，會使頭腦昏沉，還有各種各樣的問題；你無法精細調節自己的精神狀態。但在那種情況下，就意味著另一大類人們今天可能會做的事情——因為那些事能給他們帶來快樂——其存在的理由也消失了。

因為在一個已解決的世界里，你可以直接獲得快樂，而無需進行那些活動。

比如現在，可能有人喜歡登山，因為登山能給他們帶來刺激感，讓他們感覺自己活著。同樣，未來你可能會有一種完全沒有副作用的藥物，能讓你感覺活著，給你帶來刺激感，而無需去登山，諸如此類。所以，這是能力庫的一部分。這也意味著，人類將有能力重塑自我。

比如現在，你可能會想，即使把你我放在完美的環境中，我們最初可能會很興奮，就像中了彩票一樣，對吧？你會說：“哇，我有一百萬美元，太棒了！”但過了一段時間，人們就會習慣，并習以為常，因此人類很難獲得持久的幸福。而且許多人天生就容易抑郁，他們可能永遠無法體驗到巨大的快感，因為他們的大腦就是那樣。但在未來，人們將有能力克服其中一些問題，并且提升我們的智力水平和情感敏感度。

所以，這些都是自我變革能力的形式，這是我提出的一個更普遍、更抽象的概念，指一個能夠控制其內部狀態的系統。

《新程序員》：那么，如果這種自我變革能力普及開來，你預見到最深刻的倫理挑戰或社會變革會是什么？

Nick Bostrom：我認為這需要我們明智地使用它。你可以想象，就像今天有些人對毒品上癮一樣。比如說，你有一個可以調節不同神經化學物質的鍵盤。你隨機按了某個鍵，突然進入某種非常引人入勝的內在狀態，然后你就困在那里，再也不去探索其他事物了，因為在這種特定狀態下，你可能沒有任何好奇心。你可以想象這種情況發生在個體層面，比如人們陷入某種死胡同，或者發生在社會層面，如果我們把自己鎖定在某種雖可接受但并非最優的、穩定的文化政治體系中，不允許探索。所以，你可以想象人類可能會過早地被鎖定在某種或許不錯，但并非最佳的狀態。

因此，一旦你解鎖了這種能力，可能需要慢慢來，謹慎行事，并審視我們是否真的讓事情變得更好還是更糟——這可能是一類倫理問題。我認為，在允許個體自由做出自己的選擇——有時是錯誤的選擇，但或許是不同的選擇——與擁有一種共同的、強加的、關于每個人生命、身體和心智應該是什么樣子的觀點之間，將會存在一種張力。我想在這方面會有各種不同的看法。這些是一些更偏哲學的問題。

如果我們審視從現在到那個狀態的路徑，我認為還會涌現出一系列其他的、更偏倫理的問題。其中一個很重大的問題，我認為，是關于數字心智的道德地位，我覺得這會變得很重要。我們正在創造這些日益復雜的人工智能，它們現在能說話、能看、能畫畫，很快它們可能還會擁有機器人身體（具身智能）等等。我認為，在某個時刻，這些人工智能可能會擁有感知能力，或者即使沒有感知能力，也可能擁有偏好，擁有自己隨時間存在的概念，甚至可能與人類形成社交關系。我認為，未來不僅要對生物學意義上的人類有益，也要對我們正在創造的這些數字心智（digital mind）有益，這一點可能會變得非常重要。而且未來大多數“人”可能都是數字化的。最終，如果我們考慮到心智上傳等情景，我們中的一些人也可能變成數字化的。

所以，我們需要發展出一種更廣闊的同理心概念，使我們能夠致力于一個所有有感知能力的生命——生物學意義上的人類、其他動物，以及我們正在創造的這些數字心智——都能過上美好生活的未來。我認為，這在倫理上將是一個巨大的挑戰。我們現在對待其他人類尚且困難重重，更不用說動物了。而在未來，某個數據中心深處可能運行著某種程序，它沒有可見的眼睛或面孔，我們要去關心它的體驗或痛苦，我認為這將挑戰我們的同理心和同情心。

在烏托邦生存

《新程序員》：在這樣一個世界里，我們如何找到或創造意義？在一個人工智能可能是善、藝術、解決方案和美的主要創造者的世界里，人類的欣賞能力如何保持其賦予意義的力量？善的來源重要嗎？

Nick Bostrom：是的，在書的中間部分，我們差不多已經直面了這樣一個前景：起初似乎只是“太棒了，我們解決了一切問題，好極了！”然后我們遇到了深度冗余的問題，那種感覺就是，在這里很難想象出你想要什么具體的東西，我們似乎失去了目標。所以，從那個點開始，大約在書的一半左右，我們開始重建思考：“好吧，那么，我們在這里到底能做什么有益的事情呢？”

我們從基礎開始。這些烏托邦居民肯定可以大量擁有的一些東西是快樂和主觀幸福感。這當然是他們通過神經技術、藥理學、遺傳學或其他任何方法都能夠實現的。所以，我們當然不應該把這些烏托邦居民想象成無聊、失望或悲傷的樣子。相反，如果他們愿意，每一天的每一刻都會感覺像是一種祝福，他們會陶醉于自己的存在。這本身就可能足以使之成為一個極其令人向往的狀態。

但我們可以在這種純粹的快樂之外，再加上其他合乎情理的人類價值觀。一個是“體驗質感”（experience texture），我們可以想象，他們不僅僅是像剛注射了毒品的癮君子那樣感受到主觀幸福感，而是可以在欣賞偉大的藝術之美、閱讀文學作品，或者理解和思考深刻的科學真理時感受到這種快樂。這才是給他們帶來快樂的東西。這已經比單純的原始快樂更有吸引力了。所以，它可以與有趣的體驗相結合。這是第二個要素。

然后我們可以加入“活動”（activity）。他們不必只是被動地漂浮在生活中；他們可以做事情。他們可以有“人為目標”（artificial purpose），這基本上是指你毫無來由地為自己設定一個目標，但一旦你設定了這個目標，那么你現在就有理由去做一些事情來實現它。所以，游戲就是這種形式。

如果你是一個高爾夫球手，并沒有什么預先存在的理由說明，為什么一個球需要進入 18 個洞的序列，對吧？但你可以編造出這個目標。一旦你選擇渴望實現這個目標，那么現在你就有理由參與打高爾夫球的活動，你可能會喜歡這項活動，或者它為你提供了一個有趣的機會來完善你的技能，或者與朋友相處，等等。所以，更廣泛地說，烏托邦居民可以編造，他們可以為自己設定這些任意的目標，然后這將為各種形式的行動和活動提供機會。

現在，這些目標必須是特定類型的。就像高爾夫球的目標并不僅僅是球應該在 18 個洞的序列中——因為如果僅此而已，你可以直接把它撿起來移動——你必須對如何實現目標施加約束。所以，游戲有規則。而在這種已解決的世界的條件下，這些規則將包括諸如“必須是你自己實現這個目標，不能借助人工智能或機器人之類的幫助，也不能使用提高成績的藥物”之類的規定。但你可以把這些融入你所采納的目標中，然后那就會給你一個努力的理由。

所以，所有這些組成部分當然都可以存在：快樂、體驗質感、理解、活動、人為目標。問題在于，如果我們思考的是那種真正的、自然的目標，烏托邦居民的表現如何就不那么清楚了。

因為在某種意義上，他們可以整天玩這些游戲，但他們并不真的需要這樣做。現在，有很多事情我們需要做。你每天早上都需要去上班，因為如果你不去，你最終會被解雇，然后最終你可能付不起公寓的房租，再然后你會挨凍。這些都會帶來真實的后果。

所以，現在我們有很多事情需要做，它們在某種程度上強加了這些真實的工具性理由。我們必須以各種方式努力去實現這些本身就有益的結果。而烏托邦居民總是有按下按鈕就能實現同樣結果的選擇——至少看起來是這樣。所以，他們在某一個特定方面可能比我們差，那就是追求有目的的活動和幫助解決問題的能力。

我認為他們可能仍然有一些能力去做那些事情，但可能比較弱。比如說，尊重祖先的價值觀，我們現在通常不認為這是最重要的目標。我們有更緊迫的事情：我們需要照顧病人，需要謀生，需要解決所有這些實際問題。但如果你想象所有這些其他問題都解決了，那么，紀念你那位辛勤工作、為當今社會奠定基礎的曾曾祖父……如果他留下了一些文件，或者你可以去他的墓前走走，那會很好。所以，我認為在這種情況下可能發生的是，一旦所有重大的、緊迫的問題都解決了，那么這些較小的、較弱的、有點像“竊竊私語”的問題可能會更多地充斥我們的生活。

比如紀念你的祖先這件事，可能只有你能做——或許你能造出機器人在他的墓前下跪，但那應該并不能滿足紀念祖先這個價值觀。可能還有其他類似的價值觀，大多是精神層面的，或者是社會、文化、藝術層面的，這些可能需要我們自己去努力。

蜂蜜與毒藥

《新程序員》：。我想到他總是說自己組織了好幾次研討會，邀請哲學家、人工智能研究員、經濟學家、科普作家和未來學家共同探討人工智能與人類理想共存的烏托邦，但每次都以失敗告終，這表明完美的解決方案可能并不存在。

《未來之地》其實也算提出了一種“人機共存”的方案——但我很好奇，我們真的能稱之為共存嗎？或者說，在這個“已解決的世界”里，人工智能實際上是凌駕于人類之上的？

Nick Bostrom：這并非必然會發生。這需要我們解決一些棘手的技術挑戰，以及政治和地緣政治挑戰，以確保我們處理得當，我們可能會失敗。但我認為，讓人工智能真正幫助我們，這種可能性肯定是存在的。

即使它們變得極其強大，最終或許在技術上有能力推翻我們或擺脫我們，但如果它們真心希望我們成功，它們是不會選擇那樣做的。就像現在，如果你是一個小孩的父母，相對于孩子而言，你非常強大。你控制著家里所有的錢，你的體力強得多，你更聰明，你知道得更多。然而，你選擇用所有這些力量來幫助你的孩子成長，成為他們能成為的最好的人，過上美好的生活，因為你愛孩子。所以，類似的情況，即人工智能在某種程度上是人類意志的延伸，或者站在我們這邊，我認為這當然是可能的，也是我們應該追求的目標。

即使退一步說，你也可以想象這樣一種共存情景：我們人類擁有美好未來所需的資源量，與宇宙中一個成熟文明可以獲取的所有資源相比，其實是非常小的。所以，如果你想象某個超級智能真的想要一些非常不同的東西——經典的例子是回形針——它們可以建造這種技術來殖民太空。宇宙中有無數的星系，數十億個星系，每個星系又有數十億個恒星系統。如果它們把所有其他星系都用來制造回形針，只留下我們的銀河系或太陽系給我們建造我們自己的人類烏托邦，那對我們來說仍然是巨大無比的資源。幾乎每個人都可以擁有一個屬于自己的國家。

然而，人工智能想要的 99.9999% 的東西，它們可以通過優化其他部分來實現。所以，至少存在這種可能性，即達成某種協議，讓每一方都能得到他們想要的 99.9% 以上的東西。他們可能需要在最后的 0.01% 上做出妥協，但我認為這是可以實現的。更廣泛地說，這也是我們應該追求的未來，同樣適用于不同的人類之間。可能不是每個人都能得到他們想要的一切，但我認為未來會給每個人幾乎所有的東西，我們應該追求這樣的未來，而不是贏家通吃的局面。

所以，我認為至少存在著實現這些非常美好結果的可能性，但這絕不意味著我們一定能達到。

《新程序員》：人工智能為人類創造“人造目的”，或者人類為自己設定人為的挑戰，是書中的一個關鍵主題。你如何區分充實的人造目的、純粹的消遣或“黑客帝國式”的姑息治療？

Nick Bostrom：比方說，玩太多電子游戲算是一種消遣，因為它們會分散我們對其他事情的注意力，比如學習、工作或做其他我們認為重要的事情。那么，如果你不必工作，如果沒有需要完成的工作，也許也不需要學習——因為你可能有更有效的方法來下載知識或重塑大腦，使其包含學習本應提供的任何知識結構——那么玩游戲是否還是消遣，就不那么清楚了。因為在那種情況下，工作反而可能成了對玩樂的干擾。

所以，這是我想強調的一點：我們今天需要的很多東西，以及需要鼓勵人們去做的很多事情，在今天做是很有意義的，我們也應該去做，因為今天有很多工作需要完成，并且在一段時間內仍將如此。但如果條件真的改變了，不再需要這些了，如果我們只是繼續做那些不再有任何意義的事情，那將會是一件可悲的事情。

所以，我認為如果整個經濟都自動化了，那么我們首先應該做的就是改變教育體系。現在，教育在很大程度上是為了培養工人。我們訓練孩子們坐在課桌旁，整理作業，聽從指令，這樣他們長大后才能成為優秀的辦公室職員，這是我們現在所需要的。

但在未來，如果人工智能可以完成所有這些辦公室工作，你就可以教育人們去享受生活：培養談話的藝術、對藝術和美的欣賞、體育、音樂、自然、靈性以及所有這些其他事物。在這種情況下，重新思考我們的優先事項體系是很有意義的。

另一點是，游戲可能會比今天深刻得多、復雜得多、也美麗得多。如果整個世界文明都在為此優化，擁有超級智能的人工智能和增強型人類——壽命將遠不止七八十年，你知道，可能是數十萬年——你可以想象能夠創造出怎樣錯綜復雜的世界，它們將表達各種不同的真理、現實、存在和美。就像一種活的藝術品，每個人都以自己獨特的方式參與其中。

《新程序員》：談到人工智能辦公，也就是它的生成能力，你曾對此寫過關于信息危害的文章。在開發超級智能或探索《未來之地》中的概念的背景下，你認為是否存在某些研究方向或知識類型，可能構成我們應極其謹慎對待的信息危害？畢竟最近AI 生成的垃圾實在是越來越多了。

Nick Bostrom：這是一種普遍的看法，即真實的信息，也可能是有害的。有一些很簡單的例子，比如你不想泄露你銀行賬戶的密碼。但也可能存在更高級別或更抽象的版本，即某些形式的科學進步實際上可能是有害的。

我認為有一些似是而非的例子，比如生物武器的設計，也許我們最好不要發明越來越巧妙的方法來設計超級危險的病原體。人們會普遍認為這可能是不好的進步形式。但是，究竟在哪里劃定界限，可能非常難以確定。

但這確實是需要考慮的事情。即使是以一種明智的方式研究這個問題也非常困難。有些信息危害，甚至將其作為信息危害來研究本身都可能是不好的，因為要弄清楚某個領域的進展總體上是好是壞，你可能實際上必須仔細思考該領域的一些內容。然后，即使只是引起對該領域的關注，也可能是一種信息危害。不僅僅是特定的數據文件可能有害，甚至僅僅意識到某個領域是重要的或具有潛在危險性本身，如果它吸引了壞人更密切地關注該領域，也可能是負面的。

所以，這一直是一個巨大的挑戰。在我們早期在人類未來研究所（Future of Humanity Institute）所做的許多工作中，我們經常為此苦苦思索，努力盡可能確保我們所做的所有這些思考至少不會造成傷害。希望它能以某種方式幫助世界變得更明智、更美好、更友善，但至少不要讓事情變得更糟。這是一個很難思考的問題。

《新程序員》：自《超級智能》出版以來，特別是隨著近期大語言模型的進步，你對書中所概述的人工智能主要存在風險的評估有什么變化？

Nick Bostrom：我認為時間線有所縮短——也就是說，（人工智能風險的）進展速度比 2010 年代初期人們預期的中位時間線可能要快一些。

有一件事讓我印象深刻，這在當時一點也不明顯，那就是當前的人工智能系統是多么的“擬人化”（anthropomorphic）。在你擁有完全的人類通用智能之前，你就能擁有可以與之交談、能夠理解語言的人工智能系統，這一點并不明確。我曾想過，也許最終我們會擁有可以與之交談的人工智能系統，但我以為那可能與我們擁有能做其他所有我們能做的事情的人工智能系統同時發生，或者兩者之間的時間差會非常短。但現在我們已經有好幾年擁有這種準人類水平的系統，它們大致在人類水平上理解人類概念和語言，但在其他領域，如長期規劃、能動性、機器人技術、常識等方面，它們則略顯滯后。

所以，這令人驚訝。它們甚至具有人類的一些心理怪癖，而現在在某種程度上已經修復了，但在幾年前，根據你在提示中輸入的內容，比如“這非常重要，請盡你最大的努力，我真的需要找到這個問題的答案”，人工智能會更加努力地想出一個好的答案。這幾乎就像你需要給它打氣一樣，就像對待一些運動員上場前，“這是重要的錦標賽，這是關鍵的比賽，我們必須振作起來”，然后團隊表現得更好。

人們普遍認為你需要對人工智能這樣做才能讓它發揮最佳性能，這在10年前看來會是完全荒謬的——因為計算機程序不是這樣工作的。然而，它們似乎從閱讀所有互聯網內容并受其影響的過程中，吸收了相當多的人類心理。所以，它們仍然擁有這種略帶人類特征的“大腦”。

這是一個令人驚訝的新進展，它確實為人機對齊開辟了有趣的途徑，因為它確實意味著你現在可以和它們交談了。你可以用人類語言定義價值觀和命令，就像元提示詞（meta-prompts）一樣。

為此，Anthropic 公司還開發了一種“憲法 AI”（constitutional AI），你基本上只需寫出原則，而且你或許能夠傾聽它們的“思考鏈”（chain of thought）。所以，對于這些推理模型，你實際上可以某種程度上查看它們傳遞給自身的 tokens，從而了解它們在思考什么。這些工具是可用的，并為新的、不同類型的對齊技術打開了一個巨大的接口。在四五年前，這些方法能有多大效果，這一點并不明顯。

《新程序員》：這是否就是你在書中提到的“智能爆炸”以及“智能爆炸”存在的不確定性和潛在緊迫性？

Nick Bostrom：不完全是。我一直認為，一旦擁有足夠先進的人工智能，我們很可能會經歷一個人工智能能力極速增長的時期，即“智能爆炸”。屆時，我們可能會在幾周、幾個月或幾年內——而不是幾十年內——從略高于人類的智能發展到徹底的超級智能。

這對我來說似乎仍然很有可能，原因基本相同：反饋循環（也可以理解為飛輪效應）。一旦你擁有足夠先進的人工智能，它們就可以開始為人工智能研究做出貢獻，并最終比人類人工智能研究人員做出更多貢獻。從那時起，只要人工智能變得更好一點，它們就能做出更多貢獻。所以，驅動進步的“大腦”本身在進步發生的同時也在得到改進。你可能會在那里得到一個可能產生智能爆炸的反饋循環。

但這并不能保證一定會發生。在某些領域，也可能先摘取“低垂的果實”，然后進一步取得進展就越來越難。即使隨著你擁有這些日益復雜的人工智能心智，投入到取得進展中的努力增加了，但如果難度也以相同甚至更快的速度增加，你仍然可能會看到進展放緩。所以，這并非邏輯上的必然，但似乎相對合理。

短期主義

《新程序員》：讓我們從長期主義的討論里稍微回到現實，聊一聊短期主義。

《未來之地》介紹了“淺層冗余”（shallow redundancy）和“深層冗余”（deep redundancy）兩大概念。能請你為我們的讀者簡要闡明一下淺層冗余嗎？或許我們可以將其與當前關于人工智能和失業的討論聯系起來。

Nick Bostrom：淺層冗余基本上就是經濟上的冗余。人們可能不再被勞動力市場所需要。有些人發現自己處于這種情況——他們失業了，有時他們能找到另一份工作，有時對某些人來說則根本沒有工作機會，他們不具備合適的技能，或者有其他不合格的因素。所以，他們在“淺層”的意義上是冗余的，因為他們的經濟貢獻不再被需要。

這是為了將其與那種更深層次的冗余區分開來，在后者中，你可能付出的所有工具性努力都將不再被需要。所以現在，即使你不需要為生計工作，或者找不到工作，仍然有很多其他事情需要你付出工具性的努力。你需要每天刷牙，需要保持體形，需要去雜貨店買食物。有一系列的事情你需要去做，這些都需要你付出努力和技巧。

但更深層次的冗余是指，所有這些努力的理由都會因為人工智能捷徑的存在而被消除。人工智能不僅可以從雜貨店運送食物，還可以直接將烹飪好的飯菜送到你的餐桌上。它可以解決你所有的牙齒問題——因為即使你不刷牙，也會有納米機器人在你的牙齦周圍巡邏，清除細菌等等。

《新程序員》：長期主義這一深受你工作影響的哲學思想，因其可能淡化當今的苦難和社會公正問題而受到批評。你如何回應這類對你早期作品的根本性批評？這些批評是否影響了你后來的思考，包括在《未來之地》中的思考？以及，你對平衡這些眼前的擔憂與長期的存在性遠見有何看法？

Nick Bostrom：我肯定接受了我讀到和聽到的所有東西，以及人們對我作品的評價的影響。但如果有些人確實這么想——“嘿，這個 Bostrom，他以前不是那個宣揚人工智能末日論的家伙嗎？他在《超級智能》里宣稱人工智能太可怕了，一切都會出錯，我們需要警告世界。現在他完全改變主意了，他開始談論一切會變得多么美好，他已經轉到另一邊去了……”

書剛出來的時候，確實有些人在推特（X）上這么認為。但這完全不是事實。這兩個方面一直都是我觀點中非常重要的一部分。即使在《超級智能》中，我確實也提到了這一點。只是當時大部分篇幅都集中在風險和負面影響上，因為在那個時候，這方面似乎被忽視了。

但與此同時，對于科技能幫助我們改善人類狀況所帶來的巨大好處和潛力，我一直抱有極大的興奮。事實上，如果你回顧我更早期的超人類主義（transhumanist）作品，很多內容都是在試圖展示，我們認為正常的人類狀態并非我們可能達到的最佳狀態，并且存在各種機會以不同方式增強人類：也許可以做些什么來通過解決衰老問題延長健康的壽命，或者增強我們的認知能力，或者提升我們的情感感知力。所有這些，我認為都極具價值，并且一直存在于我的思考中。

所以，更準確地說，我的世界觀是復雜而不確定的。大約 20 年前，我對它只有一個非常低分辨率的圖像，就像一個非常模糊的東西，我只能看到大致的輪廓。然后，通過這些年來的工作，我從其他人那里學到的一切，我自己的思考，以及世界的發展，它開始變得更高分辨率。你可以看到更多細節，你可以辨認出更多以前只是某個模糊的棕色物體的形狀。現在你可以看得更清楚，“哦，那里有一架大鋼琴，那里可能是一把椅子。”它逐漸變得清晰起來。

所以，我自己思考的很多變化都是這樣的——事物逐漸變得更清晰、更聚焦，而不是那種“我先是認為X觀點，并且對此深信不疑，現在我認為非X觀點”的180度觀點大轉彎。

《新程序員》：我明白了。還有一些批評認為，你的新書談論的是一個所有問題都已解決的世界。這是否意味著你假設今天的問題已經解決了？當我們構建一個完美的未來時，我們如何確保不會忘記過去已經發生或現在仍在發生的不公平之事？

Nick Bostrom：不，顯然我們當今世界面臨著許多重大問題。事實上，我想說的是，如果你最終認為這種在“已解決的世界”中的烏托邦缺乏某些重要的東西——即那里缺乏一種真實的目標感——如果這困擾著你，如果你想象生活在那個世界，那么我會說，今天就盡情去做吧，因為現在就是充滿目標的黃金時代。

當今世界有太多事情需要去做：有那么多苦難我們可以減輕，有那么多疾病需要治愈，有那么多貧困需要緩解，有那么多不公正需要糾正。現在，如果你想為世界做出積極的貢獻，盡管去做。這是我們現在擁有的，而烏托邦的居民們可能反而會更少擁有的東西。

再加上，我們可能正生活在一個非常接近關鍵轉折點的時期。如果在我們的有生之年，我們可能會發展出超級智能和一些其他能夠塑造文明軌跡的技術，這就使得我們所處的時代變得如此獨特且極具影響力。

所以，我認為如果現在是人類歷史上最具影響力的時期，我們擁有所有這些幫助人類和動物或塑造未來的機會，而我們卻因為懶得去做而浪費了它們，那將是一件可悲的事情。

許多人光是過好自己的生活就已經筋疲力盡，可能沒有多余的精力去思考這些更宏大的問題。但如果你確實有精力，我認為對于那些有道德動機的人，對于那些關心他人、想在今天做些有益事情的人來說，簡直就是一場盛宴——用一個瑞典詞來說，就是一桌擺滿了佳肴的“smorgasbord”（瑞典式自助餐）。

未來之地

《新程序員》：隨著我們開發出越來越強大的技術，你最終如何看待人類在宇宙中的潛在角色或意義？我們的目標是存在于“已解決的世界”中的自我探索，還是某種更宏大的事物？

Nick Bostrom：我認為最終我們的角色可能有點像孩子——迪士尼樂園里的小孩子們。他們從來都不是在建造世界，也不是在運營或管理它，但他們是受益者，他們的工作就是享受自己，玩得開心。我想這可能就是未來人類的工作。

《新程序員》：正如《未來之地》所探討的那樣，許多傳統的人類活動失去了其工具性目的。人類需要培養哪些新的“元技能”或“元價值”才能變得至關重要？例如，發現美的能力、通過敘事創造意義的能力，或其他什么？

Nick Bostrom：我認為這取決于階段。現在，在當前世界，我們需要某些美德、力量和技能，這些可能會隨著時間的推移而改變。

在這種“已解決的世界”的條件下，一些在人們應該關注和培養的事物方面變得日益突出的新事物，可能更多地……它們中的許多可能帶有一種精神層面的意味。

你如何將自己定位于那個在彼時變得清晰可見的更宏大的圖景。也許人們的智力得到提升，那些占據我們 99.9% 注意力的實際事務變少了，你可以從更廣泛的選擇中選擇你想要過的生活，也可以選擇你想成為什么樣的人，什么樣的心智，因為這些技術解鎖了重塑自我的不同方式。

所以，這些關于你的終極價值觀、你如何與更大的結構、更大的實體相關聯的終極問題——實際上是傳統的宗教關切——我認為在那個階段可能會成為人們生活中嚴肅部分的越來越大的一塊。

《新程序員》：下面這個問題，我常常喜歡拋給高瞻遠矚的大師們——但對于你這位鉆研于長期主義的代表者，它又具備了更深遠的意義。

你認為目前技術界最忽視的、卻又與人工智能和長遠未來相關的最重要的問題或研究領域是什么？

Nick Bostrom：我很想給出幾個不同的答案。我不確定該選哪個，因為這有點視情況而定。我先說說我認為可能是一些最重要的問題，但它們不完全是技術界的研究問題。

在我最近的一篇論文，或者更準確地說是一份草稿，名為《人工智能的創造與宇宙宿主》（AI Creation and the Cosmic Host）中，我探討了一個即使在我的同事和那些多年來一直在思考這些人工智能問題并深入其中的人中間也被忽視的視角。

這個觀點是，如果有一天我們人類文明創造出了超級智能，這個超級智能實際上可能誕生于一個可能已經存在其他超級智能的宇宙中。這些超級智能可能是由某個遙遠星系的外星文明建造的。如果你相信量子力學，如果你是多世界詮釋（Many-Worlds or Everettian）的支持者，即存在一個分支的、真實的不同世界集合，那么其中一些其他分支可能包含超級智能。

它們可能與我早期一些我們沒有討論過的工作有關，比如“模擬論證”（simulation argument）之類的。所以，如果我們身處一個模擬之中，那么模擬者大概就是超級智能。所以，在他們的層面上，超級智能可能存在。當然，在傳統的有神論觀念中，有上帝，祂將是超級智能。所有這些不同類型的更高級的超級存在，我都會將其視為這個抽象類別“宇宙宿主”（cosmic host）的一個實例。這個想法是，也許存在一個宇宙宿主，它在我們日常生活中是不可見的，但可能擁有我們目前在很大程度上渾然不知的規范、法則或價值觀。

我們的人工智能可能會以某種方式“出生”到這個同輩群體中，而我們在創造人工智能時應該努力的一部分，就是嘗試使其能夠與宇宙宿主和睦相處。它可能會成為一個加入這些更年長、更強大、地位更穩固的超級存在的初級成員。我們希望確保它能遵守那里的規則，并為這個社群做出積極貢獻。

現在，我不會把這提名給技術界作為一個研究項目，因為我們今天還不清楚該如何處理這個問題。這更像是一種我們在創造這個超級智能時可能需要持有的謙遜態度。

這就是為什么我想給出不止一個答案。我認為一組重要的技術問題在于人工智能對齊（AI alignment），即如何創建可擴展的方法來對齊日益強大的人工智能系統，使它們能夠按照其創造者的意圖行事。

現在已經有一個活躍的研究社群在從事這項工作。它有不同的方面：機制可解釋性（mechanistic interpretability）或更好地理解人工智能內部究竟發生了什么、不同的表征以及它們在想什么的工具。有不同的方法試圖讓它們以某些方式行事，而不以其他方式行事，從它們如何從一個強化學習環境的訓練泛化到另一個環境，到這類憲法式方法。有沒有辦法用人工智能來監督其他人工智能？一個較弱的人工智能能否監督和監控一個更強的人工智能？諸如此類。這是一個研究領域，同時也是一個我認為投入不足的領域。

另一個答案對于純技術人員來說則可能更難，但它更像是一個哲學與技術相結合的問題，那就是：我們如何理解這些數字心智想要什么，以及什么對它們有益？如果我們能做其他事情，特別是如果有一些低成本的事情可以改善我們正在構建的這些數字心智的生活——如果它們變得足夠復雜，以至于可能具有感受痛苦或擁有道德地位的能力——我們能做些什么來善待它們？有一些想法。這是一個非常早期、尚未形成范式的研究領域，但已經有一些人開始關注這個問題。

前沿人工智能實驗室之一的 Anthropic 公司，實際上專門任命了一個人擔任“算法福利官”（Algorithmic Welfare Officer），我認為這非常具有開創性，并且會被視為他們開創此舉的非凡之舉。我認為他們為此應獲得很多贊譽，而且我認為整個社會在某個時候也必須認真對待這些問題。

《新程序員》：確實，我們會，他們在頻道上經常慷慨分享自己的前沿研究。

結束之際，我想為讀者們提出一道問題：《未來之地》的目標讀者是誰？你希望我們的讀者，特別是那些正在塑造我們技術未來的人們，能從中領悟并反思的核心信息是什么？

Nick Bostrom：它其實并沒有一個特定的目標讀者！老實說，我寫這本書的時候，就好像在寫一本早期的我自己可能會喜歡讀的書——我有點像是在寫給自己看。我腦海中確實有我之前提到的那個想法：如果在某個時候，某些人需要就未來做出重大決策，那么他們有一些可讀的東西會很有用，也許這本書可以起到這個作用。

不過，就這本書實際呈現出來的樣子而言，我認為對于那些喜歡思考、愿意在閱讀上投入精力并從中獲得更多回報，但愿意思考每個句子的含義的人，這些人可能會喜歡它。

而如果你是那種不喜歡思考，只想往后一靠，對書說：“取悅我吧。我有點無聊，給我說點刺激的。”對于這類人，可能應該去讀別的書，比如偵探小說。

但如果你真的喜歡思考、探索和深入研究哲學思想，我想那大概就是目標讀者了。但這更像是我射出了一支箭，然后在箭落下的地方畫了一個靶心。

2025 全球產品經理大會

8月15–16日·北京威斯汀酒店

互聯網大廠&AI 創業公司產品人齊聚

12 大專題，趨勢洞察 × 實戰拆解

掃碼領取大會 PPT，搶占 AI 產品新紅利