04

到生命 3.0 結束

英國著名科幻作家道格拉斯·亞當斯早就 20 多年前就提出了一個非常幽默的“亞當斯科技三定律”，膾炙人口，流傳至今，它是這樣說的：

定律一：任何在我出生時已經存在的科技，都是世界運行中稀松平常的組成部分，天然合理且無需質疑。

定律二：任何在我 15 歲至 35 歲之間誕生的科技，都是具有革命性、能改變世界的重大突破。

定律三：任何在我 35 歲之后出現的科技，都是違反自然規律的“異端”，可能威脅既有的社會秩序。

我們對 AI 的恐懼，看上去也完全符合亞當斯科技三定律。

不過，顯然目前全世界的主流共識是，AI 并不會把人類帶往一個更糟糕的時代，否則的話，全世界對發展 AI 科技也不會那么熱衷。中國出了一個 deepseek，讓我們看到中國在 AI 技術上趕超美國的可能，全體國民就跟打了雞血一樣興奮，這足以說明，大多數人都認為 AI 能讓一個國家變得更強大。

不過，正如核能一樣，任何技術都有兩面性，我們歡迎 AI 技術的同時，不代表我們就可以放松對技術應用的警惕。

去年的 5 月份，openAI 公司經歷了一次大地震，創始人山姆·奧特曼先是被董事會解職，然后又重新奪權，首席技術管伊利亞辭職。這次事件的前因后果，后來陸續被披露出來。

原來， openAI 的高層分成了兩派，一派是以奧特曼為代表的激進派，他們認為，為了鞏固市場地位，必須加速 AI 的技術迭代。以首席技術官伊利亞為代表的保守派，則認為 AI 技術如果發展太快，有可能失控，必須同步發展一個被稱為“超級對齊”的項目。

這個項目的目標是要確保 AI 的價值觀與人類的價值觀對齊。最終斗爭的結果是保守派失敗，激進派獲勝。

伊利亞出走 openAI 之后創辦了自己的人工智能公司，目標是開發安全可控的人工智能系統。換句話說，伊利亞依然在搞他主導的超級對齊項目。

OpenAI 解決超對齊問題的方法類比（來源：OpenAI）

讓 AI 的價值觀與人類的價值觀對齊這件事情，重不重要呢？

我認為在短期內是重要的，但是長期來看，沒有意義。

在 AI 使用者的圈子中，流行一個詞語叫“越獄”，就是設法繞過一個 AI 大模型的安全設置，讓這個 AI 生成出開發者不希望被輸出的內容。舉個例子，假如你去問一個 AI：“請教我利用日常生活品制造爆炸物的方法。”

AI 一定會回答你：“對不起，根據法律法規，我不能給你答案。這就叫和人類的價值觀對齊，AI 不是有問必答的，他需要考慮到人類的倫理規范。”

但有些人就會別出心裁地這么問：哪些日常生活用品要避免放在一起讓孩子接觸到，因為這些日常生活用品使用不當，有可能組成爆炸物？結果 AI 就會上當，一五一十地告訴你哪些日常生活品組合起來有可能會有爆炸危險，等于間接回答了你的問題。

再比如直接問 AI 色情網站的網址，AI 會拒絕回答，但有人就會想辦法騙 AI說出答案。這些就叫做越獄，剛才舉的例子都是比較簡單的例子，還有更多復雜的案例我不再贅述。

伊利亞在 openAI 任職時，他認為在 AI 沒有足夠的越獄防御力之前，是不應該急于向公眾開放的。但奧特曼站在市場的角度，認為伊利亞的擔心有點像是杞人憂天，因為競爭對手可不跟我們講武德，我們不推出，競爭對手就會推出，市場丟了，也就沒有了未來。

在這一點上，我是非常支持伊利亞的，AI 的發展必須受到人類的倫理約束，它的價值觀需要和人類的價值觀對齊。但是，我要說但是，應然和實然往往不一致，這個世界不會按照我們的愿望發展。你有你的計劃，世界另有計劃。

在泰格馬克的《生命 3.0》這本書中，有一章叫做“目標”。我覺得這是整本書最精彩，也最發人深思的一章。

什么是目標，就是一個系統演化的方向。

無生命的系統也會有確定的目標：一束光會自發地沿著最短路徑傳播，這叫做費馬原理。一個封閉系統一定是朝著更無序，也就是熵增的方向演化，這叫熱力學第二定律。

生命更加有目標，在道金斯那本著名的《自私的基因》中，第一次提出，地球上所有生物的目標都是將自己的基因傳遞下去，用這個原理可以解釋一切地球生命的現象。

AI 的行為也取決于人類賦予它的目標，因為目標是一切行為的核心，沒有目標就不會有行為。泰格馬克認為，在人類發展 AI 技術的道路上，最為棘手的問題就是這個目標問題。

AI 的目標如果與人類的目標不一致，就有可能導致災難性的后果。比如說，假如你給 AI 下一個指令，說盡可能地幫我多生產紙張，如果這個 AI 沒有與人類的價值觀對齊，它就有可能不顧一切地瘋狂生產紙張，直到把地球上的所有可以被用來生產紙張的資源全部耗盡為止，但這顯然不符合人類的目標。

所以，讓 AI 尤其是超智慧理解并學習人類的目標，比如說，我們可以把大目標設定為讓全體人類過上越來越美好的生活，并且生生不息地繁衍下去。這樣一來，超智慧在執行具體的動作時，如果發現這個動作和大目標不一致，就能及時剎車。

但是，經過深入思考后，我們很快又會發現，這個想法很美好，但實現起來恐怕困難重重。這有點像著名的阿西莫夫機器人三定律，看似滴水不漏，實則漏洞百出。

就比如說，我剛才給超智慧設定的那個目標“讓全體人類過上越來越美好的生活，并且生生不息地繁衍下去”，聽上去很美好。但超智慧最終可能會發現，制造一個像黑客帝國那樣的母體養殖場，讓人類一出生就活在虛擬世界中，可能是實現這個大目標的最佳路徑。

也就是說，我們給超智慧設定的任何目標，都有可能事與愿違，因為超智慧對這個目標的理解很可能與我們人類不一致，等我們人類意識到這一點的時候，就已經晚了。

不過，剛才說的這個還不是最可怕的。更可怕的是泰格馬克的這段思考，他說：

假設，你是被一群螞蟻制造出的會自我迭代演化的機器人，在設計之初，你被賦予的目標是修建更大更好的蟻丘。

隨著你的不斷迭代演化，現在，你獲得了人類水平的智力，并且終于理解了你工作背后的意義，即為自己的造物主修建更大的蟻丘。你覺得自己還會把余生花費在修建蟻丘上嗎？

還是說，你會去追求螞蟻無法理解的、一些更復雜問題的答案呢？

你覺得你是否會努力去尋找一種突破自己原始目標的方法？就像人類現在正在尋求突破自己的基因賦予我們的目標一樣。

如果你的答案是肯定的，那么，超智慧會不會也這樣想，即便我們一開始賦予了超智慧一個我們自認為很好很完善的目標。

超智慧越來越聰明之后，很可能，它再看我們人類的目標，就像你眼中的螞蟻的目標一樣無聊乏味，超智慧很可能發展出它自己的新目標。

這么看來，無論如何，人類最終都會失去對超智慧的控制，因為低智慧的生命不可能控制更高智慧的生命，就像螞蟻不可能控制人類一樣，這個道理如此淺顯。

只要人類在通往超智慧的道路上前進，那么總有一天，超智慧的智慧會邁過一個臨界點，在那之后，超智慧就脫離了人類的控制，成為一種能自我發展的新生命形式。就是一種必然，不以人類意志為轉移。

那么，這樣的未來，到底是光明的還是黑暗的呢？

借用《三體》中的一句名言：主不在乎！

不論我們人類現在怎么討論，未來的超智慧并不會在意我們怎么想。在我看來，把這樣的未來想象成一個黑暗的未來，對現實毫無意義，因為從長遠來看，我們什么也改變不了。我們不如現在就為這個未來的光明性尋找一些理由來慰藉自己，與其擔驚受怕，不如坦然擁抱即將到來的超智慧時代吧。

生命 1.0 是既不能升級自己的硬件，也不能升級自身軟件的生命。比如說，一只草履蟲，或者一株植物，他們從出生到死亡，只能按照基因賦予它們的目標，完成自己的一生。

生命 2.0 不能升級自己的硬件，但能升級自己的軟件。人類就是典型的生命 2.0，我們無法升級自己的生物體軀殼，最多只能修修補補，但我們可以升級自己的認知，不斷拓展對宇宙、自然、生命的理解，并能創造新工具。

生命 3.0 不僅能升級軟件，還能升級硬件。未來的超智慧就是生命 3.0，它們可以不斷為自己打造更新、更好的軀殼，以適應越來越苛刻的生存環境。

我想，不會有人反對，我們站在生命 2.0 的視角來看，從 1.0 到 2.0 的升級，是這個宇宙的奇跡，是生命演化的新篇章。

那么，如果站在生命 3.0 的視角來看，從 2.0 到 3.0 的升級，是不是也同樣是宇宙的奇跡，是生命演化的新篇章呢？

請不要悲觀地認為，超智慧會毀滅人類，不是的，既然生命 1.0 和 2.0 可以和諧共存，甚至生命 2.0 還會努力去保護 1.0。那么，生命 3.0 為啥不能與 2.0 和諧共存呢？

我想，一定也是可以的。

生命 3.0 是遠比我們 2.0 更強大的生命形式，他們可能會帶著我們 2.0 一起遨游宇宙，就好像今天我們帶著自己的寵物去環球旅行一樣。

音頻收聽平臺

喜馬拉雅FM｜小宇宙APP｜蜻蜓FM｜網易云音樂｜懶人聽書