作者 | Steve Rosenbaum

譯者 | 核子可樂

策劃 | 褚杏娟

“山姆，考慮到你所參與創造的是一項將要重塑我們整個物種命運的技術，那么你做這件事的倫理依據和權威性來源是什么？如果你搞錯了，又打算如何承擔這份責任？”

這個懸而未決的問題面了本屆溫哥華 TED 2025 大會的一根利刺，亦是 TED 創始人克里斯·安德森向 ChatGPT 締造者山姆·奧特曼發出的終極一問。可諷刺的是，這個問題并非來自安德森本人，而是由 OpenAI 家模型的競品 Claude 所提出。現場的緊張感與焦灼氛圍由此可見一斑。

奧特曼的回應則是，“咱們聊了半個小時，你問的一直都是這類問題。”

這番回應巧妙地轉移了對話。此次對話犀利地指向我們擁抱 AI 未來的各項弊端——那些被提出、被承認，之后又被巧妙回避的棘手難題。

看著這場問責大戲在舞臺上推進，觀眾們深深被它揭示出的 AI 時代權力形態所震撼。這位掌控著周活用戶高達 5 億、規模甚至超過北美總人口的科技主宰，竟然無法直接回答這份權力來自哪里。

“這是無可避免的現實”

奧特曼平靜地宣稱，“這是無可避免的現實。就像一項全世界都已知曉的基礎物理發現，必將成為真實世界的一部分。”他的證據仿佛在描述明天太陽還會照樣升起。“我們必須謹慎地予以接納，但要注意消除恐懼，否則我們會被其他借 AI 之力而變得更強之人所擊敗。”

而他話語中的宿命論也直接終結了這個意義之問。既然一切無可避免，那又何必還要尋根問底？而如果抗拒 AI 技術意味著被“擊敗”，那我們自然也就別無選擇。

這種思維方式——即 AI 的飛速發展并非出于個別人的選擇，而是自然規律的體現——巧妙免除了奧特曼及其同行在技術開發期間逐漸脫離普通民眾的現實責任。

但安德森并沒有就此放過他。“問題在于，我一方面認為可能需要安全機構的介入，但另一方面卻意識到機身本身恰恰就是風險的來源”，同時強調奧特曼在監管問題上存在立場沖突。

安德森引用了托爾金在《魔戒》中關于腐敗的比喻，認為這個例子如今在硅谷正真實發生，“埃隆·馬斯克有說法，認為你已經被力量之戒給腐蝕了。看到科技企業的 CEO 們權力越來越大、掌握的財富越來越豐厚，每個人都在想，他們真能駕馭這一切嗎？還是說，他們已經被這股力量所吞噬？”

奧特曼的回答意味深長。他并沒有直接為自己開脫，而是將問題拋回給了安德森：“那你覺得我做得怎么樣？特別是跟那些掌握了巨大權力，而且行事風格一變再變的 CEO 相比？”

這番話巧妙地扭轉了局面，強迫安德森在直接批評對方和就此罷休之間二選其一。安德森則選擇了一條中間路線，承認奧特曼個人的行為還算得體，但同時也強調了更大的擔憂：“我認為人們最擔心的是 OpenAI 公開轉向盈利模式。有些覺得這代表著你已經被欲望侵蝕了，催動你在潛在經濟效益被耗盡之前努力榨出每一分收益。”

這番對話也揭示出 AI 時代下我們普通人身處的困境：被迫信任科技領袖的個人品質，但他們的企業架構和激勵機制卻越來越傾向于赤裸裸地追求利潤和權力。

“它會徹底了解你”

在這段對話當中，最令人毛骨悚然的橋段也許來自奧特曼對于 AI 未來愿景的表述：“它將陪伴人的一生，觀察你與 ChatGPT 的所有對話。也許有一天，如果大家愿意，AI 會隨時傾聽你的聲音、觀察你的一舉一動。它會徹底了解你，成為你的延伸、你的伙伴，成為努力幫助你做得更好、發掘所有潛能的存在。”

安德森將此比作電影《她》中的情節，片中 AI 會閱讀主角的所有電子郵件、代表他做出改變人生的行動。奧特曼并不反對這樣的聯想。

奧特曼輕描淡寫地描述了未來 AI 系統監控我們的具體方式——“觀察你的一舉一動”，這暴露了其觀念與大多數人抗拒持續監控這一現實的根本性脫節。在這個對于技術意義愈發抵觸的新時代，“如果大家愿意”這個前提已經顯得空洞而無力。

父母悖論

安德森問起成為人父是否改變了奧特曼對于潛在風險的觀點，并提出了一個思維實驗：如果按下一個按鈕，你的孩子就能擁有精彩的人生，但同時有著 10% 的毀滅概率，你會怎么選擇？奧特曼立即回應，“問題是并沒有這樣的選項。當然，如果把場景換到工作這邊來，那我的答案是，應該不會按。”

個人風險承受能力與專業風險接受能力之間的脫節，體現的正是 AI 開發中最核心的認知失調。奧特曼絕不會接受自己的孩子承受 10% 的毀滅風險，但 OpenAI 的工作卻在給全球數十億兒童塑造一個充滿未知的未來。

正如他所說，“我以前真的很在意這些問題，比如不要搞到世界毀滅。現在我也仍然在意，跟有沒有孩子并無關系。”

但在意歸在意，他也從來沒有放慢過推進的腳步……

開源沖突

奧特曼自豪地宣布，“我們將要開發一套極其強大的開源模型。也許在座的某些人會以你我不喜歡的方式加以使用。”

這種對于強大 AI 模型可能造成的危害表現出的漫不經心態度，與奧特曼之前對于安全的強調和口頭認可形成了鮮明對比。結合科技行業，這就相當于“有些會可能濫用我們即將發布的核發射代碼，但我們的創新成果就是這個樣子。”

安德森指出了這種矛盾，并詢問 OpenAI 內部如何為防范危險 AI 能力被公開而劃定“紅線”。奧特曼提到他們擁有“準備框架”，但沒有具體說明——唯一可以肯定的，就是公眾對于這套框架的定義和執行都沒有任何發言權。

“關于 AGI，不同的人在不同的時間點上會有不同的定義”

在被問及如何定義通用人工智能（AGI）時，奧特曼透露了一個驚人的現實：“如果讓 10 位 OpenAI 研究人員坐在一起討論這個定義，得到的答案可能都不止 10 個。”

安德森一針見血地指出了問題所在：“但這很令人擔憂，不是嗎？畢竟這是我們的使命所在。我們希望率先實現 AGI、承諾會安全達成目標，但我們甚至一直沒能找到能清晰描述這個目標的定義。”

這段對話暴露出了 OpenAI 的核心矛盾：他們正在追求一個定義不明確、甚至可能給整個人類族群帶來滅頂之災的目標，但同時又向公眾保證會“安全”達成。

接下來，我們該何去何從？

最發人深省的一點在于，安德森建議召開一場小型專家峰會，為全球制定 AI 安全標準。奧特曼又是怎么回答的？

“當然，但我更關心的問題是，數億用戶作為整體到底想要什么。”

這聽起來非常民主，但相信很多人都能感受到其中的誤導性。用戶“想要”的只能是明確給出的選項，而非充滿主觀發揮空間的隨機路線。人們也會“想要”抽煙，但直到幾十年后才慢慢意識到這對健康造成的嚴重摧殘。

現實在于，我們無法通過投票來決定奧特曼和他的同事們應不應該做出這些重大決定，畢竟他們已經自封為人類技術命運的負責人。

安德森就此評論道，“我不知道該說什么了。非要評論的話，我覺得你讓我心生敬畏，畢竟你打造出了世界上最令人驚嘆的成果之一。”

相信更多朋友感受到的會是恐懼。不是恐懼奧特曼本人，畢竟他看起來真誠且睿智，始終希望做好正確的事；真正令人恐懼的是這套制度，它允許少數技術專家做出事關全球的決策，他們貿然實施著缺少法理性來源的行動，但行動的后果卻由投資者和全體用戶來承擔。

所以這場對話中最重要的問題始終懸而未決：山姆·奧特曼或者其他什么人重塑人類命運的倫理依據和權威性來源是什么？這種法理來源的缺失令人不安，但我們卻已經在懵懂之間走了很遠、走到了現在。

附：奧特曼觀點總結

AI 對于就業和創意產業的影響

• AI 對就業的影響：山姆總結稱，關于 AI 對就業的沖擊，人們普遍抱有兩種觀點——要么擔心自己被取代，要么只是將 AI 視為一種新型工具，在提高市場對于產出的期待的同時也賦予了從業者們更強大的能力，幫助他們取得愈發精彩的成果。

• 創意作品、知識產權以及向創作者付費：山姆表示，人類的創造力至關重要，并承認目前在知識產權、合理使用與知情同意等方面存在挑戰。他提出了新的商業模式，希望讓那些在風格層面啟發了 AI 生成內容的創作者們能夠拿到公平的回報。

開源與 AI 競賽

• OpenAI 對于開源和 DeepSeek 的態度：山姆承認 OpenAI 擁抱開源較晚，但證實公司目前正在開發一款強大且領先的開源模型。他還提到，盡管不可避免會遭到一定濫用，但開源模型確實意義重大。

• AI 已經掀起一波發展競賽：山姆并不認可 AI 已經淪為不負責任競賽的說法，他聲稱大多數 AI 廠商都真心關注安全問題，并強調即使是在競爭壓力之下，OpenAI 也始終在以謹慎態度規劃并處理安全問題。

打造卓越 AI 產品

• 專注于產品而非模型原始能力：山姆指出，未來會涌現出大量先進的 AI 模型，但 OpenAI 一直優先考慮創造最佳用戶體驗，并強調實現個人記憶等功能，嘗試隨時間推移愈發了解用戶以保證 AI 更加實用。

預期的 AI 突破

• AI 驅動下的科學發現：山姆表示，下一個重大突破將來自 AI 在科學領域的應用，包括在對抗疾病方面的重大進展，并有可能發現室溫超導體等新材料。但他同時指出，物理學理論方面的突破則可能需要更長時間。

• 自主軟件開發：山姆提到，由自主軟件編寫智能體驅動的軟件工程領域，也即將迎來另一個重大飛躍。

對于 AI 安全的擔憂

• 強大 AI 帶來的嚴重風險：山姆公開表達了對于 AI 濫用的高度擔憂，例如生物恐怖主義、網絡安全威脅以及 AI 可能獲得人類無法控制的自我改進能力。

• OpenAI 的安全準備框架：山姆描述了 OpenAI 在發布 AI 模型之前用于系統識別的結構化方法與風險管理機制，但也承認公司內部對于具體安全策略仍經常發生分歧。

• 公眾焦慮與生存風險：山姆認為公眾對于 AI 生存風險的擔憂是合理的，但認為從古至今，社會一直是通過經驗加謹慎調整、而非排斥和恐懼來適應新的技術。

定義和監管高級 AI

• 定義通用人工智能（AGI）與 ChatGPT 的當前能力：山姆澄清稱，ChatGPT 并不能算 AGI，因為它還無法自主學習、自我改進、發現新的科學知識或者獨立執行復雜的在線任務。但他承認，隨著 AI 變得越來越智能，其具體定義也將有所不同。

• AI 監管與許可：山姆改變了之前的立場，由支持政府就高級 AI 發布許可轉為推薦使用外部安全測試框架，以確保強大的 AI 模型在公開發布前接受認真評估。

個人觀點、批評與責任

• 公眾對于山姆本人和 OpenAI 的看法：山姆承認 OpenAI 從完全開放轉向部分商業化的決策在公眾中激起了一定非議，同時坦言策略轉變也是無奈之舉，但重申了承諾，即以安全方式發布強大 AI 成果。

• 對于權力和腐敗的批評：山姆否認自己被 AI 成功所帶來的財富或者權力所腐蝕，并表示他自認為并沒有改變，強調 OpenAI 的戰略轉型是統籌 AI 發展的合理舉措。

• 身為人父對于山姆思維的影響：山姆分享道，身為人父對他個人產生了深遠的影響。他不覺得自己從事的 AI 工作會給孩子未來帶來風險，但承認自己感受到了更大的責任，希望能給孩子塑造一個更積極的未來環境。

關于 AI 的社會決策

• 廣泛收集用戶反饋還是依托精英峰會：山姆更傾向于從 OpenAI 的數億用戶處收集 AI 安全偏好，而非僅僅依賴小型專家峰會。這表明 AI 自身有助于更準確地反映公眾的價值觀和偏好。

對于下一代人的展望

• 山姆后代將迎來的世界：山姆描述了一種新的未來，即孩子們打出生起就在接觸經人類更聰明的 AI。他還展望了持續創新、資源愈發豐富且無縫融入日常生活的智能 AI 新形態，期待未來幾代人清晰意識到人類局限性的終結并坦然接受這樣的現實。

https://x.com/btibor91/status/1910815598004535512

https://stevenrosenbaum.medium.com/sam-altmans-god-complex-ted-s-chris-anderson-asks-who-gave-him-the-keys-to-humanity-s-future-97276e8d38ae

AICon 2025 強勢來襲，5 月上海站、6 月北京站，雙城聯動，全覽 AI 技術前沿和行業落地。大會聚焦技術與應用深度融合，匯聚 AI Agent、多模態、場景應用、大模型架構創新、智能數據基建、AI 產品設計和出海策略等話題。即刻掃碼購票，一同探索 AI 應用邊界！

今日薦文

你也「在看」嗎？