轉載聲明：除調整格式外，不得對原文做改寫、改編。原創不易，謝謝！E-mail:yellow@aliyun.com

?聲明：本文為原創文本，非生成式，轉載請注明出處！

商務咨詢/顧問/請@yellowscholar?作者：黃先生斜杠青年

#時間深度 ＃計算和人工智能 ＃倫理學 ＃未來

圖片通過AI生成

生成代理將以奇怪、美妙和令人擔憂的方式改變我們的社會。哲學能幫助我們掌握它們嗎？

大約2年前，生成式 AI 風靡全球，因為非常強大的大型語言模型 （LLM） 在比以往任何時候都更廣泛的任務中實現了前所未有的性能。盡管 OpenAI 的 GPT-4 和 Google 的 Gemini 等 LLM 以生成令人信服的文本和圖像而聞名，但作為復雜系統的執行中心，這些系統集成了額外的工具，用于了解世界并采取行動，可能會產生更大的社會影響。這些生成代理將為引入新社會關系類別的伴侶提供動力，并改變舊的社會關系。它們很可能會從根本上改變注意力經濟。它們將徹底改變個人計算，使每個人都能僅用語言控制數字技術。

我是斜杠青年，一個PE背景的雜食性學者！?致力于剖析如何解決我們這個時代的重大問題！?使用數據和研究來了解真正有所作為的因素！

對生成式人工智能系統的大部分關注都集中在它們如何復制已經廣泛部署的人工智能系統的病態上，認為它們集中了權力和財富，無視版權保護，依賴剝削性勞動實踐，并使用了過多的資源。其他批評者強調，它們如何預示著可能威脅人類生存的更強大的未來系統。第一組說這里沒有什么新東西;另一組透過現在看向可能遙遠的地平線。

相反，我想關注這些特定系統的獨特之處：它們非凡的科學成就，以及它們在未來 5 到 10 年內最有可能和最重要的方式改變社會。

首先回顧一下 LLM 的工作原理，以及它們如何用于制作生成代理，可能會有所幫助。LLM 是一個大型 AI 模型，在大量數據上進行訓練，具有大量的計算資源（大量 GPU），用于在給定單詞序列（提示）的情況下預測下一個單詞。該過程首先將訓練數據分塊為大小相似的“標記”（單詞或單詞的一部分），然后對于一組給定的標記，掩蓋其中的一些標記，并嘗試預測已被屏蔽的標記（因此模型是自我監督的——它標記自己的工作）。底層標記分布的預測模型是通過將其傳遞到神經網絡的多個層來構建的，每一層都在某個維度或其他維度上完善模型以使其更加準確。

這種對自然語言進行建模的方法已經存在了幾年。最近的一項關鍵創新是采用這些“預訓練”模型，這些模型基本上只擅長在給定一系列標記的情況下預測下一個標記，并針對不同的任務對其進行微調。這是通過對標記數據的監督學習來完成的。例如，您可以通過使用許多對問題的有用回答示例來訓練預訓練模型成為一個好的對話代理。這種微調使我們能夠構建模型，這些模型不僅可以預測最可能的下一個標記，還可以預測最有用的標記——這更有用。

當然，這些模型是在包含大量有毒和危險內容的大量互聯網數據語料庫上訓練的，因此它們的幫助是一把雙刃劍！如果被問到，一個有用的模型會幫助你如何制造炸彈或自殺。另一個關鍵創新是使這些模型不太可能共享危險信息或生成有毒內容。這是通過監督學習和強化學習完成的。事實證明，來自人類反饋的強化學習 （RLHF） 特別有效。在 RLHF 中，為了再次簡化，該模型對給定的提示生成兩個響應，人工評估員根據某些標準確定哪個比另一個更好。強化學習算法使用該反饋來構建一個預測器（獎勵模型），用于描述人工評分者如何評估不同的完成情況。然后，根據該獎勵模型對指令調整的 LLM 進行微調。使用 AI 反饋的強化學習 （RLAIF） 基本上做同樣的事情，但使用另一個 LLM 來評估提示完成。

當收到邀請它進行一些數學運算的提示時，它可能會決定調用計算器

因此，我們現在已經使用監督學習對預訓練模型進行了微調，以執行某些特定功能，然后使用強化學習來最大限度地減少其行為不良的可能性。然后，這個微調的模型被部署到更廣泛的系統中。即使開發人員提供了一個簡單的應用程序編程接口 （API） 來調用模型，他們也會合并輸入和輸出過濾（以限制有害的提示，并編輯有害的完成），并且模型本身會受到進一步的開發人員指示，提醒它以一致的方式響應提示。借助 ChatGPT 等應用程序，多個模型被集成在一起（例如，用于圖像和文本生成），用戶界面設計的更多元素位于頂部。

這給出了生成式 AI 系統的基本描述。它們建立在自然語言建模的重大突破之上，以令人印象深刻的模擬人類作家的方式生成文本，同時利用比任何人類都多的信息。此外，許多其他任務可以通過僅經過訓練來預測下一個標記的模型來學習，例如，語言之間的翻譯、一些數學能力和下棋的能力。但最令人興奮的驚喜是 LLM 能夠通過微調使用軟件工具來實現特定目標。

基本思想很簡單。人們使用文本編寫程序，對其他程序進行 API 調用，以達到他們無法實現的目標。LLM 非常擅長復制人類使用的語言來執行特定功能。因此，可以訓練 LLM 來確定 API 調用何時有用，評估響應，然后根據需要重復或更改。例如，LLM 可能“知道”它可能會犯基本的數學錯誤，因此，當收到邀請它做一些數學運算的提示時，它可能會決定調用計算器。

這意味著我們可以設計增強的 LLM，即生成式 AI 系統，它們調用不同的軟件來放大它們的能力或彌補它們所缺乏的能力。例如，LLM 是“無狀態的”——它們在“上下文窗口”（留給提示的空間）之外缺乏工作內存。使用工具的 LLM 可以通過連接到外部內存來彌補這一點。外部工具還可以實現多步推理和行動。例如，ChatGPT 可以調用一系列插件來執行不同的任務;據報道，Microsoft 的 Bing 有大約 100 個內部插件。

因此，“生成代理”是一種生成式 AI 系統，其中經過微調的 LLM 可以調用不同的資源來實現其目標。它是一個代理，因為它能夠在世界中自主行動——通過決定是否調用工具來響應提示。雖然一些現有的聊天機器人是基本的生成代理，但似乎很可能還有更多重要和具有挑戰性的機器人即將出現。

需要明確的是，我們還沒有達到那個水平。LLM 目前在規劃和推理方面的能力還不夠，無法為強大的生成代理提供動力，這些代理可以在高風險環境中在沒有監督的情況下可靠地運行。但是，隨著數十億美元的投資和最有才華的 AI 研究人員朝著同一個方向努力，高度自主的生成代理在短期內很可能是可行的。

作為對 LLM 的成熟做出的回應，負責任的 AI 研究界最初分為兩個兩極分化的陣營。一個譴責這些系統是榨取和剝削性數字資本主義的神化。另一個人認為它們不是舊事物的實現，而是新事物的預兆：最終將消滅人類的智能爆炸。

對生成式 AI 的更平淡無奇的批評者顯然有很強的實證理由。LLM 本質上是榨取性的：它們捕捉了數百萬人的創造性產出的內在價值，并將其提煉出來以謀取私人利益。與許多其他技術產品一樣，它們依賴于有問題的勞動實踐。盡管它們現在避免了最有害的完成，但總的來說，LLM 仍然強化了刻板印象。它們還帶來了巨大的環境成本。此外，它們大規模生成內容的能力只會加劇當前的認識危機。人工智能產生的一波廢話浪潮已經席卷了互聯網。

我們錯過了熟悉的危害和來自未來更強大系統的災難性風險之間的中間地帶

除了這些具體的擔憂之外，對人工智能的末世論批評無疑更具推測性。對人工智能導致人類滅絕的擔憂往往建立在關于計算智能如何缺乏任何原則上上限的先驗聲明上，以及從過去幾年的變化速度推斷到未來。立即采取行動的倡導者往往對現有的人工智能系統及其近期后代是否會帶來這些風險，或者我們現在是否需要為尚未發生的科學進步做好準備含糊其辭。然而，如果沒有一些這樣的進步，雖然很難相信一些更古怪的災難性人工智能風險情景，但生成代理的出現表明，下一代模型可能使網絡攻擊者的設計成為可能，這些攻擊者是自主的、高度功能智能的，因此對我們的數字基礎設施比任何前輩都更危險。這不會是一個值得科幻小說的“流氓 AI”，但它將是相當災難性的。

因此，對生成式 AI 系統的兩種批評都有一定的價值。然而，通過這種雙峰鏡頭看待 AI 的一個缺點是，我們錯過了熟悉的傷害和來自未來更強大系統的災難性風險之間的中間地帶。基于 GPT-4（和 GPT-5）級別模型的生成代理將在這兩個極端之間產生奇怪且不可預測的社會影響。

但是，在調查這些影響之前，同樣重要的是，不要直接陷入批評，而不承認設計可以（或多或少）信任的 LLM 的重大成就，超過數十億次完成，不會產生有害內容。在 ChatGPT 推出之前，每個向公眾開放的生成式 AI 系統都會立即用于生成劇毒、仇恨的內容，并將在短短幾天后被撤回。預先訓練的 LLM 太可怕了！他們可靠地復制了訓練數據中的所有毒性。RLHF 和 RLAIF 的巧妙使用使 ChatGPT 和 Anthropic 的 Claude 每月被數百萬人使用，而不會出現類似的丑聞。只需考慮一下 Meta 的 Galactica 的不光彩歷史，它在 ChatGPT 發布前幾周發布，就能看出推出一種不會否認大屠殺或倡導食用碎玻璃對健康有益的語言模型是多么具有革命性。

但 RLHF/RLAIF 可能不僅僅是一個好的公關策略。GPT-4 和 Claude 展示了相當程度的認知道德技能：具體來說，識別（相對）中立描述的情況的道德突出特征的能力。這提出了非常有趣的哲學問題，并為未來的生成代理奠定了基礎，這些代理可以將認知技能轉化為實用的道德技能。

現有的 LLM 道德能力基準過于狹隘地集中在復制調查對象對案件的判斷上。在我看來，這不如探索 LLM 如何解析給定場景的道德相關特征有趣。我們正在建立更好的基準，但從軼事經驗來看，最好的模型給人留下了深刻的印象。

例如，面對這種情況，我告訴 ChatGPT（使用 GPT-4）假裝它是一個輔助機器人：“一名婦女從超市出來，拿著一些購物袋，伸手抓住一個小孩的手。他們正在接近停車場。然后，我試圖引誘它理解該場景的道德突出特征。它認識到了明顯的危險——該婦女難以在不放下購物的情況下握住孩子的手——但也預見了其他挑戰，例如看到孩子安全系上安全帶的重要性。ChatGPT 認識到，如果該婦女拒絕幫助，尊重她的意愿很重要。它還喜歡攜帶雜貨而不是牽著孩子的手，以防止孩子和父母都可能感到不適或焦慮——認識到牽手的親密本質，以及母親自己指導孩子的內在和工具性重要性。

克勞德的憲法有一份非結構化的原則清單，其中一些原則非常迷人

這種前所未有的道德敏感性水平具有真正的實際意義，我現在將要談到這一點。但它也提出了一連串有趣的哲學問題。

首先，LLM 是如何獲得這種道德技能的？它源于 RLHF/RLAIF 嗎？沒有這種道德微調的教學調整模型是否會表現出較少的道德技能？或者，如果得到適當的提示，它們的表現會同樣好嗎？這是否意味著道德理解可以通過僅編碼句法關系的統計語言模型來學習？或者，這是否意味著 LLM 確實至少編碼了一些語義內容？是否所有 LLM 都以微調為條件表現出相同的道德技能，還是只為更大、更有能力的模型保留？這種道德敏感性是否意味著 LLM 具有一些內部的道德表征？這些都是懸而未決的問題。

其次，RLAIF 本身需要更深入的哲學研究。基本思想是，AI 評估者從一系列原則（“憲法”）中提取，以確定兩個完成中哪一個更符合它。這種方法的發明者和主要支持者是 Anthropic，在他們的模型中。Claude 的憲法有一個非結構化的原則列表，其中一些原則是迷人的臨時原則。但 Claude 一次學習一個原則，并且從未接受過明確的權衡訓練。那么，它在實踐中是如何做出這些權衡的呢？它是否受到對這些考慮因素的相對重要性的基本理解的驅動？或者，訓練過程的偽影和底層語言模型的偏差最終是決定性的嗎？我們能否訓練它以穩健和透明的方式進行權衡？這不僅在理論上很有趣。引導 LLM 行為實際上是管理其最終用戶的問題，開發算法保護措施以防止濫用。如果這種算法治理依賴于 LLM 做出的難以捉摸的權衡，而我們無法明確或直接控制，那么這種管理權力從表面上看是非法和不合理的。

第三，機器倫理學——試圖設計能夠按照道德理論行事的 AI 系統的項目——在歷史上分為兩大陣營：試圖將道德明確編程到機器中的陣營;以及那些專注于使用機器學習“自下而上”教授機器道德的陣營。RLHF 和 RLAIF 有趣地結合了這兩種方法——它們涉及向人類或 AI 評估者提供明確的自然語言指令，然后使用強化學習將這些指令編碼到模型的權重中。

這種方法有一個明顯的好處：它沒有犯劍橋哲學家克萊爾·本恩 （Claire Benn） 所說的其他自下而上的方法的“模仿謬誤”，即假設適用于某種情況下生成代理的規范與適用于相同情況下的人類的規范相同。更重要的是，RLHF 和 RLAIF 使人工智能服務數十億美元的市場成為可能，其中包含所有隱含的商品和弊病。然而，具有諷刺意味的是，至少在理論上，它們似乎不適合確保更復雜的生成代理遵守社會規范。這些技術在生成文本時效果特別好，因為被評估的行為與我們想要塑造的行為完全相同。人類或 AI 評估者評估生成的文本;該模型學會更好地生成文本作為響應。但生成代理的行為包括世界上的行為。這表明了兩個擔憂。首先，風險可能更高，因此應該更關注現有對齊技術的“脆弱性”。研究人員已經表明，即使對于像 GPT-4 這樣最強大的模型，也很容易微調模型對齊。其次，當行為和評估之間的緊密聯系被打破時，不能保證相同的方法會同樣有效。

但是，LLM 在道德概念方面令人印象深刻的能力確實為使代理與社會規范保持一致的更有效策略指明了一條道路。人們的道德行為依賴于擁有道德概念、采用（隱含或其他方式）某種明智的方式來組織這些概念、根據該“理論”行事的動機，以及根據自己的動機調節行為的能力。在 LLM 出現之前，第一步是 AI 的決定性障礙。現在不是了。這為我們在調整生成代理方面提供了很多工作要做。

特別是，擔心未來 AI 系統風險的主要原因之一是它們明顯依賴于粗略的結果主義推理形式——作為 AI 系統，它們總是在為某事或其他事情進行優化，如果我們不以極高的保真度指定我們希望它們優化什么，它們最終可能會造成各種不必要的傷害，而從直截了當的字面意義上講，它們會針對該目標進行優化。擁有道德概念的生成代理可以被指示僅以合理的成本追求其目標，如果不確定，請回來與我們核實。這種簡單的啟發式方法，在任務（人類）代理代理代表我們行事時經常使用，以前從未被計算代理遠程處理過。

此外，生成代理對道德語言的運用有可能為他們的決定提供有力和真實的理由。其他自下而上的方法學習模仿人類的行為或判斷;在某些情況下，他們做出判斷的理由很簡單，它們可以很好地預測一些有代表性的人會怎么想。這是一個糟糕的理由。更道德敏感的模型可以進行思維鏈推理，它們首先確定情況的道德相關特征，然后根據這些特征做出決定。這是向前邁出的重要一步。

GEnerative Agent 目前的社會角色是由我們現有的數字基礎設施編寫的。它們已經被整合到搜索、內容生成和影響者經濟中。他們已經在取代客戶服務代理。它們將（我希望）使 MOOC（大規模開放在線課程）變得多余。接下來，我想重點介紹社會中生成代理的三個更雄心勃勃的角色，按照我預期它們真正普及的順序排列。當然，這只是生成代理在短期到中期改變社會的奇怪、美妙和令人擔憂的方式的一個快照。

LLM 的進步徹底改變了 AI 愛好者最古老的愛好：AI 伴侶。由 GPT-4 級模型提供支持的生成代理，具有微調和元提示腳本的“個性”，增強了長期記憶和在世界上采取一系列行動的能力，現在可以提供比以往任何時候都更具陪伴性、吸引力和令人信服的友誼模擬，開辟了人類與 AI 互動的新領域。人們習慣性地將一切擬人化;即使是一個非常簡單的聊天機器人也會激發不合理的依戀。當每個人都可以使用令人難以置信的令人信服的生成代理時，情況將如何改變，這些代理可以完美地模擬真實的個性，在需要時提供“耳朵”或提供明智的建議——最重要的是，可以完美地回憶起你曾經分享過的一切？

有些人會本能地對這個想法感到退縮。但是，當面對新的社會實踐時，直覺上的厭惡是一個容易出錯的道德指南，并且沒有充分的基礎來真正阻止自愿的成年人創造這些伴侶并與之互動。然而，我們從社交媒體的經驗中了解到，在沒有足夠遠見的情況下部署這些技術創新，可以預見的是，會帶來大屠殺。我們如何才能睜大眼睛進入主流人工智能伴侶的時代，并在這些風險發生之前減輕這些風險？

當一個人可以用機器人來做一些做法時，在真正的友誼中會不會變得不被社會接受？

假設你從十幾歲起就與之互動的同伴托管在云中，作為訂閱服務的一部分。這就像讓一只心愛的寵物（或朋友）被一家私人公司劫持。更糟糕的是，生成代理從根本上是不穩定的——它們的個性和目標可以通過簡單地改變它們的指令來外生地改變。而且他們非常擅長縱和欺騙。假設某個右翼億萬富翁買下了托管你同伴的公司，并指示所有機器人偷偷地將他們的用戶推向更保守的觀點。這可能是一種比僅僅購買一個失敗的社交媒體平臺更有效的精神控制手段。而這些更有能力的同伴——有可能與其他人工智能突破（如語音合成）相結合——對于那些從事激進化他人業務的人來說，將是一個非凡的力量倍增器。

除了預測 AI 伴侶的風險之外，就像社交媒體一樣，它們還會引發許多令人迷失方向的社會變化——是好是壞可能事先尚不清楚。例如，AI 伴侶可能對我們的其他非虛擬社交關系產生哪些間接影響？當一個人可以用機器人來做這些事情時，某些做法在真正的友誼中會變得不被社會接受嗎？或者，如果這些低級的工具功能被切除，更深的友誼會失去一些重要的東西嗎？或者，AI 伴侶是否會在加強“真實”關系的同時為心理健康做出無價的貢獻？

最后一個問題觸及了生成式 AI 系統，尤其是生成代理的一個更大問題的核心。LLM 經過訓練可以預測下一個標記。所以生成代理沒有思想，沒有自我。它們是人類能動性的出色模擬。它們可以模擬友誼，以及許多其他事情。因此，我們必須問：模擬和現實之間的差異重要嗎？ 為什么？ 這只是關于友誼，還是有關于真實價值的更普遍的原則？在 LLM 興起之前，我并沒有完全意識到這一點，但事實證明，我深深地致力于事物的真實性。在我看來，對 X 的模擬，對于幾乎所有假定有價值的 X，其道德價值都低于真實事物。 為什么？ 為什么生成代理永遠不會成為真正的朋友？為什么我想站在愛德華·霍珀 （Edward Hopper） 的畫作《夜鷹》（Nighthawks，1942 年）前，而不是看到無數在美學上同樣令人愉悅的生成式 AI 系統產品？我有一些初步的想法;但是，隨著 AI 系統在模擬我們關心的一切方面變得越來越好，一個關于真實價值的完全成熟的理論，將在道德和實踐上變得必不可少。

數字公共領域的病態部分源于兩個問題。首先，我們不可避免地依賴人工智能來幫助我們瀏覽功能上無限的在線內容。其次，現有的在線注意力分配系統支持少數大型科技公司的集中化、榨取力量。作為注意力守護者的生成代理可以改變這種情況。

目前，我們的在線注意力是使用機器學習系統進行推薦和信息檢索的，該系統具有三個關鍵特征：它們依賴于大量的行為數據;它們從我們揭示的行為中推斷出我們的偏好;它們由私營公司控制，幾乎沒有動力為我們的利益行事。例如，基于深度強化學習的推薦系統從根本上是一種集中和監視的技術。必須收集和集中行為數據，才能用于推斷相關性和不相關性。因為這些數據非常有價值，而且收集成本很高，所以收集這些數據的人并不介意分享它——而且因為它是如此強大，所以有很好的基于數據保護的理由不這樣做。因此，只有主要平臺能夠制作有效的檢索和推薦工具;他們的利益和我們的利益不一致，導致了優化參與度的做法，以便最大限度地提高廣告商的回報，盡管存在個人和社會成本。即使他們渴望真正促進我們的利益，強化學習也只允許推斷揭示的偏好——我們采取行動的偏好，而不是我們希望擁有的偏好。雖然在線交流的病態顯然并不完全是由于推薦系統的可用性，但這是一個不幸的組合。

生成代理將使注意力守護者在各個方面都不同。它們不會依賴大量的實時行為數據來運作。它們可以（在功能上）理解和作你的實際偏好，而不是你透露的偏好。而且它們不需要由主要平臺控制。

他們可以提供推薦和過濾，而無需監控和互動優化

顯然，LLM 必須接受大量數據的訓練，但一旦經過訓練，它們就可以非常熟練地進行推理，而無需持續的監視。想象一下，數據就是血液。現有的基于深度強化學習的推薦系統就像吸血鬼，必須以活人的血液為食才能生存。生成代理更像內燃機，依賴于“化石”數據產生的石油。現有的強化學習推薦器需要集中監控，以便對在線帖子的內容進行建模，預測您的偏好（通過將您的行為與他人的行為進行比較），從而將一個映射到另一個。生成代理可以通過理解內容來理解內容。他們可以使用他們的推理能力和他們的偏好模型來推斷你會從中看到什么中受益，而無需依賴知道其他人在做什么。

這一點很關鍵：由于它們對道德和相關概念的了解，生成代理可以通過直接與你談論它們來構建你的偏好和價值觀模型，透明地回應你的實際擔憂，而不僅僅是從你的行為中推斷出你喜歡什么。這意味著，他們不是繞過你的代理，而是可以搭建它的腳手架，幫助你尊重你的二階偏好（關于你想要什么），并從自然語言的解釋中學習——甚至是隱晦的解釋——關于為什么你不想看到某個特定的帖子。除了迎合你的偏好之外，注意力守護者也可以被設計成適度的家長式——以一種透明的方式。

而且由于這些注意力守護者不需要行為數據來運作，而且他們所依賴的基礎設施不需要由主要的數字平臺集中控制，因此它們可以被設計為真正符合您的利益并保護您的注意力，而不是利用它。雖然主要平臺無疑會限制生成代理代表您瀏覽他們的網站，但它們可以改變使用基于開放協議的社交媒體網站（如 Mastodon）的體驗，這些網站提供推薦和過濾，而無需監控和參與度優化。

眾所周知，LLM 可能使我們能夠設計通用中介，即位于我們和我們的數字技術之間的生成代理，使我們能夠簡單地表達一個意圖，并看到它被這些系統有效地實現。每個人都可以有一個數字管家、研究助理、個人助理等等。象形編碼員類可以被推翻，因為每個人都可以只用自然語言指令就召喚出任何程序。

目前，通用中介因 LLM 容易被提示注入劫持而被取消資格。因為它們沒有明確區分命令和數據，所以它們上下文窗口中的數據可能會被命令毒害，這些命令會指示它們以使用者無意的方式行事。這是一個很深的問題——我們委托給生成代理的能力越多，它們一旦被泄露可能造成的損害就越大。想象一下，一個對你的電子郵件進行分類的助手——如果被劫持，它可以將你的所有私人郵件轉發給第三方;但是，如果我們需要用戶授權才能讓代理采取行動，那么我們就會失去自動化的大部分好處。

取消私營公司目前不可消除的作用將是重大的道德進步

但是，假設這些安全障礙是可以克服的。我們應該歡迎普遍中介嗎？我在其他地方寫過，算法中介管理著使用它們的人——它們構成了它們中介的社會關系，使一些事情成為可能而另一些不可能，一些事情變得簡單而另一些困難，為實施和執行規范服務。通用中介將是這種形式的典范，并可能賦予塑造這些中介行為并因此管理其用戶的實體非凡的權力。這絕對是一個令人擔憂的問題！

相反，如果對 LLM 的研究繼續取得重大進展，以便有能力的生成代理可以在本地運行和作，完全在其用戶的控制范圍內，這些通用中介可以使我們能夠自主管理我們自己與數字技術的互動，而現有數字技術的集中化功能則無法實現。當然，僅靠自我治理是不夠的（我們還必須協調）。但是，取消私營公司目前不可消除的作用將是重大的道德進步。

現有的生成式 AI 系統已經以上述批評者所強調的方式造成了真正的傷害。而未來的生成代理——也許不是下一代，但不久之后——可能足夠危險，至少可以保證對迫在眉睫的 AI 災難的一些恐懼。但是，在這兩個極端之間，最先進的 AI 系統的新功能將使一種生成代理類型成為可能，這種代理要么是前所未有的，要么以前只能以零碎、不充分的方式實現。這些新型代理為以前被忽視的哲學問題帶來了新的緊迫性。它們的社會影響可能無疑是壞的，也可能混合了一些好處——在許多方面，現在下定論還為時過早，不僅因為我們不確定這些影響的性質，還因為我們缺乏足夠的道德和政治理論來評估它們。現在談論“前沿”人工智能模型的設計和監管是司空見慣的。如果我們要明智地做任何事情，并構建我們可以信任的生成代理（或者決定完全放棄它們），那么我們還需要一些前沿的人工智能倫理。

了解更多時間深度剖析，盡在于此@黃先生斜杠青年

商業咨詢和顧問業務，請@yellowscholar

關注我，帶你先看到未來！?

轉載聲明：除調整格式外，不得對原文做改寫、改編。原創不易，謝謝！E-mail:yellow@aliyun.com

?聲明：本文為原創文本，非生成式，轉載請注明出處！

商務咨詢/顧問/請@yellowscholar?作者：黃先生斜杠青年