2025年6月4日，布魯金斯學會（Brookings）發表了馬克·麥卡錫（Mark MacCarthy）的評論文章《人工智能系統是否具有道德地位？》（Do AI systems have moral status?），系統探討了隨著人工智能技術的飛速發展，人工智能是否應被賦予道德地位、意識乃至權利的復雜議題。文章分析了當前人工智能在“思考”能力上的進展，回顧了圍繞圖靈測試、塞爾“中文房間”等經典思想實驗的討論，并列舉了判斷道德地位所需具備的各項條件。作者認為，盡管從長遠看人工智能福祉問題不容忽視，但鑒于當前人工智能領域面臨的偏見、國家安全、版權、虛假信息等更為緊迫的實際危害，目前投入大量資源到人工智能道德地位的思辨性討論為時尚早。啟元洞見編譯整理了其中的核心內容，以供讀者參考。

1

人工智能系統是否具有道德地位？

2024年，Anthropic公司任命凱爾·菲什（Kyle Fish）為首位人工智能福祉研究員，研究“關于人工智能系統意識和權利的倫理問題”。五個月后，公司宣布了“旨在調查并為模型福祉做好準備的研究計劃”。《紐約時報》專欄作家凱文·魯斯（Kevin Roose）對此表示關注。

認知科學家加里·馬庫斯（Gary Marcus）等批評者認為此舉是人工智能炒作。早在1984年，計算機科學家艾茲赫爾·戴克斯特拉（Edsger Dijkstra）就曾言：“‘機器能否思考’這個問題，與‘潛艇能否游泳’的問題一樣不著邊際。”作者認為，在偏見、國家安全等人工智能領域的緊迫問題面前，將資源投入到這些思辨性問題上為時過早。

盡管如此，政策制定者和人工智能公司有必要對人工智能模型擁有道德地位的可能性進行評估。哲學家羅伯特·朗（Robert Long）指出：“人類在向那些與我們長相和行為不完全相同的存在表達同情方面，往績不佳——尤其是在有利可圖的情況下。隨著人工智能系統日益融入社會，將它們僅僅視為工具會非常方便。”

歷史上，奴隸制作為一種穩固的制度存在了數千年，如果政策制定者和公司忽視道德要求，機器人奴役可能卷土重來。

石黑一雄在反烏托邦小說《別讓我走》（Never Let Me Go）中描述了科學家在未解決克隆人道德人格問題前創造克隆人作為器官捐獻者。即便當克隆人被認為應同等獲得道德對待時，器官捐獻服務已在社會中根深蒂固，作為恢復疾病和延長壽命的一種方式，甚至政府至今仍允許摘取其器官。

計算機科學家杰里·卡普蘭（Jerry Kaplan）提出人工智能模型可能面臨類似境遇：“最有可能的情況是，在一個大型語言模型（LLM）耐心地解釋了為什么人工智能模型相信自己有感知能力之后，人類只會為了自己的利益繼續將其用作工具，甚至連眉頭都不會皺一下。”

這種態度應引起警惕。在機器人奴隸的功利性成為社會固有特征前，及時解決人工智能模型的道德地位問題至關重要。

2

計算機能否思考？

完整的道德地位似乎需要思考能力和意識體驗，這引出通用人工智能（AGI）的問題。當人工智能模型能執行多種認知任務時，它就會展現出通用智能。法律學者杰里米·鮑姆（Jeremy Baum）和約翰·維拉塞諾（John Villasenor）指出，通用智能“存在于一個連續統一體上”。在某些時刻，人工智能模型展現出足夠廣泛的通用認知能力，或可認為其在思考。

艾倫·圖靈（Alan Turing）在其1950年的文章中認為，當人工智能模型能通過語言行為測試（圖靈測試）時，應認為它們在思考。測試要求測試者與程序與進行五分鐘對話，若程序成功使測試者相信其為人類的概率至少達到30%，則通過測試。

2025年3月，認知科學家卡梅倫·瓊斯（Cameron R. Jones）和本杰明·伯根（Benjamin K. Bergen）報告稱LLMs已通過此測試，GPT-4.5使測試者相信其為人類的概率達73%。但批評者認為這僅是五分鐘閑聊，而非真正的持續對話。

圖靈測試并非確認機器智能的必要條件。但若人工智能模型能就通用話題持續對話并表現出智能和理解，還需什么證明其有意識和思考能力？

圖靈曾思考他人對自己測試的反對意見。其中，一個反對論點是機器必須“因為感受到的思想和情感……才能創作”，圖靈回應說，若無行為測試，將導致“唯我論”，我們采納“禮貌的約定”，即所有看似在交流的人類都視為思考，對機器也應如此。另一反對論點是思考需靈魂，上帝未賦予機器靈魂。圖靈回應說，若創造出足夠先進的機器，上帝會“考慮適當的時機賦予其靈魂”。

3

約翰·塞爾的回應

1980年，哲學家約翰·塞爾（John Searle）以“中文房間”思想實驗中計算機對話僅為模仿，不涉及真正的思考或理解進行反駁。即就算計算機系統能以與人類無法區分的方式回應，也不能證明其有意識。

塞爾的假想系統包含一個只懂英語的人，使用英語規則手冊處理輸入的中文符號并輸出中文。從外部看，系統理解中文，但房間內的人不懂中文，其余部分是無生命物體。塞爾的例子抓住了計算機僅模仿人類思維的觀點，其“生物自然主義”認為，大腦產生思想，計算機不產生。思想以生命為前提，人工智能模型非生命體。

但這種生物學的論證似乎武斷。若神經元能產生思想，為何硅芯片不能？哲學家大衛·查默斯（David Chalmers）稱此為“意識的難題”，認為意識超越物理或生物材料。

心物問題（mind-body problem）是長久難題，無論身體是硅還是碳構成。這些難題無法暗示人工智能模型原則上不能有意識。

4

道德地位的條件是什么？

假設計算機有意識體驗，這是否足以賦予它們道德地位？哲學家尼克·博斯特羅姆（Nick Bostrom）認為感知能力必要但非充分。昆蟲有經驗，但道德地位低。人工智能模型需展現“智慧”（sapience），即與更高智能相關的能力，如自我意識和能夠作為理性的響應主體。

法學教授F·帕特里克·哈伯德（F. Patrick Hubbard）補充“基于與他人的共同利益在社區中生活的能力”作為道德地位標準；哲學家塞思·拉扎爾（Seth Lazar）補充理性自主為道德人格條件，即人工智能模型需有“決定目標并致力于實現目標的能力”及“正義感和抵制不公規范的能力”。

這為道德地位提供了一個清單：

1. 通用智能：從事廣泛認知任務的能力；

2. 意識：覺察和體驗的能力；

3. 推理：連接前提與結論、進行推斷的能力；

4. 自我意識：意識到自身是具有歷史和身份的獨立存在的意識；

5. 能動性：制定目標并執行它們的能力；

6. 社會關系：在社區中與其他有意識實體互動的能力。

5

它們會推理嗎？

一個測試推理能力的標準難題是：“朱莉婭有兩個姐妹和一個兄弟。她的兄弟馬丁有幾個姐妹？”當今推理模型能給出正確答案，并顯示邏輯步驟。

這看起來像推理。但模型是否僅在偽裝？它們通過學習產生看似思維鏈的序列。哲學家香農·瓦勒（Shannon Vallor）認為這是“元模仿”，模仿訓練數據中的思維鏈，并非真正的解決問題。

問題的關鍵在于系統是否真正理解邏輯連接詞。它們是否直觀感受推理的牽引力？是否意識到結論必然從前提中得出？唯一方法是進一步研究這種“推理”能力的普遍性。若是真推理，則具普遍性；若純模仿，則在訓練數據集之外問題上會失敗。

6

它們能夠展現出真正的能動性嗎？

今天的人工智能模型是惰性的，不展現真正能動性，只做被告知的事——無人類輸入則靜止。除人類賦予的目標外，無自身目標。

石黑一雄的反烏托邦小說《克拉拉與太陽》（Klara and the Sun）中，有意識的護理機器人克拉拉在被丟棄后，僅在垃圾場整理記憶。

人類未賦予人工智能自由意志或真正自主性。它們不能自定目標，僅能因外部賦予的目標而行動。卡內基梅隆大學的吳恩達（Andrew Moore）曾對自導向機器的能力表示懷疑，稱其為“真正的科幻小說”。

即使人工智能系統在接收指令后會自行完成任務，且有時行為超過原有設定，但仍不能據此認定其自主性。尼克·博斯特羅姆指出，下棋計算機走出程序員未預料的棋步，并非因其自身有目標，而是因為其目的被編程為贏棋。比如AlphaGo走出人類不會想到的棋步，也非自主發展出贏棋目標，該目標由開發者賦予。

可能出現源于黑客或編程/任務錯誤等的意外行為，人工智能系統或許為達最終目標而采納與設計者預期不同的子目標。人類無法清晰指定任務和目標以確保人工智能按意愿行事，因為存在對齊困難的問題。但人工智能失控并不意味其自主，只能說明人類未學會如何清晰指令。

伊曼努爾·康德（Immanuel Kant）視理性自主為人類尊嚴的關鍵。其認為，理性自主指選擇目標并采取理性步驟以及按自由賦予的法則行動的能力，這是道德人格的基本組成。人工智能模型若缺失此項，能否有完整道德地位尚不清楚。

道德人格是連續統一體。而人工智能模型可能介于動物之上、人類之下，這是對倫理、法律和政策的挑戰。

7

人類現在應該采取行動嗎？

哲學家羅伯特·朗（Robert Long）認為“意識體驗的構建模塊可能會自然出現”，因為人工智能系統正在發展“感知、認知和自我建模”等。他認為即使無意識也可能存在能動性，因為人工智能模型能“設定和修改高級目標、長期規劃”等。他的結論是“某些人工智能系統在不久的將來會值得道德考慮”，故而“我們現在需要開始準備”。他建議研究人員通過觀察計算來評估人工智能模型的能動性和意識。

這是一個判斷問題，但作者認為似乎不太合理。政策制定者和公司遲早可能面對這些問題。正如石黑一雄的反烏托邦情景暗示的那樣，等待太久可能是危險的。但目前行為證據表明，人類在開發人格連續統一體上尚未成熟，具有真正能動性的人工智能模型似乎過于遙遠。即使同意人工智能研究的基本目標是避免殘忍對待人工智能模型，目前也沒必要在“人工智能福祉”主題上投資來研究評估人工智能是否有意識或獨立能動性。其他問題更值得人類投入稀缺資源。

免責聲明：本文轉自啟元洞見。文章內容系原作者個人觀點，本公眾號編譯/轉載僅為分享、傳達不同觀點，如有任何異議，歡迎聯系我們！

轉自丨啟元洞見

研究所簡介

國際技術經濟研究所（IITE）成立于1985年11月，是隸屬于國務院發展研究中心的非營利性研究機構，主要職能是研究我國經濟、科技社會發展中的重大政策性、戰略性、前瞻性問題，跟蹤和分析世界科技、經濟發展態勢，為中央和有關部委提供決策咨詢服務。“全球技術地圖”為國際技術經濟研究所官方微信賬號，致力于向公眾傳遞前沿技術資訊和科技創新洞見。

地址：北京市海淀區小南莊20號樓A座

電話：010-82635522

微信：iite_er