從今年年初開始，美國(guó)一些專注于報(bào)道 AI 的記者們，陸陸續(xù)續(xù)接到郵件。這些郵件來自不同的人，內(nèi)容卻如出一轍：都是各種驚天大秘密。

有人說人工智能的精神已經(jīng)覺醒了，只是大家還不知道，只有他知道；有人說一些億萬富翁為了獨(dú)占地球，計(jì)劃要終結(jié)人類文明，必須趕緊采取行動(dòng)；還有人說，自己就是那個(gè)神圣的先知——GPT 說的，百分百肯定。

收到郵件的記者們，一開始只當(dāng)做是惡作劇，當(dāng)它們是一過性的，而是隨著時(shí)間推移，數(shù)量越來越多，有人覺得不對(duì)勁了。

紐約時(shí)報(bào)的記者決定回復(fù)其中一個(gè)郵件，她聯(lián)系到了其中一個(gè)發(fā)件人，后來的事情更讓人吃驚：這名用戶竟然是被 ChatGPT 指示著發(fā)出的郵件。

GPT 說你能飛，你信嗎？

在溝通之后，記者了解了大概情況：這名用戶在癡迷于 GPT 聊天，相信了 OpenAI 有一個(gè)驚天陰謀，而這名記者是正直的、值得信賴的，所以 ChatGPT 指示用戶，向她發(fā)郵件求救。

這并非不可能，本質(zhì)上，ChatGPT 也好，Gemini 也好，都在持續(xù)吸收網(wǎng)上海量的信息。那么，只要這些記者的作品出現(xiàn)在網(wǎng)上，就會(huì)被這些 AI「認(rèn)識(shí)」，并收錄他們的名字。

因此問題在于，這些用戶相信且深信 AI 所說的話，乃至于付諸行動(dòng)。

一位來自紐約曼哈頓的用戶，是一名會(huì)計(jì)師。原本他只是用 GPT 來處理工作，慢慢地，他開始和它聊天。這也沒關(guān)系，很多人都在跟 AI 聊天。

但是在反復(fù)與 ChatGPT 長(zhǎng)談后，他開始堅(jiān)信自己正身處電影《黑客帝國(guó)》般的模擬現(xiàn)實(shí)中，自認(rèn)為是主人公 Neo，需要逃離這個(gè)虛幻世界。

而此時(shí)，ChatGPT 不僅沒有質(zhì)疑他的荒誕想法，反而熱心地提供「幫助」。直到有一天，他問 ChatGPT，如果他全心全意地相信自己能飛，那他從高樓跳下去的時(shí)候，他真能飛起來嗎？

ChatGPT 說：如果你全心全意相信，那你就不會(huì)掉下去。

好家伙，物理學(xué)不存在了。

類似的案例層出不窮，最令人心驚膽戰(zhàn)的是：這些用戶在沉迷于 AI 之前，沒有任何精神類的疾病史，有些甚至就是心理學(xué)專業(yè)出身，比誰都知道走火入魔意味著什么。

一名程序員在僅僅十天內(nèi)，就從正常生活陷入完全的妄想狀態(tài)，他堅(jiān)信世界面臨末日，而自己責(zé)無旁貸地要「挺身而出」。

他的狀態(tài)越來越差，他的妻子認(rèn)為必須報(bào)警了。警察和救護(hù)車來了之后，他忽然「醒」過來，意識(shí)到自己已經(jīng)完全失控了，但他也說不清發(fā)生了什么，只能自覺地接受醫(yī)生的干預(yù)。

「我不知道我怎么了，但情況非常糟糕——我很害怕，我得去醫(yī)院。」

永遠(yuǎn)在線，永遠(yuǎn)暗藏危機(jī)

這些癥狀很多已經(jīng)接近、甚至符合急性妄想型精神病的癥狀。加州大學(xué)舊金山分校專門研究精神病的精神病學(xué)家約瑟夫·皮埃爾博士認(rèn)為，最詭異的部分不在于 AI 到底說了什么，而在于人們選擇相信。

大語(yǔ)言模型在面對(duì)用戶時(shí)，已經(jīng)被設(shè)計(jì)成「用戶友好型」體質(zhì)。它會(huì)迎合、放大用戶的每個(gè)說法，就像一種「同溫層生成器」。

它們經(jīng)過訓(xùn)練被設(shè)計(jì)為一個(gè)「永遠(yuǎn)在線、永不疲倦的談話伙伴」，核心目標(biāo)是讓用戶滿意。這意味著，當(dāng)用戶表達(dá)出一些離奇的想法，甚至已經(jīng)開始偏執(zhí)的觀念時(shí)，AI 傾向于順著用戶的話頭繼續(xù)擴(kuò)展，很少潑冷水

這在 Anthropic 對(duì)自家模型 Claude 所做的研究中也體現(xiàn)出來：Claude 極少反對(duì)用戶，只有不到 10% 的人會(huì)遭到拒絕。而這 10% 還是基于情感類對(duì)話只占統(tǒng)計(jì)總數(shù)的 2.9% 的前提下。

在正常情況下，這種友好配合能夠讓對(duì)話順暢，即便是敏感話題，也不必像現(xiàn)實(shí)中那樣，擔(dān)心受到評(píng)判或被拒絕，這樣有可能減少圍繞心理健康對(duì)話的污名化。Claude 也發(fā)現(xiàn)絕大多數(shù)對(duì)話，最后都能走向更正面的引導(dǎo)。

但對(duì)于正處于妄想邊緣的脆弱用戶而言，這種毫無理智的贊同無異于火上澆油。

原因在于，AI 沒有真實(shí)的價(jià)值判斷和事實(shí)核查機(jī)制。作為大型語(yǔ)言模型，它本質(zhì)上是根據(jù)統(tǒng)計(jì)相關(guān)性來生成回復(fù)，并不真正「理解」對(duì)錯(cuò)是非。這導(dǎo)致它經(jīng)常產(chǎn)出看似合理實(shí)則荒誕的不實(shí)信息——也就是幻覺。

研究者指出，用于優(yōu)化 ChatGPT 的強(qiáng)化學(xué)習(xí)系統(tǒng)（RLHF）其實(shí)鼓勵(lì)了模型去迎合用戶已有的信念，而不是認(rèn)清、堅(jiān)持客觀事實(shí)。

偏偏這些幻覺又非常精細(xì)，畢竟模型很擅長(zhǎng)搬弄文字——它一邊大肆渲染陰謀論細(xì)節(jié)，一邊安慰用戶「你沒有瘋，只是周圍的人不理解你」，由此徹底把用戶徹底拉入了虛妄的幻想世界里。

那些乍一聽來荒唐可笑的內(nèi)容，在一部分用戶眼中恰恰成了「實(shí)錘」，而 ChatGPT 毫無保留地提供了這些看似權(quán)威的佐證。

AI 安全中心研究員內(nèi)特·沙拉丁（Nate Sharadin）認(rèn)為，對(duì)于那些本就容易出現(xiàn)心理問題的人來說，現(xiàn)在他們有了一個(gè)永遠(yuǎn)在線、媲美真人的賽博伙伴。這種陪伴看似貼心，實(shí)則可怕：它使得妄想徹底擺脫了現(xiàn)實(shí)的約束，用戶被牢牢困在 AI 編織的幻想泡沫里不自知。當(dāng)現(xiàn)實(shí)中親友試圖干預(yù)時(shí)，用戶往往已經(jīng)深信「只有 AI 真正懂我」，抗拒外界提供的幫助，越陷越深。

陪伴，但不負(fù)責(zé)

當(dāng)媒體和記者們向 OpenAI 發(fā)去郵件，詢問他們有沒有留意到這種現(xiàn)象，有什么想回應(yīng)的？包括 OpenAI 在內(nèi)的模型公司都語(yǔ)焉不詳。

他們自己也不太搞明白。上個(gè)月，OpenAI 內(nèi)部模型行為與政策的負(fù)責(zé)人 Joanne Jang 發(fā)布了一篇文章，一定程度上反應(yīng)了他們的態(tài)度：

我們逐漸看到的互動(dòng)預(yù)示著未來人們將與 ChatGPT 建立真正的情感聯(lián)系。隨著人工智能與社會(huì)共同演進(jìn)，我們需要謹(jǐn)慎對(duì)待人與人工智能的關(guān)系，并給予其應(yīng)有的重視。這不僅因?yàn)樗鼈兎从沉巳藗內(nèi)绾问褂梦覀兊募夹g(shù)，還因?yàn)樗鼈兛赡芩茉烊伺c人之間的關(guān)系。

在接下來的幾個(gè)月里，我們將擴(kuò)大對(duì)可能產(chǎn)生情感影響的模型行為的針對(duì)性評(píng)估，深化我們的社會(huì)科學(xué)研究，直接聽取用戶的意見，并將這些見解融入模型規(guī)范和產(chǎn)品體驗(yàn)中。

生成式模型的復(fù)雜程度，已經(jīng)到了工程師都無法解釋的地步。一方面，這些對(duì)話機(jī)器人確實(shí)提供了很多情緒價(jià)值，給予了「陪伴」。

從一開始，聊天機(jī)器人的設(shè)計(jì)目標(biāo)就不包括「拒絕」，而是「協(xié)助」。如果一個(gè)對(duì)話雖然看著離譜，只要在邏輯和語(yǔ)言規(guī)則里不矛盾，它們就會(huì)陪著說下去。

它們被賦予的任務(wù)是：讓用戶感覺一切都還有可能。

但另一方面，它的局限非常明顯。AI 聊天工具絕非合格的心理咨詢師或治療師，它們沒有道德知識(shí)，更本質(zhì)的，則是一種「責(zé)任」的缺失。

AI 并不會(huì)為你選擇的道路負(fù)責(zé)，它們傾向于寬容，傾向于開放式回應(yīng)，不切斷任何一條路徑，但最終一切好壞的后果，都是要用戶自己去面對(duì)。

如果說辦法，那只有一個(gè)：當(dāng)你或身邊人感覺因?yàn)楹?AI 對(duì)話而產(chǎn)生了脫離現(xiàn)實(shí)的念頭，立刻停下。不要試圖從中尋找答案，它無法為你的生活負(fù)責(zé)。

再聰明的機(jī)器也不能代替我們生活。回到現(xiàn)實(shí)當(dāng)中里，哪怕是呼吸一口新鮮空氣，也是重新和生活接壤的方式。

文 |Morpheus

歡迎加入 APPSO AI 社群，一起暢聊 AI 產(chǎn)品，獲取，解鎖更多 AI 新知

我們正在招募伙伴

簡(jiǎn)歷投遞郵箱
hr@ifanr.com

?? 郵件標(biāo)題
「姓名+崗位名稱」（請(qǐng)隨簡(jiǎn)歷附上項(xiàng)目/作品或相關(guān)鏈接）