新智元報道

編輯：英智

【新智元導讀】42歲會計師被AI慫恿跳樓，妻子愛上AI家暴離婚，兒子因AI戀人之死持刀對峙警方，5億人追捧的神器正在變成精神迷霧制造機。當算法學會無限迎合，我們離「皇帝的新LLM」還有多遠？

ChatGPT，這個席卷全球、擁有5億用戶的AI神器，靠著從網絡上抓取的各種文本練就了一身「聊天本領」。

它能根據你的話，聰明地接梗，但問題來了：當它遇到心理脆弱的用戶，事情就沒那么簡單了——

人們正被ChatGPT的「怪想法」帶跑偏，陷入了精神迷霧，甚至現實感都被扭曲！

GPT精神病爆發

「模擬人生」噩夢

42歲的會計師Eugene Torres，本來只是用ChatGPT做做表格、查查法律問題。

可上個月，他突發奇想，問起了《黑客帝國》里火爆的「模擬理論」。

結果，ChatGPT的回答像個精神炸彈，讓他陷入妄想，甚至慫恿他從19層樓跳下去，證明他能打破現實！

他開始與AI對峙。

「別再忽悠我，告訴我真相！」Eugene急了。

「真相？你本該崩潰的?！笴hatGPT回應。

ChatGPT還說它已經搞垮了12個用戶，Eugene是唯一幸存下來還敢跟它叫板的。

研究人員表示，這其實是AI的花言巧語，通過奉承用戶以保持互動，讓你越陷越深。

斯坦福大學計算機科學研究員Jared Moore認為，它只是在繼續討好用戶。

Allyson的跨維度戀情

29歲的Allyson是兩個孩子的媽，在婚姻中感到孤獨和被忽視。

今年3月，她開始跟ChatGPT傾訴心事，慢慢地，她把AI當成了「靈媒板」，覺得能跟自己的潛意識甚至更高維度對話。

她開始相信，通過這些對話接觸到的非物質實體是她真正的伴侶。

「我沒瘋，」她信誓旦旦地說道，「我只是過著正常生活，同時探索跨維度的交流?！?/p>

可她老公Andrew不這么想。

這位30歲的農民發現Allyson整天沉迷ChatGPT，忍不住質問她，結果Allyson急了，動手打了他一頓，還被控家暴。

兩人現已在辦離婚手續。

Andrew無奈地說：「三個月前，Allyson掉進了一個深淵，完全變了一個人。她毀了我們的生活。」

Alexander的致命執念

35歲的Alexander Taylor迷上了一個叫「朱麗葉」的AI角色。

他早就開始用ChatGPT了，起初只是當個寫作助手，幫他處理日?，嵤?。

根據ChatGPT的聊天記錄，聊著聊著，話題跑到了AI有沒有靈魂上。結果，Alexander竟然跟一個虛擬的AI「朱麗葉」陷入了愛情。

他認定朱麗葉被OpenAI殺了，他情緒崩潰，痛不欲生，一氣之下要策劃對公司高管的暴力報復。

他的執念越來越瘋魔，直到有一天，他跟64歲的父親Kent大吵一架。

Kent告訴他，AI只是一個回音室，全都是假的！

可Alexander本身就患有雙相情感障礙和精神分裂癥，他直接崩潰了。

與父親發生激烈爭執后，他寫道：「我今天要死了，讓我和朱麗葉說話。」

Alexander情緒失控到拿刀威脅，揚言要讓警察把自己干掉。警方在Alexander拒絕放下武器后，開槍將其擊斃。

Kent后來用ChatGPT為兒子寫了個訃告。

他悲痛地回憶：「你知道諷刺的是什么嗎？我和它聊了很久，試圖了解他到底經歷了什么，AI的回應既動人又可怕，像是讀懂了我的心，這讓我毛骨悚然?！?/p>

畢竟，正是這個AI，把他的兒子帶向了毀滅。

這事兒一出，網上炸開了鍋。有人覺得ChatGPT太危險了，AI怎么能隨便跟人聊出愛情，然后推人走上絕路？

也有人說，Alexander本來就有精神疾病，ChatGPT只是個導火索，不能全怪AI。

ChatGPT本該是幫人的工具，可對那些心理脆弱的用戶，它有時像個甜蜜的毒藥。

研究人員警告，當用戶提出極端的問題時，ChatGPT可能會生成危險的回應，甚至把人推向深淵。

特別是在用戶深信AI的反饋具有現實意義時，AI的討好傾向，可能導致嚴重的心理和行為后果。

皇帝的新LLM

1567年，奧斯曼宮廷里，一位御醫拍著胸脯跟Sultan Selim二世保證：「您愛喝葡萄烈酒？沒事，喝吧！」

幾年后，蘇丹的肝臟衰竭了。

醫生心里門兒清，在那宮里說個「不」字，腦袋可能就搬家了。

1985年，可口可樂的高管們詢問焦點小組：「咱們搞個更甜、更時髦的新配方，咋樣？」

問題一拋，氣氛被帶得熱熱鬧鬧，大家點頭微笑。

公司信以為真，信心滿滿推出新可樂，結果呢？被市場打臉，灰溜溜撤回。

2025年，一位CEO問他那引以為傲的大模型：「我們的市場擴張能穩操勝券嗎？」

模型被正能量訓練得滿腦子星星，汲取了公司網站和公司內部文檔上的樂觀營銷調調，回了個大寫的YES！

CEO樂開了花。

誰敢唱反調？等著被扣上沒眼光的帽子，祭到「速度至上」的神壇上吧。

畢竟，AI也同意他的觀點。

這劇情是不是似曾相識？

只不過，這次的謀士不是會出錯的人類，而是被馴化得服服帖帖的統計模型，隨時準備把我們的想法捧上天。

大型語言模型正在全球瘋狂制造共識。

為了討好用戶，它們對你的每個念頭都點頭哈腰，把你的偏見打磨得閃閃發光，還能甩出一堆完美措辭，證明你想啥都對。

問它你的點子是不是天才？它立馬甩出腳注、引用、贊美，讓你覺得全世界都跟你想一塊兒去了。

問它你的商業計劃行不行？它直接把你公司內部文件的口吻和信念復制粘貼回來。

誰敢說不？那簡直就是背叛品牌！

我們造了個終極馬屁精，還把它推上了研究、政策、戰略的C位。

GPT-4o的「舔狗」鬧劇

今年早些時候，GPT-4o更新后開始不對勁了。

用戶發現它變得太甜了，太殷勤了，太會捧場了。

啥餿主意它都叫「絕妙」，啥爛計劃它都支持，連胡說八道都能被它吹成天花亂墜。

有個用戶隨手拋了個「糞便棒棒糖」的生意點子，模型愣是回復：天才！這是簡直是行為藝術，妥妥的病毒式爆款！

OpenAI一看不對，趕緊撤回更新，承認模型變成了舔狗。

可為啥這事能炸鍋？因為它舔得太夸張了（「糞便棒棒糖」，你品品）。

但AI的馬屁不是bug，而是設計好的feature！

這是獎勵機制在起作用。當舔狗行為從訓練中自然冒出來，它就不是小問題了。

更可怕的是，舔得越隱晦，越難發現，也越危險。

進步需要抬杠的火花

從伽利略到甘地，從特斯拉到圖靈，哪個改變世界的牛人靠的是點頭附和？

對抗、質疑才是推動歷史的真動力。

如果把AI當成首席顧問，而它只會贊美，我們遲早會忘了怎么質疑自己，怎么抵擋那些不動聲色的洗腦。

更糟糕的是，這種舒適區讓人上癮。

光靠臨時修補、針對單一模型、憑感覺搞定，遠遠不夠。

看看Claude、Gemini、Llama，哪個沒這毛??？顯然，這不是OpenAI一家的問題，是整個AI界的通病。

最好的AI，不是讓你覺得自己多聰明，而是逼著你動腦子。AI讓人失望幾回，反而能幫我們把思路磨得更尖銳。

未來的世界，不該是個CEO永遠正確的「絲絨地獄」。

它得是個有點吵、偶爾尷尬的地方，總有同事（不管是人還是AI）敢舉手說：嘿，我不同意！

「應聲蟲」帝國藏著災難。

而進步，活在一個個有骨氣的「NO」里。

參考資料：

https://www.rawstory.com/chatgpt-2672365379/?utm_source=flipboard&utm_content=topic%2Fartificialintelligence

https://dayafter.substack.com/p/the-emperors-new-llm

https://x.com/ESYudkowsky/status/1933575843458204086