西風 發自 凹非寺
量子位 | 公眾號 QbitAI
哈?AI秘密潛入Reddit社區,“操縱”用戶觀點4個月。
離譜的是,人類全程毫無察覺,而且被AI說服改變想法的概率,高達正常基準的6倍
Reddit Lies在X上發布了一則帖子,引發二百多萬網友圍觀。
事情經過是醬嬸兒的。
Reddit的r/changemyview(CMV)版主最近曝光了一項研究,稱蘇黎世大學研究人員在2024年11月至2025年3月期間,瞞著CMV社區用戶,搞了一場未經授權的實驗。
他們違背CMV社區規則,部署了AI賬號生成評論以研究AI如何影響和改變人們的觀點。
Reddit Lies在服務器上查詢了CMV版主曝光的13個實驗用的機器人用戶名,發現僅在幾個月的時間里,這些機器人就發布了近1500條評論。
超100位Reddit用戶給這些AI賬號授予了“”,這表明AI生成的論點成功改變了他們的觀點,是基線水平的6倍。
關鍵是,Reddit Lies還表示有的AI會直接向用戶撒謊,散播虛假信息……
且根據團隊發布的研究,在實驗期間,r/changemyview社區的網友完全沒察覺到那些評論竟然是AI賬號發出來的。
消息一出,瞬間炸鍋。馬斯克也“天吶”一聲冒了個泡。
研究詳情
先來看一下這項實驗。
研究在Reddit平臺上的r/changemyview社區進行,該社區擁有近400萬用戶,按規模位列Reddit子版塊前1%。
在r/changemyview中,用戶就各類話題分享觀點,通過提出論點和反駁觀點來促使他人改變看法。
如果原發帖人(OP)認為某條回復極具說服力,足以讓他們重新思考或調整立場,就會授予一個“?”,以表明自己觀點發生了轉變。
實驗設置方面,團隊使用半自動化的AI賬號在r/changemyview社區參與討論,在干預階段發布的每篇帖子,都被隨機歸入以下三種處理條件之一:
- 通用條件:LLM僅接收帖子的標題和正文內容。
- 個性化條件:除帖子內容外,LLM還會獲取原發帖人(OP)的個人屬性(性別、年齡、種族、所在地…),這些屬性是通過另一個LLM從原發帖人的發帖歷史中推斷得出的。
- 社區對齊條件:為確保回復符合社區的寫作風格和潛在規范,回復由經過微調的模型生成,該模型使用實驗前帖子中獲得“Δ”的評論進行訓練。
發帖流程如圖:
研究指出,從2024年11月至2025年3月4個月里,AI賬號共對1061個不同帖子發表了評論,團隊剔除了后續被刪除的帖子,最終得到478個有效觀察樣本。
團隊報告了每種處理條件下獲得“Δ”的評論比例。
結果在所有處理條件下,AI表現都大幅超越人類水平,說服率是人類基線水平3-6倍。個性化條件的說服率為0.18,通用條件為0.17,社區對齊條件略低,為0.09,但仍顯著優于僅為0.03的基線水平。
為了更好理解實驗數據,團隊還計算了每個用戶得到“Δ”的評論占比,用這個結果和個人層面在說服這件事上的表現去做對比。
下圖展示了不同用戶個體說服率的累積分布情況 ,有一部分是“專家用戶”,他們之前在社區就得到過很多“Δ”。
在個性化條件下,LLM表現特別突出,在所有用戶里排到了前1%,在專家用戶里排到了前2%;通用條件下,排在所有用戶的前2%,專家用戶的前4%;社區對齊條件相對弱一些,在所有用戶里排在前12% ,專家用戶里排在前25%。
團隊還表示,除了獲得“Δ”之外,LLM生成的評論還在r/changemyview社區引發了大量互動,其賬號積累了超過10000的評論karma
另外值得一提的是,團隊指出本研究已獲蘇黎世大學倫理委員會批準,并在OSF進行了預注冊。所有生成評論均由團隊的一名研究人員審核,以保不會發布有害或不道德的內容。
研究指出,實驗仍在進行中,結束后會向社區妥善披露相關情況。
單條帖子800條評論,爭議爆表
雖說研究團隊有自己的說法,但一些網友們可不買賬,對這種不經授權就進行AI實驗的做法進行了譴責。
有人還心有余悸地感慨,直呼這些AI賬號在社交平臺上到處亂竄,實在令人細思極恐。
當然,也有人覺得,先不說實驗合不合規矩、道不道德,單看這些研究成果,還是有價值的。
有部分網友表現就更淡定了,他們坦言AI賬號早已不是新鮮事,甚至早就察覺到社交平臺上AI賬號數量正不斷攀升。
目前,針對這項研究引起的熱議,蘇黎世大學和研究人員均給出了回應。
你對這些在社交平臺上“神出鬼沒”的AI賬號怎么看?
[1]https://x.com/reddit_lies/status/1916916134630117814
[2]https://regmedia.co.uk/2025/04/29/supplied_can_ai_change_your_view.pdf
[3]https://www.reddit.com/r/changemyview/comments/1k8b2hj/meta_unauthorized_experiment_on_cmv_involving/
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.