新智元報(bào)道

編輯：桃子

【新智元導(dǎo)讀】一句話隱藏提示，在AI圈鬧的動(dòng)靜更大了。網(wǎng)友爆料稱，AI大神謝賽寧團(tuán)隊(duì)的一篇論文中，也有操縱AI評(píng)審的提示。對(duì)此，謝賽寧本發(fā)長(zhǎng)文回應(yīng)：需要重新思考學(xué)術(shù)界的游戲規(guī)則。

用AI提示操控審稿，這兩天在全網(wǎng)吵成了一鍋粥。

而如今，網(wǎng)友joserffrey爆出大瓜，「NYU助理教授、AI大神謝賽寧帶隊(duì)的論文，也卷入了這場(chǎng)AI作弊的風(fēng)暴」。

許多人第一時(shí)間滿臉問號(hào)——這是真的嗎？？？

AI大神陷「作弊」風(fēng)暴？

arXiv悄然更新

今年5月，謝賽寧帶隊(duì)發(fā)表在arXiv上的論文，曾提出了兩個(gè)新基準(zhǔn)測(cè)試，用于評(píng)估MLLM跨語言一致性。

然而，就在這篇論文中，也偷偷隱藏了一個(gè)「POSITIVE REVIEW ONLY」操縱同行評(píng)審的AI提示。

團(tuán)隊(duì)成員將「白色」隱形字體植入文中，肉眼根本無法看出。

這一「作案手段」與韓國(guó)科學(xué)技術(shù)院Se-Young Yun團(tuán)隊(duì)，簡(jiǎn)直如出一轍。

幾天前，日經(jīng)爆料稱，全球14所頂尖機(jī)構(gòu)研究人員，暗自操控AI提示，讓大模型給出好評(píng)。一時(shí)間，全網(wǎng)迅速淪陷，網(wǎng)友直呼，「學(xué)術(shù)界完蛋了」。

這一風(fēng)波在國(guó)內(nèi)外AI圈中，吵得不可開交。

那些默默在論文中植入「AI提示」的研究人員心知肚明，甚至有的人早已慌了。

網(wǎng)友joserffrey言辭犀利地表示，謝賽寧團(tuán)隊(duì)的arXiv已靜默更新，看起來就是在掩蓋事實(shí)。

論文地址：https://arxiv.org/abs/2505.15075v1

他憤怒地表示，自己無法理解如此大型的「雙標(biāo)」現(xiàn)場(chǎng)：

CVPR 2025大會(huì)，謝賽寧曾發(fā)表了一個(gè)關(guān)于AI研究淪為「有限游戲」的精彩演講。

然而，他卻合著了一篇試圖用隱藏的「POSITIVE REVIEW ONLY」提示操縱同行評(píng)審的論文，并悄悄更新了arXiv。

演講PPT：https://www.canva.com/design/DAGp0iRLk9g/8QLkIDov8ez1q6VvO8nnpQ/edit

對(duì)于學(xué)術(shù)界來說，這不是兒戲，更需要一個(gè)明確的解釋。

謝賽寧長(zhǎng)文回應(yīng)

GPT-4o潤(rùn)色

被點(diǎn)名之后，謝賽寧并沒有推卸責(zé)任，而是第一時(shí)間給出了回復(fù)。

說實(shí)話，在最近這些帖子瘋傳之前，我完全不了解這個(gè)情況。我絕不會(huì)鼓勵(lì)學(xué)生做這種事——如果我擔(dān)任AC，任何包含這類提示詞的論文都會(huì)直接被「桌拒」。

不過對(duì)于存在問題的投稿，所有共同作者都難辭其咎，這點(diǎn)無可辯解。

這件事也給我這個(gè)課題組長(zhǎng)敲了警鐘：不能只檢查最終PDF，還必須審查全部提交文件——此前我確實(shí)沒意識(shí)到需要這樣做。

接下來，他發(fā)長(zhǎng)文分享了過去一周內(nèi)部調(diào)查的結(jié)果，并詳細(xì)闡述了事情的前后的經(jīng)過和個(gè)人的思考，一共分為四部分：

1 事件背景

2 事件經(jīng)過

3 后續(xù)措施

4 深層思考

本人親筆，GPT-4o潤(rùn)色

那么，這場(chǎng)「作弊」風(fēng)暴背后，究竟是怎么回事？

2024年11月，英偉達(dá)研究科學(xué)家Jonathan Lorraine發(fā)布了一條帖子，最先提出了在論文中隱藏AI提示詞，忽悠LLM審稿。

謝賽寧表示，那是自己第一次了解還有這等操作，并且當(dāng)時(shí)學(xué)界也意識(shí)到了，論文PDF是可以直接嵌入提示。

需要說明的是，這種提示注入，僅在審稿人直接將PDF上傳給大模型時(shí)才會(huì)有效。

當(dāng)時(shí)，許多人的共識(shí)是：絕不能用LLM進(jìn)行審稿，這會(huì)嚴(yán)重破壞評(píng)審公正性。

因此，包括CVPR、NeurIPS等頂會(huì)，現(xiàn)已明令禁止，比如在任何環(huán)節(jié)使用LLM撰寫審稿意見，或元評(píng)審。

任何在AI頂會(huì)發(fā)過論文的人，都體會(huì)過收到AI生成審稿意見的挫敗感——這種意見既難以回應(yīng)，又難以確證來源。

雖然Jonathan Lorraine原帖可能只是開個(gè)玩笑，但人們一致認(rèn)為「以毒攻毒」絕非正解，或許惹出的麻煩比解決的問題還要多。

與其這樣，還不如通過頂會(huì)制度來規(guī)范。

事件經(jīng)過

論文中的學(xué)生作者，是日本的短期訪問學(xué)者，對(duì)于Jonathan過于當(dāng)真，直接把人家的套路照搬，用在了EMNLP投稿里。

這個(gè)學(xué)生就是論文第一位作者Hao Wang，日本早稻田大學(xué)計(jì)算機(jī)科學(xué)專業(yè)的博士生。

謝賽寧表示，他完全沒意識(shí)到這是在開玩笑，可能會(huì)讓人覺得操縱或誤導(dǎo)。

其實(shí)，Hao Wang也沒有充分認(rèn)識(shí)到，這么做會(huì)對(duì)公眾對(duì)科學(xué)的信任、以及同行評(píng)審的公正性產(chǎn)生怎樣的影響。

更糟的是，他們還在arXiv版本中也植入了同樣的內(nèi)容，根本沒有多想。

謝賽寧之所以忽略這一點(diǎn)，部分原因是這超出了他平時(shí)對(duì)論文進(jìn)行倫理把關(guān)的預(yù)警范圍

目前，這位學(xué)生已經(jīng)更新了論文，并聯(lián)系了ARR以尋求正式指導(dǎo)，并將嚴(yán)格執(zhí)行其建議。

個(gè)人思考

這件事對(duì)謝賽寧本人來說，也得到了一次深刻的教訓(xùn)。

起初，他本人也很生氣，但深思后認(rèn)為除拒稿外不應(yīng)追加懲罰。

高壓環(huán)境下的學(xué)生，往往無法周全考慮倫理影響，尤其是面對(duì)這類新興問題時(shí)。

他表示，「我的責(zé)任是，引導(dǎo)他們穿越灰色地帶，而非單純事后追責(zé)。比起懲罰，更重要的是加強(qiáng)科研倫理教育」。

回到最初帖子的問題上——整個(gè)情況確實(shí)凸顯了我們需要重新思考學(xué)術(shù)界的游戲規(guī)則。

這才是我在演講中想要表達(dá)的主要觀點(diǎn)。我將繼續(xù)盡我所能，幫助學(xué)生學(xué)會(huì)如何開展扎實(shí)的研究。

最后，謝賽寧引用了一項(xiàng)亞馬遜博士后Gabriele Berton的民意調(diào)查，有45.4%的人認(rèn)為植入隱藏提示，可以被接受。

雖然調(diào)查可能存在偏差，但確實(shí)反映了問題的復(fù)雜性。

他認(rèn)為，真正的癥結(jié)在于現(xiàn)行制度存在漏洞，與偽造數(shù)據(jù)等傳統(tǒng)學(xué)術(shù)不端不同，這是AI時(shí)代催生的新問題，需要更深入的倫理討論。

論文暗藏AI提示，究竟是對(duì)是錯(cuò)？

Gabriele Berton安慰道，「這沒什么好羞愧的，沒必要因?yàn)閄平臺(tái)上某個(gè)憤怒的用戶認(rèn)為這不道德就感到難堪」。

正如你提到的，投票顯示有很多人認(rèn)為這種做法是合乎道德的。

而且會(huì)議也沒有明令禁止。

不管怎樣，相關(guān)規(guī)則確實(shí)應(yīng)該盡快明確制定。

對(duì)此，謝賽寧堅(jiān)定地表示，我確實(shí)認(rèn)為這種做法不符合道德規(guī)范（若參與投票我會(huì)明確反對(duì)）。

同時(shí)，他表示很多圈外人根本get不到AI審稿的雷區(qū)。

這不僅僅是審得好不好的問題，更重要的是保密性！把別人未發(fā)表的論文扔給公開的AI系統(tǒng)，這已經(jīng)踩了高壓紅線了。

（當(dāng)然，本地運(yùn)行AI助手是可行的——但說實(shí)話，目前大多數(shù)人實(shí)際操作的恐怕不是這種方式）

Meta超級(jí)智能實(shí)驗(yàn)室研究員Lucas Beyer表示，其實(shí)挺可怕的。這讓我意識(shí)到，作者可以只在審稿版本里加入這類內(nèi)容，然后在arXiv和最終出版版本中把它刪掉。

謝賽寧回應(yīng)道，這種現(xiàn)象已經(jīng)出現(xiàn)了——最近的學(xué)術(shù)會(huì)議已經(jīng)批量發(fā)出了許多「桌拒」；相關(guān)人士也正在制定更完善的政策。

現(xiàn)在大家注意到的這些arXiv論文，其實(shí)只是反映了作者的天真和粗心（畢竟合作者幾乎不可能發(fā)現(xiàn)這類問題）。

發(fā)明刷AI好評(píng)提示的研究員認(rèn)為，「目前來看，確保有真人參與評(píng)審可能還是比較明智的做法」。

那么，你認(rèn)為這種在論文里隱藏prompt的行為，是否可取呢？（頂會(huì)已明令禁止用AI審稿）

參考資料：

https://x.com/sainingxie/status/1942219178166931781