《Research integrity and peer review》期刊在2025年4月7日發表了一篇case study[1],作者Nicholas Lo Vecchio記錄了自己的投稿經歷,懷疑給出的審稿意見是AI寫的。
2023年6月,Vecchio向期刊《mediAzioni》的特刊提交了一篇論文。2023年12月中旬,作者收到客座編輯的郵件,稱論文“適合發表,但需進行重大修改”,并附上了兩篇匿名審稿意見。作者在閱讀意見后,懷疑這些內容是AI生成的。
Vecchio懷疑審稿意見由AI生成,原因主要有以下幾點:
(1)審稿意見雖然看起來多(審稿人1:915個單詞;審稿人2:857個單詞),但提出的觀點極為模糊、公式化且重復,缺乏對作者論點的實質性建議。
(2)報告以第三人稱撰寫,英語語法和拼寫近乎完美,且過于關注文章形式而非內容。
(3)作者使用在線AI檢測工具對審稿意見進行分析,并與ChatGPT模擬生成的文本進行比較,發現有相似之處。
與期刊的溝通
作者在收到審稿意見的24小時內就向編輯部提出了自己的懷疑,并提供了一份具體的問題清單和注釋,要求編輯部對審稿過程進行調查。
下表為審稿意見和作者的評論:
表. 審稿意見和作者評論示例
審稿人
審稿意見
作者評論
審稿人1
However, while the text is generally well-structured, there are some areas where further elaboration and contextualisation could enhance the clarity of the author’s argument.
雖然文章總體上結構嚴謹,但在某些地方,進一步闡述和背景說明可以使作者的論點更加清晰。
Which exact specific areas in the text – please cite them line by line?
具體指的是文中哪些地方,請逐行指出
審稿人1
Consequently, the examples provided seem detached from the original historical dimension, making them challenging to interpret.
因此,所提供的例子似乎脫離了原有的歷史維度,導致其解釋變得困難。
Please explain point by point where the problems are in my argument.
請逐點解釋論點存在哪些問題
審稿人1
However, the authors [sic] should consider breaking down complex concepts into simpler language where possible, especially when introducing them. In particular, this is evident when using specialised terminology.
不過,作者應考慮盡可能將復雜的概念分解成更簡單的語言,尤其是在介紹這些概念時。這一點在使用專業術語時尤為明顯。
I have no idea what this refers to, without specific examples. Which terms in particular?
我不知道這指的是什么,有沒有具體的例子,具體是哪些術語?
審稿人2
The author’s line of reasoning occasionally proves challenging to track.
作者的推理路徑偶爾會讓人難以理解。
What specific arguments are hard to track?
哪些具體的論點難以理解?
審稿人2
The progression of introduced topics lacks linearity and can be abrupt at times.
引入主題時的推進缺乏線性邏輯,時有突兀之處。
Where exactly in the piece?
具體指論文的哪個位置?
審稿人2
However, the author is encouraged to revise specific sections by providing more comprehensive information on certain concepts.
不過,我們鼓勵作者修訂具體章節,就某些概念提供更全面的信息。
Which specific sections? What more information is to be provided?
哪些具體部分?需要提供哪些更多信息?
期刊在兩個月內多次回應中均未承認任何違規行為,也未明確回應是否使用了AI生成審稿意見。最終,作者在2024年2月撤回了論文,并向期刊的編輯委員會全體成員發出郵件,表達了自己的不滿。
表. 作者與期刊和外部溝通時間表
遇到AI審稿時的建議
Vecchio認為,AI在同行評審中的不當使用不僅可能侵犯知識產權,還可能引發學術不端行為,影響學術研究的可信度。因此,Vecchio提出了以下建議:
1.作者應提前與期刊溝通:在投稿前,作者應主動了解期刊關于AI使用的政策,并在必要時提出自己的要求。如果編輯允許,可考慮在提交的手稿中添加免責聲明,說明在審稿過程中不得將手稿輸入大語言模型,以此讓審稿人了解作者的立場。
2.如有懷疑,立即收集證據:AI生成審稿意見的跡象,可能包括通用的、公式化的、冗長的、重復的文本,以第三人稱書寫,在語法規范方面完美無瑕,注重形式而忽略內容。如果懷疑審稿報告是AI生成的,作者應立即收集相關證據,包括使用AI檢測工具和進行文本比較。
3.立即向編輯闡述問題,并制定透明的調查方案:收集證據后,立即通知編輯。如果提交的是特刊,還應通知主編。具體而言,需要提交一份詳細的清單(包括時間線),列出所有步驟,以使調查透明。為審稿人提供一份問題清單讓他們回答,并作為對照組與有爭議的內容進行比較。在此階段,期刊的回應將為今后的溝通定下基調,如果期刊回應具有爭議性或防御性,那你有必要撤回論文,以避免進一步的利益沖突,同時對潛在不當行為進行問責。如果期刊無法及時提供調查方案或方案不合適,請將此事上報給整個編輯委員會。
4.公開討論:如果可能,作者應公開自己的經歷,以提高公眾對AI在同行評審中使用問題的關注。
對于期刊和編輯部,Vecchio建議:
1.明確AI使用政策:期刊需提供明確的指南,說明在同行評審中AI用于哪些方面是可接受的,哪些是不可接受的。這樣做有多重益處:期刊可以明確政策,審稿人可以知道規則,作者也可選擇與自己價值觀一致的期刊投稿。
2.采用開放的同行評審:通過公開審稿人的身份,增加透明度和問責性。如果作者對審稿意見有異議,期刊應盡快安排雙方直接溝通。
3.允許靈活選擇審稿語言:AI已經可以實現多種語言的即時翻譯,為了減少同行評審中大語言模型的使用,可以鼓勵審稿人用母語撰寫審稿意見。
參考文獻:1. Res Integr Peer Rev. 2025 Apr 7;10:4.
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.