學術出版的當代變遷挑戰著同行評審制度。
來源 | FirstPrinciples
翻譯 | Alex
“情況相當糟糕,” 當伊萬·奧蘭斯基(Ivan Oransky)被問及學術同行評審(Peer Review)的現狀時,他不加掩飾地說道。
奧蘭斯基是紐約大學的杰出駐校記者,也是“撤稿觀察”(Retraction Watch)網站[1]的聯合創始人。該網站專門記錄不斷攀升的學術期刊中論文的撤回數量。也正因如此,他比任何人都更有資格給出這樣直白的評價。
他進一步詳細闡述了導致當前困境的一系列原因,其中包括:學術界“不發表就出局”的壓力、AI聊天機器人代筆、掠奪性期刊(predatory journals)的泛濫、論文剽竊、論文數量激增、審稿人嚴重短缺,以及缺乏有效激勵機制來吸引和留住審稿人。
Ivan Oransky (伊萬·奧蘭斯基)| 圖源:FirstPrinciples
奧蘭斯基在其紐約大學辦公室接受《第一原則》雜志(FirstPrinciples)電話采訪時直言:“目前情況相當糟糕,而且這種狀況已經持續了一段時間,原因就是激勵機制的完全錯位。
情況到底有多糟?2023 年,學術期刊撤回的科研論文數量已超過一萬篇[2],刷新了世界紀錄。令人不安的是,19 家期刊因為“虛假研究”的泛濫而被迫停刊——這些由“論文工廠”所制造的“科學成果”無異于“標題黨”。此外,某位科學家一人名下就有213篇撤稿,成為當前的“紀錄保持者”。
“數字不會說謊:科學出版正面臨嚴重問題,而且形勢愈發嚴峻。” 奧蘭斯基和“撤稿觀察”的聯合創始人亞當·馬庫斯(Adam Marcus)在最近為《華盛頓郵報》撰寫的一篇評論文章[3]中寫道。“出版商一直需要對偽造或有缺陷的研究保持警惕,但近年來,可疑材料的數量之多,已經讓他們感到力不從心。”
理想狀態下,同行評審能夠確保科學思想接受領域中最具洞察力的專家的審視和質疑;而最壞的情況則是,如批評者所言,同行評審系統早已千瘡百孔,亟需一次如實的自我審查。
在線教育網站Inside Higher Ed在2022年的一篇文章[4]中深入剖析了同行評審的困境,直指這場危機“比以往任何時候都要嚴重”,并探討了專家們提出的各種可能對策,包括:為評審人所付出的時間和專業知識支付報酬、將同行評審納入工作職責、優化“修改并重投”流程,以及強制要求論文提交者也評審其他作者的論文。
昆尼皮亞克大學的JT·托雷斯(JT Torres )在The Conversation上撰文[5]指出:“同行評審在理論上是可行的,但問題是,審稿人是否能獲得足夠的支持,有效完成這項工作。”
奧蘭斯基指出了一個根本性的供需問題:論文數量龐大,而愿意且有能力審稿的人卻非常有限。
“論文數量太多,根本不可能一一評審,”他說。“我們來算一算:每年有 300萬篇需要同行評審的論文發表,每篇論文需要 2~3 位審稿人,每位審稿人又要花費4~8小時……這樣算下來,根本無法實現。可即便如此,我們仍然執著于這種不切實際的幻想,認為同行評審總能確保論文質量。”
2013 年發生的“誰害怕同行評審?”[6]事件揭示出同行評審體系的脆弱性。事件的起因是:科學記者約翰·伯南(John Bohannon)炮制了一篇胡編亂造的論文(他將其形容為“科學版的填空游戲”),并向各類期刊投稿,結果顯示, 255家“付費出版”的開放獲取期刊中竟有 157 家接受了這篇論文,接受率高達 60%。
“撤稿觀察”網站還發現了一個令人擔憂的新趨勢[7]:有越來越多論文的部分內容甚至全文實際上是由 ChatGPT 等AI工具撰寫和審閱。許多已發表的論文無意中保留了AI生成短語,比如“重新生成回復”(regenerate response),這說明一些作者和審稿人在復制粘貼AI文本時,忘記及時刪除這些痕跡。
圖源:FirstPrinciples
奧蘭斯基指出,這些現象僅僅是困擾同行評審的表象,背后其實隱藏著更深層的問題。而這個問題的產生,源于對排名的盲目追求。
“人人都想排名第一。無論是期刊、大學、研究人員還是政府,無不如此。要想排名靠前,真正需要的就是論文引用量。而要想論文被引用,你就必須先發表。”
“不發表就出局”已不再只是年輕學者追求終身教職的口頭禪,它已經演變為一個日益殘酷、由利潤驅動的行業現實。”
奧蘭斯基與共同作者在醫學雜志BMJ中寫道[8]:“一些人正在以愈發巧妙的方式操控論文引用。比如,有的作者和編輯會組成“引用聯盟”,相互引用對方的論文,虛增引用量;有的公司搶注失效域名冒充正規期刊,欺騙不知情的學者;而有的學者則深諳其中門道,利用這一漏洞為自己的論文增加引用。”
甚至還有“引用中介”存在,購買者可以付費將自己的名字列入科學論文的作者名單,即便他們實際上與這項研究毫無關系。
盡管揭露出這些令人震驚的內幕,但奧蘭斯基依然相信同行評審的價值,并希望通過多種方式完善這一機制,包括:賦予監管機構“更多實權”來預防和懲罰濫用行為;取消“付費出版”模式;鼓勵期刊公開同行評審過程,從而提升透明度;不再以引用數衡量學術排名。
整個同行評審過程同樣需要其所倡導的公正審查和建設性批評。
奧蘭斯基總結道:“科學依然是推動知識進步、揭示真理的最佳方式,科學方法可以說是人類最偉大的發明。但我們也要清醒地認識到,科學家也是人,也會犯錯。我們不妨將同行評審看作一個雖有缺陷、卻依然管用的“過濾器”。
參考資料
[1]https://retractionwatch.com/
[2]https://www.nature.com/articles/d41586-023-03974-8
[3]https://www.washingtonpost.com/opinions/2024/06/11/scientific-journals-retractions-paper-mills/
[4]https://www.insidehighered.com/news/2022/06/13/peer-review-crisis-creates-problems-journals-and-scholars
[5]https://theconversation.com/peer-review-isnt-perfect-i-know-because-i-teach-others-how-to-do-it-and-ive-seen-firsthand-how-it-comes-up-short-222445
[6]https://www.science.org/doi/10.1126/science.342.6154.60
[7]https://retractionwatch.com/papers-and-peer-reviews-with-evidence-of-chatgpt-writing/
[8]https://www.bmj.com/content/382/bmj.p1887
本文經授權翻譯自FirstPrinciples,原文地址:
https://www.firstprinciples.org/article/is-peer-review-failing-its-peer-review
特 別 提 示
1. 進入『返樸』微信公眾號底部菜單“精品專欄“,可查閱不同主題系列科普文章。
2. 『返樸』提供按月檢索文章功能。關注公眾號,回復四位數組成的年份+月份,如“1903”,可獲取2019年3月的文章索引,以此類推。
版權說明:歡迎個人轉發,任何形式的媒體或機構未經授權,不得轉載和摘編。轉載授權請在「返樸」微信公眾號內聯系后臺。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.