新智元報道

　　編輯：桃子

　　【新智元導讀】AI兩天爆肝12年研究，精準吊打人類！多大、哈佛MIT等17家機構聯手放大招，基于GPT-4.1和o3-mini，篩選文獻提取數據，效率飆3000倍重塑AI科研工作流。

　　多倫多大學、哈佛MIT等機構聯手AI，短短2天內，竟干完了科學家12年的活！

　　研究一出，在全網掀起了巨震。

　　沃頓商學院CS教授Ethan Mollick大受震撼，「AI綜述論文體量越來越大，而準確性超越了人類」。

　　17家研究機構同著一篇論文，他們目標直指，借助GPT-4.1和o3-mini自動化系統綜述。

　　為此，研究人員設計了otto-SR平臺，并在2天內，完成了為期12年的系統綜述研究。

　　論文地址：https://www.medrxiv.org/content/10.1101/2025.06.13.25329541v1.full.pdf

　　結果顯示，otto-SR在所有任務中，比如篩查靈敏度、提取、篩選特異度方面，能夠媲美甚至超越人類。

　　在一項具體的測試中，復現并更新一期完整的Cochrane系統綜述，包含了12篇為臨床指南提供依據的綜述。

　　令人驚嘆的是，otto-SR識別出的相關研究數量（114篇），是原始綜述（64篇）的2倍之多。

　　這套AI工作流，讓系統綜述速度飆升3000倍。

　　這一速度與傳統人工流程相比，堪稱革命性突破。

　　otto-SR證實了LLM能以更高準確率，自主執行復雜的科研任務。未來，有望通過快速、可靠的系統綜述，為循證醫學帶來革命性變革。

　　人類免疫學家Derya Unutmaz教授認為，這是一個非常了不起的成就。

　　AI取得如此驚艷的成果，究竟是如何做到的？

　　AI全新工作流：

　　GPT-4.1篩選，o3-mini提取

　　在循證醫學領域，系統綜述（Systematic Reviews）是科學決策的基石。

　　一般來說，傳統的系統綜述的完成，往往需要耗費16個月，超10萬美金的成本。

　　更重要的是，系統綜述的延誤，可能導致低效甚至有害療法長期被使用，對患者來說是一場災難。

　　全新otto-SR是一套基于大模型的「端到端」創新工作流。

　　如下圖1所示，不論是「全自動」，還是「人機協同」，兩種綜述綜述模式均支持。

　　以下是otto-SR的核心模塊：

　　1 文獻篩選智能體

　　GPT-4.1作為獨立評審員，執行摘要和全文篩選。原始檢索獲得的文獻以RIS格式上傳，系統即可高效處理。

　　2 數據提取智能體

　　由o3-mini-high執行數據提取任務，快速從文獻中提取關鍵變量。

　　3 PDF處理

　　通過Gemini 2.0 flash將PDF文件轉換為結構化Markdown格式，便于后續分析。

　　摘要+全文篩選，趕超人類

　　在摘要篩選階段，otto-SR篩選智能體表現優異。

　　其加權靈敏度高達96.6%（區間94.1-100.0%），顯著優于Elicit（88.5%）和雙人評審組（87.3%）。

　　在特異度方面，雙人評審組以95.7%位居榜首，otto-SR篩選智能體（93.9%）緊隨其后，優于Elicit（84.2%）。

　　這表明otto-SR在最大化捕獲相關文獻（真陽性）的能力上遠超傳統方法，同時保持了較高的篩選準確性。

　　在全文篩選階段，otto-SR篩選智能體繼續保持領先，靈敏度達96.2%（區間92.3-100.0%），而雙人評審組的靈敏度顯著下降至63.3%。

　　在特異度方面，otto-SR（96.9%）與雙人評審組（98.1%）均表現優異，而Elicit因不支持全文篩選未參與比較。

　　綜合表明，otto-SR在保持高特異度（最小化誤納）的同時，能夠捕獲更多相關研究（真陽性），相較于傳統雙人評審和商Elicit展現了顯著優勢。

　　數據提取，刷爆準確率

　　在七項系統綜述中，otto-SR數據提取智能體的平均加權準確率高達93.1%（區間91.1-97.0%），顯著優于雙人評審組（79.7%[69.1-91.0%]）和Elicit（74.8%[58.8-83.1%]）。

　　在otto-SR提取智能體的6.9%誤差案例中，事后分析揭示了主要原因：

　　· 0.83%（39/4459）因模型無法獲取補充文件或需申請的數據；

　　· 0.67%（30/4459）源于解析錯誤；

　　· 0.49%（22/4459）屬于otto-SR與原作者均不準確的情況。

　　這些發現為未來的優化提供了明確方向，例如改進對補充文件的處理能力和解析準確性。

　　短短2天，AI爆肝12年工作

　　既然GPT-4.1+o3-mini在性能評估中刷新SOTA，那么在實際挑戰任務中，表現又如何呢？

　　為了驗證實用價值，作者對「Cochrane系統綜述數據庫」的12篇系統綜述，共146,276篇文獻，進行了復現與更新測試。

　　otto-SR智能工作流

　　otto-SR聚焦每篇綜述的主要結局（Primary Outcome），讓入選標準更清晰。

　　篩選智能體準確識別了全部64項納入研究；數據提取智能體按Cochrane原始變量定義提取主要結局數據，程序化剔除了缺失主要結局值、重復研究或無干預-對照組的記錄。

　　結果顯示，otto-SR錯誤排除研究的中位數為0篇（IQR 0-0.25）。

　　值得一提的是，在限定原始檢索截止日期的分析中，otto-SR意外發現了54篇可能被原綜述遺漏的合格研究。

　　人工復核確認其中10篇為假陽性，但9篇可能通過作者溝通獲取相關數據。

　　進一步更新檢索至2025年5月8日，otto-SR又發現了14篇新合格研究，其中僅2篇假陽性，1篇可能含相關數據。

　　另外，在營養學綜述中，otto-SR發現了5項新增研究。這一發現展示了otto-SR挖掘新證據、優化結論的能力。

　　作者介紹

　　Christian Cao

　　Christian Cao目前是多倫多大學醫學院在讀博士。

　　目前其研究方向聚焦于開發人工智能模型，致力于預測可避免的住院事件及糖尿病相關并發癥。

　　Rohit Arora

　　Rohit Arora目前是哈佛大學生物信息學一年級博士生。

　　他專注于人工智能在科學研究中的應用，研究方向集中于藥物發現與蛋白質設計。

　　參考資料：

　　https://x.com/emollick/status/1933704272601911536

　　https://www.medrxiv.org/content/10.1101/2025.06.13.25329541v1

　　https://www.reddit.com/r/singularity/comments/1lb6lel/llm_combo_gpt41_o3minihigh_gemini_20_flash/

　　https://x.com/ChristianCao11/status/1933201859470053592