在人工智能（AI）飛速發展的今天，如何評估AI系統的能力成為一個核心問題。傳統的測試指標，如MMLU、Codeforces或MATH-500，雖然在各自領域內提供了有價值的洞見，但往往局限于單一技能或標準化任務。

昨天，OpenAI推出了PaperBench，一個全新的基準測試工具，旨在系統性地測量AI代理（AI agents）復制尖端人工智能研究的能力。這一工具不僅填補了現有評估體系的空白，還為AI如何從“工具”進化到“研究伙伴”提供了重要參考。

想象一下，你讓AI去讀一篇超級難的科研論文，然后不僅要看懂，還要寫代碼，把論文里的實驗再做一遍。這聽起來是不是有點像科幻電影？但OpenAI就真的搞了這樣的東西，想看看AI到底能不能當個“科學家”。這玩意兒挺特別的，咱們一起來聊聊它是什么、干嘛用的，還有它跟別的AI測試有啥不一樣。

PaperBench 是什么？

簡單說，PaperBench就是OpenAI弄的一個“考試”，專門考AI能不能復制頂尖AI研究的成果。他們挑了2024年國際機器學習大會（ICML 2024）里20篇最牛的論文，讓AI去干三件事：讀懂論文、寫代碼、做實驗，把論文里的結果再現出來。這些論文可不是隨便找的，都是AI領域的尖端貨，涵蓋了前沿算法、模型設計和實驗驗證，難度爆表。

圖：智能體（Agent）必須復制頂級 ICML 2024 論文，包括理解論文、編寫代碼和執行實驗。

為了公平，OpenAI跟論文作者一起定了超詳細的評分規則，總共有八千多個小要求，用AI自己來打分。

他們測試了一堆頂尖模型，結果呢？最好的Claude 3.5 Sonnet（新版）拿了21%的“復制分”，而GPT-4o和Gemini 2.0 Flash才4.1%和3.2%，差距挺大。更逗的是，他們還找了幾個機器學習博士生來試試，結果人類48小時能拿41.4%，AI還差得遠呢。

圖：使用 BasicAgent（我們的主要設置）的模型的平均復制分數（以百分比表示）。誤差為平均值的一個標準誤差。

這里比較有意思的是，OpenAI 用自己的工具測試自己的產品，發現它遠不如競爭對手，不過他們倒是大方的展現出來了。

它有啥特別的？

AI的基準測試多得讓人眼花繚亂，MMLU考知識、Codeforces考編程、LiveBench考實時反應，個個有自己的地盤。PaperBench呢？它不挑單項，直接問：“你能不能當個研究員？”別的測試像單科考試，PaperBench是“畢業大考”，還得自己找答案那種。

圖：令人眼花繚亂的各種 Benchmark

比如，MATH-500是數學題，LiveCodeBench是寫代碼，PaperBench是“讀論文+寫代碼+做實驗”，難度直接拉滿。而且它用的是真論文，不是假題目，感覺就像讓AI去“實習”了一把。

另外一方面要說的事，別的測試比如MMLU是選擇題，Codeforces是編程比賽，題目都是提前設計好的，答案也固定。PaperBench直接拿真論文開刀，AI得自己琢磨怎么弄，跟科學家干活差不多。

如前所述，它不是光考你會不會寫代碼，或者會不會算數學，而是從頭到尾：讀懂、寫代碼、跑實驗，一個都不能少。別的測試像SWE-Bench只管編程，MATH-500只管數學，PaperBench是“全套大餐”。

OpenAI還拉了博士生來比拼，直接告訴你AI跟人差多少。這種“人對人”的感覺，比光看分數有意思多了。

最后說兩句

PaperBench不只是個測試，它簡直是AI的“科學家試煉場”。現在AI還差點意思，但OpenAI把這東西扔出來給大家玩，就像在說：“來吧，一起把AI調教成科研小能手！”想象一下，未來AI不僅會聊天、寫代碼，還能幫人類破解宇宙奧秘，那可不是喝著咖啡看熱鬧，而是直接跟AI一起干大事。你說，這事兒是不是值得期待？

? AI范兒

要進“交流群”，請關注公眾號獲取進群方式

投稿、需求合作或報道請添加公眾號獲取聯系方式

Qwen 真的超越了 DeepSeek 嗎？那些眼花繚亂的大模型指標到底是什么意思？

ChatGPT 4.5 在圖靈測試中超過了人類！

點這里關注我，記得標星哦～