機器之心報道

編輯：陳陳、+0

當前 LLM 與人類大師級水平之間仍存在顯著差距。

近年來，LLMs（如 GPT-4、Claude、Gemini 等）在代碼生成領域取得了顯著進展。它們不僅在經典編程基準（如 HumanEval）中表現出色，甚至在某些測試中超越了人類平均水平。這促使許多研究者開始宣稱：LLM 已經勝過人類程序員，尤其是在競賽編程領域。

更進一步的，在結合了外部工具之后，一些模型（如 o3 和 o4-mini-high）甚至在 Codeforces 平臺上獲得了超過 2700 的 Elo 評分 —— 這個分數已躋身參賽者前 0.1%。

然而，這些簡單的量化評估，真的能體現模型解決復雜問題的能力嗎？我們不妨先問幾個問題：LLMs 真的具備與頂級人類選手相當的推理能力嗎？模型的高分究竟有多少來自真實的推理能力，又有多少是依賴外部工具的結果？

為了解答上述問題，來自紐約大學、普林斯頓大學等 8 家機構的研究者提出了 LiveCodeBench Pro，這是一個極具挑戰性的競技編程基準測試。

值得一提的是，這項研究有多位參加過國際算法競賽。例如，作者之一、紐約大學本科生 Zihan Zheng 曾代表學校參加 ICPC 世界總決賽。

LiveCodeBench Pro 收錄了 584 道截至 2025 年 4 月 25 日的高質量題目，這些題目均來自 Codeforces 、ICPC 系列賽和 IOI 系列賽等頂級賽事。并且這些問題會不斷更新以降低可能的數據污染。

此外，所有題目均由奧賽獎牌選手進行算法類別標注，并對模型生成的失敗提交逐行分析。

• 論文標題： LiveCodeBench Pro: How Do Olympiad Medalists Judge LLMs in Competitive Programming?
• 論文地址：https://arxiv.org/pdf/2506.11928
• 項目主頁：https://livecodebenchpro.com/
• GitHub：https://github.com/GavinZhengOI/LiveCodeBench-Pro

本文在 LiveCodeBench Pro 上評估了一系列前沿大模型，包括 Gemini 2.5 Pro、o4-mini-high 和 DeepSeek R1 等。

基于這套數據和評測框架，本文發現當前前沿模型依然存在顯著不足：在沒有外部工具支持的情況下，表現最好的模型在中等難度題上的 pass@1 僅為 53%，在高難度題上則完全無法通過（0%），而這些正是人類專家仍能穩定發揮的領域。

LiveCodeBench Pro 排行榜

此外，本文還發現，LLMs 在以實現（implementation-heavy）為主的問題上表現良好，但在處理復雜的算法推理和邊界情況分析時表現欠佳，甚至常常生成自信而錯誤的解釋。模型的高分更多是依賴于輔助工具的加持，而非真正的推理能力。

LiveCodeBench Pro 的出現揭示了當前 LLM 與人類大師級水平之間仍存在顯著差距。

分析與討論

在不同算法范式上的表現

發現 1.大語言模型在知識密集型和邏輯密集型問題上表現更佳，而在觀察密集型問題或分類討論（case work）上表現較差。

文中展示了 6 個模型在各類編程問題中的表現。研究發現，人類在不同問題標簽上的表現更為一致，而模型的評分則因標簽不同而顯示出更大的差異。主要發現總結如下：

知識密集型問題是大語言模型的舒適區。帶有如線段樹、圖論、樹和數據結構等標簽的問題，在大多數模型上都表現出很高的性能。這些問題通常可以通過拼接眾所周知的模板（例如，樹狀數組、迪杰斯特拉算法、歐拉路徑）來解決。這正是大語言模型的優勢所在，因為所需的模式會以字面形式出現在其訓練數據中，并且生成語法正確的模板對于大語言模型來說比對人類容易得多。

邏輯密集型問題也取得了同樣好的結果。大語言模型在邏輯密集型類別中也表現出色，例如組合數學、數學、動態規劃和二分搜索。這些類別需要更有模式的思維方式（例如，在組合數學中應用組合恒等式，在動態規劃中構建狀態空間并推導轉移函數），并且可以從記憶化的腳手架代碼中受益。

在觀察密集型問題上表現不佳。對于博弈論、特定問題特定分析（ad-hoc）、貪心算法和構造性問題，大多數模型的評分驟降至 1500 以下，明顯低于其在知識密集型和邏輯密集型類別中的表現。解決這些問題通常取決于發現新穎的見解，而這是無法僅靠記憶化的代碼片段來獲得的。

大語言模型在分類討論上遇到困難。有趣的是，所有模型都在分類討論上表現不佳。除了 o4-mini-high 之外，每個模型的評分都低于 1500 分，即便是 o4-mini-high，其表現在此類別中也遠遜于其他問題類別。人工檢查顯示，無法識別和處理邊界情況是所有模型的一個突出失敗模式。

交互式問題暴露了模型的顯著弱點。在交互式問題上，o4-mini-high 的評分驟降至 1500 左右，其他模型也表現掙扎。論文附錄中討論了這種糟糕表現背后的可能原因，并指出了 o3-mini-high 在解決交互式問題時出現的異常行為。

失敗原因診斷及與人類的比較

發現 2.o3-mini 在算法邏輯錯誤和錯誤觀察方面比人類多得多，但在實現邏輯錯誤方面則少得多。

研究人員專門使用可讀性最佳的模型 o3-mini 進行標注和深入分析，并在圖 3 的樹狀圖中展示了結果。

概念性錯誤是模型失敗的主要原因。「思路錯誤」分支內最大的紅色區塊顯示，在 125 個標注問題中，o3-mini 比人類參賽者多犯了 34 個算法邏輯錯誤。這些是真正的概念性失誤，而非表面的程序錯誤。

實現是模型的強項。與底層編碼相關的指標通常對 o3-mini 有利。例如，在 125 個標注問題中，o3-mini 比人類少犯了 25 個實現邏輯錯誤。值得注意的是，所有觀察到的初始化錯誤和輸入輸出格式錯誤都出現在人類提交的代碼中。評測結果細分也證實了這一點：o3-mini 幾乎沒有出現「運行時錯誤」，突顯了其在實現層面相對不易出錯。

一個顯著的例外 —— 空閑時間超限。「評測結果」下的一個深紅色矩形顯示「空閑時間超限」的判罰激增。這源于 o3-mini 在交互式問題上的奇特行為，其大多數提交都被判為「空閑時間超限」。

在示例輸入上失敗。樹狀圖突出顯示，在「示例失敗」類別中，o3-mini 的實例數多出了 45 個，這些情況下解決方案能夠編譯，但在問題的示例輸入上就已經失敗。與人類不同，o3-mini 無法在提交前在本地編譯或運行示例輸入。擁有終端和工具調用能力（例如 o3 和 o4-mini-high）的模型，預計會少犯很多這類容易發現的錯誤。

總而言之，該分析表明，大語言模型的代碼在語法上通常更可靠，但在構建正確算法或從問題中提取正確觀察所需的高層次推理方面存在困難。雖然正式標注僅涵蓋了 o3-mini 的提交，但初步的人工檢查表明，大多數現有的大語言模型都存在相同的錯誤模式。

多次嘗試（Pass@k）對模型性能的影響

發現 3.增加嘗試次數（pass@k）能顯著提升模型性能，但在高難度問題上仍然會失敗。

OpenAI 報告稱，具備終端訪問權限和 pass@k 的 o4-mini 在 Codeforces 上的 Elo 評分為 2719，這與對 o4-mini-high 的評估（無終端訪問權限，pass@1）所獲得的 2116 分形成對比。這種差異促使研究人員去研究終端訪問和工具調用的性能影響，以及允許多次嘗試（pass@k）的效果。

如圖 4 所示，隨著 k 值的增加，模型的評分顯著提高。例如，o4-mini-medium 的評分從 pass@1 時的 1793 分上升，并在 k 增加到 10 時收斂至 2334 分。o4-mini-low 和 o4-mini-high 也觀察到類似的上升趨勢。雖然多次嘗試帶來的這些增益是顯著的，但收斂后的評分仍然比報告的 2719 分低了大約 400 分。因此，可以推測，剩余的差距主要歸因于工具調用和終端訪問帶來的好處。

如圖 5 所示，可以觀察到在改進最大的五個類別中，有三個 —— 博弈論、貪心算法和分類討論 —— 屬于觀察密集型問題，通常可以通過假設結論來解決。更高頻率地進行有根據的猜測，會大大增加正確解決這些問題的概率。

推理模型與其非推理對應模型的比較

發現 4:推理能力在組合數學中帶來最大提升，在知識密集型類別中提升較大，而在觀察密集型類別中提升相對較小。

研究人員考察了在大語言模型中啟用推理能力對每個問題標簽的影響。具體來說，他們直接比較推理模型及其非推理對應模型，以便控制模型架構、訓練數據和其他外部因素的變化，從而分離出推理的真正效果。

這種分離對于展示額外的思維鏈或測試時擴展方法對模型在各問題標簽上的解決問題能力的真實影響至關重要。研究特別選擇比較 DeepSeek V3 與 R1，以及 Claude 3.7 Sonnet 的非思考（Non-thinking）與思考（Thinking）版本，如圖 6 所示，這是兩款主流前沿模型，均有非推理版本和推理對應版本。

主要發現總結如下：

在組合數學中提升最大：兩個模型都在組合數學中顯示出最大提升，其中 DeepSeek-R1 的評分比 V3 高出近 1400 分。

在知識密集型類別中提升較大：對于數據結構和線段樹等知識密集型問題，啟用推理也帶來了較大提升（例如，在 DeepSeek 上，線段樹問題的評分提升了約 700 分；在 Claude 上，數據結構問題的評分提升了約 500 分）。這是符合預期的，因為這些類別中的問題通常涉及結構化思維。

在觀察密集型類別中提升有限：有趣的是，對于博弈論、貪心算法、特定問題特定分析和構造性問題 —— 這些通常需要大量觀察且大語言模型經常遇到困難的領域，即使啟用推理也只帶來微乎其微的提升（例如，對于 DeepSeek，在博弈論上的提升幾乎是最低的；而對于 Claude，則是負提升）。這就提出了一個問題：當前的思維鏈方法對于這些類型的問題是否存在固有的局限性？或者是否存在一個涌現閾值 —— 即推理能力發展到某個點后，最終可能會在這些領域解鎖顯著的性能增益。