關于大型推理模型LRMs（o3-mini、DeepSeek-R1、 Claude-3.7- Sonnet），蘋果公司發表了一篇研究發現盡管這些模型具備復雜的自我反思機制，但在問題復雜性超過一定閾值后，其推理能力會完全崩潰，這揭示了當前LRMs在發展可泛化推理能力上的根本局限性。

《思考的幻覺：通過問題復雜性的視角理解推理模型的優勢與局限》

Apple研究人員設計了一個可控的實驗測試平臺，利用算法謎題環境來評估LRMs的推理能力。這些謎題環境允許精確控制問題復雜性，同時避免了現有基準中的數據污染問題。

四種謎題環境的示意圖。各列展示了謎題從初始狀態（頂部）經過中間狀態（中部）到目標狀態（底部）的演變過程，包括：漢諾塔（圓盤在柱子間的轉移）、跳棋（彩色棋子的位置互換）、過河問題（將實體運過河）以及積木世界（堆疊重構）。

通過調整問題規模N（如圓盤數量、棋子數量等）來控制問題復雜性，并生成25個樣本以報告每個模型的平均性能。

1、三種復雜性模式

• 低復雜性任務：標準LLMs的表現優于LRMs，推理模型在token效率上不如標準模型。

• 中等復雜性任務：LRMs開始展現出優勢，能夠生成更長的思考鏈，從而提高性能。

• 高復雜性任務：兩種模型的性能都完全崩潰。盡管LRMs在一定程度上延遲了性能崩潰，但最終仍無法避免。

2、推理模型的性能崩潰

• 性能崩潰：隨著問題復雜性的增加，所有推理模型的準確率逐漸下降，直到在特定復雜性閾值后完全崩潰。

• 推理努力的反直覺下降：在接近崩潰點時，盡管問題復雜性增加，模型的推理努力（以推理時的token數衡量）卻開始下降，這表明LRMs在面對高復雜性問題時存在根本的推理能力限制。

通過提取和分析模型的中間解決方案，研究了推理痕跡中的模式和特征。

左下角和中間：在低復雜性情況下，非思考模型更準確且token效率更高。隨著復雜性的增加，推理模型表現更好，但需要更多的token。右下角：對于正確解決的情況，Claude 3.7 Thinking在低復雜性時傾向于早期找到答案，而在高復雜性時則更晚找到答案。在失敗的情況下，它通常會專注于一個早期的錯誤答案，浪費剩余的token預算。這兩種情況都揭示了推理過程中的低效性。

復雜性依賴的推理模式：

• 在簡單問題中，推理模型通常能早期找到正確解決方案，但會繼續探索錯誤的替代方案（“過度思考”現象）。

• 在中等復雜性問題中，模型在探索了大量錯誤路徑后才找到正確解決方案。

• 在高復雜性問題中，模型完全無法找到正確解決方案。

• 精確計算的局限性：（a）和（b）即使在提供了明確的解決方案算法的情況下，推理模型在執行邏輯步驟時仍表現出局限性，這表明它們在驗證和執行邏輯步驟方面存在根本問題。

• 不同謎題類型的行為差異：(c)和（d）例如，Claude 3.7 Sonnet模型在漢諾塔問題中可以執行多達100步的正確移動，但在過河問題中卻只能執行4步正確的移動，這可能表明模型在訓練過程中對某些問題類型的接觸較少。

https://ml-site.cdn-apple.com/papers/the-illusion-of-thinking.pdfhttps://arxiv.org/pdf/2502.02533