始智AI wisemodel.cn開源社區

始智AI wisemodel.cn社區是源自中國的中立開放的AI開源社區。正在，歡迎加入共同成長。wisemodel社區上線，H800/H20等資源上線，價格實惠，靈活方便，支持在線微調訓練模型，及和，并。

在追求人工智能極限的道路上，"更大即更強" 似乎已成為共識。特別是在數學推理這一被視為 AI 終極挑戰的領域，業界普遍認為需要海量數據和復雜的強化學習才能獲得突破。

然而，上海交通大學研究團隊提出LIMO（Less Is More for Reasoning）的創新策略：僅需 817 條精心設計的樣本，就能讓模型在數學競賽級別的題目上超越當前許多最先進模型。

他們放棄大規模數據的堆疊，專注樣本的精心篩選與引導。這種新路徑顛覆AI訓練常規思路，試圖告知我們：AI發展進程中，精準方向比海量數據更關鍵。LIMO 模型已經上線始智AI-wisemodel開源社區，歡迎使用。

模型地址

https://wisemodel.cn/models/BLeaves/LIMO

01.

從規模競賽到范式創新

繼 OpenAI 推出 o1 系列、打響推理能力競賽的第一槍后，DeepSeek-R1 以驚人的數學推理能力震撼業界，引發全球復現狂潮。各大公司和研究機構紛紛遵循同一范式：用更龐大的數據集，結合更復雜的強化學習（RL）算法，試圖 “教會” 模型如何推理。

如果把經過充分預訓練的大語言模型比作一名天賦異稟的學生，那么主流的 RL Scaling 方法就像是不停地訓練、獎懲這位學生，直到他能解出各種復雜數學題。

這一策略無疑帶來了顯著成效 —— 從 Claude 到 GPT-4，從 o1-preview 到 DeepSeek-R1，每一次性能躍升的背后，都是訓練數據規模的指數級增長和強化學習算法的持續優化。

然而，在這場看似無休止的數據競賽中，上海交通大學的研究團隊卻提出了一個發人深省的問題：

如果這位 “學生” 在預訓練階段已掌握了所有必要的知識，我們真的需要龐大數據集來重新訓練他嗎？還是只需精妙的引導，就能激活他的潛在能力？

他們的最新研究 LIMO 給出了令人震撼的答案：僅用 817 條精心設計的訓練樣本，借助簡單的監督微調，LIMO 就全面超越了使用十萬量級數據訓練的主流模型，包括 o1-preview 和 QwQ 等頂級選手。

這一 “少即是多” 的現象，不僅挑戰了 “更大數據 = 更強推理” 的傳統認知，更揭示了一個可能被忽視的事實：在 AI 推理能力的突破中，方向可能比力量更重要。

實驗結果無可辯駁地印證了這一點。在競賽級別的美國數學競賽邀請賽（AIME） 測試中，相比傳統方法（以 Numina-Math 為例），LIMO 的準確率從 6.5% 飆升至 57.1%。

更令人驚訝的是 LIMO 的泛化能力：在 10 個不同的基準測試上，它實現了40.5% 的絕對性能提升，超越了使用 100 倍數據訓練的模型。這一突破直接挑戰了 “監督式微調主要導致記憶而非泛化” 的傳統觀點，證明了高質量、小規模的數據，遠比低效的海量訓練更能激發 LLM 的真正推理能力。

相比使用 10 萬條數據的 NuminaMath，LIMO 在使用不到 1% 的數據就取得了顯著的進步，并在各種數學和多學科基準測試中表現出色。

02.

從對齊到推理的跨越

自 2023 年 LIMA（Less Is More for Alignment）提出以來，業界逐漸意識到，在對齊（alignment）任務上，“少即是多” 并非一句空話。LIMA 僅用 1000 條高質量數據，就讓大語言模型學會了如何生成符合人類偏好的對話。這個發現顛覆了 "模型訓練需要海量數據" 的傳統認知。

然而，將這一理念擴展到數學推理領域卻面臨著獨特的挑戰。與簡單的對話格式不同，數學推理被認為是一項需要大量練習和訓練才能掌握的復雜認知技能。這就像是教一個學生解題：教會他用禮貌的語氣說話，和教會他解決復雜的數學問題，難度顯然不可同日而語。因此，一個關鍵問題是：少即是多（Less is More）原則能否適用于推理？

LIMO 的研究給出了肯定的答案，并揭示了實現這一突破的兩個核心前提：

• 第一，知識基礎革命（Knowledge Foundation Revolution）。近年來，大模型在預訓練階段已納入海量數學知識。例如，比起全領域訓練數據只有 1.8T 的 Llama2，Llama 3 僅在數學推理上的訓練數據就高達 3.7 萬億 token，這意味著現代 LLM 早已 “知道” 大量數學知識，關鍵是如何 “喚醒” 它們。

• 第二，推理計算革命（Inference-time Computation Scaling Revolution）。最新研究表明，推理鏈（chain-of-thought, CoT）的長度，與模型的推理能力密切相關。與其在訓練階段硬灌大規模監督數據，不如在推理階段提供更優質的問題和示范，讓模型自主展開深入思考。

基于這兩點，LIMO 團隊提出了一個全新的理論視角：大模型的推理能力本質上是 "潛伏" 的而非 "缺失" 的。傳統的 RL Scaling 方法在嘗試 "訓練" 模型獲得新能力，而 LIMO 則專注于如何有效地 "激活" 模型本就具備的能力。正是建立在這兩大基礎之上，研究人員提出了 LIMO 假說：

在知識基礎已足夠完善的情況下，僅需少量高質量示例，就能通過推理鏈激活模型的潛在推理能力，而無需海量數據。

如果模型在預訓練階段已經獲得了豐富的數學知識，那么我們或許只需要用少量但精心設計的例子，來 "喚醒" 這些沉睡的能力。這就像是在教導一個已經掌握了所有必要知識，卻不知如何有效運用這些知識的學生。

LIMA vs LIMO: “少即是多” 現象的比較分析

LIMO vs. RL Scaling：兩種推理范式的碰撞

強化學習擴展（RL Scaling）：以 OpenAI 的 o1 系列和 DeepSeek-R1 為例，RL Scaling 方法通常試圖通過大規模的強化學習訓練來增強模型的推理能力。這種方法通常依賴于海量數據及復雜的算法，雖然在某些任務上取得了顯著成效，但亦有局限：它將推理能力的提升視為一個需要大量計算資源的“搜索”過程。

LIMO（Less Is More for Reasoning）的新視角：提出了一個不同的理論框架，認為推理能力潛藏于預訓練模型中，關鍵在于如何通過精確的認知模板來激發這些內在能力。這一轉變將研究重點從“訓練新能力”轉向“激活潛在能力”，強調了方向的重要性。

LIMO 的核心假設是，在知識基礎已經足夠完善的情況下，利用少量高質量的示例就能夠激活模型的潛在推理能力。這一理論不僅重新定義了 RL Scaling 的位置，將其視為尋找最優推理軌跡的一種手段，更為整個領域的研究提供了新的思考框架。

研究意義：提供更加本質的視角

在當下，以 DeepSeek-R1 為代表的 RL Scaling 方法逐漸成為主流，LIMO 研究的意義則在于提供了一個更加本質的視角：大模型的推理能力本身是內在存在的，關鍵挑戰在于如何找到最優的激活路徑。

這一洞察不僅重新定義了 RL Scaling，將其視為尋找最優推理軌跡的一種實現方式，更重要的是，它引領了一種全新的研究范式——從“訓練新能力”轉向“激活潛在能力”。這一轉變不僅加深了我們對大模型推理能力的理解，也為更高效的能力激活方法提供了明確的方向。

LIMO 和 RL Scaling 的對比，揭示了推理能力提升的不同路徑與思路。LIMO 提供了更為根本的理解，指明了未來研究的方向：不再是無止境的數據堆砌，而是更加關注如何有效激活模型本就具備的能力。

LIMO 和 RL Scaling 方式的比較分析

實驗驗證：顛覆性的結果

LIMO 的理論得到了實驗結果的強力支持。僅憑 817 條數據，LIMO 就超越了主流的 OpenAI-o1-preview 和 QwQ 等模型。它的性能相較于自身的基座模型 (Qwen2.5-32B-Instruct) 有顯著的提升，更是擊敗了采用數十萬數據的 OpenThoughts 和 Numina Math。

在傳統評測任務上，LIMO 取得了突破性表現。在數學競賽級別的 AIME24 測試中，LIMO 贏得了 57.1% 的準確率，遠超 QwQ 的 50.0% 和 o1-preview 的 44.6%。

在 MATH500 測試中，LIMO 更是達到了 94.8% 的驚人成績，顯著超越了 QwQ（89.8%）和 o1-preview（85.5%）。這些數據清晰地表明，少量但精心設計的訓練數據，確實能帶來超越傳統方法的性能提升。

在各類跨域測試中，LIMO 的泛化能力同樣表現出色。在奧林匹克數學測試（OlympiadBench）上，LIMO 達到了 66.8% 的準確率，遠超 QwQ 的 58.5%；盡管 LIMO 數據集中不包含任何中文數據，在中國高考數學（Gaokao）測試中，它也取得了 81.0% 的成績，領先于 QwQ 的 80.1%。

這種廣泛的適用性讓我們發現，LIMO 不是簡單地記憶了訓練數據，而是真正掌握了數學推理的本質。

總體而言，LIMO 在所有測試中的平均準確率達到了 72.8%，大幅領先于 o1-preview（61.1%）和 QwQ（66.9%）。

這個結果不僅證實了 "Less is More" 假說的正確性，更為整個行業指明了一個全新的發展方向：也許我們不需要無止境地堆砌數據和算力，而是應該更多地思考如何激活模型本就具備的能力。

LIMO 和其他模型在多個基準測試上的性能比較

03.

數據的三重密碼

基于 LIMO 假設，我們構建了高質量的數據集，并通過實驗揭示了少量數據提升大模型推理能力的三大關鍵因素，即推理鏈質量、問題難度和預訓練知識。

推理鏈質量：細節決定成敗

想象一下，你在教一個學生解題。如果只是簡單告訴他答案，他可能永遠無法真正理解背后的邏輯。但如果你詳細解釋每一步的推理過程，甚至讓他自己驗證每一步的正確性，他就能逐漸掌握解題的精髓。LIMO 的研究發現，推理鏈的質量對大模型的推理能力有著決定性影響。

實驗表明，高質量推理鏈（L5）與低質量推理鏈（L1）之間的性能差距高達 15 個百分點。高質量推理鏈不僅邏輯清晰、步驟完整，還包含自我驗證環節，確保推理的正確性。

而低質量推理鏈往往只是簡單列舉步驟，缺乏詳細的邏輯推導。這表明，精心設計的推理鏈不僅能幫助模型更好地理解問題，還能提高其推理的準確性和泛化能力。

不同質量等級（1～5）推理鏈訓練得到的模型在 AIME24 和 MATH500 上的表現

問題難度：挑戰激發潛力

如果說推理鏈是解題的 “路線圖”，那么問題本身則是激發模型潛力的 “催化劑”。LIMO 的研究發現，更高難度的問題能夠顯著提升模型的推理能力。

研究人員創建了三個不同難度的問題集：Simple-500, Complex-500 和 Advanced-500，分別為他們構建高質量的推理鏈并訓練模型。

實驗表明，使用 Advanced-500（競賽級別問題）訓練的模型，在基準測試中的準確率比使用 Simple-500（簡單數學題）訓練的模型高出 16%。

這背后的邏輯在于，更復雜的問題需要更長的推理鏈和更深入的知識整合，從而迫使模型在推理過程中更充分地利用其預訓練知識。

這就像讓一個學生不斷挑戰更高難度的題目，他的解題能力也會隨之提升。因此，選擇更具挑戰性的訓練數據，可能是提升模型推理能力的有效策略。

不同難度問題集訓練后的模型在 AIME24 和 MATH500 上的表現

預訓練知識：基礎決定高度

最后，LIMO 的研究強調了預訓練知識的重要性。實驗對比了兩種架構相同但預訓練數據質量不同的模型，結果顯示，Qwen2.5-32B-Instruct（預訓練數據質量更高）在數學推理任務上的表現顯著優于 Qwen1.5-32B-Chat，AIME24 準確率提升了 47 個百分點。

這說明，模型的推理能力很大程度上依賴于其預訓練階段所掌握的知識。如果模型在預訓練階段已經接觸并理解了大量數學知識，那么只需要少量高質量示例，就能激活其推理能力。

反之，如果預訓練知識不足，即使使用大量數據進行微調，效果也可能有限。因此，提升預訓練數據的質量和多樣性，可能是未來提升模型推理能力的關鍵。

采用 LIMO 數據微調相同架構、不同預訓練數據的模型，二者性能區別顯著

04.

案例與定量分析

具體的案例分析中，LIMO 展現出了令人矚目的推理能力。圖中對比了 Qwen2.5-32B-Instruct、DeepSeek-R1 和 LIMO 生成的響應。

盡管 LIMO 僅使用了 817 個訓練樣本，但其表現與 DeepSeek-R1 不相上下，甚至在某些方面更為出色。LIMO 不僅能夠進行自我反思，還能在長鏈推理中保持高度準確性。

例如，LIMO 在驗證自己的陳述時表現出色：“等一下，24 分鐘是 0.4 小時？不對。60 分鐘是 1 小時，所以 24 分鐘是 24/60，也就是 0.4 小時。” 這種自我驗證和修正的能力，使得 LIMO 在復雜的數學推理任務中表現尤為突出。

相同問題下，不同模型的推理鏈和 LIMO 的比較

相比之下，Qwen2.5-32B-Instruct 在推理過程中表現出明顯的局限性，無法糾正不準確的陳述，并且在求解方程時未能進行交叉驗證。

這些結果不僅支持了 LIMO 假設，更表明通過少量高質量的訓練樣本，模型可以被賦予強大的推理能力。

在定量分析中我們發現：隨著訓練樣本質量的提高，模型生成的響應更長，行數更多，并且在推理過程中使用了更多的自我反思過渡詞（例如，“等一下”、“也許”、“因此”）。

這些高質量模型能夠分配額外的計算資源，進行更深入的思考，從而在復雜的數學問題中表現出色。

不同質量推理鏈的定量分析

05.

未來展望：少即是多的無限可能

盡管 LIMO 在極小數據量的情況下在數學推理方面取得了顯著成功，但未來的研究仍然充滿挑戰和機遇。

1、領域泛化

將 LIMO 假設擴展到更廣泛的推理領域是一個關鍵方向。雖然當前的研究主要集中在數學推理上，但高質量推理鏈的原則可能適用于科學推理、邏輯推理和因果推理。

理解這些原則如何跨領域轉移，可能揭示有效推理的通用模式。這一探索需要調整質量評估標準，并開發特定領域的評估框架，從而為機器推理的理論體系做出貢獻。

2、理論基礎

對 LIMO 成功的更深層次理論理解也至關重要。未來的研究應致力于形式化預訓練知識、推理時計算和推理能力之間的關系。

這包括研究有效推理所需的最小預訓練知識閾值，并開發數學模型以預測推理鏈質量與數量之間的最佳平衡。這些理論基礎可以指導更高效的訓練策略，并為機器推理的本質提供洞見。

3、自動化評估

開發自動化質量評估工具是另一個重要方向。目前對推理鏈質量的手動評估雖然有效，但耗時且難以擴展。

未來的工作應致力于創建能夠根據我們提出的指標自動評估和改進推理鏈質量的系統。這可能包括開發算法來自動增強現有推理鏈，并以最少的人工干預生成高質量推理鏈，從而使 LIMO 方法更具可擴展性和可訪問性。

4、多模態集成

跨模態推理為擴展 LIMO 原則提供了一個激動人心的前沿領域。由于現實世界中的推理通常涉及多種模態，研究視覺信息和結構化數據如何增強數學推理能力至關重要。

這一研究方向需要開發新的多模態推理鏈質量評估標準，并理解不同類型的信息如何有效集成到推理過程中。

5、實際影響

將 LIMO 原則應用于現實場景值得特別關注。未來的工作應致力于將這些方法應用于教育、科學研究和工業應用中的實際問題。

這包括為特定領域開發專門版本的 LIMO，并創建幫助人類專家生成高質量推理鏈的工具。這些應用可能顯著影響我們在各個領域中的問題解決方式。

6、認知科學橋梁

最后，整合認知科學的見解可以為改進提供有價值的方向。理解 LIMO 的推理模式與人類認知過程之間的相似性，可能有助于開發更有效的推理策略。

這包括研究不同推理方法如何影響模型的性能和泛化能力，并將認知科學原則融入推理鏈的設計中。這樣的研究不僅可以改進人工智能系統，還可以為人類推理過程提供洞見。

這些未來方向共同致力于加深我們對大語言模型中高效推理的理解，同時擴展其實際應用。通過探索這些路徑，我們可以朝著開發更復雜、高效且廣泛適用的推理系統邁進，以更好地服務于各個領域的人類需求。

LIMO 的研究不僅挑戰了 “更大即更強” 的傳統認知，更揭示了大模型推理能力的潛在機制。

通過少量高質量的訓練樣本，LIMO 成功激活了模型的潛藏能力，展示了 “少即是多” 的驚人效果。這一發現不僅為未來的研究指明了方向，更為我們理解大模型的能力本質提供了新的視角。

在未來，隨著 LIMO 假設的進一步驗證和擴展，我們有望看到更多高效、精準的推理系統在各個領域中得到廣泛應用。

這不僅將推動人工智能技術的發展，更將深刻影響我們解決復雜問題的方式。LIMO 的成功，或許只是人工智能推理能力覺醒的開始，未來的路，充滿無限可能。

----- END -----

wisemodel相關：

系統升級：

系列模型：

關于wisemodel更多

1

歡迎持續關注和支持

開源社區建設需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻和維護，歡迎大家加入wisemodel開源社區的志愿者計劃和開源共創計劃。期待更多開發者將開源成果，包括模型、數據集和代碼等發布到 wisemodel.cn 社區，共建中立、開放的AI開源社區生態。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續關注wisemodel.cn開源社區動態。

2

歡迎加盟wisemodel開源社區

始智AI wisemodel社區自2023年9月上線以來，逐漸成為影響力日益擴大的中立開放的AI開源社區，為了加快公司發展，我們長期需要技術、運營等人才加盟，技術側重在AI infra、后端開發，熟悉K8S、模型訓練和推理等技術， 以及熟悉開發者生態運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優質內容

歡迎投稿分享人工智能領域相關的優秀研究成果，鼓勵高校實驗室、大企業研究團隊、個人等，在wisemodel平臺上分享各類優質內容，可以是AI領域最新論文解讀、最新開源成果介紹，也可以是關于AI技術實踐、應用和總結等。投稿可以發郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關于wisemodel開源社區

始智AI wisemodel.cn開源社區由清華校友總會AI大數據專委會副秘書長劉道全創立，旨在打造和建設中立開放的AI開源創新社區，將打造成“HuggingFace”之外最活躍的AI開源社區，匯聚主要AI開源模型、數據集和代碼等，歡迎高校科研院所、大型互聯網公司、創新創業企業、廣大個人開發者，以及政府部門、學會協會、聯盟、基金會等，還有投資機構、科技媒體等，共同參與建設AI開源創新生態。

向上滑動查看