a-m-team 又發(fā)新論文了。

這個團隊上周剛剛在 Hugging Face 低調開源了32B稠密模型，但在多項關鍵推理評測中擊敗了 DeepSeek-R1，并與超大規(guī)模的 MoE 模型Qwen3-235B-A22B、Seed1.5-Thinking 不相上下，因此贏得了海內外的不少關注。

今天，a-m-team 發(fā)布了一篇名為“Not All Correct Answers Are Equal: Why Your Distillation Source Matters”的論文，介紹了 R1 之后下一代推理模型的小進展。

在這篇論文中，研究團隊發(fā)現(xiàn)基于 AM-Thinking-v1 的問答數(shù)據(jù)“純蒸餾”（即只用SFT）訓練出的“學生模型”，竟然在多個高難推理任務上接近甚至達到當前最優(yōu)水平（SOTA），不僅超過了Qwen3-32B，甚至接近了 Qwen3-235B 這樣大一個數(shù)量級的模型表現(xiàn)。

論文鏈接：https://arxiv.org/pdf/2505.14464

在大模型能力競賽持續(xù)推進的今天，如何以更低的訓練成本獲得更強的推理能力，成為開源社區(qū)面臨的核心挑戰(zhàn)之一。

相比于 SFT+RL 的訓練方式，只用 SFT 意味著著數(shù)十倍的成本縮減——也就是說，沒有強化學習能力的企業(yè)級玩家將 AM-Thinking-v1 蒸餾版拿去直接 SFT 后落地，能夠大幅提升應用效率、降低落地成本。

這意味著開源社區(qū)未來能以更低的訓練成本，獲得更強的推理能力。而這項工作成立的前提條件是，需要能有良好的數(shù)據(jù)源。

換言之，假如數(shù)據(jù)源能驅動蒸餾模型的成長，那么蒸餾也將不只是一個簡簡單單的智能“壓縮”動作，而是會有潛力成為在開源社區(qū)生態(tài)中螺旋生長的系統(tǒng)性工程。

什么樣的數(shù)據(jù)源更有效？

蒸餾（Distillation）作為一種低成本、高效率的訓練方式，已被廣泛用于模型壓縮與能力遷移。一般情況下，基于GRPO 或者 PPO 的 RL 訓練，但一個被長期忽視的問題是：你的蒸餾源選對了嗎？

a-m-team 近期開源了一套基于 AM-Thinking-v1 和 Qwen3-235B-A22B 兩個頂尖大模型生成的推理蒸餾數(shù)據(jù)集。通過對 189 萬條高質量推理任務的并行蒸餾對比分析發(fā)現(xiàn)：

基于 AM-Thinking-v1 蒸餾訓練出的學生模型在多個高難推理任務上接近甚至達到當前最優(yōu)水平（SOTA）；

這份開源數(shù)據(jù)集為低成本構建強推理能力模型提供了扎實支撐；

用同樣的學生模型、訓練配置、benchmark 套件對比訓練結果；

開源其中兩份（AM-Thinking-v1 和 Qwen3-235B-A22B）的數(shù)據(jù)以供社區(qū)驗證。

正如本篇論文一語雙關的主標題，“Not All Correct Answers Are Equal”——不同的模型，如果生成相似正確的答案，但并不代表他們都有相同的價值。因為基于這個正確答案背后的數(shù)據(jù)源質量、結構存在差異，自然對后續(xù)訓練的貢獻可能存在顯著差異。

a-m-team研究以自家最新發(fā)布的AM-Thinking-v1為例，根據(jù)其團隊研究，以AM-Thinking-v1為教師模型培訓出來的純蒸餾模型，相比于Qwen3-235B-A22和DeepSeek-R1的蒸餾模型在性能上有著顯著的領先優(yōu)勢。

不僅如此，AM蒸餾過程中的損失曲線也是最低的，這點其實從圖一的評分排列中也可見一斑。如下圖所示，AM長期保持了遠低于其他模型的基準損耗。

損耗低的背后是 AM 團隊本身提供了更適合學習的高質量的數(shù)據(jù)。

a-m-team 團隊對從三個不同的大規(guī)模模型 AM-Thinking-v1、Qwen3-235B-A22B和 DeepSeek-R1的訓練數(shù)據(jù)進行了詳細分析后，認為這種分數(shù)差異來或許自于他們在數(shù)據(jù)結構上的優(yōu)勢。

首先，AM的token 長度分布更加多樣。

如下圖專門展示了數(shù)學實例的詞元跨度分布情況。結果表明，AM-Thinking-v1 的數(shù)學數(shù)據(jù)呈現(xiàn)出高度分散的分布狀態(tài)，呈現(xiàn)了更多的短序列。

這意味著，AM的響應跨度廣——它既能生成簡潔的1024 token以內回復，也能輸出超過 10240 token 的復雜推理鏈，這種“長短結合”的分布為模型的自適應能力提供了數(shù)據(jù)支撐。

其次，AM 模型數(shù)據(jù)源的困惑度更低，數(shù)據(jù)質量更高。

研究稱，AM 的平均Perplexity(PPL)數(shù)值為2.5，低于Qwen3.0和DeepSeek R1 2.9，表明 AM 的數(shù)據(jù)在語言流暢性、連貫性等方面更優(yōu)，這或許代表其適合用于訓練結構化 reasoning 過程。

而由于更好的數(shù)據(jù)結構，除了跑分領先外，生成行為也更符合“人類推理模式”。

研究者聲稱，在較難的任務中（如下圖AIME20242025），AM 蒸餾模型會自動生成更長 reasoning 過程，而在較簡單任務（如下圖中 MATH500）中則保持簡明。

這意味著模型保持了一個較好的長調度能力。

從不服跑個分，到不服蒸個餾？

a-m-team宣布開源了它的蒸餾數(shù)據(jù)，主要包括AM-Thinking-v1 Distilled Dataset和Qwen3-235B-A22B Distilled Dataset。其中每條數(shù)據(jù)都包含：

標準化 prompt；

符合驗證標準的 + 格式推理鏈；

精準分任務分類（數(shù)學、代碼、科學、指令、多輪對話等）；

驗證分數(shù)（均高于 0.9）及自動評分信息。

研究者希望，這份數(shù)據(jù)集不僅能助力社區(qū)低成本達成強推理能力，更能夠為后續(xù) RLHF、CoT 微調、可控生成等高級能力構建提供基礎。同時，AM團隊也正在試水更廣泛的模型改進和應用場景。

正如AM團隊在一篇分析文章中指出，“蒸餾數(shù)據(jù)的選擇不再是技術細節(jié)，而是決定性能上限的關鍵因素。”優(yōu)質的蒸餾數(shù)據(jù)源未來或許將直接影響訓練效率和性能上限。

而對于模型觀察者來說，AM團隊在本次論文中旗幟鮮明地提出了“Not All Correct Answers Are Equal”，其實也是對現(xiàn)階段模型的一種全新反思框架：

尤其在評分差異與用戶感知逐漸脫節(jié)，許多從業(yè)者對評分審美疲勞的今天，什么樣的開源大模型才更可以被稱作領先的？蒸餾背后體現(xiàn)的數(shù)據(jù)結構或許會是一個全新的視角。

近日，大家都在感嘆：DeepSeek 的 R1 之后，大模型已經很久沒有新的技術突破了。但實際證明，默默在認真研究技術的團隊還在不斷創(chuàng)新和取得貢獻。

（雷峰網）