聞樂 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

“歐洲的OpenAI”Mistral AI終于發(fā)布了首款推理模型——Magistral

然而再一次遭到網(wǎng)友質(zhì)疑：怎么又不跟最新版Qwen和DeepSeek R1 0528對比？

（此前該公司發(fā)布Ministral 3B/8B時，聲稱“始終優(yōu)于同行”，卻沒有對比Qwen2.5）

在該模型發(fā)布的前幾個小時，Mistral AI的CEO Arthur Mensch在接受爐邊訪談時聲稱即將發(fā)布的Magistral能夠與其他所有競爭對手相抗衡。

在官方展示的基準(zhǔn)測試結(jié)果中，DeepSeek-R1的數(shù)據(jù)確實不是最新的（在AIME-25數(shù)學(xué)測試中，DeepSeek-R1-0528的準(zhǔn)確率已經(jīng)從舊版的70%提升至87.5%），并且比較行列里完全不見Qwen的身影。

不過，與同公司初期模型Mistral Medium 3相比，該框架在AIME-24上的準(zhǔn)確率提升了50%。

此次Magistral發(fā)布了兩種版本：

Magistral Small——24B參數(shù)的開源權(quán)重版本，可在Apache 2.0許可下自行部署。

Magistral Medium——更強(qiáng)大的、面向企業(yè)的版本，在Amazon SageMaker上提供。

專為透明推理而設(shè)計

在Magistral發(fā)布之前，Mistral AI的CEO Arthur Mensch在訪談中提到：

• “從歷史上看，我們看到美國的模型用英語進(jìn)行推理，中國的模型更擅長用中文進(jìn)行推理?！?/li>

于是，這次Magistral的一個亮點(diǎn)就是支持多語言推理，尤其是解決了主流模型用歐洲語言的推理效果不如本土語言的缺陷。

下面的例子展示了在Le Chat中，使用Magistral Medium的阿拉伯語提示和響應(yīng)。

與通用模型不同的是，Magistral針對多步邏輯進(jìn)行了微調(diào)，提升了可解釋性，并在用戶的語言中提供了可追溯的思考過程，能夠?qū)崿F(xiàn)大規(guī)模實時推理。

下面的例子展示了重力、摩擦和碰撞的單次物理模擬，在預(yù)覽中使用的是Magistral Medium。

就好像Magistral不是黑箱預(yù)言家，而是一個能陪你「擺事實、講道理」的智能伙伴。

并且，在Le Chat中，通過Flash Answers，Magistral Medium的token吞吐量比大多數(shù)競爭對手快10倍。

這就能夠?qū)崿F(xiàn)大規(guī)模的實時推理和用戶反饋。

作為Mistral推出的首個基于純強(qiáng)化學(xué)習(xí)（RL）訓(xùn)練的推理大模型，Magistral采用改進(jìn)的Group Relative Policy Optimization（GRPO）算法。

直接通過RL訓(xùn)練，不依賴任何現(xiàn)有推理模型的蒸餾數(shù)據(jù)（如DeepSeek-R1需SFT預(yù)熱）。

通過消除KL散度懲罰、動態(tài)調(diào)整探索閾值和基于組歸一化的優(yōu)勢計算，在AIME-24數(shù)學(xué)基準(zhǔn)上實現(xiàn)從26.8%到73.6%的準(zhǔn)確率躍升。

首創(chuàng)異步分布式訓(xùn)練架構(gòu)，通過Generators持續(xù)生成、Trainers異步更新的設(shè)計，配合動態(tài)批處理優(yōu)化，實現(xiàn)高效的大規(guī)模RL訓(xùn)練。

還反直覺地發(fā)現(xiàn)純文本RL訓(xùn)練可提升多模態(tài)性能（如MMMU-Pro-Vision提升12%），并驗證RL對小模型同樣有效（24B的Magistral Small在AIME-24準(zhǔn)確率達(dá)70.7%）。

這些創(chuàng)新使Magistral在無需預(yù)訓(xùn)練蒸餾的情況下，以純RL方式為LLM的強(qiáng)化學(xué)習(xí)訓(xùn)練提供了新范式。

One More Thing

官方?jīng)]有給出Magistral與最新版Qwen和R1的對比，網(wǎng)友來代勞了。

從結(jié)果可以看出，Qwen 4B與該模型相近，小型的30B MoE效果更好，R1最新版就更不用說了（doge

并且，由于“歐洲的OpenAI”越來越不Open，Stability AI前CEO建議Mistral AI應(yīng)該爭取真正的開源來占據(jù)開源的領(lǐng)導(dǎo)地位。

[1]https://mistral.ai/news/magistral
[2]https://x.com/dylan522p/status/1932563462963507589
[3]https://x.com/arthurmensch/status/1932451932406415531

— 完 —