機器之心報道

機器之心編輯部

「許多博士（包括過去的我）都陷入了這樣一個誤區(qū)：認(rèn)為只有在頂級會議上發(fā)表論文才是終極目標(biāo)。」AI 云服務(wù)商 Hyperbolic CEO Yuchen Jin 如是說。

但現(xiàn)在，發(fā)表論文并不與學(xué)術(shù)影響力直接畫等號了。

Keller Jordan，OpenAI 深度學(xué)習(xí)團隊主要成員之一，用一篇博客就撬開了 OpenAI 的大門。

這篇名為《Muon: An optimizer for hidden layers in neural networks》的博客發(fā)布于 2024 年 12 月，而 Keller Jordan 入職 OpenAI 的時間恰好也在此時。

在這篇博客中，Keller Jordan 提出并構(gòu)建了一種用于神經(jīng)網(wǎng)絡(luò)隱藏層的優(yōu)化器 Muon，其能夠在保證神經(jīng)網(wǎng)絡(luò)（包括 Transformer 和 CNN）的準(zhǔn)確度的前提上大幅提升其訓(xùn)練速度。

為何只發(fā)了博客，而不是發(fā)表一篇正式的 arXiv 論文，Keller Jordan 這樣解釋：能否發(fā)表一篇關(guān)于新優(yōu)化器的論文，且包含大量看起來不錯的結(jié)果，和這個優(yōu)化器是否真的有效之間沒有任何聯(lián)系。「我只相信速通。」

一直以來，研究界的衡量標(biāo)準(zhǔn)過度局限于論文發(fā)表，而 Keller Jordan 的案例告訴我們，如果你足夠優(yōu)秀，一篇博客也能打開頂級 AI 科研機構(gòu)的大門，甚至是 OpenAI。從中，我們也可以看出，OpenAI 在人才招攬方面更注重能力而非其他外在條件。

接下來，我們看看這篇博客內(nèi)容。

注意，這篇博客發(fā)表于 2024 年 12 月 8 日，因此其中對前沿指標(biāo)的描述可能會略有過時，比如 NanoGPT 速通結(jié)果就已經(jīng)被多次刷新了，下面展示了 Keller Jordan 托管的 NanoGPT 速通的最新八條世界記錄，其中最新記錄是今年 5 月 25 日創(chuàng)造的，已達(dá)到驚人的 2.979 分鐘！當(dāng)然，如此成績不只靠 Muon，還有 FlexAttention、嵌入優(yōu)化、架構(gòu)優(yōu)化等諸多改進。

https://github.com/KellerJordan/modded-nanogpt

• 原文地址：https://kellerjordan.github.io/posts/muon/
• Muon 的 PyTorch 實現(xiàn)：https://github.com/KellerJordan/Muon

Muon：一種用于神經(jīng)網(wǎng)絡(luò)隱藏層的優(yōu)化器

Muon 是一種用于神經(jīng)網(wǎng)絡(luò)隱藏層的優(yōu)化器，可用于快速運行 NanoGPT 和 CIFAR-10，并創(chuàng)造了當(dāng)前最快的訓(xùn)練速度紀(jì)錄。

目前，人們已經(jīng)發(fā)布了很多使用 Muon 的實證研究結(jié)果，所以本文將主要關(guān)注 Muon 的設(shè)計。

首先，本文將定義 Muon，并概述其迄今為止取得的實證結(jié)果；然后將詳細(xì)討論其設(shè)計，包括與先前研究的聯(lián)系以及我們對其工作原理的最佳理解；最后將討論優(yōu)化研究中的證據(jù)標(biāo)準(zhǔn)。

定義

Muon 是一款用戶神經(jīng)網(wǎng)絡(luò)隱藏層的 2D 參數(shù)的優(yōu)化器。其定義如下：

其中，NewtonSchulz5 定義為以下牛頓 - 舒爾茨矩陣迭代：

使用 Muon 訓(xùn)練神經(jīng)網(wǎng)絡(luò)時，應(yīng)使用 AdamW 等標(biāo)準(zhǔn)方法優(yōu)化網(wǎng)絡(luò)的標(biāo)量和向量參數(shù)以及輸入層和輸出層。Muon 可用于處理 4D 卷積參數(shù)，方法是將其最后三個維度展平（如下所示）。

結(jié)果

Muon 已取得以下實證結(jié)果：

• 在 CIFAR-10 數(shù)據(jù)集上，在保證 94% 準(zhǔn)確度的前提下，基于 A100 GPU，將訓(xùn)練速度記錄從 3.3 秒提升至 2.6 秒。
• 在 FineWeb（一項被稱為 NanoGPT 競速的競賽任務(wù)）上的訓(xùn)練速度記錄提升至 3.28 驗證損失，提升了 1.35 倍。
• 在擴展到 774M 個參數(shù)和 1.5B 億個參數(shù)時，繼續(xù)表現(xiàn)出了訓(xùn)練速度的提升。
• 在 HellaSwag 上用 10 個 8xH100 小時將一個 1.5B 參數(shù)的 Transformer 訓(xùn)練到 GPT-2 XL 級別性能。而使用 AdamW 達(dá)到相同結(jié)果需要 13.3 小時。

圖 1. 按樣本效率比較優(yōu)化器。

圖 2. 按時間比較優(yōu)化器。

此外，以下是 Muon 和 AdamW 在訓(xùn)練 1.5B 參數(shù)語言模型時的比較。兩個優(yōu)化器均已經(jīng)過微調(diào)。

圖 3. Muon 與 AdamW 在 1.5B 短訓(xùn)練上的比較。

Muon 的設(shè)計

Muon，全稱 MomentUm Orthogonalized by Newton-Schulz，其優(yōu)化 2D 神經(jīng)網(wǎng)絡(luò)參數(shù)的方式是：獲取 SGD - 動量生成的更新，對每個更新應(yīng)用 Newton-Schulz (NS) 迭代作為后處理步驟，然后在將更新應(yīng)用于參數(shù)。

NS 迭代的作用是近似正交化更新矩陣，即應(yīng)用以下運算：

也就是說，NS 迭代實際上會將 SGD - 動量的更新矩陣替換為與其最接近的半正交矩陣。這相當(dāng)于用 UV? 替換更新，其中 USV? 是其奇異值分解 (SVD)。

為什么正交化更新是有益的？

我們首先想指出一個有效的答案是：這樣就沒問題了嗎？

但是，對于源自 Bernstein & Newhouse (2024) 對 Shampoo (Gupta et al. 2018) 分析的理論動機，請參閱后文。

而在實驗驗證中，我們基于人工檢查觀察到，SGD - 動量和 Adam 對基于 Transformer 的神經(jīng)網(wǎng)絡(luò)中的 2D 參數(shù)產(chǎn)生的更新通常具有非常高的條件數(shù)。也就是說，它們幾乎都是低秩矩陣，所有神經(jīng)元的更新僅由少數(shù)幾個方向主導(dǎo)。我們推測，正交化會有效地增加了其他「稀有方向」的規(guī)模，這些方向在更新中幅度很小，但對學(xué)習(xí)仍然很重要。

消除 NS 迭代的替代方案

除了 NS 迭代之外，還有其他幾種矩陣正交化的選項。本小節(jié)將解釋為什么沒有使用其中兩種方法。請參閱 Bernstein & Newhouse (2024) 的附錄 A，獲取更完整的可用方法列表。

SVD（即計算更新的 USV? 分解，然后用 UV? 替換更新）易于理解，但我們不使用它，因為它太慢了。

耦合牛頓迭代法 (Coupled Newton iteration) 曾在 Shampoo 的實現(xiàn)中被用于執(zhí)行逆四次方根，并且可以被輕松地調(diào)整用于執(zhí)行正交化。但我們沒有使用它，因為我們發(fā)現(xiàn)它必須至少以 float32 精度運行才能避免數(shù)值不穩(wěn)定，而這會導(dǎo)致它在現(xiàn)代 GPU 上運行緩慢。

相比之下，我們發(fā)現(xiàn)牛頓 - 舒爾茨迭代可以在 bfloat16 精度下穩(wěn)定運行。因此，我們選擇它們作為正交化更新的首選方法。

證明 NS 迭代能夠讓更新正交化

為了理解 NS 迭代使更新正交化的原因，令 G=USV? 為 SGD - 動量生成的更新矩陣的 SVD。然后，對系數(shù) (a,b,c) 運行一步 NS 迭代，輸出結(jié)果如下：

一般來說，如果定義五次多項式 φ(x)=ax+bx3+cx?，那么對系數(shù) (a,b,c) 進行 N 步 NS 迭代會輸出結(jié)果 Uφ?(S) V?，其中 φ?(S) 表示對構(gòu)成 S 對角線的奇異值 N 次逐元素應(yīng)用 φ。

因此，為了保證 NS 迭代收斂于 Ortho (G)=UV?，需要做的就是 (1) 確保 S 的初始元素在 [0,1] 范圍內(nèi)；(2) 選擇系數(shù)，使得當(dāng) N→∞ 時，φ?(x)→1。

為了滿足第一個條件，只需在開始 NS 迭代之前將 G 替換為 G/‖G‖F(xiàn)。這種重新縮放是有益的，因為 Ortho (cG)=Ortho (G)。

為了滿足當(dāng) N→∞ 時 φ?(x)→1，會有一定的自由度，因為 (a,b,c) 有很多符合此性質(zhì)的可能選擇。稍后我們將優(yōu)化這個選擇，但現(xiàn)在可在下圖中看到，簡單的基線 (a,b,c)=(2,?1.5,0.5) 已經(jīng)有效。

圖 4. 牛頓 - 舒爾茨迭代的基線系數(shù)。

調(diào)整系數(shù)

雖然 NS 系數(shù) (a,b,c)=(2,?1.5,0.5) 已經(jīng)能夠完美地實現(xiàn)更新的正交化，但我們可以進一步調(diào)整它們，以減少需要運行的 NS 迭代步數(shù)。

1. 我們希望 a 盡可能大，因為 φ′(0)=a 意味著該系數(shù)控制著初始奇異值較小時的收斂速度。
2. 對于每個 x∈[0,1]，我們希望 φ?(x) 在 N→∞ 時收斂到 [1?ε,1+ε] 范圍內(nèi)的一個值，使得 NS 迭代的結(jié)果與 Ortho (G) 相差不大。

這里有一個令人驚訝的觀察結(jié)果：根據(jù)實際經(jīng)驗，ε 可以高達(dá) 0.3 左右，而不會損害基于 Muon 的訓(xùn)練的損失曲線。因此，我們的目標(biāo)是最大化 a，使

有很多方法可以解決這個約束優(yōu)化問題。而這里使用一種基于梯度的臨時方法，最終得到系數(shù) (3.4445,4.7750,2.0315)，這也是最終設(shè)計 Muon 時所使用的稀疏。這些系數(shù)的變化如下圖所示。請注意 x=0 附近的陡然增長。

圖 5. 調(diào)整后的牛頓 - 舒爾茨迭代系數(shù)。

在我們的實驗中，當(dāng)使用這些系數(shù)的 Muon 來訓(xùn)練 Transformer 語言模型和小型卷積網(wǎng)絡(luò)時，只需運行 5 步 NS 迭代即可。

我們也考慮過使用三階和七階多項式來進行 NS 迭代，但發(fā)現(xiàn)這些方法無法進一步改善時間開銷。

運行時分析

本節(jié)將分析 Muon 的運行時和內(nèi)存需求。

在應(yīng)用 NS 迭代之前，Muon 只是標(biāo)準(zhǔn)的 SGD 動量，因此其內(nèi)存需求相同。

對于網(wǎng)絡(luò)中的每個 n×m 矩陣參數(shù)（例如，設(shè) m≤n），NS 迭代的每一步都需要 2 (2nm2+m3) 個矩陣乘法 FLOP，對于平方參數(shù)，最多為 6nm2。因此，與 SGD 相比，Muon 所需的額外 FLOP 最多為 6Tnm2，其中 T 是 NS 迭代次數(shù)（通常我們?nèi)?T=5）。

如果該參數(shù)參數(shù)化了一個線性層，那么執(zhí)行一個訓(xùn)練步驟（即前向和后向傳遞）所需的 FLOP 基準(zhǔn)量為 6nm2，其中 B 是該步驟中通過該層的輸入數(shù)量。

因此，Muon 的 FLOP 開銷最多為 Tm/B，其中 m 為模型維度，B 為以 token 為單位的批量大小，T 為 NS 迭代步數(shù)（通常 T=5）

下面針對兩個具體的訓(xùn)練場景計算了此開銷：NanoGPT 速通和 Llama 405B 訓(xùn)練。

1. 對于當(dāng)前的 NanoGPT 速通記錄，模型維度為 m=768，每批次的 token 數(shù)量為 B=524288。因此，開銷為 5?768/524288=0.7%。
2. 對于 Llama 405B 訓(xùn)練，模型維度為 m=16384，每批次的 token 數(shù)量為 B=16000000（Dubey et al. 2024）。因此，使用 Muon 進行此訓(xùn)練的開銷為 5?16384/16000000=0.5%。

由此可以得出結(jié)論，對于典型的語言模型訓(xùn)練場景，無論規(guī)模大小，Muon 的 FLOP 開銷均低于 1%

與先前優(yōu)化器的關(guān)系

Shampoo 優(yōu)化器定義如下：

如果去除預(yù)調(diào)節(jié)器累積，則公式變?yōu)橐韵滦问剑?/p>

這就是正交化梯度。如果我們在正交化之前添加動量，就能恢復(fù) Muon 更新，但由于使用了四次方根求逆而不是牛頓 - 舒爾茨迭代，因此時間和 FLOP 開銷會更高。

因此，可以將關(guān)閉動量的 Muon 解讀為一種瞬時或無累積的 Shampoo 優(yōu)化器。

正交 - SGDM

Tuddenham 等人（2022）提出了一種優(yōu)化神經(jīng)網(wǎng)絡(luò)的方法：通過奇異值分解（SVD）對梯度進行正交化，對其結(jié)果應(yīng)用動量，再將動量項作為更新。他們將該優(yōu)化器命名為正交 - SGDM（Orthogonal-SGDM）。這與 Muon 類似，但區(qū)別在于：

• Muon 將動量計算置于正交化之前（實驗表明該設(shè)計表現(xiàn)更優(yōu)）；
• Muon 采用牛頓 - 舒爾茨迭代代替 SVD，以實現(xiàn)更高效的正交化。

遺憾的是，Tuddenham 等人（2022）在其最佳實驗配置（表 3）中報告，他們的方法表現(xiàn)不及精心調(diào)參的標(biāo)準(zhǔn) SGD-Momentum。

圖源：https://arxiv.org/pdf/2202.07052

實驗考量

根據(jù)設(shè)計，Muon 僅適用于 2D 參數(shù)（對于卷積濾波器則需展平處理），因此網(wǎng)絡(luò)中的其余標(biāo)量和向量參數(shù)仍需使用標(biāo)準(zhǔn)優(yōu)化方法（如 AdamW）。實驗發(fā)現(xiàn)，輸入層和輸出層參數(shù)即使屬于 2D 結(jié)構(gòu)，也需使用 AdamW 優(yōu)化，這對性能至關(guān)重要。具體而言，在訓(xùn)練 Transformer 模型時，詞嵌入層（embedding）和最終的分類器頭（classifier head）應(yīng)使用 AdamW 才能達(dá)到最佳效果。

嵌入層的優(yōu)化動態(tài)應(yīng)與其他層不同，這一結(jié)論符合模范數(shù)理論（modular norm theory）的預(yù)測；但輸出層的優(yōu)化動態(tài)差異并未被該理論涵蓋，而是由實驗觀測結(jié)果驅(qū)動。

另一個純粹的經(jīng)驗結(jié)果是，在本文測試的所有案例中，使用 Nesterov 式動量對 Muon 的效果都比普通的 SGD 動量略好。因此，本文在公開的 Muon 實現(xiàn)中將其設(shè)為默認(rèn)設(shè)置。

第三個結(jié)果是，如果將 Muon 分別應(yīng)用于 Transformer 的 Q、K、V 參數(shù)，而不是同時應(yīng)用于 Q、K、V 參數(shù)，則 Muon 在優(yōu)化 Transformer 方面效果更佳，因為 Transformer 實現(xiàn)會將 Q、K、V 參數(shù)設(shè)置為單個線性層，并將輸出拆分。

當(dāng)前的神經(jīng)網(wǎng)絡(luò)優(yōu)化研究文獻中，充斥著大量宣稱「大幅超越 AdamW」卻最終被社區(qū)棄用的優(yōu)化器。坦白說，這種現(xiàn)象并不令人意外。考慮到行業(yè)每年投入數(shù)十億美元用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練（且迫切希望降低成本），如果這些優(yōu)化器真的有效，理應(yīng)被廣泛采用。因此，問題顯然出在研究層面而非應(yīng)用層面 —— 即現(xiàn)有研究存在系統(tǒng)性缺陷。

通過仔細(xì)分析相關(guān)論文可以發(fā)現(xiàn)，最常見的癥結(jié)在于基線模型（baseline）調(diào)優(yōu)不足：許多研究在將新提出的優(yōu)化器與 AdamW 對比時，未能對 AdamW 基線進行充分調(diào)參。

發(fā)表聲稱有巨大改進但無法復(fù)制 / 達(dá)到宣傳效果的新方法并非無害犯罪，因為它浪費了大量個體研究人員和小型實驗室的時間、金錢和士氣，他們每天都在為復(fù)制和改進這些方法的失敗而感到失望。

為了糾正這種情況，我們應(yīng)該采用以下標(biāo)準(zhǔn)：研究社區(qū)應(yīng)該要求，新的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法應(yīng)該在競爭性訓(xùn)練任務(wù)中表現(xiàn)出色。

競爭性任務(wù)通過兩種方式解決基線調(diào)優(yōu)不足的問題。

首先，競爭性任務(wù)中的基線是先前的最佳記錄，如果該任務(wù)很熱門，這個基線很可能已經(jīng)被充分調(diào)優(yōu)。

其次，即使在不太可能的情況下先前記錄未被充分調(diào)優(yōu)，系統(tǒng)也可以通過恢復(fù)到標(biāo)準(zhǔn)訓(xùn)練方法的新記錄實現(xiàn)自我修正。這種自我修正之所以可行，是因為標(biāo)準(zhǔn)方法通常具有經(jīng)過硬件優(yōu)化的高效實現(xiàn)，而新方法通常會引入額外的計算時間開銷。這樣一來，在熱門的競爭性任務(wù)中，標(biāo)準(zhǔn)方法出現(xiàn)重大但虛假的改進并長期保持在記錄歷史中的可能性就很小了。

這篇博客還列舉了一些待解決問題：

• Muon 能否擴展到更大規(guī)模的訓(xùn)練？
• Muon 使用的 Newton-Schulz 迭代能否在大規(guī)模 GPU 集群中合理分布？
• Muon 是否可能僅適用于預(yù)訓(xùn)練，而無法用于微調(diào)或強化學(xué)習(xí)工作負(fù)載？

在撰寫本文時，Keller Jordan 還不知道這些問題的答案。

不過，已經(jīng)有研究基于 Muon 優(yōu)化器進行了改進，比如月之暗面在 Muon 中引入了標(biāo)準(zhǔn)的 AdamW（Loshchilov 等人，2019）權(quán)重衰減機制。結(jié)果表明，帶權(quán)重衰減的 Muon 優(yōu)于原始 Muon 和 AdamW，獲得了更低的驗證損失。

另外，雖然 Muon 誕生于一篇博客，但也已經(jīng)有研究團隊 Essential AI 發(fā)布了對該優(yōu)化器的系統(tǒng)性研究論文。感興趣的讀者可擴展閱讀：

• 論文標(biāo)題：Practical Efficiency of Muon for Pretraining
• 論文地址：https://arxiv.org/pdf/2505.02222

該論文表明，在計算 - 時間權(quán)衡方面，Muon 比 AdamW 更能顯著擴展帕累托邊界。他們發(fā)現(xiàn)，Muon 在保持大批量（遠(yuǎn)超所謂的臨界批量）數(shù)據(jù)效率的同時，計算效率也更高，從而能夠?qū)崿F(xiàn)更經(jīng)濟的訓(xùn)練。

你嘗試過 Muon 嗎？