金磊 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

現(xiàn)在，請大家一起數(shù)一下“1”、“2”。

OK，短短2秒鐘時間，一個準(zhǔn)萬億MoE大模型就已經(jīng)吃透如何解一道高等數(shù)學(xué)大題了！

而且啊，這個大模型還是不用GPU來訓(xùn)練，全流程都是大寫的“國產(chǎn)”的那種。

這，就是華為通過“昇騰+Pangu Ultra MoE”這套組合拳解鎖的效果——

不僅實(shí)現(xiàn)了國產(chǎn)算力與國產(chǎn)模型全流程自主可控的訓(xùn)練閉環(huán)，更是在集群訓(xùn)練系統(tǒng)性能方面達(dá)到行業(yè)領(lǐng)先水平。

有多領(lǐng)先？來看一組數(shù)據(jù)：

• 預(yù)訓(xùn)練階段：昇騰Atlas 800T A2萬卡集群MFU提升至41%
• 后訓(xùn)練階段：單CloudMatrix 384超節(jié)點(diǎn)吞吐達(dá)35K Tokens/s

值得一提的是，華為還首次把背后的一大秘籍給亮了出來。

具體來說，華為在這次發(fā)布的技術(shù)報告中，披露了在昇騰CloudMatrix 384超節(jié)點(diǎn)上，高效打通大稀疏比MoE強(qiáng)化學(xué)習(xí)后訓(xùn)練框架的關(guān)鍵技術(shù)。

此舉可以說是讓以強(qiáng)化學(xué)習(xí)（RL）為核心機(jī)制的后訓(xùn)練，進(jìn)入到了超節(jié)點(diǎn)集群時代。

不用GPU的“煉”出準(zhǔn)萬億大模型方法

在深入華為Pangu Ultra MoE訓(xùn)練系統(tǒng)全流程之前，老規(guī)矩，我們還是先來了解一下此前的技術(shù)痛點(diǎn)。

整體來看，在當(dāng)前的MoE預(yù)訓(xùn)練和強(qiáng)化學(xué)習(xí)后訓(xùn)練過程中所存在的挑戰(zhàn)可以歸結(jié)為六點(diǎn)：

• 并行策略配置困難
• 面對數(shù)據(jù)并行、張量并行、專家并行、流水線并行和序列并行等多種策略的組合選擇，加上稀疏激活導(dǎo)致的負(fù)載不平衡因素，很難通過人工經(jīng)驗(yàn)找到最優(yōu)的并行配置方案。
• All-to-All通信瓶頸
• 專家并行架構(gòu)需要進(jìn)行大規(guī)模的token路由交換，這不僅占用大量網(wǎng)絡(luò)帶寬資源，還會造成計(jì)算資源長時間空閑等待，嚴(yán)重影響整體訓(xùn)練效率。
• 系統(tǒng)負(fù)載分布不均
• 從注意力機(jī)制中序列長度的差異，到專家激活頻率的不平衡，再到流水線并行中各階段的負(fù)載分配問題，這些多層次的不均衡現(xiàn)象拖累了整個集群的性能表現(xiàn)。
• 算子調(diào)度開銷過大
• 動態(tài)路由機(jī)制引入了大量高頻率的小規(guī)模算子操作，增加了系統(tǒng)調(diào)度負(fù)擔(dān)，降低了核心矩陣計(jì)算的比重，從而顯著影響NPU的有效利用率。
• 訓(xùn)練流程管理復(fù)雜
• 強(qiáng)化學(xué)習(xí)后訓(xùn)練涉及多個模型實(shí)例和多種訓(xùn)練任務(wù)，包括MoE大模型的訓(xùn)練和推理階段，整個流程的復(fù)雜性給資源分配和系統(tǒng)調(diào)度帶來巨大挑戰(zhàn)。
• 大規(guī)模擴(kuò)展受限
• 強(qiáng)化學(xué)習(xí)過程中，訓(xùn)練與推理階段的參數(shù)重新映射機(jī)制，以及各計(jì)算任務(wù)間復(fù)雜的數(shù)據(jù)通信流程，成為制約后訓(xùn)練大規(guī)模部署的主要瓶頸。

即使挑戰(zhàn)如此之多，華為在這段技術(shù)報告中依舊是給出了一套完整的端到端全流程解法。

第一招：提升訓(xùn)練集群利用率

超大規(guī)模訓(xùn)練集群的高效部署是提升預(yù)訓(xùn)練系統(tǒng)性能的關(guān)鍵所在。

為此，華為團(tuán)隊(duì)通過并行策略智能選擇、計(jì)算通信深度融合、全局動態(tài)負(fù)載平衡等技術(shù)創(chuàng)新，顯著提升了集群整體訓(xùn)練效率。

首先是建模仿真驅(qū)動的智能并行優(yōu)化。

華為團(tuán)隊(duì)采用如下圖所示的系統(tǒng)建模仿真框架，將原本需要大量人工試錯的并行策略選擇問題轉(zhuǎn)化為精確的自動化搜索過程。

基于昇騰800T A2訓(xùn)練集群的硬件特性和約束條件，為Pangu Ultra MoE 718B模型確定了最優(yōu)部署配置：

• 16路流水線并行（Pipeline Parallelism）進(jìn)行模型層間切分
• 8路張量并行（Tensor Parallelism）專門處理注意力計(jì)算
• 32路專家并行（Expert Parallelism）實(shí)現(xiàn)專家模塊分布式計(jì)算
• 2路虛擬流水線并行（Virtual Pipeline Parallelism）提升流水線效率

最終實(shí)現(xiàn)了與昇騰架構(gòu)深度適配的最優(yōu)化部署方案。

△訓(xùn)練系統(tǒng)建模仿真流程

其次是Adaptive Pipe前反向通算掩蓋。

為了突破并行擴(kuò)展中的通信瓶頸問題，華為團(tuán)隊(duì)創(chuàng)新設(shè)計(jì)了昇騰網(wǎng)絡(luò)拓?fù)溥m配的分層All-to-All通信去冗余機(jī)制，結(jié)合細(xì)粒度前反向計(jì)算重疊編排，成功將大規(guī)模MoE訓(xùn)練中的專家并行通信開銷降至接近零暴露（<2%）：

1. 層次化專家并行通信：華為給出了與昇騰訓(xùn)練集群拓?fù)渖疃冗m配的多級通信策略。首先在節(jié)點(diǎn)間進(jìn)行去冗余的token收集操作，避免相同token在低帶寬的跨節(jié)點(diǎn)鏈路上重復(fù)傳輸；隨后利用節(jié)點(diǎn)內(nèi)高帶寬優(yōu)勢，通過All-to-All通信實(shí)現(xiàn)token的冗余分發(fā)。這一分層設(shè)計(jì)顯著提升了專家并行的整體通信效率。
2. 自適應(yīng)細(xì)粒度前反向掩蓋：針對分層專家并行通信特點(diǎn)，設(shè)計(jì)了基于虛擬流水線并行（VPP）的細(xì)粒度前反向重疊掩蓋策略。相比業(yè)界DualPipe掩蓋方案，該策略將權(quán)重內(nèi)存占用減少一半。通過進(jìn)一步拆解MLP模塊計(jì)算流程，充分利用分層專家并行通信中各級帶寬相對獨(dú)立的特性，實(shí)現(xiàn)算子執(zhí)行順序的自適應(yīng)調(diào)優(yōu)，最終將專家并行通信幾乎完全隱藏（未掩蓋比例僅為2%）。

最后是EDP Balance 全局動態(tài)負(fù)載均衡。

對于MoE模型，模型規(guī)模和集群規(guī)模的增長會導(dǎo)致專家計(jì)算、注意力計(jì)算以及各層間的負(fù)載不均衡問題相互疊加并被顯著放大。當(dāng)多種性能瓶頸同時出現(xiàn)時，通信同步等待會在系統(tǒng)中傳播擴(kuò)散，造成整體性能的嚴(yán)重惡化。

華為團(tuán)隊(duì)采用系統(tǒng)性的分析方法，深入剖析專家并行（EP）、數(shù)據(jù)并行（DP）、流水線并行（PP）各通信域中潛在的負(fù)載均衡挑戰(zhàn)，提出了EDP全局負(fù)載均衡優(yōu)化策略。

這個策略不僅通過專家負(fù)載預(yù)測和動態(tài)調(diào)節(jié)機(jī)制（如下圖）實(shí)現(xiàn)設(shè)備間計(jì)算負(fù)載的精確平衡，還通過注意力數(shù)據(jù)重排技術(shù)進(jìn)一步優(yōu)化了數(shù)據(jù)并行域間的負(fù)載分布效果。

此外，團(tuán)隊(duì)將虛擬流水線并行（VPP）機(jī)制與硬件規(guī)格特點(diǎn)相結(jié)合，設(shè)計(jì)了最優(yōu)混合并行架構(gòu)，有效緩解了模型各層間計(jì)算負(fù)載分布不均的問題，大幅提升了整體訓(xùn)練效率。

△基于專家動態(tài)遷移的EP間負(fù)載均衡整體框架圖

第二招：釋放昇騰單節(jié)點(diǎn)算力

在昇騰超大規(guī)模集群優(yōu)化實(shí)現(xiàn)突破性進(jìn)展后，華為團(tuán)隊(duì)將優(yōu)化焦點(diǎn)轉(zhuǎn)向底層算子計(jì)算效率的深度挖掘。

這個階段的核心工作圍繞昇騰架構(gòu)深度適配的訓(xùn)練算子加速展開，通過緩解Host資源瓶頸以及內(nèi)存優(yōu)化策略雙重手段，成功將微批處理規(guī)模（MBS）提升至原來的兩倍。

同時團(tuán)隊(duì)還對算子調(diào)度下發(fā)鏈路進(jìn)行協(xié)同優(yōu)化，最終實(shí)現(xiàn)了昇騰單節(jié)點(diǎn)算力的全面釋放。

華為團(tuán)隊(duì)的“第二招”，同樣包含三個細(xì)分內(nèi)容；首先就是昇騰親和的訓(xùn)練算子加速。

在大模型訓(xùn)練計(jì)算過程中，F(xiàn)lashAttention、MatMul以及Permute/Unpermute等向量操作算子的執(zhí)行時間占據(jù)了算子總計(jì)算耗時的四分之三以上。

針對這些關(guān)鍵算子類型，華為團(tuán)隊(duì)充分利用昇騰微架構(gòu)特性，通過算子流水線排布優(yōu)化和數(shù)學(xué)等價冗余計(jì)算消除等核心技術(shù)手段，實(shí)現(xiàn)了訓(xùn)練算子性能的顯著躍升。

其次是Host-Device協(xié)同的算子下發(fā)優(yōu)化。

針對同步型間歇性Host-Bound和系統(tǒng)性持續(xù)性Host-Bound問題，華為團(tuán)隊(duì)充分發(fā)揮昇騰+鯤鵬異構(gòu)系統(tǒng)協(xié)同優(yōu)勢，構(gòu)建了分層優(yōu)化體系來實(shí)現(xiàn)高效算子調(diào)度：

對于同步型Host-Bound問題，不僅有效消除了同步操作引發(fā)的Host資源瓶頸，在無法完全規(guī)避同步的場景下，還通過優(yōu)化鯤鵬處理器的算子下發(fā)與調(diào)度策略，顯著降低了同步后的Host-Bound開銷。

對于系統(tǒng)性Host-Bound問題，則采用增大微批處理規(guī)模（MBS）、鯤鵬CPU NUMA親和性優(yōu)化等多維度協(xié)同手段，大幅提升算子下發(fā)效率。

通過算法與系統(tǒng)的深度協(xié)同優(yōu)化，華為團(tuán)隊(duì)成功將MoE模型訓(xùn)練中的Host-Bound占比控制在2%以下，為超大規(guī)模模型訓(xùn)練探索出了全新的技術(shù)范式。

最后是Selective R/S-精準(zhǔn)的內(nèi)存手術(shù)方案。

華為團(tuán)隊(duì)構(gòu)建了一個精密的內(nèi)存優(yōu)化框架：以豐富多樣的通用化重計(jì)算策略和Swap機(jī)制作為“精密工具庫”，涵蓋從模塊級到張量級的細(xì)粒度優(yōu)化選項(xiàng)；配合精心設(shè)計(jì)的自適應(yīng)內(nèi)存管理機(jī)制作為“智能調(diào)度平臺”。

這個框架針對Pangu Ultra MoE 718B模型訓(xùn)練需求，實(shí)現(xiàn)了多維度、定制化的內(nèi)存資源精確調(diào)配。

通過構(gòu)建最優(yōu)內(nèi)存優(yōu)化策略組合，以精準(zhǔn)的資源管理手段最大化釋放內(nèi)存空間，成功實(shí)現(xiàn)了超過70%的激活值內(nèi)存節(jié)省。

即使在微批處理規(guī)模（MBS）翻倍帶來的內(nèi)存壓力挑戰(zhàn)下，這個方案依然為模型的長期穩(wěn)定訓(xùn)練提供了可靠保障。

第三招：首次披露高性能可擴(kuò)展RL后訓(xùn)練關(guān)鍵技術(shù)

華為團(tuán)隊(duì)針對強(qiáng)化學(xué)習(xí)訓(xùn)練中異構(gòu)模型和多任務(wù)場景導(dǎo)致的資源利用率偏低問題，通過深入的系統(tǒng)分析和創(chuàng)新設(shè)計(jì)，提出了RL Fusion訓(xùn)推共卡技術(shù)。

這一技術(shù)支持訓(xùn)練推理共卡、全共卡等多種靈活部署模式（如下圖），實(shí)現(xiàn)推理階段資源調(diào)度的精細(xì)化可控管理，支持張量并行（TP）、數(shù)據(jù)并行（DP）、專家并行（EP）、流水線并行（PP）等多維并行策略的動態(tài)無縫切換。

可在秒級時間內(nèi)完成訓(xùn)推狀態(tài)轉(zhuǎn)換，最終實(shí)現(xiàn)了RL后訓(xùn)練集群利用率翻倍的顯著提升。

△分離部署、訓(xùn)推共卡部署、全共卡部署資源利用率示意圖

除此之外，華為團(tuán)隊(duì)還展示了面向大規(guī)模集群高效可擴(kuò)展的后訓(xùn)練框架：

1. 摒棄全同步迭代方式，設(shè)計(jì)容忍梯度“陳舊性”的準(zhǔn)異步機(jī)制StaleSync（如下圖），讓不同RL階段的不同任務(wù)在“陳舊度閾值”內(nèi)并行執(zhí)行。在保證模型精度的前提下，系統(tǒng)整體訓(xùn)練吞吐提升50%。
2. 針對RL階段多任務(wù)的處理需求，設(shè)計(jì)了分布式數(shù)據(jù)隊(duì)列DistQueue，實(shí)現(xiàn)不同計(jì)算任務(wù)之間數(shù)據(jù)的拆分、緩存與動態(tài)讀取。DistQueue對整個后訓(xùn)練過程中的數(shù)據(jù)進(jìn)行管理，有效緩解不同計(jì)算任務(wù)之間的數(shù)據(jù)阻塞，為后訓(xùn)練任務(wù)高效調(diào)度提供數(shù)據(jù)支持。

2秒就能讓大模型吃透一道高數(shù)大題

通過預(yù)訓(xùn)練和RL后訓(xùn)練加速技術(shù)，華為團(tuán)隊(duì)基于MindSpeed、Megatron以及vLLM框架，打造了昇騰全流程高效訓(xùn)練系統(tǒng)。

這個系統(tǒng)可支持超大規(guī)模集群和超大規(guī)模MoE模型，并在Pangu Ultra MoE模型訓(xùn)練中實(shí)現(xiàn)了端到端的流暢訓(xùn)練。

Pangu Ultra MoE模型擁有7180億參數(shù)量，具有大稀疏比和高綜合性能的顯著特點(diǎn)。

其架構(gòu)包含61層Transformer，前3層為稠密層，后58層為MoE層。模型隱層維度達(dá)7680，配備256個路由專家和1個共享專家，專家隱層維度為2048。

在預(yù)訓(xùn)練階段，華為團(tuán)隊(duì)使用6K - 10K卡的昇騰800T A2集群對Pangu Ultra MoE進(jìn)行訓(xùn)練。在序列長度為8K、萬卡訓(xùn)練集群的條件下，模型算力利用率（MFU）創(chuàng)下新高，達(dá)到了41%。上述訓(xùn)練系統(tǒng)具有很強(qiáng)的泛化性，可高效擴(kuò)展至更大規(guī)模參數(shù)模型和更大規(guī)模卡數(shù)集群，同時如果配合昇騰CloudMatrix 384超節(jié)點(diǎn)的高速互聯(lián)特性，預(yù)計(jì)可支撐訓(xùn)練集群MFU > 50%，相關(guān)技術(shù)迭代實(shí)踐結(jié)果也將在日后技術(shù)報告中發(fā)布。

而在RL后訓(xùn)練階段，于Pangu Ultra MoE昇騰CloudMatrix 384超節(jié)點(diǎn)集群的后訓(xùn)練中，采用訓(xùn)練推理混合并行策略（訓(xùn)練：PP16/VPP2/EP32/TP8，推理：PP1/EP64/TP1），并結(jié)合異步RL算法與訓(xùn)練框架系統(tǒng)的協(xié)同創(chuàng)新，實(shí)現(xiàn)了每超節(jié)點(diǎn)35K Tokens/s的高吞吐能力。

同時支持高效擴(kuò)展超過4K卡的集群，這一效率相當(dāng)于每2秒就能吃透一道高等數(shù)學(xué)大題，實(shí)現(xiàn)了昇騰超節(jié)點(diǎn)吞吐的新突破。

以上便是華為Pangu Ultra MoE訓(xùn)練系統(tǒng)全流程的深度揭秘了。

感興趣的小伙伴可以再通過完整的技術(shù)報告深入了解：
https://gitcode.com/ascend-tribe/ascend-training-system/blob/main/Overview/%E6%98%87%E8%85%BE%E8%B6%85%E5%A4%A7%E8%A7%84%E6%A8%A1Pangu%20MoE%E6%A8%A1%E5%9E%8B%E5%85%A8%E6%B5%81%E7%A8%8B%E9%AB%98%E6%95%88%E8%AE%AD%E7%BB%83%E5%AE%9E%E8%B7%B5.pdf

技術(shù)博客地址：
https://gitcode.com/ascend-tribe/ascend-training-system/blob/main/Overview/ascend-training-system-overview.md