數據是個寶

數據寶

投資少煩惱

中國AI產業注入強心劑。

5月30日，券商中國記者從華為獲悉，華為在MoE模型訓練領域再進一步，重磅推出參數規模高達7180億的全新模型——盤古Ultra MoE，這是一個全流程在昇騰AI計算平臺上訓練的準萬億MoE模型。同時，華為發布盤古Ultra MoE模型架構和訓練方法的技術報告，披露眾多技術細節，充分體現了昇騰在超大規模MoE訓練性能上的跨越。

業內人士分析，華為盤古Ultra MoE和盤古Pro MoE系列模型的發布，證明華為不僅完成了國產算力+國產模型的全流程自主可控的訓練實踐，同時在集群訓練系統的性能上也實現了業界領先。這意味著國產AI基礎設施的自主創新能力得到了進一步驗證，為中國人工智能產業的發展提供了一顆“定心丸”。

國產算力與國產模型重大突破

據悉，訓練超大規模和極高稀疏性的MoE模型極具挑戰，訓練過程中的穩定性往往難以保障。針對這一難題，華為盤古團隊在模型架構和訓練方法上進行了創新性設計，成功地在昇騰平臺上實現了準萬億MoE模型的全流程訓練。

在模型架構上，盤古團隊提出Depth-Scaled Sandwich-Norm（DSSN）穩定架構和TinyInit小初始化的方法，在昇騰平臺上實現了超過18TB數據的長期穩定訓練。此外，他們還提出了EP loss負載優化方法，這一設計不僅保證了各個專家之間的能保持較好的負載均衡，也提升了專家的領域特化能力。同時，盤古Ultra MoE使用了業界先進的MLA和MTP架構，在預訓練和后訓練階段都使用了Dropless訓練策略，實現了超大規模MoE架構在模型效果與效率之間的最佳平衡。

在訓練方法上，華為團隊首次披露在昇騰CloudMatrix 384超節點上，高效打通大稀疏比MoE強化學習（RL）后訓練框架的關鍵技術，使RL后訓練進入超節點集群時代。同時，在5月初發布的預訓練系統加速技術基礎上，在不到一個月的時間內，華為團隊又完成了一輪迭代升級，包括：適配昇騰硬件的自適應流水掩蓋策略，進一步優化算子執行程序，進一步降低Host-Bound以及提升EP通信的掩蓋；自適應管理內存優化策略的開發；數據重排實現DP間Attention負載均衡；以及昇騰親和的算子優化，這些技術實現萬卡集群預訓練MFU由30%大幅提升至 41%。

此外，近期發布的盤古Pro MoE大模型，在參數量僅為720億、激活160億參數量的情況下，通過動態激活專家網絡的創新設計，實現了以小打大的優異性能，甚至可以媲美千億級模型的性能表現。在業界權威大模型榜單SuperCLUE最新公布的2025年5月排行榜上，位居千億參數量以內大模型排行并列國內第一。

業內人士分析，華為此舉的核心意義在于，證明了在國產AI算力平臺（昇騰）上，能夠高效、穩定地訓練并優化達到國際頂尖水平的超大規模稀疏模型（MoE），實現了從硬件到軟件、從訓練到優化、從基礎研究到工程落地的“全棧國產化”和“全流程自主可控”的閉環，并在關鍵性能指標上達到業界領先水平。

國內大模型消息不斷

5月28日，深度求索公司傳來消息，DeepSeek-R1模型已完成小版本試升級，可前往官方網頁、APP、小程序測試（打開深度思考），API接口和使用方式保持不變。

這家總部位于杭州的初創公司今年1月發布了DeepSeek-R1人工智能模型，震驚了全球科技界。R1模型在多項標準化指標上的表現均優于西方競爭對手，而其成本據稱僅為數百萬美元。此舉引發了全球科技股的暴跌，投資者開始質疑，領先的公司是否仍需要投入巨資來構建人工智能服務。

這是自3月底以來，DeepSeek的一次最新動作。3月25日晚，DeepSeek公司在官方賬號上正式宣布V3模型完成小版本升級的消息，并介紹了新版本DeepSeek-V3-0324模型的提升細節，包括推理、前端開發、中文寫作、中文搜索幾個方面的能力優化。彼時，據海外專業AI模型評測機構最新排名，新版V3模型是得分最高的非推理模型，超過xAI的Grok3和OpenAI的GPT-4.5（preview）。

5月21日，在2025騰訊云AI產業應用峰會上，騰訊大模型戰略首次全景亮相，從自研的混元大模型、到AI云基礎設施，再到智能體開發工具、知識庫以及面向場景的應用，騰訊大模型矩陣產品全面升級。騰訊正通過持續打磨技術和產品能力，為企業和用戶在大模型時代打造真正“好用的 AI”。

在瘋狂卷技術的全球大模型角逐中，騰訊混元正小步快跑、快速迭代，技術能力持續提升。

騰訊集團高級執行副總裁、云與智慧產業事業群CEO湯道生在會上宣布，在全球公認的權威大語言模型評測平臺Chatbot Arena上，混元TurboS排名已攀升至全球前八，國內僅次于DeepSeek。其中，代碼、數學等理科能力，混元TurboS也進入全球前十。

5月29日，騰訊旗下騰訊元寶、ima、搜狗輸入法、QQ瀏覽器、騰訊文檔、騰訊地圖、騰訊樂享等多款AI應用宣布接入DeepSeek R1-0528，用戶在不同產品中，選擇DeepSeek模型R1深度思考，都可以體驗到DeepSeek R1-0528最新的深度思考、編程和長文本處理等能力。

來源：券商中國

聲明：數據寶所有資訊內容不構成投資建議，股市有風險，投資需謹慎。

責編：林麗峰

校對：劉榕枝

數據寶