通信世界網(wǎng)消息(CWW)6月20日,華為開發(fā)者大會2025正式開幕。在主題演講中,華為常務(wù)董事、華為云CEO張平安宣布兩項核心進(jìn)展:基于CloudMatrix 384超節(jié)點架構(gòu)的新一代昇騰AI云服務(wù)全面上線,以及盤古大模型5.5正式發(fā)布。
CloudMatrix 384超節(jié)點架構(gòu)突破算力瓶頸
近日,華為創(chuàng)始人任正非在接受記者采訪時曾表示,硅基芯片,我們用數(shù)學(xué)補物理、非摩爾補摩爾,利用集群計算的原理,可以達(dá)到滿足我們現(xiàn)在的需求。
今天所上線的基于CloudMatrix 384超節(jié)點架構(gòu)的新一代昇騰AI云服務(wù)正是采用這種思路。據(jù)張平安介紹,CloudMatrix 384超節(jié)點架構(gòu)通過MatrixLink高速網(wǎng)絡(luò)實現(xiàn)了384顆昇騰NPU與192顆鯤鵬CPU全對等互聯(lián),形成高性能計算單元。實測數(shù)據(jù)顯示,其單卡推理吞吐量達(dá)2300Tokens/s,較傳統(tǒng)架構(gòu)提升近4倍。
而且,這種結(jié)構(gòu)非常貼合混合專家模型(MoE)進(jìn)行深度優(yōu)化。例如,DeepSeek模型配置了256個固定專家和32個共享專家(共288張卡),再加上一些用于應(yīng)對負(fù)載不均衡情況的冗余卡,總共需要320張卡用于Decode操作。而Prefill操作大概會用到32張卡。綜合起來,整個過程需要352張卡。
因此,這種架構(gòu)完全支持“一卡一專家”并行推理模式,單節(jié)點可承載384個專家模型同步運行。資源調(diào)度層面實現(xiàn)“一卡一算子任務(wù)”的細(xì)粒度控制,使算力有效使用率(MFU)提升50%以上。在擴展性方面,支持432個節(jié)點級聯(lián)構(gòu)建16萬卡集群,并創(chuàng)新實現(xiàn)“日推夜訓(xùn)”的訓(xùn)推算力動態(tài)分配方案。據(jù)張平安介紹,目前該服務(wù)已落地科大訊飛、中科院等1300余家客戶。
盤古大模型5.5實現(xiàn)全棧升級
盤古大模型5.5的全面升級,則是華為云在AI應(yīng)用領(lǐng)域的又一重大突破。
一直以來,華為云盤古大模型都聚焦行業(yè),致力于解難題、做難事,重塑千行萬業(yè)。此次發(fā)布的盤古大模型5.5,五大基礎(chǔ)模型全面升級,為行業(yè)提供了全新價值。
在自然語言處理(NLP)領(lǐng)域,全新的718B深度思考模型由256個專家組成MoE大模型,在知識推理、工具調(diào)用、數(shù)學(xué)等領(lǐng)域大幅增強,處于業(yè)界第一梯隊。同時,盤古大模型5.5在高效長序列、低幻覺、快慢思考融合、Agent等特性上進(jìn)行升級,提升了用戶體驗。例如,自適應(yīng)快慢思考合一的技術(shù)讓模型能根據(jù)問題難易程度自適應(yīng)切換快慢思考,整體模型推理效率提升8倍;盤古深度研究DeepDiver可以在網(wǎng)頁搜索、常識性問答等應(yīng)用上獲得很高的執(zhí)行效率,大幅提升工作效率。
在多模態(tài)領(lǐng)域,全新發(fā)布基于盤古多模態(tài)大模型的世界模型,可以為智能駕駛、具身智能機器人的訓(xùn)練構(gòu)建數(shù)字物理空間,實現(xiàn)持續(xù)優(yōu)化迭代。廣汽集團與華為云深度合作,依托盤古多模態(tài)大模型,實現(xiàn)了2D視頻模態(tài)與3D點云模態(tài)的像素級對應(yīng),為端到端模型的高效迭代提供了強力支撐。此外,華為云還基于盤古大模型的多模態(tài)能力及思維能力,正式發(fā)布CloudRobo具身智能平臺,加速具身智能創(chuàng)新。
在預(yù)測領(lǐng)域,盤古預(yù)測大模型采用業(yè)界首創(chuàng)的triplet transformer統(tǒng)一預(yù)訓(xùn)練架構(gòu),極大地提升了預(yù)測大模型的精度和跨行業(yè)、跨場景的泛化性,已被應(yīng)用于鋼鐵、有色金屬、供熱等多個行業(yè),幫助客戶實現(xiàn)工藝優(yōu)化和系統(tǒng)尋優(yōu)。
在科學(xué)計算領(lǐng)域,華為云持續(xù)拓展盤古科學(xué)計算大模型與更多科學(xué)應(yīng)用領(lǐng)域的結(jié)合,深圳氣象局、重慶市氣象局、深圳能源等機構(gòu)都基于盤古大模型取得了顯著成果。
在計算機視覺(CV)領(lǐng)域,華為云發(fā)布全新MoE架構(gòu)的300億參數(shù)視覺大模型,全面支持多維度、泛視覺的感知、分析與決策,并通過跨維度生成模型構(gòu)建工業(yè)場景稀缺的泛視覺故障樣本庫,極大地提升了業(yè)務(wù)場景的可識別種類與精度。中國石油基于盤古打造了昆侖大模型,在多個專業(yè)領(lǐng)域開展人工智能深度應(yīng)用,取得了顯著成效。
據(jù)張平安透露,在過去的一年中,盤古大模型已在30多個行業(yè)、500多個場景中落地,在政務(wù)、金融、制造、醫(yī)療、煤礦、鋼鐵、鐵路、自動駕駛、氣象等領(lǐng)域發(fā)揮了巨大價值。
結(jié)語
華為云是華為公司面向開發(fā)者的統(tǒng)一底座,目標(biāo)打造昇騰、鴻蒙、鯤鵬、GaussDB、歐拉等各項根技術(shù)的生態(tài),給廣大開發(fā)者一個更優(yōu)的選擇。如今,華為云開發(fā)者已超過800萬;華為云作為云底座,支持鯤鵬、昇騰、鴻蒙等生態(tài)的開發(fā)者總計達(dá)到1300萬。
從CloudMatrix 384超節(jié)點帶來的強大算力支持,到盤古大模型5.5在各個領(lǐng)域的深度應(yīng)用,華為云正以技術(shù)創(chuàng)新為驅(qū)動,為千行萬業(yè)注入新的活力。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.