智東西
作者 江宇
編輯 漠影

智東西5月16日消息，今日舉行的“逐光向新·智領未來”華為云AI峰會上，人工智能基礎設施的最新發(fā)展趨勢與行業(yè)應用實踐成為與會專家學者和產(chǎn)業(yè)代表共同探討的焦點。會上，華為云重點介紹了其最新的CloudMatrix 384超節(jié)點架構技術。

值得關注的是，華為云在會上還宣布了一項技術進展，將于今年第三季度推出名為“朝推夜訓”的靈活調(diào)度策略。該策略旨在白天進行模型推理，并在夜間等閑時進行模型訓練，預計可將算力資源利用率提升30%以上。

一、華為云再談CloudMatrix 384，發(fā)力新一代AI基礎設施

華為云副總裁黃瑾在致辭中提到，自2024年1月1日起截止到目前，華為云在保障運行安全方面保持了穩(wěn)定記錄。他指出，“未來十年將是見證智能世界從無到有的關鍵時期?！?/p>

他談道，隨著AI模型復雜性的提升，集群網(wǎng)絡通信面臨挑戰(zhàn)，而CloudMatrix超節(jié)點架構旨在通過創(chuàng)新架構應對這一問題。該架構通過高速總線互聯(lián)和超大NPU點到點互聯(lián)帶寬，實現(xiàn)了全局內(nèi)存的統(tǒng)一編址和統(tǒng)一通訊協(xié)議，從而打破了傳統(tǒng)算力瓶頸。

他指出，華為云CloudMatrix 384超節(jié)點具備MoE親和、以網(wǎng)強算、以存強算、長穩(wěn)可靠、朝推夜訓、即開即用六大領先技術優(yōu)勢，以適應新一代AI基礎設施的需求。

同時，黃瑾強調(diào)Scaling Law依然有效，持續(xù)提升算力將驅(qū)動更智能、更強大的AI模型。他認為，AI已成為最具影響力的通用技術。據(jù)介紹，CloudMatrix 384在多節(jié)點并行計算的效率、網(wǎng)絡互聯(lián)帶寬以及內(nèi)存帶寬等方面展現(xiàn)出一定的技術優(yōu)勢。

此外，華為云還探索了如“1卡1專家推理”等新型計算模式，據(jù)稱該模式通過為每個專家模型分配專用計算資源，能夠顯著提升MoE（Mixture of Experts）等特定類型AI任務的推理效率，例如在Deepseek R1千億MoE模型上實現(xiàn)了高達3倍的吞吐量提升。

其Scale-out網(wǎng)絡設計目標是支持高達12.8萬張卡的集群進行無阻塞交換，這被認為是CloudMatrix 384的關鍵技術核心。

二、硅基流動攜手華為云，深化AI應用合作

硅基流動聯(lián)合創(chuàng)始人兼首席產(chǎn)品官胡健也發(fā)布了演講。據(jù)他觀察，開源模型在AI應用領域的重要性日益提升，并且性能也在不斷進步。

胡健談道，硅基流動正與華為云緊密合作，并在技術上取得顯著進展。雙方聯(lián)合攻關，針對DeepSeek-R1模型的部署采用了大規(guī)模專家并行方案。

通過實施多專家負載均衡和極致通信優(yōu)化策略，有效提升了模型的吞吐量和性能。實驗數(shù)據(jù)顯示，在保障單用戶20TPS水平的前提下，單卡解碼吞吐率已突破1920 Tokens/s。

據(jù)了解，硅基流動是國內(nèi)首家向DeepSeek提供API的公司。借此機會，硅基流動的用戶數(shù)量實現(xiàn)了顯著增長，達到了之前的十倍。而近日，硅基流動DeepSeek-R1&V3推理服務也正式上架華為云云商店KooGallery。

三、AI數(shù)據(jù)中心運維挑戰(zhàn)與行業(yè)應用洞察

華為云數(shù)據(jù)中心全球DC運維首席專家謝峰則深入探討了AI數(shù)據(jù)中心所面臨的獨特挑戰(zhàn)，包括超大規(guī)模光鏈路的波動性、高功率密度帶來的供電穩(wěn)定需求，以及超高密液冷散熱的問題。

他還介紹，華為云數(shù)據(jù)中心通過產(chǎn)品化實現(xiàn)了快速交付、低成本和低PUE。同時，數(shù)據(jù)中心在鋰電預測、液冷預測等智能化方面進行實踐，著力構建綠色低碳、穩(wěn)定可靠、安全可信的云數(shù)據(jù)中心。

他還分享了CloudMatrix 384超節(jié)點數(shù)據(jù)中心在利用數(shù)據(jù)分析進行設備狀態(tài)預測方面的進展，特別提到了在鋰電預測的應用，通過擴展數(shù)據(jù)集范圍，CloudMatrix 384的預測準確率從最初的40%已提升至97%。

AI正帶來巨大的產(chǎn)值，并重塑各行業(yè)的生產(chǎn)方式，保險行業(yè)也在經(jīng)歷從人治向數(shù)據(jù)化治理的轉型。大家保險信息科技部總經(jīng)理郝曉波指出，保險行業(yè)的AI化轉型是數(shù)字化轉型的自然延伸，敏捷化的AI戰(zhàn)略可能更適合傳統(tǒng)行業(yè)。

大家保險正借助華為云的算力及AI平臺，構建企業(yè)級AI中臺和業(yè)務應用，覆蓋智能營銷、風控投資等業(yè)務環(huán)節(jié)，以期推動保險業(yè)務的增長。

德勤中國合伙人劉曉羽則表示，德勤中國利用基于華為昇騰云和DeepSeek構建的AI平臺和工具，為客戶提供面向特定業(yè)務場景的AI咨詢和解決方案服務，預期將實現(xiàn)策略性的降本增效。

本次華為云AI峰會分享了AI基礎設施建設的最新進展，并就AI技術發(fā)展趨勢和應用實踐進行了探討。各位專家學者的分享，也為理解未來AI技術發(fā)展趨勢和行業(yè)應用的落地提供了具體的思路和借鑒。