上海
觀察者網獲悉，本次世界人工智能大會（WAIC），華為將首次線下展出昇騰384超節點真機。
隨著大模型訓練和推理對算力需求的爆炸式增長，傳統計算架構已難以支撐AI技術的代際躍遷。華為昇騰384超節點，首創將384顆昇騰NPU和192顆鯤鵬CPU通過全新高速網絡MatrixLink全對等互聯，形成一臺超級“AI服務器”，單卡推理吞吐量躍升到2300 Tokens/s。
在高速互聯總線聯接下，昇騰384超節點共由12個計算柜和4個總線柜構成，是目前業界最大規模的超節點，算力總規模達300Pflops，是英偉達NVL72的1.7倍；網絡互聯總帶寬達269TB/s，比英偉達NVL72提升107%；內存總帶寬達1229TB/s，比英偉達NVL72提升113%。 更重要的是，通過最佳負載均衡組網等方案，昇騰超節點還能進一步擴展為包含數萬卡的Atlas 900 SuperCluster超節點集群，未來可以支撐更大規模的模型演進。
并且，超節點架構還能更好地支持混合專家MoE大模型的推理，可以實現“一卡一專家”，一個超節點可以支持384個專家并行推理，極大提升效率。同時，超節點還可以支持“一卡一算力任務”，靈活分配資源，提升任務并行處理，減少等待，將算力有效使用率（MFU）提升50%以上。
本文系觀察者網獨家稿件，未經授權，不得轉載。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
