鋒行鏈盟推薦閱讀

來源：中國信通院

鋒行鏈盟

聚焦于人工智能、低空經濟、數字經濟、銀發經濟、文旅、通信、儲能等未來產業研究，為政府和企業提供政策匯編與解讀、行業研究報告、產業招商、上市輔導與投融資服務。

以下是內容詳情

報告深入探討了高質量大模型基礎設施的建設，涵蓋了其重要性、挑戰、關鍵技術、評價指標和典型實踐案例。以下是報告的主要知識點：

1. 大模型基礎設施概述：

概念與特性：大模型基礎設施是指支持大規模人工智能模型訓練、部署和應用的硬件和軟件資源的集合，具備高可用、高性能、可擴展和可評價等特性。

現狀：技術方面，AI 存儲和網絡技術不斷提升；產業方面，科技大廠已形成完整生態；政策方面，各國加大資金投入。

2. 大模型基礎設施挑戰：

計算資源分配粗放，利用率低：訓練任務排布不合理、推理請求波峰波谷現象明顯、算力調度系統存在資源超額申請問題。

海量數據處理低效，數據存儲成為新瓶頸：海量原始數據歸集等待時間長、訓練數據預處理時間長、訓練階段檢查點文件讀寫效率低、大模型推理記憶時間短、存在輸出幻覺。

并行計算規模攀升，網絡通信成為新阻礙：大模型訓練通信開銷大、網絡規劃需綜合考慮AI 服務器的端口需求和存儲需求。

模型參數急劇增長，開發效率成為新約束：大模型訓練資源需求普遍較大、模型微調、提示工程等增量環節帶來開發工具新需求、超大模型的推理服務需大規模計算資源支持、大模型部署需滿足推理側設備多架構要求、推理任務要求實時性高，推理效率仍需提升。

基礎設施故障率高，運維能力成為新挑戰：萬卡集群訓練任務盲啟動，失敗頻發、訓練過程故障頻發，大模型基礎設施可用度低、故障種類多、復雜系統運維難度大。

3. 大模型基礎設施關鍵技術：

高效算力管理調度技術：虛擬化、容器化、池化技術、異構并行技術、基于預測模型的算力調度體系。

高性能大模型存儲技術：KV-cache 技術、加速卡直通存儲、并行文件系統、近數據向量知識庫、數據編織技術。

高通量大規模網絡技術：高性能互聯技術、網絡負載均衡技術、參數面、存儲面/樣本面、業務面、帶外管理面網絡互聯。

高效能大模型開發技術：訓練加速技術、大模型微調技術、模型壓縮技術、大模型推理引擎。

高容錯大模型運維技術：訓前健康檢查、全棧全路徑統一監控分析、斷點續訓、智能運維。

4. 高質量大模型基礎設施評價指標：

指標體系：從技術能力和性能層面，聚焦計算、存儲、網絡、開發工具鏈及運維等維度建立評價指標。

指標定義：包含技術能力指標和量化的性能指標，例如可用度、平均無故障時間、計算規模、存儲容量、網絡吞吐率、推理時延等。

5. 高質量大模型基礎設施典型實踐：

Meta 大模型基礎設施實踐：優化任務調度、采用RoCE 和IB 組網、采用分布式存儲解決方案、利用MAIProf 識別性能瓶頸并進行優化。

螞蟻集團大模型基礎設施實踐：全局編排調度、智算混部、建立基于算力經濟模型的算力調度體系、利用KV-cache 技術解決大模型推理顯存容量瓶頸與訪存密集問題、采用分布式訓練加速技術、基于DLRover 實現分布式訓練容錯、基于螞蟻自研的無痛升級技術。

某科技公司大模型基礎設施實踐：自研異構算力調度的大模型訓練平臺、對存儲進行系統級優化、研發智能拓撲感知、動態負載均衡調度的故障感知與自愈方法、基于多系統協同優化技術。

6. 總結與展望：

推理側大模型基礎設施新發展：從應用需求、技術發展趨勢和發展需求角度看，推理側的性能優化成為關鍵。

綠色低碳將進一步成為大模型基礎設施發展重點：從產業需求角度和政策推動角度看，可持續發展策略帶來綠色低碳強需求。

7. 高質量大模型基礎設施規劃建議：

計算規劃：計算規模、GPU 卡數。

AI 存儲規劃：存儲性能、存儲規模。

高速網絡規劃：參數面網絡、樣本面網絡、業務面網絡、管理面網絡。

開發軟件規劃：訓練微調平臺、大模型推理平臺。

運維規劃：運維平臺。

篇幅有限僅展示部分內容

公眾號：鋒行鏈盟后臺回復【1122】下載報告