當前，DeepSeek已全面邁入大規模應用階段，推理需求呈現爆發式增長，高性價比的推理方案炙手可熱。在國家加速構建自主創新算力體系的戰略背景下，中國電信攜手華為開展核心技術攻關，星辰MaaS平臺+昇騰解鎖DeepSeek超強推理能力，完成DeepSeek模型基于昇騰大規模專家并行（后文簡稱“大EP”）解決方案的驗證，以硬核實力重塑AI推理新標桿，以高效率賦能千行百業！

大規模專家并行推理（Large-Scale Expert Parallel Inference）是一種針對大規模深度學習模型的高效推理技術，尤其適用于DeepSeek-R1等基于混合專家架構的大模型。“專家”即混合專家MOE架構中的功能性子模型，通過分工協作實現高效計算和更強的任務處理能力。

該推理技術的核心思想是將模型中的多個“專家”子網絡分布到不同的AI卡上，降低單卡的計算和內存壓力，通過并行計算和動態路由機制，實現高并發、高吞吐、低時延的推理性能。

在大EP方案實施過程中，涉及到多專家的協同和調度、跨節點通信等難題：

通信開銷，“網絡擁堵”

“專家并行化”需要節點間頻繁通信，但如果專家很多，將造成通信頻次過高，形成類似交通擁堵的資源競爭狀態，大量時間將消耗在通信等待中。

專家分配：負載失衡

在動態路由機制下，數據被動態分配給專家，可能出現“明星專家”被瘋狂投喂任務，而其他專家模塊處于低負載閑置狀態。

系統復雜，協同瓶頸

在大規模部署時，跨專家協作、容錯與資源調度的協同管理，成為關鍵的“工程瓶頸”。

若上述難題未得到有效解決，“專家并行化”的潛力將難以充分釋放。為此，亟需通過新的算法優化和系統設計，以降低通信成本、實現智能負載均衡，并構建更魯棒的分布式訓練框架。中國電信聯合昇騰利用三大黑科技，讓智算資源效率大大提升：

PD分離（預填充和解碼分離）

PD分離技術作為一種創新的架構設計，通過將大模型推理過程分解為兩個獨立的階段，并針對每個階段的特性進行專門優化，如同將“倉庫與加工車間分開”，能夠有效提升系統資源利用率。

多專家并行優化（智能任務調度）

“讓專業的人做專業的事”，系統將圖像識別、文本理解等不同任務分配給對應領域的專家處理。同時采用親和部署策略，將高頻通信的模塊盡量部署在同一臺物理設備上，減少通信開銷。實測表明，資源利用率可提升20%。

融合算子（復合計算加速技術）

MLAPO(加速算子)將13個小算子融合成一個超級大算子，如同“產線工人升級為全流程操作手”，單次計算的同時能完成多項操作。在DeepSeek模型的量化場景下，該技術使計算耗時從109微秒縮減為45微秒，計算速度提升70%。

在實戰環境中，本次實驗基于星辰MaaS平臺，分別采用傳統混合部署方案和大EP專家并行方案，基于DeepSeek R1進行推理性能測試，如下：

在輸入2K、輸出2K場景下

單卡平均端到端吞吐提升3.71倍；適合在線客服、智能問答等高頻短文本交互。

在輸入4K、輸出2K場景下

單卡平均端到端吞吐提升3.53倍；攻克長文檔摘要、代碼生成等企業級剛需。

經過實測驗證，單卡吞吐性能提升近4倍！

在互聯網、科技行業，大EP方案特別適用于高并發場景，如智能客服和AI內容生成。相比傳統GPU集群，該方案能大幅降低單卡顯存占用，支持更高的用戶請求并發量，提升響應速度與用戶體驗，同時降低50%以上的硬件成本。

對于金融、要客等對數據隱私要求嚴格的行業，大EP方案支持私有化部署，通過多專家并行技術，可在保持同等推理性能的情況下減少40%的AI卡投入，既滿足國產化要求，又顯著降低硬件投資成本，縮短回報周期。

此外，星辰MaaS平臺提供開箱即用的大EP方案，適用于政務、農業、文宣等行業，用戶無需自建算力，通過API即可快速集成，實現零運維、按需付費的彈性服務，整體成本僅為自建算力的1/3，尤其適合預算有限但需要高并發支持的場景。

無論是互聯網大模型的高并發推理，還是企業私有化大模型的服務，大EP方案都能以更低成本、更高效率滿足大規模推理并發性能需求。國產智算+自研技術，加速AI推理規模應用，真正實現“算力自由”！

中國電信星辰MaaS平臺+星辰行業智能體平臺+DeepSeek+昇騰大EP方案，為企業客戶提供一站式算力+數據+模型+平臺+應用端到端解決方案及極致性能推理服務，讓AI應用的搭建快速、簡捷，高效。

（圖片來源：中國電信）