浪潮信息的元腦 R1 服務器現(xiàn)已全面支持開源框架 SGLang，能夠在單機環(huán)境下實現(xiàn) DeepSeek 671B 模型的高并發(fā)性能，用戶并發(fā)訪問量超過1000。通過對 SGLang 最新版本的深度適配，元腦 R1 推理服務器在運行高性能模型時，展現(xiàn)出卓越的處理能力，滿足了現(xiàn)代AI應用對算力的嚴苛要求。

DeepSeekR1參數(shù)量達到6710億，采用了MLA注意力機制和共享專家、路由專家共同組成的混合專家(MoE)架構(gòu)，其創(chuàng)新的模型架構(gòu)也帶來了在推理服務上的性能挑戰(zhàn)。浪潮信息團隊從AI服務器和推理框架入手開展了協(xié)同優(yōu)化工作。

元腦R1推理服務器NF5688G7原生搭載FP8計算引擎，針對DeepSeek R1 671B模型部署速度快且無精度損失，1128GB HBM3e高速顯存滿足671B模型 FP8精度下不低于800GB顯存容量的需求，單機支持全量模型推理情況下，仍保留充足的KV緩存空間。顯存帶寬高達4.8TB/s，完美契合DeepSeek R1模型"短輸入長輸出、顯存帶寬敏感"的技術(shù)特征，在推理解碼階段可實現(xiàn)極致加速。在通信方面，GPU P2P帶寬達900GB/s，保障單機部署張量并行最佳通訊性能。

SGLang是新興的開源推理框架項目，其得到活躍的社區(qū)支持，并在工業(yè)界獲得了廣泛應用。SGlang的核心特性包括：快速的后端運行時、靈活的前端語言、廣泛的模型支持等。尤其值得關(guān)注的是，SGLang針對MLA注意力機制開展了針對性的工程優(yōu)化，并在框架上對MoE架構(gòu)的推理做了優(yōu)化設(shè)計。SGLang也是最早適配DeepSeek v3和R1的優(yōu)選推理框架之一。

目前，元腦R1推理服務器 NF5688G7已完成SGLang最新版本 0.4.3的適配優(yōu)化工作。通過硬件調(diào)優(yōu)、算子優(yōu)化、混合并行、多token預測等多方面的工程實踐，在元腦R1推理服務器 NF5688G7上運行DeepSeek671B R1模型，成功實現(xiàn)了單用戶解碼最高33 tokens/s及最大用戶并發(fā)超1000的優(yōu)異性能表現(xiàn)。

單路并發(fā)性能測試日志，根據(jù)TPOT換算用戶解碼性能為33.3 tokens

DeepSeekR1 671B是一個稀疏度較高的MoE架構(gòu)模型，具有模型參數(shù)量大、計算量小的特點。和Dense模型相比，在滿足KV cache的顯存占用的前提下，可以支持更高的并發(fā)訪問需求。實測數(shù)據(jù)表明，基于單臺NF5688G7，在使用DeepSeek R1進行帶思維鏈深度思考的短輸入長輸出的問答場景下，使用100/1000作為輸入輸出長度，實測在單個用戶并發(fā)時的解碼性能為33.3tokens/s；在16個用戶并發(fā)時，每個用戶有約20 tokens/s的解碼性能；在64個用戶并發(fā)時，每個用戶有約10.4 tokens/s的解碼性能。而在使用1024個用戶并發(fā)訪問的極限測試時，單臺NF5688G7實現(xiàn)了3975.76 tokens/s的吞吐性能，可以滿足超高并發(fā)場景下多用戶使用需求。

1024路并發(fā)性能測試日志，測試使用了1000/1000的輸入輸出長度，實現(xiàn)了3975.76 tokens/s的總設(shè)備吞吐

浪潮信息團隊正與業(yè)內(nèi)團隊密切合作，在計算架構(gòu)、算子調(diào)優(yōu)、并行策略、框架適配、調(diào)度管理等多個方面持續(xù)發(fā)力，旨在為用戶帶來高性能、高效穩(wěn)定、性價比高的DeepSeek大模型部署服務方案，助力大模型快速落地應用。

浪潮信息團隊與行業(yè)內(nèi)的合作伙伴緊密協(xié)作，持續(xù)在計算架構(gòu)、算子優(yōu)化、并行策略及框架適配等多個領(lǐng)域進行創(chuàng)新，旨在為用戶提供高效、穩(wěn)定且具性價比的 DeepSeek 大模型部署服務。作為全球領(lǐng)先的 IT 基礎(chǔ)設(shè)施產(chǎn)品和服務提供商，浪潮信息致力于通過元腦服務器推動人工智能的快速發(fā)展與應用落地，構(gòu)建開放、綠色的智能計算生態(tài)。