今天，聯(lián)想宣布旗下首款AMD AI大模型訓練服務器聯(lián)想問天WA7785a G3在單機部署671B（滿血版）DeepSeek大模型時，可實現(xiàn)極限吞吐量6708token/s。

一舉將單臺服務器運行大模型的性能推向了新高，充分展現(xiàn)了聯(lián)想在AI基礎設施領域技術的深厚積淀與研發(fā)的快速響應能力。

在AI算力競爭日趨白熱化的今天，聯(lián)想再次以硬核技術實力樹立了行業(yè)新標桿。

軟硬協(xié)同打造業(yè)界性能新標桿

依托聯(lián)想萬全異構智算平臺，聯(lián)想通過訪存優(yōu)化、顯存優(yōu)化、PCIe 5.0全互聯(lián)架構創(chuàng)新以及精選SGLang框架中性能最優(yōu)算子等諸多創(chuàng)新方式，對大模型從預訓練、后訓練到推理的全流程進行持續(xù)優(yōu)化。

在單臺部署DeepSeek 671B大模型的聯(lián)想問天WA7785a G3上實測最高吞吐量達6708 token/s。

在模擬問題對話場景（上下文序列長度128/1K）時，最高可支持并發(fā)數(shù)158，TPOT 93毫秒, TTFT 2.01秒；

而在模擬代碼生成（上下文序列長度512/4K ）時，并發(fā)數(shù)可達140，TPOT 100毫秒, TTFT 5.53秒。

這一成績意味著單臺聯(lián)想問天WA7785a G3可以支撐1500人規(guī)模企業(yè)的正常使用，是繼聯(lián)想問天WA7780 G3服務器單機部署滿血版DeepSeek 大模型總吞吐量突破2500 token/s之后，單機部署該大模型推理性能的又一次突破。

此次突破是聯(lián)想中國基礎設施業(yè)務群、聯(lián)想研究院ICI實驗室和AMD聯(lián)合設計、協(xié)同調優(yōu)、共同實現(xiàn)的。

當然，該結果也并非最終結果， 聯(lián)想與AMD 還在持續(xù)嘗試深度調優(yōu)新方法。實現(xiàn)更高調優(yōu)突破。

硬核配置構筑強大DeepSeek算力底座

聯(lián)想問天 WA7785a G3服務器是聯(lián)想與AMD雙方深度合作的智慧結晶，正是雙方通力合作帶來的技術創(chuàng)新、軟硬協(xié)同能力與架構突破為DeepSeek-R1滿血版大模型插上性能騰飛的翅膀。

▋強大算力引擎：

聯(lián)想問天WA7785a G3搭載了2顆AMD處理器和8顆AMD新一代Instinct OAM GPU，它們?yōu)榇竽Ｐ陀柧殹⑼评淼葓鼍疤峁┝藦姶蟮乃懔σ妗?/p>

▋超大顯存優(yōu)勢：

聯(lián)想問天WA7785a G3擁有超大的顯存容量，單顆GPU的HBM3e顯存容量高達192GB，總計達1.5TB。超大顯存使得單機支持全量模型推理情況下，仍保留充足的KV緩存空間。而其顯存帶寬達到了驚人的5.3TB/s，GPU聚合帶寬達896GB/s，節(jié)點間網絡帶寬3.2TB/s，更高的帶寬可為推理解碼實現(xiàn)極致加速，充分滿足了大模型并行計算時對跨節(jié)點通信的高帶寬需求，使其成為用戶首選大模型推理服務器。

▋特有創(chuàng)新架構：

聯(lián)想問天WA7785a G3的獨特架構設計也為最大程度地釋放算力潛能、突破帶寬限制發(fā)揮了關鍵作用，其三重獨立風道設計分別針對CPU節(jié)點、GPU節(jié)點和交換機節(jié)點進行精準散熱控制，提高了散熱效率，為服務器的穩(wěn)定性和可靠性提供了有力保障。

未來，聯(lián)想將持續(xù)深化與產業(yè)伙伴的技術協(xié)作，通過架構創(chuàng)新、算法優(yōu)化與硬件技術創(chuàng)新，不斷突破性能邊界，為各行業(yè)提供更高密度、更低能耗、更易部署的AI算力基礎設施，推動AI算力向更高效、更普惠、更可持續(xù)的方向演進，助力中國智算產業(yè)的持續(xù)發(fā)展。