吞吐量超過12000tokens/秒,滿血版DeepSeek!
這是目前為止,我看到過的國內廠商8卡DeepSeek一體機,創造的最高紀錄。
自從年初DeepSeek爆火,各大智算廠商就在不斷地挑戰:如何用一體機跑出滿血版的最佳效果?
于是乎,半年來滿血一體機的吞吐量紀錄不斷被刷新,從最初的2000多,到5000、6000、8000,再到10000多……
如今,這數據被干到了夸張的12000+!
大家對這個事這么上頭,究竟是為啥?一體機真有這么大需求嗎?
其實,這件事的核心在于,算力需求的基本盤,變了。
之前,百模大戰,主要需求是大模型預訓練,強調算力的高MFU、高可用。
現在,大模型應用落地,需求開始多樣化,訓練、訓推、推理,不僅強調高MFU、高可用,還要高吞吐、低延遲。
而且,隨著各種大模型項目在千行百業落地,實際部署、優化涉及到五花八門的情況。
沒點真功夫,很難滿足需求。
所以,表面上智算廠商們狂炫一體機,鉚足勁拉吞吐,實際上,是把它作為自己練功的“木人樁”。
有了這個業界都買賬的“活靶子“,通過持續工程優化,把實戰能力練到極致,就可以去適配更復雜的行業落地場景。
就拿創造”12000+Tokens“吞吐紀錄的聯想來說,在這背后,聯想練就的大模型落地能力,早已遠遠超過了一體機范疇。
最近,在「2025聯想創新科技大會」上,在披露這項紀錄的同時,聯想也揭秘了背后的黑科技——聯想萬全異構智算平臺3.0。
這不是我第一次關注到「萬全異構智算平臺」,想了解其基礎能力的朋友,可以以翻看這篇,五大基礎能力介紹↓
比智算更猛的,是異構智算!
這一次,我來劃劃新重點:“萬全3.0”帶來的四大全新技術——
1、AI推理加速算法集
這套“加速秘笈",包括了針對MLA、混合精度量化、分布式并行等策略的一系列二次優化,提升推理吞吐量、降低時延。
在這套算法集的加持之下,大模型推理性能可以提升5-10倍,與業界最優社區方案相比,保持20%+優勢。
所以就有了這樣的炸裂成績:單機8卡服務器,支持190路用戶同時使用滿血版DeepSeek。
2、AI編譯優化器
這個優化,貫穿了AI開發框架、計算路徑、算子、驅動層以及各種異構加速卡。
采用算子融合、算子替代、路徑優化手段,大幅簡化計算過程。
就這樣,通過構建計算圖過程中的優化,一頓操作猛如虎,訓推開銷各降15%!
3、AI訓推慢節點故障預測與自愈系統
搞過訓練和推理的老司機都知道,節點故障是”家常便飯“,而且不可避免。
尤其在GPU異構、集群場景復雜的情況下,故障率會更高,一旦停擺,訓練進度受影響,推理體驗打折扣。
不用慌,現在可以“提前治未病”,還有“速效救芯丸”,讓AI集群自己預測故障、發現故障、診斷和修復故障。
聯想通過多年訓推實踐積累起來的訓推故障特征庫,用AI模型來完成預測和診斷,自動化排除故障點,并通過多機緩存極速讀取和恢復訓推環境。
最終,在實戰場景,故障自愈時間可以做到百卡故障秒級恢復、千卡分鐘級恢復、萬卡十分鐘級以內恢復,大大提升訓練效率和推理體驗。
4、專家并行通信算法
DeepSeek爆火,讓MoE這種專家混合模型流行度飆升,最新發布的Qwen3也提供了相應的MoE模型(235B)。
與傳統稠密模型比,MoE模型通過激活少量專家來降低推理算力開銷,但模型的并行通信復雜度和通信量也隨之大大增加了。
雖然DeepSeek官方給出了一套專家并行的優化指南,讓計算和通信疊加,提升效率。
但這套方案受限于特定N卡和特定集群架構,并不完全適用于千差萬別的行業場景。
“萬全異構智算平臺”的專家并行通信算法,是一種架構自適應的細粒度計算、通信協同優化技術。
目標就是希望適配不同GPU/加速卡、網絡環境、集群規模等等。
而且,聯想也把這種通信優化,作為一種服務來交付,為不同的行業場景提供定制化調優。
無論是DeepSeek還是Qwen3,無論是N卡還是A卡、國產卡,無論RDMA網還是IB網,無論小集群還是巨無霸,都能跑到極致。
你沒想到吧,高吞吐的滿血一體機,只是熱身秀肌肉,這背后的「聯想萬全異構智算平臺」,才是聯想苦練的真功夫。
當然,為了滿足“后訓練時代”的新需求,聯想在「Tech World 2025」上還放出了一系列大招。
比如,在算力層面,聯想針對數據處理、AI訓練、AI推理對算力需求的差異,分別推出了不同的服務器家族,主打一個“拳拳到肉、切中要害”。
在存儲力層面,重磅發布聯想凌拓全新存儲產品家族,以及具備本地自研、自有知識產權、自主可控三大特征的聯想存儲新品牌——聯想問天。
在運載力層面,發布高密度400G交換機聯想問天NE8770-64QC,專為AI訓推場景深度優化。
至此,存算網的“buff”全部疊齊,萬全異構智算3.0的“內功”煉成。
“大模型2.0時代”的聯想,戰力徹底拉滿!
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.