上周,谷歌發(fā)布了自家最新(第七代)TPU芯片Ironwood。圈里又冒出來(lái)一堆炸裂體的文章,講這顆芯片如何干翻英偉達(dá)…
實(shí)際情況怎么樣呢?先說(shuō)結(jié)論:毫無(wú)機(jī)會(huì)。
今天我們就來(lái)簡(jiǎn)單分析下,谷歌要想在AI芯片領(lǐng)域干翻英偉達(dá),總共分幾步?
雖然是掛谷歌舉例子,但也同樣適用于圈里所有玩家,包括悄悄發(fā)力、躍躍欲試甚至希望遙遙領(lǐng)先的國(guó)產(chǎn)廠商們↓
干翻英偉達(dá),只需要五步
?搞定芯片性能:
單拼芯片本身,Ironwood確實(shí)有點(diǎn)兒東西,尤其在FP8推理、內(nèi)存容量和功耗效率上,與Blackwell旗鼓相當(dāng)。
但僅僅看推理場(chǎng)景,英偉達(dá)在低精度(FP4)和混合精度任務(wù)中的優(yōu)化,以及集群互聯(lián)技術(shù)的成熟度,仍然優(yōu)勢(shì)明顯。更不用說(shuō)高精度和訓(xùn)練場(chǎng)景。
當(dāng)然,僅僅是谷歌這一小步,對(duì)國(guó)產(chǎn)芯片廠商已經(jīng)很有難度了。不過(guò)Ironwood的思路值得借鑒,那就是鎖定推理場(chǎng)景,提升能效比,爭(zhēng)取局部領(lǐng)先。
另外,只要我們的芯片性能超過(guò)閹割版,就算是成功的第一步。
?打破生態(tài)壁壘:
即便芯片性能過(guò)關(guān),這一步更難。
英偉達(dá)的CUDA和軟件棧是AI開發(fā)的行業(yè)標(biāo)準(zhǔn),谷歌的TPU生態(tài)(JAX、TensorFlow)覆蓋面有限,短期內(nèi)難以吸引大量開發(fā)者遷移。
國(guó)內(nèi)芯片同樣存在這樣的尷尬,計(jì)算平臺(tái)、AI框架、開發(fā)工具鏈都需要慢慢積累。
?消除市場(chǎng)慣性:
英偉達(dá)的GPU已在80-90%的AI工作負(fù)載中占據(jù)主導(dǎo),客戶切換成本高,Ironwood的云端專屬模式進(jìn)一步限制了其吸引力。
谷歌的困境也是國(guó)產(chǎn)AI芯片的困境,畢竟客戶不愛吃螃蟹,對(duì)國(guó)內(nèi)利好的一點(diǎn)是芯片禁運(yùn)和信創(chuàng)需求,可以推動(dòng)客戶切換。
?解鎖全棧能力:
英偉達(dá)的GPU全面覆蓋訓(xùn)練、推理和邊緣計(jì)算,適用場(chǎng)景更廣;Ironwood主要在推理上優(yōu)化,無(wú)法對(duì)抗英偉達(dá)的全棧優(yōu)勢(shì)。
從未來(lái)趨勢(shì)看,推理是大需求,訓(xùn)練是小需求,國(guó)內(nèi)AI芯片如果能主攻推理(FP8/FP6/FP4),不追求訓(xùn)練核彈,未嘗不是更好的出路。
當(dāng)然低精度高速度反而對(duì)器件和工藝的要求更高,更難做。所以千萬(wàn)不要小看N家的低精度推理優(yōu)勢(shì)。
?持續(xù)迭代創(chuàng)新:
英偉達(dá)已明確從兩年一次的架構(gòu)更新轉(zhuǎn)向每年推出一款新芯片的節(jié)奏。
2025年下半年將推出Blackwell Ultra,2026年推出Vera Rubin,2027年推出Rubin Ultra,性能預(yù)計(jì)比Hopper架構(gòu)提升數(shù)十倍,目標(biāo)支持萬(wàn)億參數(shù)模型的實(shí)時(shí)推理和訓(xùn)練。
這種節(jié)奏,谷歌跟不上,業(yè)內(nèi)也沒有廠商跟得上,不過(guò)N記的多芯片設(shè)計(jì)和先進(jìn)制程依賴TSMC,有一定供應(yīng)鏈風(fēng)險(xiǎn)(當(dāng)然,國(guó)產(chǎn)芯片供應(yīng)鏈風(fēng)險(xiǎn)更大,即便已經(jīng)正在慢慢破局)。
總而言之,雖然英偉達(dá)AI芯片面臨AMD Instinct MI系列、Intel Gaudi 3和谷歌TPU等競(jìng)品在性能和成本上逐步追趕,客戶可能轉(zhuǎn)向多元化采購(gòu)。
國(guó)內(nèi)廠商也在不斷蓄力,力求局部替代,但綜合性能、生態(tài)、市場(chǎng)、場(chǎng)景、可持續(xù)性來(lái)看,每一步都任重道遠(yuǎn)。
太長(zhǎng)不看的分界線,以下為詳細(xì)分析
第一戰(zhàn):性能戰(zhàn)
Ironwood是谷歌首款專門針對(duì)推理優(yōu)化的TPU,旨在滿足生成式AI和復(fù)雜推理模型(比如MoE模型)的計(jì)算需求。關(guān)鍵技術(shù)亮點(diǎn)如下:
單芯片峰值性能為4,614 TFLOPs(FP8精度),集群規(guī)模可擴(kuò)展至9,216個(gè)芯片,提供42.5 Exaflops的計(jì)算能力。
谷歌聲稱這一性能是全球最強(qiáng)大超級(jí)計(jì)算機(jī)El Capitan(1.7 Exaflops,F(xiàn)P64精度)的24倍以上。聽起來(lái)很NB吧,但谷歌這里玩了數(shù)字游戲,拿FP8與FP64的比較,有點(diǎn)不講武德。
Ironwood相比前代Trillium(第六代TPU),每瓦性能提升2倍,跟第一代TPU比,更是提升3,600倍,功耗效率提升近30倍。
每芯片配備192GB高帶寬內(nèi)存(HBM),是Trillium的6倍,帶寬達(dá)7.2-7.4 TB/s。
增強(qiáng)的芯片間互聯(lián)(ICI)帶寬達(dá)1.2 Tbps(雙向),比Trillium提升1.5倍,支持大規(guī)模同步通信。(ICI相當(dāng)于谷歌的NVlink)
單項(xiàng)PK,英偉達(dá)的比較:
Ironwood單芯片4,614 TFLOPs@FP8與英偉達(dá)B200(4,500 TFLOPs@FP8)性能相當(dāng),但B200在FP4精度下可進(jìn)一步提升吞吐量(適合低精度推理)。
Ironwood的9,216芯片集群(42.5 EFLOPs)在理論峰值上領(lǐng)先,但英偉達(dá)的NVL144集群可以提供更高FP4性能。
同時(shí),英偉達(dá)的NVLink和NVSwitch互聯(lián)技術(shù)在高密度集群中表現(xiàn)出色,在分布式任務(wù)中優(yōu)于谷歌的ICI。
顯存方面,Ironwood的192GB HBM和7.2 TB/s帶寬領(lǐng)先于B200(141GB HBM3e,4.8 TB/s帶寬),對(duì)內(nèi)存密集型推理任務(wù)(如長(zhǎng)上下文LLM)更有優(yōu)勢(shì)。
但英偉達(dá)在HBM3e技術(shù)上更靈活,支持Micron等供應(yīng)商,在供應(yīng)鏈穩(wěn)定性上占優(yōu)。
Ironwood的能效比優(yōu)于B200,尤其在FP8推理任務(wù)中,但英偉達(dá)在FP4和稀疏計(jì)算優(yōu)化上仍有領(lǐng)先。
不過(guò),英偉達(dá)的Blackwell平臺(tái)整體功耗偏高(單卡約700W),堪稱電老虎,可能在超大規(guī)模部署中面臨電力瓶頸。
而Ironwood在能效比上,還是占據(jù)了一定優(yōu)勢(shì)。
小結(jié)一下↓
從技術(shù)角度看,Ironwood在FP8推理性能、內(nèi)存容量和功耗效率上與英偉達(dá)Blackwell系列旗鼓相當(dāng),甚至在特定場(chǎng)景(如內(nèi)存密集型推理)略有優(yōu)勢(shì)。
英偉達(dá)在低精度(FP4)和混合精度任務(wù)中的優(yōu)化,以及集群互聯(lián)技術(shù)的成熟度,仍使其在多樣化AI工作負(fù)載中更具競(jìng)爭(zhēng)力。
純看推理,谷歌這款芯片還比較能打,這一局算是基本打平吧。
第二戰(zhàn):市場(chǎng)與應(yīng)用場(chǎng)景戰(zhàn)
Ironwood的定位是推理優(yōu)先和云端專屬。
Ironwood是谷歌首款專為推理設(shè)計(jì)的TPU,針對(duì)生成式AI的實(shí)時(shí)響應(yīng)需求。推理正成為AI工作負(fù)載的主導(dǎo)部分,谷歌這波操作很應(yīng)景。
同時(shí),Ironwood僅通過(guò)Google Cloud提供(256或9,216芯片配置),不對(duì)外銷售硬件,鎖定云服務(wù)生態(tài)。
從目標(biāo)客戶看,支持Gemini、AlphaFold等前沿模型,同時(shí)吸引生成式AI初創(chuàng)企業(yè)和需要超大規(guī)模推理的客戶,比如蘋果曾用8,192個(gè)TPU v4訓(xùn)練其基礎(chǔ)模型。
英偉達(dá)的定位則是全棧覆蓋,硬件銷售+云服務(wù)并舉,其GPU同時(shí)支持訓(xùn)練和推理,覆蓋從云端到邊緣的廣泛場(chǎng)景。
銷售模式不僅提供GPU硬件,還與云大廠合作,提供GPU實(shí)例,市場(chǎng)覆蓋更廣。比如云頭牌AWS,就推出了英偉達(dá)GPU實(shí)例全家桶。
而國(guó)內(nèi)云,只要不受限的,也都會(huì)把英偉達(dá)GPU作為首選。
Ironwood高度集成于谷歌生態(tài),適合依賴Google Cloud的客戶,但靈活性太低。
而英偉達(dá)的開放生態(tài)支持多種框架(TensorFlow、PyTorch)和部署環(huán)境,適應(yīng)性更強(qiáng)。
所以,這一局,谷歌完敗。
第三戰(zhàn):生態(tài)與軟件支持戰(zhàn)
Ironwood與谷歌Pathways運(yùn)行時(shí)、JAX和Vertex AI深度整合,支持Gemini、Llama等模型。Pathways可高效分布式計(jì)算、跨數(shù)萬(wàn)TPU協(xié)同工作。
但是,TPU生態(tài)相對(duì)封閉,嚴(yán)重依賴谷歌的TensorFlow和JAX框架,PyTorch支持有限。(雖然vLLM近期宣布支持TPU)
谷歌云提供一站式AI服務(wù),對(duì)初創(chuàng)企業(yè)吸引力較大。
反觀英偉達(dá),CUDA、TensorRT、Triton Inference Server和NAIE套件支持幾乎所有主流AI框架,開發(fā)者體驗(yàn)更優(yōu)。
同時(shí)有龐大開發(fā)者社區(qū)和第三方優(yōu)化,模型遷移成本低,跨平臺(tái)兼容性強(qiáng)。
從靈活性看,英偉達(dá)的GPU可在幾乎所有云服務(wù)上部署,以及本地部署,客戶選擇余地更大。(買不起和買不到的另當(dāng)別論)
這一局,谷歌仍然毫無(wú)取勝機(jī)會(huì)。
第四戰(zhàn):成本與價(jià)格戰(zhàn)
谷歌并未公開Ironwood的定價(jià),但TPU歷來(lái)以高性價(jià)比著稱,尤其在Google Cloud上運(yùn)行大規(guī)模推理任務(wù)時(shí)。同時(shí),Ironwood的能效比很不錯(cuò)。
可是這一切的前提是:客戶需完全依賴Google Cloud,初期遷移成本(如模型優(yōu)化、框架適配)可能較高。
英偉達(dá)GPU價(jià)格較高,就不用說(shuō)了,賊貴。
但其性能通用性、易用性和生態(tài)優(yōu)勢(shì)抵消了部分成本劣勢(shì),可以大大降低客戶踩坑成本,畢竟填坑的隱形成本更高。
還有一點(diǎn),英偉達(dá)現(xiàn)在開始推FP4推理優(yōu)化了,有機(jī)會(huì)進(jìn)一步降低推理成本,尤其在邊緣場(chǎng)景中。
這一局,仍然是英偉達(dá)的優(yōu)勢(shì)局。
第五戰(zhàn):產(chǎn)品迭代能力戰(zhàn)
谷歌的優(yōu)勢(shì)在于自研生態(tài)垂直整合(從芯片到模型再到云服務(wù)的全棧),優(yōu)化深度推理任務(wù)。
同時(shí)自有數(shù)據(jù)中心規(guī)模巨大,自己吃狗糧就ok,同時(shí)目前大規(guī)模需求都是推理,Ironwood的定位恰好精準(zhǔn)。
但是英偉達(dá)的客戶基礎(chǔ)和開發(fā)者社區(qū)難以撼動(dòng),短期內(nèi)Ironwood難以引發(fā)大規(guī)模切換。
更重要的是,英偉達(dá)的產(chǎn)品迭代能力,猶如已經(jīng)提速的跑車,后來(lái)者很難追趕。
比如,英偉達(dá)已明確從兩年一次的架構(gòu)更新轉(zhuǎn)向每年推出一款新芯片的節(jié)奏。
2025年下半年將推出Blackwell Ultra,2026年推出Vera Rubin,2027年推出Rubin Ultra,性能預(yù)計(jì)比Hopper架構(gòu)提升數(shù)十倍,目標(biāo)支持萬(wàn)億參數(shù)模型的實(shí)時(shí)推理和訓(xùn)練。
所以,谷歌的Ironwood更適合在推理領(lǐng)域切分市場(chǎng)份額,但其云端專屬模式很難與英偉達(dá)直接精準(zhǔn)。
其他玩家(如AMD的MI300X、AWS的Trainium、Intel的Gaudi、以及菊廠的昇騰910)雖然也在挑戰(zhàn)英偉達(dá),但短期內(nèi)很難形成足夠威脅。
所以,干翻英偉達(dá)只需要五步,但是每一步都堪比登天路。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.