• 克雷西 發自 凹非寺
  量子位 | 公眾號 QbitAI

AMD大招逆襲，最強AI芯片號稱大模型推理比英偉達B200快30%！

CEO蘇姿豐與OpenAI奧特曼共同登臺發布。

這次AMD發布了MI350X和MI355X兩款GPU，采用3nm工藝，包含1850億晶體管，配備HBM3E內存。

相比前代的MI300X，MI350系列的算力提升了4倍，推理速度快了35倍。

MI350系列也是叫板英偉達B200，內存是B200的1.6倍，訓練推理速度相當或更快。

并且由于芯片功耗低于英偉達，在MI355X上每花費1美元，可以比B200多跑40%的tokens。

同時，AMD還預告明年將會發MI400系列，并且奧特曼也來給蘇媽站臺，透露OpenAI參與了MI400系列的聯合研發。

大模型運行更快，MI350系列叫板英偉達

MI350X和MI355X在核心設計上是相同的，二者的區別是針對不同的散熱方式設計，前者采用風冷，后者則和B200一樣采用了更先進的液冷。

它們都基于第四代Instinct架構（CDNA 4），并配備288GB的HBM3E內存和8TB每秒的內存帶寬，這一容量是英偉達GB200和B200 GPU的1.6倍。

功耗上，風冷的MI350X最高TBP為1000W，液冷的MI355X則達到了1400W，更高的TBP之下，MI355X的性能也高于同架構的MI350X。

在精度較高的FP64上，MI350X和MI355X的算力分別是72和78.6TFLOPs，據介紹是英偉達的2倍。

而在低精度格式（例如FP16、FP8和FP4）上，MI350系列的性能則與英偉達相當或略勝一籌。

值得注意的是，MI350系列上，FP6性能的運算可以以FP4的速率運行，這被AMD認為是一個差異化特征。

搭配AMD第五代EPYC（Turin）芯片，8個GPU通過153.6 GB/s的雙向Infinity Fabric鏈路進行通信，可以組成一個節點。

這些節點還將繼續組合成風冷或液冷機柜，形成最高128GPU的集群，FP8算力達到1.3EFLOPs。

除了列性能數據，AMD還直觀地介紹了MI350系列運行大模型應用的性能，并分別與自家前代產品和英偉達進行了對比。

相比于MI300X（FP8），MI355X（FP4）運行Llama 3.1 405B的速度達到了35倍。

運行DeepSeek R1、Llama 4 Maverick和Llama 3.3 70B的推理性能也均達到了3倍。

和英偉達的B200或GB200相比，MI355X也能達到相當或更高的性能（均為FP4精度，使用不同框架），DeepSeek R1和Llama 3.1 405B的性能分別比B200高20%和30%。

訓練和微調上，也是相比MI300X大幅提升，并擁有和B200/GB200相當或更高的性能。

成本方面，MI350系列也擁有較高的性能密度，同樣花費1美元，在MI355X上可以比B200上多處理40%的token。

AMD表示，MI350系列在本月初已經批量出貨，云服務商正在進行安裝。

微軟、Meta、xAI等正在使用AMD產品的AI大廠，也均對MI350表示了期待。

另外，為了搭配MI350系列，AMD還發布了全新的ROCm 7軟件棧，相比ROCm 6帶來了3.5倍的推理性能提升和3倍的訓練性能提升，同時引入了分布式推理支持。

ROCm 7還與VLM和SGLang等開源推理框架深度集成，并且支持超過180萬個Hugging Face模型的開箱即用。

AMD公布路線圖，MI400明年亮相

發布MI350系列的同時，蘇媽也公布了AMD在AI芯片上新的路線圖。

根據這張路線圖，AMD的下一代GPU，也就是MI400系列，將于明年亮相。

MI400系列由AMD和OpenAI聯合研發，OpenAI為MI400系列的訓練和推理需求提供了重要反饋。

奧特曼也來到現場為AMD站臺，表示MI400非常適合推理，并且也可能是訓練的絕佳選擇。

MI400系列將采用下一代CDNA架構，預計速度比MI300系列快10倍，FP4運行速度將達到40PFLOPs。

還將配備高達432GB的HBM4內存和19.6TB/s的內存帶寬，這個數字讓現場的奧特曼也為之一震。

搭配2nm的Venice CPU和Vulcano網卡，MI400可以組裝成完整的Helios AI機架。

Venice擁有多達256個Zen6高性能核心，計算性能預計比當前的Turin CPU提升70%。

代號為“Vulcano”的下一代擴展AI網卡，支持PCIe和UAL接口，并提供800GB/s的線速吞吐量。

整體上，Helios機架將連接多達72個GPU，擁有260TB/s的擴展帶寬。

另外，AMD還計劃到2027年推出MI500系列GPU和Verono CPU，將“進一步突破性能、效率和可擴展性的極限”。

那么你認為，AMD這次Yes了嗎？

發布會回放：
https://www.youtube.com/watch?v=5dmFa9iXPWI
[1]https://www.tomshardware.com/pc-components/gpus/amd-announces-mi350x-and-mi355x-ai-gpus-claims-up-to-4x-generational-gain-up-to-35x-faster-inference-performance
[2]https://www.amd.com/en/blogs/2025/amd-instinct-mi350-series-and-beyond-accelerating-the-future-of-ai-and-hpc.html