隨著 AI 推理對內存需求的不斷增加和模型復雜度的持續提升,開發者們尋求能夠本地處理這些需求的硬件,同時不犧牲性能和靈活性。從大型語言模型到生成式工作流,現代 AI 負載需要具備強大計算能力和充足顯存的 GPU。
為滿足這一需求,AMD 很高興宣布即將推出搭載 AMD Radeon AI PRO R9700 的工作站系統—這是其面向本地 AI 開發和高吞吐推理的新型專業顯卡。該顯卡將于 2025 年 7 月 23 日起,通過專注于定制高性能計算解決方案的精選 AMD 硬件合作伙伴,提供預裝的工作站系統。
突破內存瓶頸,性能再造新標桿
為加速中大型 AI 模型在本地工作站上的運行,AMD Radeon AI PRO R9700 配備了 32GB 高速 GDDR6 顯存、先進的 RDNA? 4 架構及對現代 AI 數據類型的廣泛支持。憑借 64 個計算單元、128 個第二代 AI 加速器,以及對 FP8、FP16 和 INT8 精度的支持,R9700 提供強勁的 TOPS 性能和處理復雜 AI 任務所需的多樣化能力。
憑借32GB高速顯存,R9700 可將大型模型完整加載于顯存中,無需依賴系統內存,從而實現更快的推理速度、更高的吞吐量及更廣泛的模型兼容性。在高令牌數的大型語言模型提示和指令微調模型等真實應用場景中,其性能可大幅提升。
專為AI專業人士打造
AMD Radeon AI PRO R9700針對對硬件性能有極高要求的AI專業用戶設計,特別擅長自然語言處理、文本生成圖像、生成式設計等需要大型模型或高顯存流水線的復雜任務。無論是進行大規模推理、本地微調,還是支持多模態工作流,Radeon AI PRO R9700均能提供充足的容量和速度,實現全程本地運算,提升性能、降低延遲,并增強數據安全性。
Radeon AI PRO R9700完全兼容AMD ROCm開源軟件平臺,為開發者提供了強大且可擴展的AI與高性能計算環境。支持PyTorch、ONNX Runtime和TensorFlow等主流框架,ROCm使用戶能夠高效構建、測試和部署基于R9700的本地AI模型。32GB顯存、RDNA 4架構和ROCm 6.4.1的結合,實現推理、微調及定制模型工作流的加速表現,使Radeon AI PRO R9700成為追求性能、靈活性和開放標準的AI專業人士的理想選擇。
憑借緊湊的雙槽設計、PCIe 5.0接口及鼓風式散熱方案,Radeon AI PRO R9700支持多GPU工作站部署。不同于采用軸流風扇設計、通常難適配高密度系統的消費級顯卡,R9700的鼓風設計確保高效的前至后氣流,允許多張顯卡在高性能緊湊環境中穩定運行,方便部署并行推理流水線、擴展多卡顯存容量及支持更大規模并發模型負載,助力企業構建可靠、高吞吐的本地AI基礎設施。
通過Radeon Test Drive親身體驗Radeon AI PRO R9700
有興趣評估Radeon AI PRO R9700用于本地AI工作負載的開發者, 即將能夠通過Radeon Test Drive項目進行體驗。該項目旨在幫助技術用戶探索AMD支持AI的工作站GPU,提供基于AMD Radeon PRO GPU驅動、搭載ROCm 6.4.1環境的高性能合作伙伴工作站的實操機會。無論是基準測試PyTorch等框架,還是評估本地大型語言模型推理,Radeon Test Drive都是快速、無風險的入門途徑。即刻申請訪問權限:www.amd.com/en/developer/resources/cloud-access.html
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.