COMPUTEX 2024上,NVIDIA宣布了多項新產品和技術,包括搭載RTX的AI PC、RTX AI工具包、RTX語音AI、NVIDIA AI Enterprise-IGX、NVIDIA Holoscan、Spectrum-X AI 以太網平臺、NVIDIA NIM容器化推理微服務等。這些技術和產品將加速AI在游戲、企業、工業等領域的應用,推動AI革命。
在當今的AI時代,大模型及相關應用正以前所未有的速度發展和普及。它們猶如強大的引擎,推動著各個領域的創新和進步。然而,這些先進的技術對算力和網絡傳輸提出了極為嚴苛的要求。
傳統的交換機已經難以滿足當下對高速、穩定和強大數據傳輸能力的需求。在AI時代,數據量呈爆炸式增長,模型訓練和實時應用需要在瞬間完成大量數據的交互。對于企業級用戶而言,這意味著他們迫切需要一種能夠適應AI時代挑戰的網絡交換機。
例如,在AI訓練過程中,需要大量的突發式數據交互,而且傳輸的數據消息很大,GPU之間傳輸數據的耦合性很強;在智能圖像識別應用中,大量的圖像數據需要快速地傳輸到計算節點進行處理;在語音交互系統中,連續不斷的語音流必須及時送達以實現實時響應。這就要求交換機具備更高的帶寬、更低的延遲和更可靠的性能。
因此,只有更符合AI時代需求的交換機,才能為企業級用戶搭建起高效的數據傳輸橋梁。
基于以上需求,NVIDIA推出了全新的Spectrum-X以太網平臺,為用戶提供了更高的帶寬、更多的端口,及更為強大的軟件功能集與可編程能力,構建領先的AI以太網網絡性能。
NVIDIA網絡高級副總裁Gilad Shainer表示:“隨著生成式AI等前沿技術的迅猛發展,企業必須將網絡創新置于戰略核心,以獲取競爭優勢。NVIDIA Spectrum-X為以太網帶來了革命性的變革,它使企業能夠全面發揮其AI基礎設施的強大能力,從而徹底改變其運營模式,并有可能重塑整個行業。”
NVIDIA BlueField-3 SuperNIC是NVIDIA Spectrum-X 網絡平臺的核心組件之一,它是一款高性能的網卡,專為加速數據中心和云計算環境中的計算網絡和存儲工作負載而設計。BlueField-3 SuperNIC源于NVIDIA的BlueField-3 DPU(數據處理器),集成了強大的網絡、安全和計算功能。
據官方資料顯示,BlueField-3 SuperNIC可提供高達400Gb/s的網絡速度,能夠提供大規模的數據吞吐量,同時提供低延遲的數據傳輸,并支持AI訓練網絡必需的動態路由和增強擁塞控制技術,這對于現代數據中心至關重要。
一直以來,傳統以太網絡設備都未曾優化過各個服務器之間GPU在進行分布式計算時的互連性能。現如今,用戶需求有了很大變化,基于AI的應用需要大范圍調用海量GPU來完成單一任務,所以GPU之間的通信效率將決定整個AI云的性能。Spectrum-X的設計目標就是為了解決這些痛點,它極大增強了GPU之間的互連性能,與傳統網絡設備相比在AI訓練過程中可提升2.2倍的Allreduce通信帶寬,全雙工全網通信效率提升1.6倍,還有1000倍的遙測數據收集能力。
NVIDIA Spectrum-X將NVIDIA Spectrum SN5600以太網交換機與NVIDIA BlueField-3 SuperNIC進行了整合,構建起一個能夠全方位滿足生成式AI云需求的端到端平臺,兼具高性能以及豐富的云服務功能。此平臺借助動態路由和先進的擁塞管理技術,達成了帶寬利用率的提高及對應用性能干擾的最小化,進而為AI應用打造了具備更高性能的以太網網絡基礎設施。哪怕是在處理數以千計不同規模的AI任務時,也能夠確保每個作業都能達到理想的性能水平。
并通過與NVIDIA BlueField-3 DPU在南北向的集成,該平臺對先進的多租戶云架構、GPU 計算資源的彈性擴展以及零信任安全保障予以支持。這就讓云服務提供商可以加快 AI 應用程序的開發與部署,從而得以實現更高的投資回報率。
隨著AI技術的不斷發展和應用場景的不斷擴大,NVIDIA Spectrum-X憑借其先進的網絡交換技術和強大的數據處理能力,無疑將成為推動AI創新和業務增長的關鍵力量。對于企業而言,這意味著能夠更快速地部署AI應用,更有效地處理大規模數據,從而在激烈的市場競爭中脫穎而出。對于云服務提供商來說,NVIDIA Spectrum-X不僅能夠提升服務質量和用戶體驗,還能夠帶來更高的商業價值和市場影響力。
據NVIDIA官方資料顯示,率先采用NVIDIA Spectrum-X的AI云服務提供商包括CoreWeave、GMO Internet Group、Lambda、Scaleway、STPX Global以及Yotta等,他們的AI基礎設施也由此收獲了強大的網絡性能。此外,在繼戴爾科技、慧與、聯想以及超微等將Spectrum-X平臺融入到其產品之后,又有諸多NVIDIA合作伙伴也發布了基于Spectrum-X的產品,像永擎電子(ASRock Rack)、華碩(ASUS)、技嘉科技(GIGABYTE)、鴻佰科技(Ingrasys)、英業達(Inventec)、和碩(Pegatron)、云達科技(QCT)、緯創(Wistron)以及緯穎科技(Wiwynn)等。
因此,隨著AI技術的不斷發展,NVIDIA Spectrum-X將成為未來AI基礎設施的重要組成部分,引領AI網絡技術的新潮流。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.