如果您希望可以時常見面，歡迎標星收藏哦~

來源：內容來自半導體行業觀察綜合 。

在本文中，我們來談一下GPU集群的橫向和綜合拓展。

讓我們從“AI Pod”的概念開始。這個術語對不同的人可能意味著不同的東西，但它通常指的是一種預先配置的模塊化基礎設施解決方案，旨在簡化和加速AI工作負載的部署。

這些“pod”將計算、存儲、網絡和軟件組件集成為一個緊密相連的單元，從而促進高效的 AI 運行。這就是我們遇到“縱向擴展”和“橫向擴展”等術語的地方。以下是可視化示例：

對于不熟悉數據中心組織結構的人來說，機架是一個標準化的物理框架或機柜，用于容納多個機架式設備。除了服務器（例如刀片服務器）之外，機架還可能包含網絡設備（例如交換機）、電源管理組件（例如電源和配電單元）、存儲設備、冷卻和環境控制系統等等。

在本專欄的上下文中，每個機架可以被視為一個 AI Pod。“Scale-Up”（又稱“垂直擴展”）是指向單個 AI Pod 或節點添加更多資源，例如處理器和內存。相比之下，“Scale-Out”（又稱“水平擴展”）是指向系統添加更多 AI Pod 或節點并將它們連接在一起。

同時，XPU 是一個通用術語，指任何類型的處理單元（“X”代表通配符，表示“任意”或“所有”處理器）。XPU 示例如下：

• CPU（中央處理器）

• GPU（圖形處理單元

• NPU（神經處理單元）

• TPU（張量處理單元）

• DPU（數據處理單元）

• FPGA（現場可編程門陣列）

• ASIC（專用集成電路）

為了進行這些討論，我們假設術語“ASIC”包含片上系統（SoC）設備。

每個 XPU 刀片通常包含 2 到 8 個 XPU 設備。每個設備可以形成為單片芯片（即由單個半導體切片制成），也可以形成由一組稱為“芯片集”的芯片組成的多芯片系統。

我們這里討論的計算處理能力令人難以置信，XPU 設備本身也同樣如此。例如，NVIDIA 的 B200 GPU 擁有超過 2000 億個晶體管（當然，我可沒親自數過）。

但人工智能不僅僅是“簡單”地處理數據——我們還需要傳輸海量數據。從更高的層面來看，我們可以將其視為兩個主要方面：pod 內部和 pod 之間。

Pod 間通信是指不同 AI Pod 之間的通信，通常跨機架或物理基礎設施單元。Pod 內通信是指單個 AI Pod 內服務器之間的信息交換，通常位于同一機架或刀片服務器內，需要極低的延遲和極高的帶寬。

上圖展示了一個應用程序 pod 從三個擴展到五個的示例：

橫向擴展的優勢

它提供了長期的可擴展性。橫向擴展的增量特性使您能夠根據預期的長期增長來擴展應用程序。

縮減規模很容易。當負載較低時，您可以通過減少 Pod 數量來輕松縮減應用程序規模。這可以釋放計算資源，供其他應用程序使用。

您可以使用商用服務器。通常，您不需要大型服務器來運行容器化應用程序。由于應用程序 Pod 可以水平擴展，因此可以根據需要添加服務器。

橫向擴展的缺點：

可能需要重新架構。如果您的應用程序使用的是單片架構，則需要重新架構您的應用程序。

網絡復雜性增加。隨著節點數量的增加，組件之間的網絡連接復雜性也會增加，需要強大的服務發現和通信協議。

數據一致性可能具有挑戰性。對于分布式系統，確保跨多個節點的數據一致性需要精心設計，尤其是對于AI模型訓練和其他數據密集型工作負載。

在跨pod和數據中心架構領域，主要的競爭者是InfiniBand和超級以太網。InfiniBand于2000年首次發布，最初由包括IBM、英特爾和Mellanox（現為NVIDIA旗下公司）在內的聯盟開發。如今，InfiniBand由InfiniBand貿易協會（IBTA）管理。雖然相關規范已經發布，但NVIDIA和Mellanox主要負責推動實施。相比之下，超級以太網聯盟（UEC）成立于2023年，由包括AMD、英特爾、HPE、博通、思科、Arista、微軟和Meta等在內的組織組成。超級以太網是一個開放標準，旨在實現廣泛的行業協作和互操作性。

簡而言之，InfiniBand 長期以來一直是低延遲、高帶寬通信的標準，但超級以太網正在迅速成為下一代人工智能基礎設施的開放、可擴展、以太網兼容的替代方案。

縱向擴展（或稱垂直擴展）是指添加更多資源（例如 CPU、內存和磁盤）來提升計算能力和存儲容量。這種方法適用于部署在物理服務器或虛擬機上的傳統應用程序，也適用于容器化應用程序。

上圖展示了一個應用程序 Pod，它最初是一個小型配置，包含 1 個 CPU、2 GB 內存和 100 GB 磁盤空間，然后垂直擴展到包含 4 個 CPU、8 GB 內存和 500 GB 磁盤空間的大型配置。現在，憑借更多的計算資源和存儲空間，該應用程序可以處理和響應來自客戶端的更多請求。

垂直擴展適合需要擴展到合理規模的應用程序，特別是具有密集內存或處理要求的數據庫服務。

垂直擴展的優勢

它簡單直接。對于具有更傳統和單片架構的應用程序，只需添加更多計算資源即可擴展。

您可以充分利用強大的服務器硬件。如今的服務器比以往任何時候都更加強大，擁有更高效的 CPU、專用的 AI 加速器、更快的 NVMe 存儲和高速網絡。利用這些充足的計算資源，您可以擴展到非常大的應用程序容器。

垂直擴展的缺點

擴展是有限制的。即使擁有當今強大的服務器，隨著您不斷向應用程序 pod 添加計算資源，遲早還是會遇到物理硬件的限制。

計算資源瓶頸的出現。當您向物理服務器添加計算資源時，很難線性提升和平衡所有組件的性能，并且很可能會在某個地方遇到瓶頸。例如，某臺服務器可能存在內存瓶頸，內存使用率為 100%，CPU 使用率為 70%。將 DIMM 數量翻倍后，CPU 使用率為 100%，而內存使用率為 80%。

托管應用程序的成本可能會更高。通常，計算能力更強的大型服務器成本更高。如果您的應用程序需要大量計算資源，那么使用這些高成本的大型服務器可能是唯一的選擇。

由于物理硬件的限制，如果您的應用程序需要繼續增長，垂直擴展是一種相當短期的解決方案。

在 pod 內部通信方面，NVLink（由 NVIDIA 開發并于 2016 年首次推出）一直是歷史標準，尤其是在基于 NVIDIA GPU 的系統中，但超級加速器鏈接 (UALink) 正在成為跨 XPU 的高速、與供應商無關的互連的未來。

不過，英偉達黃仁勛對后者不看好，你又怎么看呢？

半導體精品公眾號推薦

專注半導體領域更多原創內容

關注全球半導體產業動向與趨勢

*免責聲明：本文由作者原創。文章內容系作者個人觀點，半導體行業觀察轉載僅為了傳達一種不同的觀點，不代表半導體行業觀察對該觀點贊同或支持，如果有任何異議，歡迎聯系半導體行業觀察。

今天是《半導體行業觀察》為您分享的第4043期內容，歡迎關注。

『半導體第一垂直媒體』

實時 專業 原創 深度

公眾號ID：icbank

喜歡我們的內容就點“在看”分享給小伙伴哦