Nvidia 成為 AI 革命的硬件巨頭的原因有很多，其中之一無疑是 NVLink 內(nèi)存共享端口，該端口早在 2016 年就開始在其Pascal P100 GOU 加速器上推出。現(xiàn)在，在該領(lǐng)域工作了近十年后，隨著 UALink 聯(lián)盟準(zhǔn)備與 Big Green 合作，為數(shù)據(jù)中心計(jì)算引擎提供內(nèi)存一致性互連，Nvidia 決定開放對(duì) NVLink 協(xié)議和驅(qū)動(dòng)該協(xié)議的物理傳輸 （PHY） 的訪問。

由此產(chǎn)生的知識(shí)產(chǎn)權(quán)包稱為NVLink Fusion，這意味著那些自定義 CPU 或加速器的公司可以許可NVLink 端口設(shè)計(jì)和位于其之上的內(nèi)存原子協(xié)議，以允許一種類似于 CPU 幾十年來可用的 NUMA 內(nèi)存共享。

當(dāng)然，這項(xiàng)技術(shù)總是可以授權(quán)的。每一項(xiàng)技術(shù)都是如此。這始終是一個(gè)討價(jià)還價(jià)的問題。如果您向 Intel 開了一張足夠大的支票 - 或者在法庭上起訴他們反壟斷 - 您總是可以許可 X86 指令集，僅舉個(gè)例子。事實(shí)證明，AMD 起訴 Intel 以獲得使用其黑匣子、克隆 X86 指令集的權(quán)利，然后與 Intel 簽訂交叉許可協(xié)議以埋葬法律斧頭。起訴 Nvidia 對(duì)行業(yè)來說不是一個(gè)好的選擇，但如果 Nvidia 對(duì) UALink 及其知識(shí)產(chǎn)權(quán)大驚小怪，毫無疑問，該行業(yè)將在這一點(diǎn)上聯(lián)合起來對(duì)付 Nvidia。每個(gè)人都同意——當(dāng)我們看到這一點(diǎn)時(shí)，我們指的是地球上 IT 領(lǐng)域的任何人——Nvidia 需要一些競(jìng)爭(zhēng)來降低 AI 基礎(chǔ)設(shè)施的價(jià)格。

這樣做不是 Nvidia 的工作。Nvidia 應(yīng)該嘗試在這段時(shí)間內(nèi)獲得盡可能多的收入和利潤(rùn)，然后愚蠢地?fù)]霍它。就像 IBM、Microsoft 和 Intel 都輪流這樣做了。像它在 2020 年至 2022 年試圖做的那樣，以 400 億美元收購(gòu) Arm 將是一種這樣的揮霍，而 Nvidia 可能已經(jīng)從那次子彈躲避中吸取了教訓(xùn)。但是，如果 Arm 交易發(fā)生，NVLink 及其相關(guān)的 NVSwitch 知識(shí)產(chǎn)權(quán)可能已經(jīng)以合理的價(jià)格開放給所有人通過 Arm 知識(shí)產(chǎn)權(quán)機(jī)器使用，正如 Nvidia 聯(lián)合創(chuàng)始人兼首席執(zhí)行官黃仁勛從一開始就告訴我們的那樣。

當(dāng) Arm 交易沒有完成，英偉達(dá)不得不向軟銀支付 12.5 億美元以取消反壟斷監(jiān)管機(jī)構(gòu)不支持的交易時(shí)，我們?cè)?2022 年初提醒英偉達(dá)，英偉達(dá)無法通過 Arm 購(gòu)買的東西，它仍然可以通過與 Arm 更緊密的合作或通過自己的 IP 許可來模仿它來實(shí)現(xiàn)。也許已經(jīng)與超大規(guī)模企業(yè)和云構(gòu)建者進(jìn)行了這樣的談判，他們決定走自己的路來設(shè)計(jì)自己的 CPU 和 AI 加速器，并讓臺(tái)積電制造它們。

當(dāng)然，有一家CPU 制造商已經(jīng)與 Nvidia 達(dá)成了這樣的許可協(xié)議，那就是 IBM，它與 Nvidia 合作，使用NVLink 9 端口創(chuàng)建將其 Power9 處理器和 Nvidia 的“Volta”V100 GPU 加速器相結(jié)合的百億億次級(jí)系統(tǒng)。在這種情況下，沒有什么神奇的事情發(fā)生。 IBM 創(chuàng)建了自己的“BlueLink”O(jiān)penCAPI PHY 和在其上運(yùn)行的 NUMA 協(xié)議，以在共享內(nèi)存 NUMA 設(shè)置中將 Power9 處理器彼此鏈接起來。將 NVLink 協(xié)議添加到 BlueLink，這并不是什么大 D。因此，IBM 是橡樹嶺國(guó)家實(shí)驗(yàn)室的“Summit”超級(jí)計(jì)算機(jī)和勞倫斯利弗莫爾國(guó)家實(shí)驗(yàn)室的“Sierra”超級(jí)計(jì)算機(jī)的主要承包商，而 Nvidia 提供了大部分失敗。

但是，IBM 和 Nvidia 并未就如何在這兩個(gè)美國(guó)能源部實(shí)驗(yàn)室的百萬兆次級(jí)系統(tǒng)上合作達(dá)成協(xié)議，并且 Big Blue 不支持 Power10 芯片上的 NVLink 3.0 端口，即使我們確定這在技術(shù)上是可行的。（而且，在經(jīng)濟(jì)上可能更可取。因此，AMD 橫掃并贏得了這些交易，并有機(jī)會(huì)振興其數(shù)據(jù)中心 GPU 業(yè)務(wù)。

當(dāng)然，Nvidia 的“Grace”CG100 Arm 服務(wù)器處理器上有 NVLink 鏈接，這些鏈接經(jīng)過聚合，在 CPU 和“Hopper”H100 和 H200 GPU 加速器或“Blackwell”B100、B200 和 B300 GPU 加速器之間為每個(gè)端口帶來 600 GB/秒的聚合帶寬。

NVLink 每個(gè)鏈路的通道數(shù)量可變，每個(gè)鏈路有兩個(gè)通道用于雙向流量，以及多個(gè)鏈路以創(chuàng)建物理端口運(yùn)行，并且通道根據(jù)信號(hào)上 PAM-4 調(diào)制的生成和使用運(yùn)行各種速度。喜歡這個(gè)：

• NVLink 1.0 的通道以 20 Gb/秒的速度運(yùn)行，每個(gè)鏈路有 8 個(gè)通道，每個(gè)鏈路的雙向帶寬為 40 GB/秒。每個(gè) Pascal P100 加速器有四個(gè)鏈路，Nvidia 在 GPU 之間和具有實(shí)驗(yàn)性 NVLink 1.0 端口的 Power8 CPU 之間提供了 160 GB/秒的帶寬。

• 使用 NVlink 2.0，通道以 25 Gb/秒的速度運(yùn)行（與 IBM 的 BlueLink 相同），每個(gè)鏈路再次有 8 個(gè)通道，每個(gè)鏈路產(chǎn)生 50 GB/秒的雙向帶寬。V100 GPU 總共有 6 個(gè)鏈路，在設(shè)備之間提供 300 GB/秒的帶寬。

• 在 NVLink 3.0 中，NVlink SerDes 中添加了 PAM-4 調(diào)制，使通道帶寬增加了一倍，但每個(gè)鏈路的通道數(shù)量減半到四個(gè)，從而將每個(gè)鏈路的雙向帶寬保持在 50 GB/秒。“Ampere” A100 GPU 有十幾個(gè) NVLink 3.0 端口，帶寬為 600 GB/秒。（這也是 Grace CPU 所具有的。

• 使用 NVLink 4 時(shí)，信號(hào)傳輸速率提高到 100 Gb/秒（添加了 PAM-4 編碼的本機(jī) 50 Gb/秒），并且每個(gè)鏈路有兩個(gè)通道，每個(gè)鏈路具有相同的 50 GB/秒雙向信號(hào)傳輸速率。Hopper 和 Blackwell 芯片每個(gè)芯片都有 18 個(gè)鏈路，或者在 Blackwell 的情況下，每個(gè)芯片有 18 個(gè)鏈路，從而產(chǎn)生每個(gè) Hopper 或 Blackwell GPU 小芯片 900 GB/s 的雙向帶寬。（Blackwell 套接字有兩個(gè)小芯片，并獲得 1.8 TB/秒的 NVLink 4.0 帶寬。

• 正如我們?cè)?4 月份所解釋的那樣，UALink 可以聯(lián)合起來建立更多的通道和盡可能多的鏈路，以增加進(jìn)出加速器和 CPU 的帶寬。UALink 將以 200 Gb/秒（100 Gb/秒本機(jī)信令加 PAM-4 編碼）的速度運(yùn)行通道，其中 4 個(gè)通道用于 800 Gb/秒的鏈路，即每個(gè)鏈路的雙向速度為 1,600 Gb/秒。將其中四個(gè)鏈接聯(lián)合起來，您可以創(chuàng)建一個(gè)以 800 GB/秒的速度運(yùn)行的 UALink 端口，這可能足夠接近 NVLink 4 為 Hopper 和 Blackwell 提供的每個(gè)端口的 900 GB/秒。

通過 NVLink Fusion，Nvidia 并沒有開放 NVLink 和 NVSwitch，而且它絕對(duì)不會(huì)創(chuàng)建一個(gè)自由競(jìng)爭(zhēng)（無論從哪個(gè)意義上說），讓任何制造 CPU 或加速器的人都將 NVLink 內(nèi)存原子嫁接到他們的設(shè)備上。

NVLink Fusion 有兩個(gè)已獲批準(zhǔn)的用例，如下所示：

第一種是將 NVLink 端口添加到自定義 CPU，例如超大規(guī)模提供商和云構(gòu)建商為他們自己設(shè)計(jì)的 CPU 端口。這假設(shè)這些超大規(guī)模提供商和云構(gòu)建者將使用 NVLink 將 Nvidia GPU 加速器掛接到那些自主開發(fā)的加速器。

在上圖中，硬件堆棧包括 Spectrum-X 交換和 BlueField 或 ConnectX 網(wǎng)絡(luò)接口卡，這些卡連接到東西向和南北向網(wǎng)絡(luò)的 CPU，其中 Nvidia GPU 與 NVSwitch 交叉耦合并使用 Nvidia 的 Mission Control 系統(tǒng)控制軟件。目前尚不清楚是否需要所有這些組件才能將 NVLink 添加到自定義 CPU 芯片中。我們假設(shè)是的。

另一個(gè)用例是使用 Nvidia 當(dāng)前的 Grace CG100 Arm 處理器或 Nvidia 未來的“Vera”CV100 CPU 和 NVLink C2C die-to-die 互連，以鏈接到具有 NVLink Fusion 端口的自定義加速器。相同的前端 Spectrum-X 和 BlueField/Connect-X 網(wǎng)絡(luò)以及相同的 NVSwitch 和 Mission Control 后端網(wǎng)絡(luò)都包裹在它周圍。同樣，目前尚不清楚是否需要這樣做才能將 NVLink 端口添加到自定義加速器。

在任何情況下，您都可以在具有 NVSwitch 互連或直接鏈接的自定義 CPU 和自定義加速器上使用 NVLink 端口，或者像超級(jí)芯片一樣直接鏈接，或者在具有兩個(gè)、四個(gè)或八個(gè)加速器的多對(duì)多配置中使用 NVLink 端口。只是上面討論的這兩個(gè)選項(xiàng)。

Nvidia 與 Cadence Design Systems 和 Synopsis 作為技術(shù)合作伙伴，可幫助客戶將 NVLink 端口設(shè)計(jì)到其 CPU 或加速器中。Alchip、Astera Labs、Marvell 和 MediaTek 都能夠進(jìn)行定制設(shè)計(jì)工作，將 NVLink Fusion 端口添加到設(shè)備中，富士通和高通已簽約將 NVLink Fusion 端口添加到其數(shù)據(jù)中心 CPU 設(shè)計(jì)中。高通也有 AI 加速器的愿望，并且可能也會(huì)為這些設(shè)備添加 NVLink，但顯然，他們必須鏈接到 Nvidia Grace 或 Vera CPU 才能做到這一點(diǎn)。

Nvidia 成為 AI 革命硬件巨頭的原因眾多，除了眾所周知得CUDA護(hù)城河，NVLink 內(nèi)存共享端口無疑也是其中之一。早在 2016 年，該端口就開始在其 Pascal P100 GPU 加速器上推出。如今，在該領(lǐng)域耕耘近十年后，隨著 UALink 聯(lián)盟準(zhǔn)備與 Nvidia（常被稱為 Big Green）合作，為數(shù)據(jù)中心計(jì)算引擎提供內(nèi)存一致性互連，Nvidia 決定開放對(duì) NVLink 協(xié)議以及驅(qū)動(dòng)該協(xié)議的物理傳輸（PHY）的訪問。

由此產(chǎn)生的知識(shí)產(chǎn)權(quán)包名為 NVLink Fusion，這意味著那些定制 CPU 或加速器的公司可以獲得 NVLink 端口設(shè)計(jì)以及其上內(nèi)存原子協(xié)議的許可，從而實(shí)現(xiàn)一種類似于 CPU 幾十年來所具備的 NUMA 內(nèi)存共享模式。

當(dāng)然，從技術(shù)層面而言，任何技術(shù)都可以進(jìn)行授權(quán)，這不過是一個(gè)討價(jià)還價(jià)的過程。例如，只要向 Intel 開出足夠高額的支票，或者在法庭上以反壟斷為由起訴他們，就有可能獲得 X86 指令集的許可。事實(shí)上，AMD 就曾起訴 Intel，以獲取使用其技術(shù)并克隆 X86 指令集的權(quán)利，之后雙方簽訂了交叉許可協(xié)議，才結(jié)束了法律紛爭(zhēng)。雖然起訴 Nvidia 并非行業(yè)的理想選擇，但如果 Nvidia 在 UALink 及其知識(shí)產(chǎn)權(quán)問題上過于刁難，毫無疑問，行業(yè)內(nèi)各方會(huì)聯(lián)合起來應(yīng)對(duì)。畢竟，業(yè)內(nèi)人士（這里指全球 IT 領(lǐng)域的相關(guān)人員）都認(rèn)同，Nvidia 需要面臨一定競(jìng)爭(zhēng)，才能促使 AI 基礎(chǔ)設(shè)施價(jià)格降低。

不過，降低價(jià)格并非 Nvidia 的職責(zé)所在。Nvidia 理應(yīng)在當(dāng)下盡可能獲取更多收入和利潤(rùn)，這是企業(yè)的正常經(jīng)營(yíng)策略。就像 IBM、Microsoft 和 Intel 等公司都曾有過類似階段。例如，Nvidia 在 2020 - 2022 年試圖以 400 億美元收購(gòu) Arm，這在當(dāng)時(shí)看來就是一種資金的大規(guī)模投入行為。雖然該交易最終未達(dá)成，Nvidia 還向軟銀支付了 12.5 億美元以取消因反壟斷監(jiān)管機(jī)構(gòu)反對(duì)而無法推進(jìn)的交易，但這或許也讓 Nvidia 汲取了經(jīng)驗(yàn)教訓(xùn)。倘若 Arm 交易成功，按照 Nvidia 聯(lián)合創(chuàng)始人兼首席執(zhí)行官黃仁勛最初的設(shè)想，NVLink 及其相關(guān)的 NVSwitch 知識(shí)產(chǎn)權(quán)可能會(huì)通過 Arm 的知識(shí)產(chǎn)權(quán)體系，以合理價(jià)格向所有人開放使用。

在 Arm 交易告吹后，我們?cè)?2022 年初就提醒過 Nvidia，即便無法通過收購(gòu) Arm 獲得某些技術(shù)，它仍可通過與 Arm 更緊密合作，或者通過自身的知識(shí)產(chǎn)權(quán)許可來實(shí)現(xiàn)類似目標(biāo)。或許 Nvidia 已經(jīng)與超大規(guī)模企業(yè)和云構(gòu)建商展開了相關(guān)談判，這些企業(yè)有意自行設(shè)計(jì) CPU 和 AI 加速器，并交由臺(tái)積電進(jìn)行制造。

實(shí)際上，已有一家 CPU 制造商與 Nvidia 達(dá)成了此類許可協(xié)議，那就是 IBM。IBM 與 Nvidia 合作，利用 NVLink 9 端口打造了將其 Power9 處理器與 Nvidia 的 “Volta” V100 GPU 加速器相結(jié)合的百億億次級(jí)系統(tǒng)。在此過程中，技術(shù)實(shí)現(xiàn)并不復(fù)雜。IBM 開發(fā)了自己的 “BlueLink” OpenCAPI PHY 以及運(yùn)行其上的 NUMA 協(xié)議，用于在共享內(nèi)存 NUMA 設(shè)置中連接 Power9 處理器。在此基礎(chǔ)上添加 NVLink 協(xié)議，并非難事。正因如此，IBM 成為了橡樹嶺國(guó)家實(shí)驗(yàn)室的 “Summit” 超級(jí)計(jì)算機(jī)和勞倫斯利弗莫爾國(guó)家實(shí)驗(yàn)室的 “Sierra” 超級(jí)計(jì)算機(jī)的主要承包商，而 Nvidia 也在其中提供了大量支持。

然而，IBM 和 Nvidia 未能就如何在這兩個(gè)美國(guó)能源部實(shí)驗(yàn)室的百萬兆次級(jí)系統(tǒng)上進(jìn)一步合作達(dá)成一致，并且 IBM 并未在 Power10 芯片上支持 NVLink 3.0 端口，盡管從技術(shù)角度而言這是可行的，而且在經(jīng)濟(jì)層面或許也更為有利。也正因?yàn)榇耍珹MD 抓住機(jī)遇，贏得了相關(guān)交易，獲得了振興其數(shù)據(jù)中心 GPU 業(yè)務(wù)的契機(jī)（以往 AMD 在該領(lǐng)域表現(xiàn)平平，但如今情況已有所不同）。

當(dāng)然，Nvidia 的 “Grace” CG100 Arm 服務(wù)器處理器配備了 NVLink 鏈接。這些鏈接經(jīng)過聚合處理，在 CPU 與 “Hopper” H100 和 H200 GPU 加速器，或 “Blackwell” B100、B200 和 B300 GPU 加速器之間，為每個(gè)端口帶來了 600 GB / 秒的聚合帶寬。

NVLink 的鏈路具備靈活特性：每個(gè)鏈路包含兩個(gè)通道用于雙向流量，可通過多個(gè)鏈路構(gòu)建物理端口；通道的速度因信號(hào)上 PAM - 4 調(diào)制的生成和使用情況而異，具體如下：

• NVLink 1.0：通道運(yùn)行速度為 20 Gb / 秒，每個(gè)鏈路有 8 個(gè)通道，每個(gè)鏈路的雙向帶寬為 40 GB / 秒。每個(gè) Pascal P100 加速器配備四個(gè)鏈路，Nvidia 借此在 GPU 之間以及具有實(shí)驗(yàn)性 NVLink 1.0 端口的 Power8 CPU 之間提供了 160 GB / 秒的帶寬。

• NVLink 2.0：通道運(yùn)行速度提升至 25 Gb / 秒（與 IBM 的 BlueLink 速度相同），每個(gè)鏈路依舊為 8 個(gè)通道，每個(gè)鏈路的雙向帶寬達(dá)到 50 GB / 秒。V100 GPU 總共設(shè)有 6 個(gè)鏈路，可在設(shè)備之間提供 300 GB / 秒的帶寬。

• NVLink 3.0：在 NVlink SerDes 中引入 PAM - 4 調(diào)制，通道帶寬翻倍，但每個(gè)鏈路的通道數(shù)量減半至 4 個(gè)，使得每個(gè)鏈路的雙向帶寬仍維持在 50 GB / 秒。“Ampere” A100 GPU 擁有十二個(gè) NVLink 3.0 端口，總帶寬為 600 GB / 秒（這也是 Grace CPU 的帶寬配置）。

• NVLink 4：信號(hào)傳輸速率進(jìn)一步提高到 100 Gb / 秒（基于原生 50 Gb / 秒并添加 PAM - 4 編碼），每個(gè)鏈路有 2 個(gè)通道，每個(gè)鏈路的雙向信號(hào)傳輸速率同樣為 50 GB / 秒。Hopper 和 Blackwell 芯片各自擁有 18 個(gè)鏈路（Blackwell 芯片組的情況也是如此），從而為每個(gè) Hopper 或 Blackwell GPU 小芯片提供 900 GB/s 的雙向帶寬（Blackwell 套接字包含兩個(gè)小芯片，可獲得 1.8 TB / 秒的 NVLink 4.0 帶寬）。

• UALink：如我們?cè)?4 月份所闡述的，UALink 能夠整合更多通道和鏈路，以增加加速器和 CPU 的進(jìn)出帶寬。UALink 的通道運(yùn)行速度為 200 Gb / 秒（原生 100 Gb / 秒信令加上 PAM - 4 編碼），每個(gè)鏈路包含 4 個(gè)通道，可實(shí)現(xiàn) 800 Gb / 秒的鏈路速度，即每個(gè)鏈路的雙向速度達(dá)到 1,600 Gb / 秒。將四個(gè)這樣的鏈路整合，可創(chuàng)建一個(gè)運(yùn)行速度為 800 GB / 秒的 UALink 端口，這與 NVLink 4 為 Hopper 和 Blackwell 提供的每個(gè)端口 900 GB / 秒的速度已較為接近。

通過 NVLink Fusion，Nvidia 并非完全開放 NVLink 和 NVSwitch，也無意營(yíng)造一個(gè)完全自由競(jìng)爭(zhēng)的環(huán)境（無論從何種角度理解），并非任何制造 CPU 或加速器的企業(yè)都能隨意將 NVLink 內(nèi)存技術(shù)應(yīng)用到自身設(shè)備上。

NVLink Fusion 有兩個(gè)已獲批的應(yīng)用場(chǎng)景：

• 場(chǎng)景一：將 NVLink 端口添加到定制 CPU，例如超大規(guī)模提供商和云構(gòu)建商為自身設(shè)計(jì)的 CPU 端口。這一應(yīng)用場(chǎng)景基于這樣的假設(shè)，即這些超大規(guī)模提供商和云構(gòu)建商將利用 NVLink 把 Nvidia GPU 加速器連接到他們自主研發(fā)的加速器上。從硬件架構(gòu)圖來看，硬件堆棧包括 Spectrum - X 交換設(shè)備以及 BlueField 或 ConnectX 網(wǎng)絡(luò)接口卡，這些設(shè)備連接到 CPU，并與東西向和南北向網(wǎng)絡(luò)相連。其中，Nvidia GPU 通過 NVSwitch 交叉耦合，并由 Nvidia 的 Mission Control 系統(tǒng)控制軟件進(jìn)行管理。目前尚不確定將 NVLink 添加到定制 CPU 芯片時(shí)是否需要所有這些組件，但我們暫且假定是需要的。

• 場(chǎng)景二：利用 Nvidia 當(dāng)前的 Grace CG100 Arm 處理器，或未來的 “Vera” CV100 CPU 以及 NVLink C2C die - to - die 互連技術(shù)，連接到具備 NVLink Fusion 端口的定制加速器。同樣，前端的 Spectrum - X 和 BlueField/Connect - X 網(wǎng)絡(luò)，以及后端的 NVSwitch 和 Mission Control 網(wǎng)絡(luò)都圍繞該應(yīng)用場(chǎng)景構(gòu)建。與上述情況類似，目前也不確定將 NVLink 端口添加到定制加速器時(shí)是否必須采用這種方式。

無論哪種應(yīng)用場(chǎng)景，都可以在定制 CPU 和定制加速器上使用 NVLink 端口，既可以通過 NVSwitch 互連，也可以像超級(jí)芯片那樣直接連接，還可以在多對(duì)多配置（包含兩個(gè)、四個(gè)或八個(gè)加速器）中使用。目前主要就是上述兩種應(yīng)用選項(xiàng)。

Nvidia 與 Cadence Design Systems 和 Synopsis 作為技術(shù)合作伙伴，協(xié)助客戶將 NVLink 端口設(shè)計(jì)集成到他們的 CPU 或加速器中。Alchip、Astera Labs、Marvell 和 MediaTek 等公司具備定制設(shè)計(jì)能力，能夠?qū)?NVLink Fusion 端口添加到相關(guān)設(shè)備中。富士通和高通已簽署協(xié)議，計(jì)劃將 NVLink Fusion 端口應(yīng)用于其數(shù)據(jù)中心 CPU 設(shè)計(jì)。高通也有涉足 AI 加速器領(lǐng)域的意向，并且可能也會(huì)為這些設(shè)備添加 NVLink 端口，但顯然，他們需要將設(shè)備與 Nvidia 的 Grace 或 Vera CPU 相連接才能實(shí)現(xiàn)這一目標(biāo)。