前言：

戴爾在去年底發(fā)布了 PowerEdge 第 17 代服務(wù)器，首批產(chǎn)品線為 AMD 平臺(tái)，支持第五代 EPYC 處理器。新一代的處理器的核心數(shù)量、性能等方面有了巨大的提升，功耗水平也達(dá)到了 500W。隨著處理器的“上限”猛增，新的服務(wù)器平臺(tái)首先必須能夠提供匹配的功耗、散熱能力支持；其次，必須能夠適應(yīng)更多樣化的應(yīng)用場(chǎng)景，平衡傳統(tǒng)業(yè)務(wù)與新興業(yè)務(wù)的需求。戴爾 PowerEdge 第 17 代服務(wù)器平臺(tái)的誕生并不只是被動(dòng)地跟隨處理器迭代，而是為了更好地兼顧上述兩種價(jià)值取向，協(xié)調(diào)性能與彈性的發(fā)展需要。

戴爾 PowerEdge R7725 是 PowerEdge 最新一代服務(wù)器家族中首批上市的 2U 雙路機(jī)架式服務(wù)器，配合第五代 EPYC 處理器，可提供出色的性能密度，尤其適用于大數(shù)據(jù)分析、人工智能，以及高性能計(jì)算等負(fù)載。為了充分理解新一代 PowerEdge 服務(wù)器平臺(tái)的跨代變化，我們也申請(qǐng)了上一代的服務(wù)器戴爾 PowerEdge R7625 作為參考平臺(tái)。

處理器更新是“表”

第五代 EPYC 處理器基于 Zen 5 和 Zen 5C 架構(gòu)。Zen 5 架構(gòu)的 CCD 制造工藝升級(jí)到 4nm，單封裝內(nèi)的 CCD 數(shù)量從12個(gè)提升至16個(gè)，提供最多128核，最高頻率可以達(dá)到 5GHz；Zen 5C 的 CCD 制造工藝升級(jí)到 3nm，單封裝內(nèi)的 CCD 數(shù)量從8個(gè)提升至12個(gè)，提供最多192核。EPYC 9005 繼續(xù)使用 SP5 接口，IOD 與上一代相同，內(nèi)存控制器仍為12通道內(nèi)存，但速率從 4800MT/s 提升至 6000/6400MT/s；PCIe 5.0 通道仍為最多160條，CXL 支持從1.1升級(jí)至 2.0。隨著處理器性能大幅提升的還有功耗，最高達(dá)到 500W。

乍看之下，為了配合 EPYC 9755 處理器的更高功耗，戴爾 PowerEdge R7725 中配置的散熱器體積明顯增大，熱管數(shù)量更大，投影面積也更大。與以往羊角造型散熱器將散熱片向風(fēng)扇墻方向延伸不同，戴爾 PowerEdge R7725 將散熱片向內(nèi)存上方展開(kāi)，有效面積更大，不占用額外機(jī)箱深度。在支持更高功率處理器（360W 提升至 500W），提供更多擴(kuò)展能力（如前窗 E3.S 從 32 塊增加到40塊、后窗 PCIe 5.0 插槽倍增到8個(gè)）的基礎(chǔ)上，R7725的機(jī)身深度只比 R7625 增加了43毫米。

由于更大的散熱器對(duì)內(nèi)存槽區(qū)域有所遮擋，戴爾還很貼心地在散熱器頂部貼上了標(biāo)簽，以示意內(nèi)存槽安裝方向。內(nèi)存槽與散熱器鰭片之間也預(yù)留了足夠的高度差進(jìn)行內(nèi)存插拔的操作，對(duì)可維護(hù)性沒(méi)有帶來(lái)明顯影響。

由于 EPYC 9005 和 EYPC 9004 系列處理器都使用相同的插座，內(nèi)存通道數(shù)量相同，R7725 配置的是24條內(nèi)存插槽，內(nèi)存擴(kuò)展能力與上一代平臺(tái)相同，但速率大幅度提升。

架構(gòu)變革為“里”

新一代服務(wù)器絕非只是提升了處理器功耗支持這么簡(jiǎn)單。其實(shí)，戴爾正在推動(dòng)服務(wù)器基礎(chǔ)架構(gòu)變革，新一代 PowerEdge 服務(wù)器平臺(tái)正是新思路、新標(biāo)準(zhǔn)、新架構(gòu)的產(chǎn)物。戴爾 PowerEdge R7725 是首批遵循了 OCP 的 DC-MHS R1（Datacenter Modular Hardware System Revision 1.0）標(biāo)準(zhǔn)的服務(wù)器。戴爾也是 OCP MHS（模塊化硬件系統(tǒng)）項(xiàng)目組的核心發(fā)起人之一。

傳統(tǒng)上，服務(wù)器的主板通用性不高，服務(wù)器廠商需要為不同機(jī)型開(kāi)發(fā)不同的主板，更不要說(shuō)跨品牌適配了。DC-MHS 通過(guò)模塊化的方式，標(biāo)準(zhǔn)化了硬件的外形規(guī)格和接口，提升了互操作性和研發(fā)效率，利于降低開(kāi)發(fā)不同形態(tài)服務(wù)器、進(jìn)行代際升級(jí)的成本。

在 DC-MHS中，主板概念被 HPM（Host Processor Modules，主機(jī)處理器模塊）取代。基礎(chǔ)的 HPM 負(fù)責(zé)提供處理器、內(nèi)存、IO、供電接口。一款 HPM 可以適配多種機(jī)型，可以包括標(biāo)準(zhǔn)機(jī)架服務(wù)器、刀片服務(wù)器、邊緣服務(wù)器等，可以是前 IO 或者后 IO 形態(tài)等，甚至有機(jī)會(huì)跨品牌使用。

為了給大家直觀展現(xiàn)這種變化，我們以上一代戴爾 PowerEdge 服務(wù)器家族的 R7625 為例。譬如，R7625 的風(fēng)扇墻接口是集成在主板上的，而 R7725 的風(fēng)扇板已經(jīng)解耦出來(lái)。風(fēng)扇板與 HPM 分別迭代有哪些好處呢？最典型的就是 1U 和 2U 機(jī)型使用的風(fēng)扇尺寸不同，對(duì)應(yīng)的風(fēng)扇插座位置自然需要相應(yīng)的調(diào)整。還是一種典型場(chǎng)景就是液冷機(jī)型，目前市場(chǎng)份額越來(lái)越高的液冷機(jī)型正在不斷提升液冷覆蓋比例，從而逐步取消風(fēng)扇墻，在浸沒(méi)式液冷機(jī)型更是如此。戴爾可以基于 R7725 的 HPM 推出液冷機(jī)型，取消風(fēng)扇板可以簡(jiǎn)化布局，還有利于降低成本和故障率。

戴爾 PowerEdge R7725 TPM 上的電源連接器符合 M-PIC（Modular-Platform Infrastructure Connectivity，模塊化-平臺(tái)基礎(chǔ)設(shè)施連接）規(guī)范，可用于連接電源分配板（PDB），適應(yīng)柜內(nèi)直流供電的場(chǎng)景。符合 M-PIC 規(guī)范的電源連接器是帶有邊帶信號(hào)的，大家可以留意圖片中的那一排較小的插針，可以通過(guò)它們提供管理能力。每個(gè)電源連接器可以承受 864W 功率（每 Pin 最大 6A 電流），在 R7725 的熱插拔電源接口附近有 4 個(gè)這種連接器，足夠通過(guò) HPM 為處理器、內(nèi)存、PCIe 卡、SSD 等供電。

另外，R7725 的 HPM 與風(fēng)扇板、前窗驅(qū)動(dòng)器高速背板的連接也是采用相同的 M-PIC 規(guī)范接口連接，不但可以為風(fēng)扇或驅(qū)動(dòng)器提供 12V 供電，還能承擔(dān)溫控、測(cè)速/調(diào)速等信號(hào)。

戴爾 PowerEdge R7725 的電源模塊符合 M-CRPS 規(guī)范，通用性明顯提升，用戶可選的電源范圍大大增加了。M-CRPS 電源的尺寸小于 R7625 上使用的電源，但戴爾為 R7725 提供了最大 3200W 的鈦金電源，能效更高。我們收到的 R7725 樣機(jī)配備的是 1500W 鈦金電源。

M-CRPS 電源寬度縮減，還帶來(lái)了一些額外的好處，使得戴爾 PowerEdge R7725 后窗下半部分的擴(kuò)展能力明顯增強(qiáng)。R7725 后窗最下方一層可以安排三組 OCP NIC 外形兼容的模塊，包括網(wǎng)卡、DC-SCM 后 IO 板，以及新一代的 BOSS-N1 DC-MHS 控制器；下方略靠中間這一層可以安排 2 組全高卡 Riser，而 R7625 在這個(gè)區(qū)域只有半高 Riser。

戴爾 PowerEdge R7725 的啟動(dòng)模塊升級(jí)為 BOSS-N1 DC-MHS，直接支持企業(yè)級(jí) NVMe SSD，性能較 SATA SSD 更高，可管理性也有所增強(qiáng)。更重要的是，新一代的啟動(dòng)模塊的外形也與 OCP 網(wǎng)卡兼容，簡(jiǎn)化了后窗布局的復(fù)雜度。

性能大幅改進(jìn)

我們的測(cè)試在戴爾 PowerEdge R7725 上配置 AMD EPYC 9755，參考平臺(tái) R7625 搭配 EPYC 9754。兩款處理器分別對(duì)應(yīng) Zen5 和 Zen4C 內(nèi)核架構(gòu)，均為 128 核心。

考慮到 EPYC 9755 的全核 Boost 頻率可以達(dá)到 4.1GHz，而 EPYC 9754 為 3.1GHz，頻率差距達(dá)到了 1GHz，對(duì)測(cè)試結(jié)果的影響較大。為了突出處理器架構(gòu)的差異，我們均關(guān)閉 Boost，二者的基礎(chǔ)頻率分別為 2.7GHz 和 2.25GHz。

系統(tǒng)內(nèi)存均為 1.5TB DDR5 RDIMM。值得一提的是，EPYC 9005 系列在發(fā)布之初支持的內(nèi)存速率是 6000MT/s，直到近期才將這個(gè)規(guī)格變更為 6400MT/s。相應(yīng)的，戴爾 PowerEdge R7725 也需要更新今年 4 月發(fā)布的 1.13 版 BIOS 才能實(shí)現(xiàn)更高內(nèi)存速率的支持。

測(cè)試平臺(tái)配置

處理器 1：雙路 EPYC 9755（2.7GHz/512MB L3 / 128C / 512T / 500W）

內(nèi) 存 1：24×64GB DDR5 RDIMM 6400MT/s

處理器 2：雙路 EPYC 9754（2.25GHz/256MB L3 / 128C / 512T / 360W）

內(nèi) 存 2：24×64GB DDR5 RDIMM 4800MT/s

系 統(tǒng)：CentOS Stream release 10（內(nèi)核 6.12.0-58.el10.x86_64）

我們首先利用 Stress-ng v0.18.06做壓力測(cè)試驗(yàn)證，兩臺(tái)服務(wù)器的 CPU 頻率都穩(wěn)定在各自的基準(zhǔn)頻率，均為 512 線程。

從輸出結(jié)果看，EPYC 9755 單位時(shí)間內(nèi)完成的操作數(shù)量相對(duì) 9754 提升了 30%以上。

內(nèi)存性能

我們使用 Memory Latency Checker v3.11b 進(jìn)行內(nèi)存性能的測(cè)試。

EPYC 9755 的內(nèi)存峰值帶寬為 1071GB/s，這個(gè)內(nèi)存帶寬達(dá)到了雙路 12 通道 6400MT/s 理論帶寬（1229GB/s）的約 90%；相對(duì) 9754 實(shí)測(cè)值 701GB/s 提升了 53%。

EPYC 9755 相對(duì) 9754 的最大內(nèi)存帶寬提升幅度超過(guò)了兩臺(tái) PowerEdge 服務(wù)器支持的內(nèi)存速率差異：4800MT/s 到 6400MT/s 的提升應(yīng)該是 33%。我們認(rèn)為最大內(nèi)存帶寬受到了 CCD 與 IOD 之間的帶寬影響。兩顆處理器的 CCD 與 IOD 互聯(lián)的 GMI（Global Memory Interconnect）鏈路數(shù)量差異很大：EPYC 9755 配置了 16 顆 CCD，使用了 IOD 的全部 16 組 GMI3 鏈路；而 EPYC 9754 使用了 8 顆 CCD，只利用了 8 組 GMI3 鏈路，限制了與 IOD 的內(nèi)存控制器之間的傳輸效率。理論上 CCD 數(shù)量較少的 EPYC 可以使用 GMI3-Wide 模式，讓一顆 CCD 使用兩組 GMI3 鏈路，但 AMD 只在 4 顆或更少 CCD 的型號(hào)上啟用這個(gè)模式，EPYC 9754 不在此列。

在 MLC 的本地（CPU 內(nèi)）與遠(yuǎn)程（跨 CPU）訪問(wèn)測(cè)試中，EPYC 9755 的延遲略好于 EPYC 9754，本地內(nèi)存訪問(wèn)帶寬優(yōu)勢(shì)明顯。跨 CPU 訪問(wèn)的性能受 CPU 之間互聯(lián)帶寬的限制。兩代處理器的遠(yuǎn)程訪問(wèn)帶寬基本相同，這符合預(yù)期。

這是因?yàn)閮纱?EPYC 的 IOD 并沒(méi)有更新，xGMI 總線（Infinity Fabric）帶寬沒(méi)有出現(xiàn)質(zhì)變。對(duì)于雙路系統(tǒng)，AMD 允許選擇 3 組或 4 組 xGMI 鏈路互聯(lián)。選擇前者可獲得更多 PCIe 通道，通過(guò)將每顆 CPU 的 1 組 xGMI 鏈路配置為 16 通道 PCIe 5.0，從而實(shí)現(xiàn)雙路最多 160 通道 PCIe 5.0。戴爾 PowerEdge R7725 使用全部 4 組 xGMI，可確保雙路處理器發(fā)揮最佳性能。

隨著負(fù)載變化，EPYC 9755 在帶寬逐步提升時(shí)的訪問(wèn)延遲變化較為穩(wěn)定，在帶寬達(dá)到峰值附近時(shí)延遲只增加到 220 納秒左右，明顯優(yōu)于 EPYC 9754 的表現(xiàn)。

在逐核遞增的內(nèi)存帶寬測(cè)試中，我們可以從圖中很清晰地看到 Zen5 和 Zen4C 兩種不同定位的 CCD 的規(guī)模差異。EPYC 9755 每個(gè)臺(tái)階對(duì)應(yīng) 8 核，與 Zen5 架構(gòu)每 CCD 內(nèi)提供 8 個(gè)核心吻合。EPYC 9754 則為每 CCD 16 核心。

浮點(diǎn)單元改善尤其顯著

Zen5 的微架構(gòu)相對(duì) Zen4 有全面的提升。Zen 5 的前端提供更高的并行性，分支預(yù)測(cè)器速度更快、更準(zhǔn)確，并為之匹配了更大的分支目標(biāo)緩存。執(zhí)行單元部分，整數(shù)運(yùn)算的 ALU（算術(shù)邏輯單元）與 AGU（地址生成單元）、浮點(diǎn)運(yùn)算流水線均增加了三分之一或更多。緩存方面，Zen5 的 L1 緩存容量增加了 50%，L2 緩存的帶寬翻倍。

Zen5 在浮點(diǎn)和向量單元的規(guī)模方面改進(jìn)尤其顯著。譬如 Zen4 架構(gòu)采用 256 位數(shù)據(jù)路徑，需要兩個(gè)周期執(zhí)行 AVX-512 指令。而 Zen5 引入了 512 位數(shù)據(jù)路徑，可以在一個(gè)周期內(nèi)完成操作。我們會(huì)在浮點(diǎn)運(yùn)算密集型的測(cè)試中感受到這種巨大的差異。

科學(xué)計(jì)算

Linkpack 測(cè)試常用于考察雙精度（FP64）浮點(diǎn)計(jì)算求解。我們使用 AMD 優(yōu)化的軟件包 AMD Zen HPL（The High-Performance Linpack Benchmark），軟件版本為 2024_10_08。在 HPL 中，（基于 EPYC 9755 的）PowerEdge R7725 可以獲得近 9000GFlops 的成績(jī)，是（基于 9754 的）R7625 的兩倍以上，充分體現(xiàn)了浮點(diǎn)并行能力的改進(jìn)。即使考慮兩款 CPU 的頻率差異，折算 EPYC 9755 同頻率下的性能也是 EPYC 9754 的 1.85 倍。

我們?cè)谟邢拊浖?OpenFOAM v2412 運(yùn)行 MotorBike 算例模擬摩托車(chē)周?chē)鲌?chǎng)。R7725的執(zhí)行時(shí)間（Execution Time）不到 90 秒，比 R7625 節(jié)省 30%。與總時(shí)間（Clock Time）的差值也更小，說(shuō)明在 IO、內(nèi)存訪問(wèn)等環(huán)節(jié)也有所改善。

3D 渲染

我們用 V-Ray Benchmark v6.00.00 考察 CPU 的 3D 渲染性能。PowerEdge R7725 可以獲得超過(guò) 31 萬(wàn)分，相對(duì) R7625 提升近 50%。

結(jié)語(yǔ)

新一代的 x86 服務(wù)器處理器將功耗提升到了 500W 的水平，性能也取得明顯的代際提升。戴爾 PowerEdge 最新一代的服務(wù)器很好地體現(xiàn)了新一代服務(wù)器平臺(tái)的特點(diǎn)：更高的性能、更強(qiáng)的擴(kuò)展能力，以及面向未來(lái)的架構(gòu)設(shè)計(jì)。

除了處理器性能，戴爾 PowerEdge R7725 在許多細(xì)節(jié)上體現(xiàn)了“面向未來(lái)”：小如多達(dá) 40 塊 E3.S SSD 的擴(kuò)展能力、基于 NVMe 的啟動(dòng)盤(pán)，大到率先引入 DC-MHS 標(biāo)準(zhǔn)。作為全球領(lǐng)先的服務(wù)器廠商，戴爾的服務(wù)器產(chǎn)品需要覆蓋多樣化的場(chǎng)景，除了相對(duì)傳統(tǒng)的通用機(jī)架服務(wù)器，還有邊緣側(cè)、整機(jī)柜等形態(tài)，需要格外重視組件的靈活性、泛用性，這也是戴爾牽頭發(fā)起 DC-MHS 的關(guān)鍵原因。尤其是在 AI、HPC 等超高性能應(yīng)用占比越來(lái)越高的背景下，服務(wù)器的傳統(tǒng)形態(tài)出現(xiàn)了分化。熟悉液冷、GPU 服務(wù)器、整機(jī)柜服務(wù)器等概念的用戶，在看到戴爾 PowerEdge R7725 的時(shí)候，對(duì)其代表的新架構(gòu)、新標(biāo)準(zhǔn)會(huì)有更多的共鳴。