近期長江存儲推出了自有品牌的第二款NVMe企業級SSD——YMTC PE321，將PCIe 4.0平臺上的性能推到了新的高度。其標稱的順序讀寫性能已經達到7.4GB/s和7GB/s，隨機讀達到175萬IOPS，功耗約19W?？紤]到PCIe 4.0平臺具有旺盛的生命力，我們也樂見PCIe 4.0 SSD得以不斷優化，不論是從性能還是成本角度。

回顧長江存儲的首款NVMe企業級SSD，是2022年推出的PE310，性能達到了當時的主流水準，順序讀寫分別為6.2GB/s和4.5GB/s，隨機讀達到100萬IOPS，功耗不到14W。

時隔兩年的PE321在官網的宣傳當中提及介質為基于晶棧2.0技術的第三代3D NAND。介質的迭代對性能方面的提升影響很大，讀寫性能都有明顯提升，尤其是寫入性能方面，PE321的規格顯得尤為突出。

成熟設計，兼容主流
長江存儲PE321采用目前最為主流的U.2外形規格。殼體散熱良好，正反面均利用盤體厚度設置了散熱鰭片；盤體兩端還設置了鏤空，讓盤體內部也成為服務器前后窗方向風道的一部分，更有利于PCB及元器件的散熱。

金屬殼體內側有多個凸起，對應主控、NAND、DRAM，以及包括電感、降壓、穩壓在內的主要功率元件。

這款PE321標稱容量6.4TB，PCB雙面各布置了8顆長江存儲NAND芯片和5顆DRAM，每顆NAND 512GB，每顆DRAM 1GB。

四角測試：PCI4.0天花板
H3C UniServer R4900 G6 Ultra是基于英特爾Eagle Stream平臺的2U兩路機架式服務器，可適配英特爾第四代、第五代至強可擴展處理器。

該服務器可廣泛應用于通用計算場景，同時對高性能計算、人工智能、云桌面等場景重點優化，適用于互聯網、運營商、企業，政府等各行業典型應用，具有計算性能高、存儲容量大、功耗低、擴展性強和可靠性高等特點，易于管理和部署。

以存儲擴展為例，H3C UniServer R4900 G6 Ultra提供了尤為豐富的選配規格。前窗可選8盤位/12盤位3.5英寸SATA/SAS/UniBay，或25盤位2.5英寸SATA/SAS/UniBay，16/32盤位E1.S，也可以靈活組合8盤位2.5英寸SATA/SAS/UniBay、8/12盤位E3.S。

此外，服務器還可中置4個3.5英寸或8個2.5英寸盤位，后窗也可以適配2.5英寸、3.5英寸、E3.S等多種規格。組合下來，可以支持多達20塊3.5英寸盤或45塊2.5英寸盤，E1.S或E3.S也有機會達到40個之多，將擴展能力強這一特色發揮得淋漓盡致。

我們以H3C UniServer R4900 G6 Ultra服務器為基礎構建了長江存儲PE321的測試平臺。該平臺前窗選配了8盤位2.5英寸UniBay和12盤位E3.S的組合。長江存儲PE321適用于2.5英寸UniBay（NVMe）。該服務器其他與性能測試相關的具體配置為：

處理器：雙路英特爾至強白金8562Y處理器（2.80GHz/60MB L3/32C/64T/250W）

內存：16×32GB 1R×4 DDR5 5600

系統：CentOS Stream release 9（內核6.11.3-1.el9.elrepo.x86_64）?

在讀取PCIe設備狀態時，我們發現長江存儲PC321 DecCap項下MaxPayload Size為512bytes。一般電腦/服務器的MPS默認設置為128或256bytes。在調整測試平臺設置后，PCIe DevCtrl的Max Payload Size=512bytes、MaxRadReq=4096bytes。這個狀態能夠發揮PE321的最大性能。

在優化設置后，長江存儲PE321 6.4TB在FIO v3.35測試當中可以達到7.46GB/s的順序讀和7.36GB/s的順序寫，均是PCIe 4.0接口天花板的表現。在之前的測試中，我們從未遇到如此高，且如此接近讀峰值的順序寫性能。

在過往經驗當中，SSD的順序寫入性能通常明顯低于讀性能，PE321的寫入性能遠遠超出了PCIe 4.0時代SSD的主流水平（早期4GB/s左右，中后期5～6GB/s），甚至超出一些早期的PCIe 5.0 SSD。我們很期待長江存儲的第三代NAND搭配PCIe 5.0控制器的表現。

PE321在512隊列下的4KB隨機讀達到177萬IOPS，對應的是7259MB/s——隨機讀性能也到頂，瓶頸在于接口。

PE321的隨機寫相當出色，達到68.9萬IOPS，足以匹敵PCIe 5.0企業級SSD。必須強調的是，6.4TB容量點意味著這款SSD的定位是寫密集，或稱為讀寫混合型、中等耐用度，因此，我們在比較隨機寫性能的時候，選擇的肯定是耐用等級同為3DWPD的型號。目前隨機寫參數能夠超過PE321的企業級SSD確實屈指可數。

混合讀寫：非常淡定
在7:3混合讀寫測試中，PE321的隨機讀寫總IOPS超過百萬（74.7萬讀、32萬寫），平均讀時延在達到128隊列時才超過200微秒。由于之前隨機寫的測試表現良好，混合讀寫的吞吐能力符合預期。

綜合P99到P99.99時延的表現，PE321在隊列深度為32及以下時都非常輕松，隊列達到64后時延開始有較明顯的增加，但下限還不錯。

以P99時延為例，當隊列深度達到128時才會超過1毫秒，隊列深度達到512時也不超過2毫秒。P99.99時延方面，PE321的表現也很穩定，即使隊列深度達到512時也只是2.6毫秒而已。

回顧我們曾經測試過的PCIe 4.0 SSD，部分型號可能四角性能不錯，甚至混合讀寫的平均時延也不錯，但P99.99會出現數毫秒甚至超過10毫秒的時延，這樣的SSD有可能在集群中帶來性能抖動。從我們的混合讀寫測試看，PE321在極大壓力下，依舊能夠具備良好的響應，得益于其定位使然擁有較大的OP空間，另一方面也說明NAND介質性能優異，以及固件打磨成熟。

Aerospike：300x穩穩完成
Aerospike是一個典型的分布式數據庫應用，其ACT（Aerospike Certification Tool：Aerospike認證工具）測試中采用2:1的混合讀寫配置，負荷采用倍數形式體現。其中1x代表2000個讀事務請求和1000個寫入。每個操作以1.5KB對象為單位，對于沒有整形/壓縮的SSD而言，相當于一次默認頁面大小的隨機訪問。通過驗證的標準是時延大于1ms的請求在5.0%之內，大于8毫秒的在1.0%之內，大于64毫秒的在0.1%以內。

在ACT v6.5中，壓力設置為300倍，TPS（Trans/sec）達到90萬，長江存儲PE321 6.4TB可以順利完成持續24小時的測試。響應時間大于1毫秒的請求平均為3.03%，最大為3.58%。大于2毫秒的請求為0.1%，沒有大于4毫秒的請求。

從24小時記錄文件看，PE321的讀寫非常穩定，只有少量較有規律的離散點。大多數離散點的間隔約1400秒左右。

結語

根據市場預測，PCIe 4.0和U.2形態SSD的生命周期很長，在未來幾年依舊占據主流。畢竟對于多數應用，PCIe 4.0 SSD已經可以提供足夠的性能，且硬件成本更優。從系統角度看，以超融合為代表的企業應用部署的通用服務器大量采用Whitley平臺，兼容性好，核數足夠，DDR4內存便宜。另外，國產平臺也以DDR4、PCIe 4.0為主流。

長江存儲為主流平臺提供了一款“登峰造極”的SSD，將PCIe 4.0 SSD的性能打磨至極致，寫性能尤其突出，帶動平臺整體的存儲吞吐負載水平取得質的提升，也進一步提升了整體解決方案的性價比和生命周期。這其中，長江存儲第三代3D NAND的性能功不可沒，也體現了晶棧Xtacking架構的優勢——可以快速迭代，較短時間內實現了部分關鍵指標的超越。