如果您希望可以時常見面，歡迎標星收藏哦~

來源：內容 編譯自 blocksandfiles 。

存儲供應商面臨的最大問題是人工智能——如何存儲數據，并使其可供人工智能代理和模型訪問。以下是他們如何應對這一挑戰。

在存儲管理中使用人工智能幾乎是輕而易舉的事。它提高了存儲管理員的效率，并且對網絡安全至關重要。關鍵挑戰在于存儲人工智能數據，以便模型和即將上線的代理能夠通過人工智能數據管道快速訪問這些數據。存儲硬件或軟件供應商是否為此做出了特殊安排，或者依賴于在光纖通道、以太網和 NVMe 上運行的標準塊、文件和對象訪問協議，并由中間人工智能管道軟件使用這些協議從其存儲中選擇和提取數據？

基礎存儲硬件和軟件供應商都采取了不同程度的特殊安排，首先是采用 Nvidia GPUDirect 支持，以便更快地將原始數據發送到 GPU。這項服務最初僅限于文件，但現在已擴展到通過 RDMA 傳輸 S3 的對象。其他 GPU 或 AI 加速器硬件供應商沒有與 GPUDirect 等效的服務。在流水線的每個階段，原始數據都會逐步轉換為 AI 模型可用的最終數據集和格式，這意味著非結構化文件和對象數據的向量嵌入。

數據仍然存儲在磁盤或 SSD 驅動器硬件上，但管理這些數據的軟件可以從存儲陣列控制器變為數據庫或數據湖，再變為矢量存儲，可以是獨立的，也可以是數據倉庫、數據湖或湖屋的一部分。所有這些都可以在公共云中進行，例如 AWS、Azure 或 GCP，在這種情況下，存儲供應商可能不參與。假設我們正在研究本地環境或公共云，在那里使用存儲供應商的軟件，而不是原生的公共云存儲設施。數據源可能是標準存儲供應商的存儲庫，也可能是某種流數據源，例如日志生成系統。收集的數據進入存儲供應商的系統或數據庫、數據湖或數據湖屋。然后對其進行處理和轉換。

在生成式人工智能大型語言模型 (LLM) 能夠使用非結構化數據（例如文件、對象或日志）之前，必須先對其進行識別、定位、選擇和向量化。之后，需要將向量存儲起來，可以存儲在專門的向量數據庫中，例如 Milvus、Pinecone 或 Qdrant，也可以存儲在數據庫/數據湖/數據湖屋 (Lakehouse) 中。所有這些工作都位于人工智能管道的中上層，該管道接收收集到的原始數據，進行預處理，然后將其交付給 LLM。

基礎存儲供應商可以說他們存儲原始數據并使用標準協議將其發送出去——僅此而已。Qumulo 的立場是：不支持 GPUDirect，并且通過其NeuralCache使用 AI僅用于增強其內部運營。（但 Qumulo 確實表示，如果需要，它可以快速添加 GPUDirect 支持。）幾乎所有以企業為中心的原始存儲供應商都支持 GPUDirect，并且具有不同程度的 AI 管道支持。VAST Data 則全力以赴，構建了自己的 AI 管道，其數據庫支持矢量，實時數據提取到 AI 模型，事件處理以及 AI 代理構建和部署設施。這與 Qumulo 的立場截然相反。其他存儲系統供應商的定位介于 Qumulo 和 VAST Data 極端之間，處于不同的位置。

Cloudian、Dell、DDN、Hammerspace、Hitachi Vantara、HPE、IBM、MinIO、NetApp、Pure Storage、Scality 和 VAST 均支持用于文件和對象的 GPUDirect。對于多產品供應商（例如 Dell 或 HPE），其所有文件和對象存儲產品線的支持不一定是統一的。

比 GPUDirect 支持更進一步的是 Nvidia 的 BasePOD 和 SuperPOD GPU 服務器系統認證。戴爾、DDN、日立 Vantara、HPE、華為、IBM、NetApp、Pure Storage 和 VAST 等供應商均已獲得此類認證。Infinidat、Nexsan、StorONE 等規模較小的供應商目前尚未獲得此類認證。

更進一步的是與 Nvidia Enterprise AI 軟件集成，包括其 NIM 和 NeMo 檢索器微服務、Llama Nemotron 模型和 NIXL 例程。戴爾、DDN、日立 Vantara、HPE、NetApp、Pure 和 VAST 都這樣做。

更進一步的舉措是提供完整的數據準備和轉換、AI 模型支持、代理開發和代理環境，例如 VAST 在其 AI 操作系統上所做的工作，而戴爾、日立 Vantara 和 HPE 則通過合作伙伴，憑借其 AI 工廠的開發，朝著這個方向邁進。其他供應商似乎都無法做到這一點，因為他們缺少 AI 堆棧基礎設施的關鍵組件，而 VAST 已經構建了這些組件，而戴爾、日立 Vantara 和 HPE 至少可以部分開發這些組件。從存儲行業的角度來看，VAST 在這方面是一個異類。它究竟會繼續保持領先地位，還是最終吸引追隨者，目前尚無定論。

這一切都以 Nvidia 為中心。三大公有云都有各自的加速器，并將確保這些加速器能夠快速訪問其自身的存儲實例，例如亞馬遜的S3 Express API。它們都擁有 Nvidia GPU，并且了解 GPUDirect，因此理應尋求在自己的加速器上復制其數據訪問效率。

轉向不同的 GPU 調節策略可能意味著查看KV 緩存。當在 GPU 中執行 AI 模型時，它會將其令牌和向量作為鍵和值存儲在 GPU 的高帶寬內存 (HBM) 中。此鍵值緩存的容量有限。當它已滿并且正在處理新的令牌和向量時，舊的令牌和向量將被覆蓋，并且如果需要，必須重新計算，從而延長模型的響應時間。將逐出的 KV 緩存內容存儲在 GPU 服務器上的直接連接存儲（第 0 層）中，或存儲在聯網的、可通過 RDMA 訪問的外部存儲（第 1 層）中，意味著可以在需要時檢索它們，從而縮短模型的運行時間。

Hammerspace、VAST Data和WEKA這三家并行文件系統服務供應商都支持 Nvidia GPU 服務器的 KV 緩存卸載。這項技術似乎也能得到所有其他支持 GPUDirect 的供應商的支持。同樣，它是 Nvidia 獨有的，這鞏固了 Nvidia 作為絕對主導的 AI 模型處理硬件和系統軟件供應商的地位。

云文件服務供應商——CTERA、Egnyte、Nasuni 和 Panzura——都面臨著利用其數據支持 AI 推理的需求，這意味著需要通過 AI 數據管道將數據輸入到支持 GPU 的邊緣或中央系統。他們會支持 GPUDirect 嗎？Nvidia 會為他們開發邊緣企業 AI 推理軟件框架嗎？

Arcitecta、Datadobi、Data Dynamics、Diskover、Hammerspace 和 Komprise 等數據管理和編排供應商都在積極參與 AI 數據管道工作，因為數據的選擇、篩選和移動是他們的核心競爭力。我們尚未看到他們與 Nvidia 合作或獲得 Nvidia 認證，成為其 GPU 的存儲數據源。除了 Hammerspace 之外，從 Nvidia 的角度來看，這些供應商似乎只是個配角，就像云文件服務供應商一樣。

回到主流存儲供應商，上述所有調整都適用于存儲在供應商自有存儲中的數據，但也存在備份數據（訪問權限由備份供應商控制）和存檔數據（訪問權限由其供應商控制）。我們之前曾寫過，存在三個獨立的AI數據管道，并且邏輯上需要一個單一的管道，而備份供應商則完全有能力提供它。

我們認為存儲系統供應商對此無能為力。備份供應商眾多，他們不愿向客戶授予訪問其備份存儲中數據的 API 權限。

設想一個大型分布式組織，擁有多家存儲系統供應商、一些公共云存儲、一些云文件服務系統、一些數據保護供應商、一個檔案庫以及一些數據管理系統，那么制定一項策略，使其所有存儲信息可供AI模型和代理使用將極其困難。我們可能會看到這樣的組織精簡其存儲供應商名單，以擺脫這種困境。

https://blocksandfiles.com/2025/05/24/ai-the-single-largest-storage-supplier-issue/

半導體精品公眾號推薦

專注半導體領域更多原創內容

關注全球半導體產業動向與趨勢

*免責聲明：本文由作者原創。文章內容系作者個人觀點，半導體行業觀察轉載僅為了傳達一種不同的觀點，不代表半導體行業觀察對該觀點贊同或支持，如果有任何異議，歡迎聯系半導體行業觀察。

今天是《半導體行業觀察》為您分享的第4048期內容，歡迎關注。

『半導體第一垂直媒體』

實時 專業 原創 深度

公眾號ID：icbank

喜歡我們的內容就點“在看”分享給小伙伴哦