99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

萬字深度解析 | AI原生存儲:提升大模型數據存儲能力(一)

0
分享至



導語:傳統數據存儲架構在支撐大模型快速迭代升級過程中暴露出承載瓶頸,以AI原生存儲為代表的新型AI存儲具備超高性能、超大容量、極致安全、數據編織等特征,可以有效支撐大模型數據歸集、預處理、訓練、推理等全生命周期流程。



(1)背景

伴隨人工智能大模型的高速發展,數據量呈指數級增長,存儲產業迎來新一輪的增長。根據IDC和華為GIV團隊預測,全球每年新產生的數據總量隨著AI的發展快速增長,從2020年每年產生2ZB到2025年每年產生175ZB,2030年將達到1,003ZB,即將進入YB時代[1]。

圖1:全球每年新產生的數據總量預測(ZB)



來源:華為

人工智能大模型快速迭代創新,其研發生產各階段都對存儲提出了新的要求。

在數據采集與清洗環節,由于原始數據規模大、來源多樣、種類豐富,需要構建大容量、低成本、高可靠的數據存儲底座,并且用標準文件的方式完成海量數據的清洗和轉換,以縮短數據預處理的時長。

在模型訓練與推理應用環節,由于主流預訓練模型訓練過程不穩定,需要用Checkpoint(檢查點)機制來確保訓練回退到還原點,因此,要求存儲能快速讀寫Checkpoint文件。

此外,為保證大模型生成的內容是合法、合規的,存儲需要提供比較豐富的數據審核能力。

同時,各企業采用的算力、算法逐漸收斂,數據成為真正體現大模型差異性的關鍵要素。訓練數據的體量與質量對提升大模型的效果具有顯著作用。盡管LLaMA3的參數規模不到GPT-3.5的一半,但其15TB訓練數據遠超GPT-3.5的570GB訓練數據,使其在大部分基準上均表現更優[2]。

圖2:數據是大模型的核心要素



來源:中國信息通信研究院

傳統數據存儲架構在支撐大模型快速迭代升級過程中暴露出顯著瓶頸,已難以承載世界級認知系統的數據需求。

首先,傳統存儲系統的吞吐性能與并發能力難以匹配GPU算力需求,IO延遲導致算力空轉現象普遍;其次,面對大量非結構化數據,傳統方案極易出現孤島與重復拷貝的問題,缺失元數據追溯與可復現性機制;再者,冷熱數據分層依賴人工,存在誤判風險,影響訓練效率;此外,對象存儲在AI訓練場景中暴露高并發讀寫短板,多存儲系統拼接導致數據頻繁搬運與格式沖突。

以AI原生存儲為代表的新型AI存儲是專為人工智能應用和服務設計的數據存儲系統,具備超高性能、超大容量、極致安全、數據編織等特征,可以有效支撐大模型數據歸集、預處理、訓練、推理等全生命周期流程,正成為破局的關鍵。

圖3:AI基礎架構



來源:中國信息通信研究院

(2)定義

AI原生存儲(AI-Native Storage)是指為AI系統尤其是大模型訓練、推理、數據治理等工作負載量身定制的下一代智能存儲系統,其架構、性能、接口、調度、元數據系統等各方面都以AI應用的需求為核心設計,而非對傳統存儲系統的簡單改造。

AI原生存儲與通用存儲(傳統存儲)在架構設計和功能特性上存在顯著差異,主要面向AI大模型訓練和推理場景的特定需求,在智能調度、數據版本控制、組成架構、數據治理、數據分層、安全性等方面進行優化。

表1:原生存儲與通用存儲(傳統存儲)對比



來源:融中咨詢

(3)組成

AI原生存儲(AI-Native Storage)涵蓋底層硬件、性能、容量、調度、數據治理、輸出輸入接口等各層級,提升大模型數據存儲能力。

表2:AI原生存儲結構組成



來源:融中咨詢

(4)分類

1)存儲架構維度

AI原生存儲體系在應對大模型商用化挑戰時,逐步形成了多維度協同的架構范式,成為AI基礎設施中主動參與任務調度的“神經中樞”,主要包括分布式文件系統架構、對象存儲架構、混合存儲架與并行文件系統架。

表3:從存儲架構維度進行分類



來源:融中咨詢

2)數據形態維度

為確保不同的數據形態維度在訓練、推理及知識庫構建中的高效流動與智能調度,針對不同數據形態維度,AI原生存儲體系可分為結構化數據存儲、非結構化數據存儲及多模態數據存儲。

表4:從數據維度進行分類



來源:融中咨詢

3)工作負載維度

不同的工作負載維度各有其獨特的需求和特點,對應的AI原生存儲中包括訓練型存儲、推理型存儲和采集預處理型存儲。

表5:從工作負載維度進行分類



來源:融中咨詢

4)感知能力維度

基于感知能力維度,存儲體系可分為被動型傳統存儲、智能型存儲、與自學習型存儲。傳統存儲系統主要遵循“被動響應”的模式,在面對AI應用中復雜多變的數據訪問模式和性能需求時,往往顯得力不從心,更適用于AI大模型領域的是智能型存儲、與自學習型存儲。

表6:從感知能力維度進行分類



來源:融中咨詢



(1)傳統存儲階段(AI大模型興起前)

傳統存儲階段主要采用集中式設計,數據存儲和處理高度依賴于中心化硬件設備,如存儲區域網絡(SAN)和網絡附加存儲(NAS)。這類架構通過專用硬件(如高端磁盤陣列)和封閉協議(如光纖通道)實現數據集中管理,雖能提供較高的單點性能和可靠性,但存在顯著局限性。

其擴展性受限于硬件設備的物理容量,無法彈性應對數據量激增;存儲與計算緊耦合的設計導致資源利用率低下,尤其在處理海量非結構化數據時易出現性能瓶頸。此外,集中式架構存在單點故障風險,容災能力較弱,且依賴昂貴專有硬件,維護成本高昂。

隨著數據規模指數級增長及AI等新場景對高并發、低延時的需求,傳統架構在吞吐能力、成本效益和靈活性上的不足日益凸顯,逐漸被分布式存儲架構取代。

(2) 需求驅動探索階段(2020年代初期)

需求驅動下的探索階段是隨著數據量的爆發式增長和技術革新推動的必然產物。在全球及中國數據產量持續攀升的背景下(2023年達32.85ZB)[3],數據資源呈現出海量規模、多樣類型、低價值密度和高速流轉的“4V”特性,傳統集中式關系型數據庫在處理半結構化/非結構化數據時遭遇嚴重瓶頸。

生成式人工智能與大模型技術的突破進一步提升了數據存儲的剛性需求,倒逼技術變革。這一階段的核心特征體現為從“關系型、集中式”向“非關系型、分布式”的范式轉移,并逐步向“多模型、云原生”深化演進。通過存算分離、資源池化等技術重構數據管理架構,云原生數據庫的私有化部署模式因滿足“數據不外流”的安全需求而快速崛起。

與此同時,多模型數據管理系統應運而生,支持結構化、圖數據、文檔等多類型數據的融合處理,顯著降低跨模型數據聯合處理的架構復雜度與運維成本。這一階段的技術探索為后續AI原生存儲體系的形成奠定了基礎,標志著數據管理軟件從被動適配向主動創新的關鍵轉折。

(3) AI原生存儲體系形成階段(2022-至今)

隨著大模型技術快速發展,在AI從科研范式轉向工業級應用的過程中,傳統存儲架構面臨多模態數據管理、海量版本控制、實時推理支持等核心挑戰,促使存儲系統從被動數據倉庫向主動智能中樞轉型。

這一體系形成的關鍵在于存儲技術與AI任務需求的深度耦合:初期通過分布式架構突破性能瓶頸,實現EB級擴展和千萬級IOPS;中期引入智能調度引擎,使存儲系統能感知訓練任務特征,動態優化數據預取和分層策略;后期深度融合數據編織技術,構建跨域數據湖并實現全生命周期治理。

隨著LakeFS、DeltaLake等數據版本系統的普及,以及KVCache持久化、RAG知識庫等新型存儲形態的出現,存儲系統逐漸具備任務感知、算法協同能力,形成存算一體的智能數據供應鏈。

云廠商和頭部企業通過自研調度引擎、統一存儲底座等實踐,推動存儲從基礎設施升維為AI系統的神經中樞,最終實現數據不動模型動、推理即取即用的新一代范式,為AI應用提供高效、安全、自主可控的數據支撐。



自2021年以來,中國在AI數據存儲及先進存儲領域陸續出臺了一系列扶持政策,涵蓋國家層面頂層設計與地方政府的具體實施方案,涉及數據存儲基礎設施建設、智能算力調度、數據安全合規、關鍵核心技術突破等多個方向。

這些政策文件不僅體現在《“十四五”數字經濟發展規劃》《國家信息化規劃》《算力基礎設施發展行動計劃》等國家級戰略中,也延伸至深圳、上海、北京等地在算力中心布局、智能數據湖建設、AI原生存儲場景落地方面的專項支持。

整體來看,政策導向呈現出“重基礎設施、強安全管理、促產業融合”的特征,體現出中國政府對AI數據存儲關鍵地位的高度認可。其核心目標是通過政策牽引、資金扶持與資源配置,推動形成安全可控、高性能、高效率的數據存儲能力體系,為人工智能大模型、AIGC、長記憶Agent等新興應用提供堅實底座,加快建設數字中國。

表7:2021年至今我國AI算力的電力設備行業相關政策及舉措



來源:融中咨詢



(1)軟硬件一體化銷售模式

軟硬件一體化銷售模式(Appliance Model)是存儲領域中一種典型的商業交付方式,其核心在于企業將自主研發的AI原生存儲軟件與經過深度優化和預配置的硬件設備(如高性能服務器、NVMeSSD、高速網絡接口卡等)打包成完整的一體機系統,作為“交鑰匙”解決方案直接銷售給客戶。

該模式的典型代表包括DDN的AI400X、華為OceanStorPacific系列、浪潮HFSS系列等。這類產品通常面向大型智算中心、AI科研平臺、大型科技企業等客戶群體,單次合同金額較高,交付復雜度大,但也帶來了強客戶粘性和穩定的后續服務收益。

對廠商而言,軟硬一體化不僅有助于控制整體系統性能邊界,還能增強產品的差異化競爭力,構建深度綁定的行業解決方案生態。

(2)軟件授權訂閱模式

軟件授權訂閱模式(Subscription Licensing)的基本形式是將AI原生存儲系統作為一款獨立的軟件產品授權給客戶使用,客戶根據使用周期(如年、季度、月)或使用資源量(如存儲容量、并發節點數、IO帶寬等)支付訂閱費用,從而獲得該軟件的合法使用權以及持續更新、技術支持和版本升級等服務。

訂閱授權模式強調“持續價值交付”,使廠商可以通過不斷迭代優化產品、增加新功能和適配更多AI場景來保持客戶粘性。典型廠商如WEKA、VASTData、國內的杉巖數據、星辰天合等。

訂閱模式不僅有助于降低客戶初期采購門檻,也讓廠商獲得可持續的現金流和用戶反饋,支撐其在AI時代不斷演進的產品策略。

(3)托管云服務模式

托管云服務模式(Managed Cloud Service)是通過云平臺將其存儲能力以服務的形式交付給客戶的一種商業模式。該種模式下,用戶可以通過API或控制臺快速申請存儲資源,并根據實際業務需求進行動態擴容或縮容。

與本地部署或私有化部署不同,這種模式的核心理念是“即開即用、按需計費、彈性擴展”,客戶無需采購硬件或自行搭建復雜的存儲系統,而是通過公有云、私有云或混合云平臺直接訪問和使用廠商提供的AI原生存儲服務,計費方式通常包括按存儲容量、訪問頻率(如Get/Put請求數)、帶寬流量、并發連接數等維度進行精細化計費。

這種服務通常以對象存儲、文件系統或高性能并行存儲的形式提供,支持高吞吐、低延遲、高并發等AI模型訓練和推理所需的關鍵能力。典型提供者包括如WEKA在AWS/GCP上的云原生版本、VASTData的UniversalStorage云服務版本,以及國內的華為云FusionStorage、阿里云PanguStorage等。

(4)項目定制部署模式

項目定制部署模式(Project-based Custom Deployment)是針對特定行業客戶或大型項目需求,提供定制化解決方案,包括從存儲系統架構設計、軟硬件選型、接口適配、性能優化,以及到現場部署、運維體系建設、人員培訓等多個環節。

該模式通常發生在政企單位、智算中心、科研院所、大型國有企業等場景中,以“項目合同制”進行商務交付,項目金額高、交付周期長,客戶粘性強。例如,某政務大模型項目需要支持跨區域多中心的數據共享與異地災備,廠商可能會提供多副本容災結構、AI任務調度感知存儲分層機制、統一運維平臺等專屬功能,并針對客戶原有系統進行接口對接和兼容適配。

典型廠商如華為、浪潮信息,以及部分國產AI原生存儲新銳企業(如杉巖數據、星辰天合)均積極嘗試這種模式在智算中心、科研院校和關鍵行業客戶中建立深度合作關系。

表8:AI原生存儲領域的商業模式



來源:融中咨詢



(1)產業鏈

AI原生存儲行業的上游主要包括存儲介質與存儲器、存儲主控芯片與接口芯片、關鍵材料與零部件以及核心專利與技術。

中游參與者主要是各大AI存儲系統綜合解決方案提供商,包括軟件平臺,硬件基礎設施集成以及綜合云平臺。

下游應用領域覆蓋智算中心、金融、自動駕駛、醫療、政務、科研機構等。

圖4:AI原生存儲系統產業鏈



來源:融中咨詢

(2)市場規模

隨著人工智能技術的快速發展,尤其是在大模型、AIGC(生成式人工智能)等新興應用的推動下,傳統存儲系統已難以滿足AI對海量數據的高并發訪問、高吞吐率與低延遲處理的需求。

在這一背景下,AI原生存儲作為專為AI工作負載設計的新型存儲架構,正在成為行業關注的焦點,市場需求正隨著數據規模的爆炸式增長而迅速擴大。

2024年,全球AI原生存儲行業的市場規模為8.47億美元,預計至2028年全球AI原生存儲行業的市場規模增長至132.80億美元。

圖6:全球AI原生存儲行業的市場規模



來源:融中咨詢

在“AI+”國家戰略持續推進下,中國AI產業快速發展,帶動對數據存儲能力提出前所未有的需求。與歐美相比,中國在AI訓練數據量的生成速度和模型應用的廣度上具備獨特優勢,AI原生存儲因此成為國產化技術突圍的重要方向。

頭部云廠商、存儲設備制造商與AI基礎設施服務商正在加速布局,推動形成涵蓋自研硬件、智能軟件、異構計算適配與高效數據調度的完整生態。隨著AI模型的參數量、推理密度與多模態應用的不斷升級,中國AI原生存儲市場正步入高速成長期,成為全球市場中最具活力的增長引擎之一。

2024年,中國AI原生存儲行業的市場規模為14.36億元,同比增長逾2倍,預計至2028年市場規模增長至224.32億元。

圖7:中國AI原生存儲行業的市場規模



來源:融中咨詢

因平臺內容發布長度限制,剩余內容請瀏覽主頁查看。

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
我國兒童比重從41%下降到15%,美國和日本呢?

我國兒童比重從41%下降到15%,美國和日本呢?

安安小小姐姐
2025-06-02 07:05:08
上海“剩女”群體越來越壯大,突破209萬,細看剩下來往往是這2種

上海“剩女”群體越來越壯大,突破209萬,細看剩下來往往是這2種

律便利
2025-07-26 13:55:03
53歲汪峰再次喜當爹!5個孩子4個媽,前妻葛薈婕:又在繁殖了

53歲汪峰再次喜當爹!5個孩子4個媽,前妻葛薈婕:又在繁殖了

趙釔是個熱血青年
2025-06-01 05:12:17
李連杰自稱進入倒計時,重提當年港娛黑幕,要求利智日后低調行事

李連杰自稱進入倒計時,重提當年港娛黑幕,要求利智日后低調行事

任紀煙
2025-05-27 07:07:14
新一代機皇!新機官宣:7月25日,正式開售

新一代機皇!新機官宣:7月25日,正式開售

科技堡壘
2025-07-25 11:26:50
庫頁島有“三不”:不屬于中國、不像俄羅斯、不承認過去

庫頁島有“三不”:不屬于中國、不像俄羅斯、不承認過去

歷史求知所
2025-07-27 09:30:07
老杜興奮得太早了!許媽已經補交證據!

老杜興奮得太早了!許媽已經補交證據!

蜻蜓世音
2025-07-27 13:57:39
新疆高齡補助新標下月實施!70歲以上老人每月能領這些錢

新疆高齡補助新標下月實施!70歲以上老人每月能領這些錢

江江江月
2025-07-27 09:20:45
6名大學生命喪中國黃金,知情人曝更多內情,東北大學評論區淪陷

6名大學生命喪中國黃金,知情人曝更多內情,東北大學評論區淪陷

壹月情感
2025-07-24 17:06:37
聯合國喊停不管用,泰國要為佩通坦出口惡氣,洪森后悔也來不及

聯合國喊停不管用,泰國要為佩通坦出口惡氣,洪森后悔也來不及

健身狂人
2025-07-26 11:13:43
紀實:嫌棄丈夫丑拋夫棄子,聽聞兒子成為院長,時隔38年再來相認

紀實:嫌棄丈夫丑拋夫棄子,聽聞兒子成為院長,時隔38年再來相認

談史論天地
2025-07-26 05:22:15
整整九年了,還是想不通,為啥林丹會為了一個蛇精臉,背叛謝杏芳

整整九年了,還是想不通,為啥林丹會為了一個蛇精臉,背叛謝杏芳

史行途
2025-07-20 10:43:34
為什么一直強調要少喝飲料?這些飲料正在悄悄 “謀殺” 你的健康

為什么一直強調要少喝飲料?這些飲料正在悄悄 “謀殺” 你的健康

詩意世界
2025-07-25 11:27:32
泰柬進入最危急時刻,佩通坦緊急發聲,中國危機關頭快速回應

泰柬進入最危急時刻,佩通坦緊急發聲,中國危機關頭快速回應

古事尋蹤記
2025-07-27 07:37:09
禁止“二本生”考研?呼聲愈演愈烈,高校給予最佳回應

禁止“二本生”考研?呼聲愈演愈烈,高校給予最佳回應

前沿天地
2025-07-27 14:09:58
毛主席的大女兒李敏,晚年時享受什么待遇?1996年是個轉折點

毛主席的大女兒李敏,晚年時享受什么待遇?1996年是個轉折點

與史說
2025-07-22 10:54:39
郎咸平談某大佬離婚:前妻有幫夫運,現任老婆純消耗他,代價太大

郎咸平談某大佬離婚:前妻有幫夫運,現任老婆純消耗他,代價太大

寒士之言本尊
2025-07-27 13:14:20
暴雷!90萬人血本無歸,“傳銷巨頭”騙局崩塌,涉案資金超100億

暴雷!90萬人血本無歸,“傳銷巨頭”騙局崩塌,涉案資金超100億

藍色海邊
2025-07-27 01:30:18
23省出爐2025年養老金調整方案,定額標準分別是多少?看統計結果

23省出爐2025年養老金調整方案,定額標準分別是多少?看統計結果

興史興談
2025-07-27 11:04:00
周恩來逝世后3小時:遺體被解剖,發現多個內臟器官上均有癌細胞

周恩來逝世后3小時:遺體被解剖,發現多個內臟器官上均有癌細胞

榮亭小吏
2025-07-20 10:28:45
2025-07-27 16:07:00
融資中國 incentive-icons
融資中國
股權投資與產業投資媒體平臺
6829文章數 21263關注度
往期回顧 全部

科技要聞

WAIC探館:人形機器人在打 大模型廠商在卷

頭條要聞

2名以色列國防軍士兵在加沙南部身亡 調查結果公布

頭條要聞

2名以色列國防軍士兵在加沙南部身亡 調查結果公布

體育要聞

約克雷斯身邊的男人,才是阿森納的最佳引援

娛樂要聞

退圈又復播,葉珂引發猜想

財經要聞

陳文輝:為什么耐心資本這么重要?

汽車要聞

搭載華為乾崑智駕 一汽奧迪Q6L e-tron預售35.3萬起

態度原創

手機
時尚
親子
旅游
房產

手機要聞

果粉一眼認出是新款!iPhone 17機模紫色開箱上手

今年的褲子流行“穿一半”,太時髦了!

親子要聞

生兒子累還是生女兒累

旅游要聞

熱聞|清明假期將至,熱門目的地有哪些?

房產要聞

分數線集體飆漲!海中867分!2025海南中招格局大變!

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 淮北市| 玛纳斯县| 内黄县| 噶尔县| 郑州市| 抚远县| 高密市| 长海县| 舟曲县| 兰溪市| 鄂伦春自治旗| 镇江市| 许昌市| 琼海市| 綦江县| 西和县| 黑山县| 海原县| 麦盖提县| 石河子市| 巩留县| 长白| 麻栗坡县| 徐闻县| 沂水县| 晋江市| 岫岩| 太康县| 娄烦县| 崇文区| 报价| 鲜城| 固始县| 望都县| 和田市| 仙桃市| 朝阳县| 谢通门县| 辉县市| 无极县| 博白县|