智能時(shí)代的故事話題,是有鄙視鏈的。
如果你能脫口而出CPU、GPU、ASIC、FPGA的區(qū)別(中央處理器、圖形處理器、專用集成電路、現(xiàn)場(chǎng)可編程門陣列),一定讓人側(cè)目。如果能講清楚存算一體應(yīng)對(duì)AI算力瓶頸,聽眾都得夸句懂行。這時(shí)有人問你,算力大家都懂,但存儲(chǔ)為什么要叫存力?
如果這時(shí)候你還能答出來,才叫真牛。
數(shù)據(jù)存儲(chǔ)的叫法演變,從storage到存儲(chǔ)再到存力,直觀傳遞出地位的變化。就像群演終于登上了電影謝幕的演職表,數(shù)據(jù)存儲(chǔ)被視作一股“力量”,正式登上智能時(shí)代的舞臺(tái)中央。
現(xiàn)在,一直在引領(lǐng)“存力”這個(gè)概念發(fā)展的中國(guó)存儲(chǔ)巨頭曙光存儲(chǔ),開始以“先進(jìn)存力中心”為范式,打通中國(guó)存儲(chǔ)產(chǎn)業(yè)資源,并聯(lián)合IDC發(fā)布了白皮書《構(gòu)建面向智能化時(shí)代的先進(jìn)存力中心》。了解這種實(shí)踐,不但讓你對(duì)存力有更直觀的認(rèn)識(shí),也對(duì)其產(chǎn)業(yè)價(jià)值會(huì)產(chǎn)生新的思考。
——導(dǎo)語
01
存力時(shí)代
從存儲(chǔ)到存力,雖然只有一字之差,但卻是數(shù)字化進(jìn)程的歷史突破。
目前所謂的存力概念,廣義上包括內(nèi)存,但多數(shù)語境下是指的外存儲(chǔ)器,也就是我們的數(shù)據(jù)的主要承載體。
回到開篇提出的那個(gè)有趣問題,存儲(chǔ)這個(gè)詞用了很久,為何要升級(jí)為存力?
在漢語里,“存”和“儲(chǔ)”其實(shí)是同義詞,它們都更偏向于“儲(chǔ)存數(shù)據(jù)”這個(gè)相對(duì)來說比較靜態(tài)的運(yùn)用維度。
我訪問過的一位院士也曾經(jīng)談及——存儲(chǔ)長(zhǎng)期以來是個(gè)配角,它有價(jià)值但不是主力;只要不成為系統(tǒng)的瓶頸,不危及數(shù)據(jù)的安全,人們就較少關(guān)注它;它一直在默默的發(fā)展,但很少走到舞臺(tái)中央。
但就是這種“默默無聞”的配角身份,使人們常常忽視存儲(chǔ)子系統(tǒng)的價(jià)值,以至于產(chǎn)生了兩種有失偏頗的認(rèn)知——
第一種偏頗,是沒有正確的看待存儲(chǔ)對(duì)于整個(gè)系統(tǒng)的價(jià)值,投資比例失調(diào)。
倪光南院士就多次、多場(chǎng)合的提及,中國(guó)在算力建設(shè)中常常存在存算比不合理的問題——國(guó)內(nèi)高度重視投資算力,而輕于投資存儲(chǔ),最終反而使得系統(tǒng)存在短板。
一個(gè)經(jīng)常被引用的數(shù)字是,在某些發(fā)達(dá)國(guó)家,存算比投資達(dá)到1:1,也就是一塊錢投向算力,就有一塊錢投向存儲(chǔ)。
而中國(guó)的存算比約為0.4:1,也就是1塊錢投給算力,只有4毛錢投向存儲(chǔ),如果聯(lián)系歷史數(shù)據(jù),這個(gè)值可能更低。
這導(dǎo)致了一個(gè)結(jié)果,就是目前國(guó)內(nèi)很多算力中心的算力利用率不高。雖然,這是一個(gè)系統(tǒng)性的問題,不能簡(jiǎn)單歸因于存儲(chǔ),但存儲(chǔ)性能肯定是諸多短板中較短的一塊。
第二種偏頗,就是簡(jiǎn)單的把“存儲(chǔ)”和“數(shù)據(jù)”混同為一體。
我曾和一位業(yè)內(nèi)專家激辯,原因是他認(rèn)為無須提出“存力”這個(gè)概念。他認(rèn)為,在AI的“黃金三角”也就是“算法、算力、數(shù)據(jù)”中,數(shù)據(jù)就等于存儲(chǔ),而存儲(chǔ)不需要獨(dú)立派生出一個(gè)“存力”的概念。
這個(gè)觀點(diǎn),在上一次AI浪潮中可能是成立的。
但在目前以深度學(xué)習(xí)為主線、大模型為主要應(yīng)用場(chǎng)景的生成式AI的競(jìng)爭(zhēng)格局中,在動(dòng)輒萬卡、十萬卡的大集群場(chǎng)景中,預(yù)訓(xùn)練數(shù)據(jù)集的體量和質(zhì)量, 訓(xùn)練過程中數(shù)據(jù)的加載和檢查點(diǎn)的建立,直接關(guān)系大模型的訓(xùn)練結(jié)果——這種新的模式,頭一次把數(shù)據(jù)存儲(chǔ)—數(shù)據(jù)應(yīng)用—訓(xùn)練結(jié)果緊密的聯(lián)系在一起,也讓傳統(tǒng)的存儲(chǔ)子系統(tǒng)的短板驟然暴露。
這種暴露,是人類遇到的百年不遇的技術(shù)架構(gòu)大變局——智能化,與傳統(tǒng)存儲(chǔ)體系之間存在的天然矛盾被放大了。
其中的核心邏輯是——當(dāng)人類發(fā)明智能手機(jī)后,僅僅十年就在全球一共有了43億用戶,是有史以來唯一達(dá)到這一量級(jí)的數(shù)字化工具。而且,這是一種全時(shí)在線、實(shí)時(shí)生產(chǎn)數(shù)據(jù)的工具。這也就決定了,人類迎來了歷史性的數(shù)據(jù)大爆炸。現(xiàn)在的人類,每年產(chǎn)生100多個(gè)ZB的數(shù)據(jù),一年的數(shù)據(jù)增量就幾乎相當(dāng)于自有計(jì)算機(jī)以來產(chǎn)生的全部數(shù)據(jù),而這一切都需要海量存儲(chǔ)來承載。
有了大量的數(shù)據(jù)后,人類開始有大數(shù)據(jù)的概念,大數(shù)據(jù)進(jìn)而滋養(yǎng)了AI的發(fā)展。在我們還沒有反應(yīng)過來的時(shí)候,數(shù)據(jù)已經(jīng)成為和能源、土地、貨幣等同一個(gè)層次的頂級(jí)經(jīng)濟(jì)要素。
而直到這一刻,人們才發(fā)現(xiàn),原本夠用而且也還算便宜的存儲(chǔ)系統(tǒng),開始跟不上時(shí)代的節(jié)奏。
傳統(tǒng)存儲(chǔ)體系面臨的天然困難是,夠快的介質(zhì)不夠便宜,夠便宜的介質(zhì)不夠快,又快還比較便宜的介質(zhì)的軟件算法還不夠好——在我和一位院士的交談中,他指出——傳統(tǒng)上為了解決成本問題而存在的對(duì)數(shù)據(jù)進(jìn)行冷熱分層的做法(給越常用的數(shù)據(jù)搭配越快的介質(zhì)),實(shí)際上極大的增加了計(jì)算的成本。以至于大量的CPU的工作不是在處理數(shù)據(jù),“而是淪為了數(shù)據(jù)搬運(yùn)機(jī)”。
而IDC中國(guó)區(qū)副總裁周震剛則直接預(yù)言說:我覺得這種趨勢(shì)會(huì)越演越烈,很可能在未來的智能計(jì)算中,CPU的運(yùn)算作用越來越小,而“數(shù)據(jù)搬運(yùn)”的工作量越來越重,GPU則更專注于推理運(yùn)算。”
IDC中國(guó)區(qū)副總裁周震剛
在另外一個(gè)我們常見的語境中,存力、算力、運(yùn)力,被認(rèn)為是共同構(gòu)成了數(shù)字基礎(chǔ)設(shè)施的核心底座。
但事實(shí)上,在“存力”這個(gè)概念里,相對(duì)于“存儲(chǔ)”的重點(diǎn)拓展——就是“存力”的概念中天然的包括了一部分“運(yùn)力”的因素,特別是在分布式存儲(chǔ)越來越受到重視的當(dāng)下,存儲(chǔ)體系的分布式架構(gòu)中很重要的一個(gè)概念就是數(shù)據(jù)傳輸,這和傳統(tǒng)意義上的“運(yùn)力”既有重合又有些微的沖突,從另一個(gè)側(cè)面體現(xiàn)了從“存儲(chǔ)”向“存力”過渡的過程中,一些固有的觀念將受到挑戰(zhàn)。
事實(shí)上,存力不僅僅包括靜態(tài)的“存”和動(dòng)態(tài)的“運(yùn)”,而“先進(jìn)存力”更包含了“海量、高效、融合、綠色、安全”等多元要素——這也決定了,存儲(chǔ)和存力雖然只有一字之差,但背后卻是許多領(lǐng)域固有觀念的打破和跨領(lǐng)域的融合。
一邊,是隨著IT基礎(chǔ)設(shè)施的建設(shè)熱潮,人們看到了傳統(tǒng)“存儲(chǔ)”概念的局促性和“存力”概念的良好擴(kuò)展性;另一邊,是云計(jì)算、AI等技術(shù)應(yīng)用的火爆,推動(dòng)存力地位上行。
那么,存力時(shí)代真的到來了么?
02
先進(jìn)存力的實(shí)踐階梯
作為業(yè)內(nèi)首個(gè)提出“先進(jìn)存力”概念的廠商,曙光對(duì)此的表述似乎更為完整——中科曙光高級(jí)副總裁關(guān)宏明曾重點(diǎn)解讀過“先進(jìn)存力”的概念,即落地打造具備‘一平臺(tái)多協(xié)議、應(yīng)用親和、全域數(shù)據(jù)流動(dòng)、安全可靠與綠色節(jié)能’五大優(yōu)勢(shì)的先進(jìn)存力中心,以全面滿足市場(chǎng)對(duì)數(shù)據(jù)存儲(chǔ)的容量、性能、安全與產(chǎn)業(yè)化多重需求。”
可以說,“先進(jìn)存力”一直存在于曙光存儲(chǔ)的腦海中,但在不同時(shí)代,各自有各自的主要場(chǎng)景和載體。
如果從先進(jìn)存力自身進(jìn)化的角度來說,在過去十幾年中,以曙光存儲(chǔ)為例,可以看到爬升了三個(gè)階梯。
而爬升的一個(gè)前提則是,曙光存儲(chǔ)從2009年開始自研的分布式存儲(chǔ)系統(tǒng)ParaStor已經(jīng)基本成熟,具有了一切主流、高端的分布式存儲(chǔ)的技術(shù)特性,并且有了大量的產(chǎn)業(yè)實(shí)踐,多年在國(guó)內(nèi)軟件定義存儲(chǔ)市場(chǎng)(一般認(rèn)為即指分布式存儲(chǔ))處于數(shù)一數(shù)二的位置。
在這個(gè)基礎(chǔ)上,曙光存儲(chǔ)發(fā)展先進(jìn)存力的第一個(gè)階段,叫產(chǎn)品化。所謂的產(chǎn)品化,就是把成熟的底層存儲(chǔ)能力,和特定的場(chǎng)景結(jié)合,開發(fā)出具有很強(qiáng)的針對(duì)性的產(chǎn)品。
這里面既包括“智存”,也就是經(jīng)典分布式存儲(chǔ)產(chǎn)品——ParaStor全閃存儲(chǔ)針對(duì)AI場(chǎng)景的優(yōu)化,進(jìn)而具備五級(jí)數(shù)據(jù)加速技術(shù),搭配全路徑AI親和機(jī)制,最高可以提升全平臺(tái)整體表現(xiàn)20倍+。
當(dāng)然也有“強(qiáng)存”,曙光存儲(chǔ)今年發(fā)布的FlashNexus系列,不僅是全球首個(gè)億級(jí)IOPS集中式全閃存儲(chǔ),還是業(yè)界唯一有百控級(jí)擴(kuò)展能力的集中式存儲(chǔ)產(chǎn)品,穩(wěn)定性保障首次突破7個(gè)9,綜合性能領(lǐng)先同類產(chǎn)品50%以上。
但是,產(chǎn)品線化只是相對(duì)于曙光自身的進(jìn)化,更高的一級(jí)臺(tái)階,我們稱之為“方案化”。可以說,如果“強(qiáng)存”、“智存”主要是根據(jù)場(chǎng)景來設(shè)定,那“方案化”就是針對(duì)更細(xì)分的領(lǐng)域推出專屬產(chǎn)品,例如針對(duì)AI大模型、自動(dòng)駕駛、智算中心、具身智能等等行業(yè)推出專有的解決方案。
曙光存儲(chǔ)總裁何振就指出,方案化的前提,是和用戶的高度交互,是“從用戶需求來打造產(chǎn)品”這個(gè)觀念的實(shí)踐,當(dāng)然也是曙光具有代碼級(jí)優(yōu)化能力的底蘊(yùn)才能發(fā)揮的作用。
然而,無論是產(chǎn)品線化,還是解決方案化,都屬于常規(guī)賽。曙光存儲(chǔ)真正令人刮目相看的是,是提出了“先進(jìn)存力中心”的概念。
我們知道,在科技行業(yè),提出概念很容易,但踐行概念并推廣成功很難。
這就像喬布斯2007年拿出初代iPhone時(shí),世界上已經(jīng)有很多叫“智能手機(jī)”的設(shè)備,但iPhone的魅力就是能讓人們認(rèn)為“這就是智能手機(jī)”。從而,全世界的研究者也都把“iPhone時(shí)刻”當(dāng)作移動(dòng)互聯(lián)網(wǎng)時(shí)代降臨的元年。
“先進(jìn)存力中心”是否能成為先進(jìn)存力行業(yè)的“iPhone時(shí)刻”,只有時(shí)間能檢驗(yàn)。但從它目前展現(xiàn)的一些特質(zhì)上來說,可以說每個(gè)特性都是擊中當(dāng)下存力發(fā)展痛點(diǎn)后的解決方案。
例如,在前文中我們?cè)?jīng)談到過,為了做到成本和性能的平衡而產(chǎn)生的冷熱分層機(jī)制,反而成為了吃掉算力的“重勞動(dòng)”。
“我們建立的先進(jìn)存力中心,會(huì)自動(dòng)地篩選數(shù)據(jù)的冷、溫、熱”,曙光存儲(chǔ)副總裁郭照斌說:“例如,對(duì)于熱數(shù)據(jù),我們一定是提供最先進(jìn)的高效的數(shù)據(jù)能力。但這個(gè)工作不是由用戶在他們的業(yè)務(wù)層實(shí)現(xiàn),而是我們能夠做到在大數(shù)據(jù)中智能識(shí)別,是我們的存儲(chǔ)技術(shù)本身去識(shí)別數(shù)據(jù)的各個(gè)熱度層級(jí)的變化,并主動(dòng)地推送到業(yè)務(wù)端。讓業(yè)務(wù)人員感受到他什么時(shí)候想用都是最快的”。
“這說明一個(gè)問題,那就是目前的存儲(chǔ)系統(tǒng)的性能瓶頸還不是閃存介質(zhì)本身,而是軟件工程上的問題”,周震剛說:“這也意味著分布式閃存還有很大的發(fā)展空間,我們觀察到的趨勢(shì)是,如果分布式全閃算作一種先進(jìn)存力,那么它越來越明顯的開始從適配高性能、高需求的大場(chǎng)景,開始滲透向小集群、小場(chǎng)景,這就讓基于全閃的分布式存儲(chǔ)還有很高的天花板。”
郭照斌提及的另一個(gè)先進(jìn)存力中心的重要特性,是良好的融合性。
“我們以前覺得用不上的數(shù)據(jù)太多,到現(xiàn)在覺得數(shù)據(jù)不夠用,是因?yàn)橹悄芑瘯r(shí)代重新激發(fā)了存量數(shù)據(jù)的價(jià)值。但由此就帶來一個(gè)問題,以前即使在同一個(gè)體系內(nèi),存儲(chǔ)數(shù)據(jù)的方式也是煙囪式的、彼此不兼容的”,郭照斌說。
而曙光的先進(jìn)存力中心創(chuàng)造了這樣一種可能性,無論這些數(shù)據(jù)是對(duì)象協(xié)議訪問的、跨協(xié)議方式的、文件方式的、塊存儲(chǔ)方式的,都可以自動(dòng)、快速的完成數(shù)據(jù)匯聚,并且同時(shí)自動(dòng)識(shí)別哪些是要近期訪問的,哪些是需要長(zhǎng)期冷存儲(chǔ)的,“這樣就不僅僅解決了匯聚的問題,而且把數(shù)據(jù)利用前的一切準(zhǔn)備工作都加工好了,就好比以前提供的是食材,現(xiàn)在直接提供的是凈菜。這樣極大的降低了用戶的負(fù)擔(dān),讓數(shù)據(jù)的應(yīng)用者更能把精力集中在發(fā)現(xiàn)、利用數(shù)據(jù)的價(jià)值上,而不用把太多精力放在數(shù)據(jù)本身的處理和存儲(chǔ)上,這也是明顯超越當(dāng)前主流形態(tài)的新特性。”
當(dāng)然,先進(jìn)存力中心在性能、安全性和綠色屬性上,還有許多內(nèi)容需要展開。但限于文章篇幅,我們只選擇最具代表性的兩個(gè)特點(diǎn)。
而什么叫最具代表性,答案一定是——用戶最普遍認(rèn)為是痛點(diǎn)的。
03
落地進(jìn)行時(shí)
我們前面說過,先進(jìn)存力的概念很好,但先進(jìn)存力中心的落地很難。
但是,最難的第一步已經(jīng)走出了。
西部(重慶)科學(xué)城先進(jìn)數(shù)據(jù)中心(以下簡(jiǎn)稱“先進(jìn)數(shù)據(jù)中心”)是東數(shù)西算工程成渝樞紐節(jié)點(diǎn)示范項(xiàng)目,也是全國(guó)一體化大數(shù)據(jù)中心的“協(xié)同創(chuàng)新體系示范工程”。
這個(gè)由中科曙光承建的數(shù)據(jù)中心,其實(shí)就是曙光版“先進(jìn)存力中心”的落地樣板。而且,因采用多種創(chuàng)新技術(shù),使其成為東數(shù)西算項(xiàng)目中整體國(guó)產(chǎn)化率、綠色節(jié)能技術(shù)等位居前列的先進(jìn)數(shù)據(jù)中心。
例如我們前面未及展開的“綠色”方面,重慶先進(jìn)數(shù)據(jù)中心就采取了曙光獨(dú)家的浸沒式液冷技術(shù)、余熱回收、綠色建筑等多種節(jié)能技術(shù)方案,不僅解決了散熱,還可以充分的釋放芯片的潛能。
“存算一體是近年來的一個(gè)新概念,它受到了人的大腦神經(jīng)元既可以存儲(chǔ)信息,又可以處理信息的啟發(fā),以此為靈感實(shí)現(xiàn)了存算一體化。雖然,這可能不是存算一體的終極方案,但也可以被稱為是這一領(lǐng)域具有較強(qiáng)先進(jìn)性的領(lǐng)先實(shí)踐”,郭照斌說:“除了存算一體化,這里還包含有場(chǎng)景融合一體化、數(shù)據(jù)聯(lián)邦一體化、生命周期一體化、數(shù)據(jù)服務(wù)一體化等多個(gè)一體化方案,目的仍然是讓用戶可以心無旁騖的把注意力集中在業(yè)務(wù)上,而較少甚至無感于‘存力’的存在”。
而把先進(jìn)存力中心放在重慶,除了其地理位置要素外,和其產(chǎn)業(yè)集中度也有關(guān)系。例如,重慶有全國(guó)最大的汽車摩托車產(chǎn)業(yè)集群,而曙光在先進(jìn)數(shù)據(jù)中心已經(jīng)為國(guó)內(nèi)一家新勢(shì)力車企構(gòu)建了一個(gè)超過100PB的底層存力平臺(tái),通過存力平臺(tái)可以實(shí)現(xiàn)用戶的自動(dòng)駕駛業(yè)務(wù)數(shù)據(jù)的錄入、預(yù)處理,以及仿真、分析業(yè)務(wù)的導(dǎo)出,提供全流程支持。
顯然,先進(jìn)存力中心不止有一種方案,但曙光提出的范式,越早落地,就越早有機(jī)會(huì)遇到現(xiàn)實(shí)的挑戰(zhàn)和問題,也就有機(jī)會(huì)先于其他企業(yè)遇到這些問題和解決這些問題,而這又將反哺曙光的行業(yè)領(lǐng)先地位。
事實(shí)上,今年曙光存儲(chǔ)可謂亮點(diǎn)頻頻,例如發(fā)布了全球首個(gè)億級(jí)集中式存儲(chǔ)、打榜xxx成功等等,但這一切,都不如站在重慶中心城區(qū)西部槽谷的高點(diǎn),鳥瞰西部(重慶)科學(xué)城的全貌時(shí),那樣讓人心潮起伏。
可以說,這個(gè)先進(jìn)存力中心是中國(guó)企業(yè)級(jí)存儲(chǔ)行業(yè)發(fā)展到今天的最新、最高水平的體現(xiàn)。從整體的體系性能力來說,它比最先進(jìn)的集中式閃存、分布式閃存的單點(diǎn)產(chǎn)品突破還更有意義。
可以說,集中式、分布式閃存是目前最高光的兩類存儲(chǔ)產(chǎn)品,但產(chǎn)品如果不和具體的場(chǎng)景結(jié)合,就是無法落地的。而存力中心決定了存力的運(yùn)用方式,讓各種集中、分布式存儲(chǔ)產(chǎn)品成為了構(gòu)筑先進(jìn)存力中心的基石。
這里,或許將會(huì)是中國(guó)存儲(chǔ)出發(fā)趕超世界頂級(jí)存儲(chǔ)產(chǎn)業(yè)的出發(fā)地。
中國(guó)企業(yè)級(jí)存儲(chǔ)經(jīng)過幾十年的風(fēng)雨,從追趕到PK,再到今天的局部領(lǐng)先。其中一個(gè)最大的背景,就是中國(guó)是全球最大的單一互聯(lián)網(wǎng)國(guó)家(從網(wǎng)民數(shù)量級(jí)這個(gè)維度來看)。
這個(gè)龐大的體系和其中的千行百業(yè),給了中國(guó)存儲(chǔ)產(chǎn)業(yè)最好的發(fā)展沃土,加之中國(guó)目前已經(jīng)成為全球唯二的人工智能創(chuàng)新策源地,可謂AI的浪頭才剛剛興起,大規(guī)模落地已是躍躍欲試。客觀說,這種場(chǎng)景,放眼全球,可能只有美國(guó)和中國(guó)具備。而中國(guó)的產(chǎn)業(yè)規(guī)模、網(wǎng)民人口、設(shè)備數(shù)量、核心需求,都更大也更迫切。
可以想像,在中國(guó)在競(jìng)爭(zhēng)全球AI高地的過程中,會(huì)和時(shí)代的需求互相奔赴,發(fā)展到一個(gè)引領(lǐng)全球應(yīng)用范式的新境界。而存力作為其中的核心支撐,也會(huì)在頂級(jí)的需求的催迫下,走到一個(gè)新的高度。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.