在數(shù)字產(chǎn)業(yè)里,雖然新技術(shù)、新應(yīng)用、新概念不斷快速迭代,但算力和存力是不變的兩大底層支撐。
而對于曙光這家公司來說,先進(jìn)算力和先進(jìn)存力,都是曙光長期投入研發(fā)的重要業(yè)務(wù)之一。有這樣業(yè)務(wù)布局的公司,在國內(nèi)實(shí)在不多。
寫這篇文章,是為了寫曙光存儲的歷史。但我每每寫到歷史,就會有點(diǎn)偏到人身上去——曙光存儲人有一種獨(dú)特的魅力,他們的樸實(shí)、簡單,他們對底層技術(shù)的極度熱愛;他們關(guān)注內(nèi)心目標(biāo)而不是外部噪聲的聚焦力,都給我留下了深刻的印象。
中科曙光總裁歷軍說,我們相信,變化是常態(tài),而在任何時代,唯有強(qiáng)者“恒存”。
我想說,只要你們的精神一直如此,我相信曙光存儲會恒存,還會更好。
——導(dǎo)語
01
從一間玻璃房子講起
對中國的計算機(jī)發(fā)展史略有了解的讀者,想必對如今中科曙光門口的那座“玻璃房子”有特殊的記憶。
上世紀(jì)80年代,原石油工業(yè)部地球物理勘探局曾花費(fèi)巨資從國外購買了一臺大型機(jī),沒想到,對方不僅對后期的集成和維護(hù)獅子大開口,還提出了一個讓中國IT人銘記至今的屈辱條件——在設(shè)備使用過程中,為防止機(jī)器核心技術(shù)外泄,設(shè)備機(jī)房必須采用全透明的玻璃墻壁,因?yàn)閷Ψ揭獣r刻監(jiān)控中方操作人員的一舉一動,甚至連計算機(jī)的啟動密碼和機(jī)房鑰匙都要由對方控制。
曙光在自家門口復(fù)刻這間“玻璃房子”,意義不言自明,那就是銘記歷史和砥礪奮進(jìn)。
如今,中國早已在高端計算領(lǐng)域多次登上世界級榜單的TOP1位置,但很少有人知道,在與高端計算息息相關(guān)的高端存儲技術(shù)方面,這20年間,我們也經(jīng)歷了從不能自給到部分技術(shù)領(lǐng)先全球的艱辛旅程。
時間退回到在2006年,當(dāng)時,曙光要做一個大型、高端的計算系統(tǒng)。在存儲容量上,規(guī)劃的容量是16個PB。
容量還不是最關(guān)鍵的,最關(guān)鍵的是要把這個存儲系統(tǒng)做成共享存儲系統(tǒng),簡言之,就是一種允許多個處理機(jī)或計算機(jī)共享同一個存儲設(shè)備的體系結(jié)構(gòu)。
曙光當(dāng)時把國內(nèi)做存儲的企業(yè)甚至是高校梳理了一遍,結(jié)論是國內(nèi)當(dāng)時根本沒有共享存儲的成熟技術(shù)。
順便科普一下,共享存儲計算機(jī)系統(tǒng)由于支持傳統(tǒng)的單地址編程空間,減輕了程序員的編程負(fù)擔(dān),因此它具有較強(qiáng)的通用性。
但問題的B面是,早期的共享存儲都是使用集中式存儲的,由于多個處理機(jī)共享存儲器,從而使得存儲器性能成為系統(tǒng)瓶頸。
所以,在這個基礎(chǔ)上又發(fā)展出了分布式共享存儲和帶有高速緩存的分布式存儲,但這又帶來了新的問題,比如緩存的一致性問題……總之,任何高技術(shù)體系都是這種“蹺蹺板”的發(fā)展模式,即新特性和新缺陷總是此起彼伏,但總體性能是螺旋式上升的。
國內(nèi)沒有,只得求人,但令曙光感到氣憤的是,國際廠商也掂出了這個需求的技術(shù)含量,也很清楚當(dāng)時中國企業(yè)的技術(shù)解決不了這問題。
于是,它們報了一個天價。
這個價格高到什么程度?簡單說就是,如果按外方報價買了這套存儲系統(tǒng),這個高端計算系統(tǒng)就干脆別做了,因?yàn)槠渌酉到y(tǒng)的預(yù)算都被這個天價給吃掉了。
求人不得,還得靠己。
關(guān)鍵時刻,還是自家人靠得住。于是,從2006年提出需求開始,這個當(dāng)時只有技術(shù)原型的項(xiàng)目,開始針對一個真實(shí)項(xiàng)目的具體問題進(jìn)行立項(xiàng)研發(fā)。
就在曙光的研發(fā)團(tuán)隊(duì)還在死磕這套共享存儲式系統(tǒng)的時候,國際IT行業(yè)可謂風(fēng)云變幻。
2007年1月9日,在美國舊金山的馬士孔尼會展中心舉行的Macworld大會上,喬布斯發(fā)布了初代的iPhone,從而奏響了移動互聯(lián)網(wǎng)時代的序章;而到了2009年,第一代真正獲得市場認(rèn)可的iPhone產(chǎn)品問世,并以中國聯(lián)通合約機(jī)的方式在開始在國內(nèi)市場銷售。
所以,這一年我們也通常稱之為中國移動互聯(lián)網(wǎng)的元年。
移動互聯(lián)網(wǎng)的到來,使計算設(shè)備的擁有最小單元從家庭、單位變成了個人,使分時在線變成了全時在線,每個智能手機(jī)用戶都能實(shí)時使用運(yùn)算能力和高帶寬通信;同時,每一個單點(diǎn)設(shè)備也都時刻產(chǎn)生海量的個人數(shù)據(jù),這使得大數(shù)據(jù)和云計算在一夜之間從概念變成了現(xiàn)實(shí)。
或許是嗅到了大數(shù)據(jù)時代爆發(fā)的先聲,2009年也是全球企業(yè)存儲市場的一個“超級大年”。這一年,網(wǎng)絡(luò)設(shè)備廠商Cisco(思科)宣布進(jìn)入服務(wù)器和存儲市場,與此同時,著名的存儲企業(yè)EMC參與了NetApp的競購,并與Cisco、VMware兩家廠商結(jié)成VCE聯(lián)盟;同時,Oracle收購了SUN公司,使得這家數(shù)據(jù)庫起家的企業(yè),具備了存儲軟硬件一體的產(chǎn)品結(jié)構(gòu)。
而當(dāng)人們都矚目美國的存儲市場發(fā)生的驚人巨變時,很少有人注意到一件小事——苗艷超研究員帶著自己的幾個組員,進(jìn)入了曙光公司工作,而他們事業(yè)的起點(diǎn),就是2006年那個需求推動的分布式共享存儲的核心——分布式文件系統(tǒng)ParaStor,版本號1.0,這也被公認(rèn)為曙光存儲公司的事業(yè)起點(diǎn)。
換言之,如果沒有2006年的天價事件,可能ParaStor還是實(shí)驗(yàn)室里的產(chǎn)品,甚至可能永遠(yuǎn)都是。但是機(jī)緣巧合之下,中國人的奮起直追終于導(dǎo)致了一個了不起事業(yè)的開端。
這個開端,就是在移動互聯(lián)網(wǎng)的元年,有一家中國公司也來到了分布式存儲歷史性大發(fā)展的起跑線前。
雖然團(tuán)隊(duì)只有區(qū)區(qū)幾人,但它踏對了時點(diǎn),與世界范圍內(nèi)的大數(shù)據(jù)產(chǎn)業(yè)的爆發(fā)是同頻同步的,從而使得中國自己的存儲產(chǎn)業(yè),在一個非常正確的時點(diǎn)開始了奮起直追,也使得至少在這個細(xì)分賽道上,我們與世界領(lǐng)先的時間差縮到了最小。
而轉(zhuǎn)過年來,就是2010年,這一年最大的事情就是千團(tuán)大戰(zhàn)。也就是圍繞團(tuán)購這一種商業(yè)模式,在風(fēng)險投資的推動下,有成百上千的創(chuàng)業(yè)團(tuán)隊(duì)參與競逐……雖然只有極少的幾家活了下來,但是它卻框定了下一個十年里中國互聯(lián)網(wǎng)產(chǎn)業(yè)的基調(diào)——應(yīng)用導(dǎo)向和需求導(dǎo)向、超高滲透率和超大市場空間,以及10億級的潛在用戶群體。
可以說,這些大背景、大環(huán)境與曙光存儲發(fā)展節(jié)奏的暗合,是中國存儲領(lǐng)域的一件幸事,從而為今天曙光存儲的輝煌打下了根基,為中國存儲事業(yè)的騰飛找到了風(fēng)口。
02
分布式時代
歷史的很多因果都是相互糾纏的。
眾所周知,曙光是以高端計算和底層技術(shù)自研而聞名世界的,但筆者要加上一個小小的注腳,那就是曙光并沒有僅僅守著高端計算業(yè)務(wù),而是早在2007年就啟動了x86服務(wù)器業(yè)務(wù),而這個對于曙光存儲來說,也是一個決定成敗的先覺條件。
應(yīng)該說,曙光存儲在分布式和集中式存儲領(lǐng)域都取得了成功,這一點(diǎn)后面還要詳敘,但必須指出的是,曙光存儲的崛起主要是踩中了分布式存儲的風(fēng)口,而分布式存儲和移動互聯(lián)網(wǎng)、分布式計算、云計算、大數(shù)據(jù)等技術(shù)的發(fā)展,都是相互融通、互相促進(jìn)的。
簡而言之,最早的存儲設(shè)備都是集中式的,它們的特點(diǎn)是大而且昂貴,所以主要使用在大型的計算設(shè)備上。
當(dāng)然,既然有集中式,自然也就有分布式。有人認(rèn)為,分布式的歷史可以追溯到DEC公司在上世紀(jì)70年代開發(fā)的一個文件管理系統(tǒng)。
但是真正讓分布式存儲大放異彩的,則是互聯(lián)網(wǎng)時代的到來。
隨著個人計算機(jī)和互聯(lián)網(wǎng)的發(fā)展,人類“生產(chǎn)”數(shù)據(jù)的能力空前的加強(qiáng),人類訪問數(shù)據(jù)的需求也在與日俱增,和前述大型機(jī)構(gòu)的數(shù)據(jù)不同的是,互聯(lián)網(wǎng)服務(wù)器上存儲的大多是所謂“消費(fèi)級數(shù)據(jù)”,比如各種多媒體文件、聊天、游戲記錄等等,它們對個人而言可能是珍貴的,但總體上對于可靠性的要求遠(yuǎn)遠(yuǎn)低于大型機(jī)構(gòu)如銀行的核心數(shù)據(jù)。
這就需要人類去改變思路,用一種更有拓展性、更有彈性,同時也兼顧可靠性的存儲系統(tǒng)來取代傳統(tǒng)、昂貴的集中式存儲,從而應(yīng)對浩瀚無邊且日益增長的數(shù)據(jù)存儲需求,同時它還要與互聯(lián)網(wǎng)的商業(yè)模式有特別好的適配性。
而曙光存儲趕上的就是互聯(lián)網(wǎng)發(fā)展的2.0時代,也就是移動互聯(lián)網(wǎng)的到來。
移動互聯(lián)網(wǎng)的到來,催生了三個早有概念,但真正到了移動互聯(lián)網(wǎng)時代才大放異彩的技術(shù)的迅速商業(yè)化,這就是分布式存儲、云計算和大數(shù)據(jù)。
首先是分布式存儲,簡而言之,它可以看作是基于一套文件系統(tǒng)管理下的一組服務(wù)器,這組服務(wù)器可以由很多臺相對廉價的x86服務(wù)器構(gòu)成,但通過文件管理系統(tǒng)和網(wǎng)絡(luò)協(xié)議,可以使用戶“如同”訪問單機(jī)一樣存儲或讀取數(shù)據(jù),同時,在后臺,又通過冗余機(jī)制的設(shè)置進(jìn)行多重備份,從而彌補(bǔ)它們單機(jī)可靠性的不足。
而分布式存儲遇到了云計算之后,立刻成為后者的重要組成部分,產(chǎn)生了云存儲這個概念。云存儲進(jìn)一步發(fā)揮了分布式計算的高可用性、彈性和可擴(kuò)展性優(yōu)勢,使得用戶可以將數(shù)據(jù)存儲在云端,而不必依賴于單一的物理存儲設(shè)備,這極大的降低了數(shù)據(jù)存儲的成本、提升了訪問的效率,從另一個角度助推了互聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展。
而硬幣的另一面是,分布式文件系統(tǒng)的發(fā)展,也迎來了大數(shù)據(jù)時代的到來,分布式文件系統(tǒng)(如HDFS)和對象存儲(如Amazon S3和OpenStack Swift)開始成為關(guān)鍵的基礎(chǔ)設(shè)施,用于存儲和管理海量數(shù)據(jù),進(jìn)而為人們挖掘和利用這些數(shù)據(jù)提供了保障,這又直接催生了AI產(chǎn)業(yè)的發(fā)展。
而曙光存儲趕上的就是幾十年難遇的一個存儲、數(shù)據(jù)、通訊能力、商業(yè)應(yīng)用都爆發(fā)的時代,而它在這個時代邁出的第一個腳印,就是前面說到的ParaStor,它與x86服務(wù)器可謂相得益彰,是靈魂與肉體的關(guān)系。
而過硬的技術(shù)能力、特別頑強(qiáng)的研發(fā)精神,加之曙光在高端計算、自主研發(fā)方面的美譽(yù)和經(jīng)驗(yàn),就都成為曙光存儲得以快速發(fā)展的基礎(chǔ)。
有報道記載,2012年7月,時任曙光存儲產(chǎn)品總監(jiān)惠潤海曾經(jīng)對外界立下戰(zhàn)書:“三年后,曙光存儲要占領(lǐng)國內(nèi)10%的市場份額,進(jìn)入存儲主流市場”。
惠潤海敢說這個話,是有底氣的。
曙光存儲人有一種性格特質(zhì),就是從來不滿足于只是跟上主流技術(shù),而是一定要弄懂底層機(jī)制,從而為超越主流打下基礎(chǔ)。
比如我們前面說的ParaStor的1.0版本,雖然嚴(yán)格上講還不是一個成熟的文件系統(tǒng),但已經(jīng)能夠最大支持4,096個存儲節(jié)點(diǎn)的橫向擴(kuò)展,突破了傳統(tǒng)存儲系統(tǒng)在容量和性能上的瓶頸,也奠定了曙光在海量分布式文件系統(tǒng)的技術(shù)基礎(chǔ),可以說是“出道即超越”,而這種精神一直滲透在曙光存儲的DNA里。
“當(dāng)時,市場上主流的分布式存儲有很多,其中國際大廠的產(chǎn)品的價格,在相同配置上可能是我們的5-10倍,但我們那個時候就有一個理念,就是絕不打‘廉價’這個招牌,而是一定要在性能上等同或超越國際品牌”, 中科曙光存儲科技有限公司總裁何振對筆者說:“當(dāng)你的性能超越對手之后,性價比就變成了質(zhì)價比,用戶的獲得感就會很強(qiáng);而如果一味強(qiáng)調(diào)性價比,但性能上不去,你就稱不上主流品牌,更不要說去搶奪賽道頭部了。”
當(dāng)時ParaStor面臨的最大問題之一,就是如何提升存儲空間利用率,在一個CANU三代基因組裝測試項(xiàng)目中,用戶要求曙光ParaStor的性能必須超越某廠商宣稱的“代表業(yè)界最高性能”的同類產(chǎn)品,才考慮把其業(yè)務(wù)遷移到曙光平臺上。
面對新挑戰(zhàn),曙光存儲的研發(fā)人員在短短的兩周時間里,將整個業(yè)務(wù)流程各階段的數(shù)據(jù)IO特點(diǎn)梳理得非常透徹,并從底層代碼層面進(jìn)行了逐一調(diào)優(yōu),最終用戶計算用時從9.2小時降低到7.3小時,實(shí)測性能超過友商20%以上。
“底層調(diào)優(yōu)是我們的特長,也是我們能夠領(lǐng)先于其它廠商的根本保證。我們和開發(fā)前端應(yīng)用的工程師不太一樣,就好比開發(fā)一座樓,我們要做的是從物理學(xué)、力學(xué)、建筑學(xué)上搞清楚怎么設(shè)計樓的架構(gòu),包括良好的空間利用率、堅強(qiáng)而又有韌性的樓體框架、科學(xué)合理的水電氣設(shè)計等等”, 在曙光的存儲研發(fā)專家看來,“而只有這些做好了,前端的應(yīng)用開發(fā)者才能在這個基礎(chǔ)上,去裝修、美化空間,用各種方式去賣、去出租這些空間,而我們要做的就是科學(xué)的設(shè)計和打好基礎(chǔ),這也決定了我們對底層核心技術(shù)的熱愛和追求。”
在這種精神的支持下,曙光存儲的技術(shù)迭代,以驚人的速度在進(jìn)行。
2013年,ParaStor2.0版本發(fā)布,增強(qiáng)了數(shù)據(jù)保護(hù)機(jī)制,從而使得曙光存儲具備了可為用戶構(gòu)建數(shù)據(jù)全生命周期管理的一體化方案的能力。得益于此,在這一年曙光存儲就拿下了重大的標(biāo)桿項(xiàng)目——為央視國際打造6PB存儲資源池。
同年,曙光存儲還在全國多地中標(biāo)氣象局、環(huán)保局的項(xiàng)目,而如前所述,這種機(jī)構(gòu)的數(shù)據(jù)價值高、安全要求高、性能要求高,原本被默認(rèn)為是集中式存儲或國際大牌存儲廠商的分布式存儲的潛在客戶。
而曙光存儲的崛起,為它們提供了不僅是在技術(shù)上領(lǐng)先,同時又兼顧成本優(yōu)勢、自主安全的選擇,這就是曙光快速發(fā)展的秘密——其實(shí),這根本不是秘密,只是是否能堅持做到而已。
2015年終于來到了,據(jù)IDC報告顯示,ParaStor在國內(nèi)NAS市場排名位居第一,營收同比增長42.6%,占全部NAS存儲市場份額21.6%。
也就是說,三年前惠潤海下的戰(zhàn)書達(dá)成了,而且市占率不是此前承諾的10%,而是21.6%,比此前的承諾翻了一番。
直到今天,ParaStor還一直保持國內(nèi)分布式文件存儲市場占有率的前兩位。
在和多位曙光員工的交流中,我感到了曙光存儲人的樸實(shí),也感到了他們的堅持,這使得曙光存儲在業(yè)務(wù)上有了兩個重要的差異化競爭力。
第一個差異化競爭力,就是對于底層技術(shù)不懈的追求。
這些年,自主研發(fā)的呼聲一直很高,但也造成了一些行業(yè)的浮躁,造成了一些“套殼”“借鑒”的風(fēng)氣。
可以舉的一個例子,就是蘋果手機(jī)和安卓手機(jī)的系統(tǒng)之爭,人們往往會發(fā)現(xiàn),雖然蘋果手機(jī)的內(nèi)存好多年都在6GB上停滯,而有的安卓手機(jī)的內(nèi)存已經(jīng)提升到了24GB,但是蘋果手機(jī)就是相對更加的穩(wěn)定、流暢、后臺保活率更高。
而蘋果之所以能做到這一點(diǎn),在于其實(shí)現(xiàn)了從自研芯片、操作系統(tǒng)、應(yīng)用框架、應(yīng)用生態(tài)的全閉環(huán),從而使得真正意義上的端到端優(yōu)化成為現(xiàn)實(shí);而安卓雖然版本迭代快、分支多,但很多廠商缺乏對于安卓底層機(jī)制的掌控能力,往往只能在UI層面上進(jìn)行優(yōu)化,從而在系統(tǒng)運(yùn)行的效率上始終停滯不前。
可以說,曙光存儲就是中國存儲領(lǐng)域的“蘋果”,何振說,曙光人在這一點(diǎn)上很堅定——因?yàn)槭锕獯鎯Φ膬r值觀就是:曙光存儲的軟件體系,要做到完全自主研發(fā),而非根據(jù)開源軟件或代碼搞二次開發(fā),這才使得曙光存儲始終具備代碼級的定制開發(fā)與調(diào)優(yōu)能力,可根據(jù)用戶實(shí)際需求,進(jìn)行定制化設(shè)化開發(fā)。如今,曙光存儲擁有了多個領(lǐng)先業(yè)界的中國自研存儲產(chǎn)品。
第二個差異化競爭力,就是曙光存儲人的眼光,始終能從更高一個層次上考慮問題。
我曾說曙光的發(fā)展是踏對了時間點(diǎn),但光是賭對時間,其實(shí)并沒有實(shí)際意義,你必須超越時間。
例如,2013年的發(fā)布的ParaStor的2.0的另一個特性,就是對云和大數(shù)據(jù)的良好支持,這使得曙光存儲在云計算勃興的時代,駛?cè)肓丝燔嚨?,而?dāng)時行業(yè)里對云計算的未來看不清楚的人還有很多。
但曙光存儲很早就對云計算的特性進(jìn)行了分析,并特別關(guān)注塊存儲的發(fā)展。
云存儲有多種存儲方式,但塊存儲有一些突出的特性,例如特別適應(yīng)云服務(wù)器的存儲,可以用來存儲云服務(wù)器的系統(tǒng)盤和數(shù)據(jù)盤,提供高性能的存儲服務(wù);同時,塊存儲在對數(shù)據(jù)庫存儲、大規(guī)模數(shù)據(jù)分析的低延遲讀寫上,也有明確的優(yōu)勢。
曙光存儲運(yùn)營總監(jiān)石靜對筆者說:“我們很重視塊存儲,但也不止于塊存儲。我們率先提出了融合存儲的概念,簡單說,就是ParaStor對主流的文件、對象和塊協(xié)議,都要做到良好的支持,從而讓一套存儲應(yīng)對用戶不同的業(yè)務(wù)需求,實(shí)現(xiàn)徹底的融合。”
在這種理念的推動下,2019年,曙光存儲正式推出自主研發(fā)的分布式塊存儲系統(tǒng)XStor1000,可以高效對接主流的云平臺,滿足云化轉(zhuǎn)型的結(jié)構(gòu)化數(shù)據(jù)存儲需求。
事實(shí)再一次證明曙光存儲的路徑選擇是正確的,2023上半年,IDC發(fā)布的軟件定義存儲市場的報告中指出,塊存儲的份額占整個市場的31.3%,同比增長19.7%,在公共服務(wù)、政企、通信等行業(yè)都得到了廣泛的應(yīng)用,而曙光存儲也成為中國軟件定義存儲市場的TOP3。
03
那一箭,此刻正中AI大模型
2024年的6月25日,曙光存儲召開了主題為“先進(jìn)存力,凝聚數(shù)據(jù)要素”的新品暨品牌發(fā)布會,震撼發(fā)布全球首個億級IOPS集中式全閃存儲FlashNexus,重磅升級分布式全閃存儲ParaStor,同時推出行業(yè)首個通存解決方案,應(yīng)對“強(qiáng)無止境”數(shù)據(jù)存儲性能和成本需求。
可謂是三箭齊發(fā)。
雖然本文主要梳理的是曙光存儲在分布式存儲領(lǐng)域的發(fā)展,但不得不說,盡管昂貴,但集中式存儲性能往往代表存儲廠商的最高水準(zhǔn)。
而曙光這次出手不凡,本次發(fā)布的FlashNexus系列不僅是全球首個億級IOPS集中式全閃存儲,還是業(yè)界唯一有百控級擴(kuò)展能力的集中式存儲產(chǎn)品,穩(wěn)定性保障首次突破7個9,綜合性能領(lǐng)先同類產(chǎn)品50%以上,又一次用前沿技術(shù)引領(lǐng)產(chǎn)業(yè)革新。
簡單的說,F(xiàn)lashNexus這種超級全閃存儲,主要服務(wù)的就是AI,特別是大模型的訓(xùn)練和推理。
“現(xiàn)在的大模型訓(xùn)練和推理所用的系統(tǒng),對算力要求很高,但另一個方面,算力卡的占用效率其實(shí)又很難提升,這里面設(shè)計到很多通訊和調(diào)度的原因,但從存儲人的角度看來,就是要避免存儲這個子系統(tǒng)成為大系統(tǒng)的短板”,曙光存儲全閃產(chǎn)品總監(jiān)衛(wèi)然說:“所以,我們的ParaStor全閃存儲具備五級數(shù)據(jù)加速技術(shù),目的也很簡單,就是搭配全路徑AI親和機(jī)制,讓數(shù)據(jù)無需等待?!?/p>
既然已經(jīng)談到了“未來”,曙光存儲人也坦然的和筆者分享了對于“存力”的未來的三點(diǎn)思考。
首先,從整個系統(tǒng)的角度來看,中國企業(yè)在信息系統(tǒng)建設(shè)中,對于存儲的重視程度,還有待提高。
“中國企業(yè)對于存儲的重視程度不夠,這涉及到一個算存比的問題,它指的是在大模型訓(xùn)練過程中,大量的時間消耗在數(shù)據(jù)加載而造成算力的浪費(fèi)”,張新鳳說:“倪光南院士曾經(jīng)在公開演講中講過一個數(shù)據(jù),即中國AI的存算比僅是美國的37.8%,而為了解決這一問題,需要建立更合理的算存比,以平衡算力、存力和運(yùn)力的配置,充分發(fā)揮算力的作用。我們也測算過,在極致發(fā)揮硬件性能的前提下,ParaStor可以幫助提升AI全平臺整體表現(xiàn)實(shí)現(xiàn)20倍以上的提升,包括國產(chǎn)平臺、x86和Arm平臺,這是我們對于AI時代的最好回應(yīng)?!?/p>
“另外,從更宏觀的維度看,先進(jìn)國家在一個計算系統(tǒng)的建設(shè)中,對于算力和存力的投資大概在7:3,而我們在國內(nèi)實(shí)踐中接觸到的是8:2甚至是9:1”,張新鳳說:“這意味著對于存儲的投資不足,看似省了錢,但結(jié)果是系統(tǒng)的均衡性下降,反而拉低了系統(tǒng)的上限?!?/p>
其次,石靜分享了一個很有趣的觀點(diǎn),她說:“雖然我們這次發(fā)布的是集中式存儲設(shè)備,但是這并不意味我們的發(fā)展路徑變了,分布式存儲仍然是更適合這個AI時代的選擇,或者可以說,無論是AI的訓(xùn)練和推理,還是大數(shù)據(jù)挖掘,乃至于大模型在云側(cè)和端側(cè)的協(xié)同,與云計算充分融合的分布式存儲還會是主流“。
事實(shí)上,筆者也認(rèn)為,F(xiàn)lashNexus這種超級存儲裝置的發(fā)布,其實(shí)也包含了曙光存儲對未來市場的一種看法,就是集中式存儲和分布式存儲會互相走進(jìn)、促進(jìn)。
比如,這次發(fā)布的集中式存儲設(shè)備上,其實(shí)同時體現(xiàn)了分布式和集中式的理念,比如,唯一百控就強(qiáng)調(diào)了系統(tǒng)的可擴(kuò)展性,傳統(tǒng)觀念認(rèn)為這是分布式的優(yōu)勢;而得益于其高性能,用戶也可以在分布式網(wǎng)絡(luò)中接入這種高性能的節(jié)點(diǎn),提高系統(tǒng)的上限……而且筆者相信,隨著技術(shù)的演進(jìn),這種高性能存儲裝置有可能在幾年或一定時間之后,擁有成本大大下降,最終成為一個普通的平臺也能用得起的節(jié)點(diǎn),就像我們的個人電腦和手機(jī)已經(jīng)基本實(shí)現(xiàn)了全閃存化一樣。
而最后也是最為重要的是,曙光存儲的路,其實(shí)就是中國數(shù)字化發(fā)展的寫照,可以說從2006年的那次機(jī)遇開始,曙光存儲的每一步都踩在時代的節(jié)點(diǎn)上。
”從數(shù)字化轉(zhuǎn)型初期、到企業(yè)上云,到現(xiàn)在的AI的技術(shù)創(chuàng)新和應(yīng)用推廣?;A(chǔ)之一就是數(shù)據(jù)要素的匯集和價值挖掘,而數(shù)據(jù)要素的匯集與有效流通,就需要存力、算力的均衡發(fā)展,價值挖掘則既需要高算力,也需要高存力的性能支撐”,何振說:“如果說,我和我的同事對于曙光存儲的未來有信心,那不如說,是我們對中國的發(fā)展有信心,現(xiàn)在‘新質(zhì)生產(chǎn)力’的提法,我的理解是要建立在全局要素的數(shù)字化融通之上的,而我們的數(shù)字化建設(shè)雖然如火如荼,但沒有數(shù)字化的行業(yè)還何其多也,每人一個數(shù)字人、甚至是好幾個智能體,又需要多少空間?”
他風(fēng)趣的說:“有的同事說,曙光存儲今天的成功,是20年前射出的一箭,命中了今天的大模型。我基本同意這個觀點(diǎn),但也要加一句,大模型太大,不命中反而很難。對于一個以存儲為事業(yè)的人來說,整個世界都是數(shù)據(jù),而我們才最多開掘了1%甚至是0.1%,所以,我們是在一個有極大的確定性的事業(yè)做極有挑戰(zhàn)性、又利國利民的工作,我感到振奮,我也知足。曙光存儲的每個人,都為我們存儲著數(shù)字化中國而且未來還會更多,而自豪不已。”
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.