《黑神話:悟空》的熱銷不僅在游戲界掀起了一股新的波瀾,也無意中揭示了現(xiàn)代3A游戲對存儲容量的龐大需求。玩家們在享受精美畫面和沉浸式體驗的同時,也面臨著一個日益嚴峻的問題:游戲文件的大小正以驚人的速度增長,動輒數(shù)十甚至上百GB的容量需求,讓許多玩家的存儲設備感到壓力山大。這一現(xiàn)象,正是數(shù)據(jù)量快速增長趨勢的一個縮影。
隨著技術的進步和玩家對游戲體驗要求的提升,3A游戲的制作越來越精細,從高清紋理到復雜的物理模擬,從龐大的開放世界到豐富的劇情內容,每一項都意味著更多的數(shù)據(jù)需要被存儲和處理。這一趨勢不僅在游戲領域顯現(xiàn),它同樣影響著視頻、圖像、科學研究、AI等多個領域,無論是消費級還是企業(yè)級市場,數(shù)據(jù)量的激增正在成為我們這個時代的一個顯著特征。在這樣的背景下,如何有效管理和利用這些龐大的數(shù)據(jù)資源,成為了一個亟待解決的問題。
AI驅動數(shù)據(jù)爆炸性增長
在近期舉辦的ODCC 2024開放數(shù)據(jù)中心峰會上,希捷中國區(qū)產品部總監(jiān)劉嘉剖析了存儲領域面臨的快速增長新挑戰(zhàn)。他指出,隨著人工智能技術的蓬勃發(fā)展,數(shù)據(jù)生成的內容日益多元化且規(guī)模空前,尤其是圖片與視頻等多媒體數(shù)據(jù)呈現(xiàn)爆炸式增長態(tài)勢。企業(yè)紛紛加大對AI計算能力的投資,直接推動了數(shù)據(jù)量的持續(xù)飆升。面對這股數(shù)據(jù)洪流,企業(yè)正積極采取分層存儲策略,將海量數(shù)據(jù)高效部署于企業(yè)級設備中,其中,具備顯著TCO(總體擁有成本)優(yōu)勢的機械硬盤成為了存儲主力軍,承載了大部分數(shù)據(jù)。
希捷中國區(qū)產品部總監(jiān) 劉嘉
面對數(shù)據(jù)量的急劇膨脹,企業(yè)對高效、安全且經濟的存儲解決方案的需求愈發(fā)迫切。在此背景下,市場上涌現(xiàn)出多樣化的企業(yè)級存儲技術,各有千秋。固態(tài)硬盤(SSD)憑借其卓越的讀寫速度和低功耗特性,在追求極致性能的數(shù)據(jù)庫和即時服務領域獨占鰲頭,但其高昂的成本和有限的壽命亦不容忽視。相比之下,機械硬盤(HDD)則憑借低成本、高容量的顯著優(yōu)勢,在企業(yè)的日常數(shù)據(jù)存儲、備份及長期歸檔方面發(fā)揮著不可替代的作用。
綜上所述,企業(yè)在選擇適合自身需求的企業(yè)級存儲技術時,需全面權衡性能、容量、安全性、成本效益以及維護管理等多方面因素。高性能密集型應用可能更傾向于采用固態(tài)硬盤以追求極致效率,而數(shù)據(jù)湖類的海量存儲、大數(shù)據(jù)存儲、對象存儲、文件存儲、塊存儲、和歸檔存儲,更傾向于成本效益更好的機械硬盤存儲方案。每種存儲技術都有其獨特的價值與應用場景,企業(yè)應基于自身業(yè)務需求和預算限制,做出明智的決策。通過精心規(guī)劃與適時的技術迭代升級,企業(yè)能夠構建起既高效又可靠的數(shù)據(jù)存儲基礎設施,為當前及未來的業(yè)務發(fā)展奠定堅實的基礎。
希捷布局三大用戶群體
當前,隨著AI技術的迅猛發(fā)展,其對數(shù)據(jù)存儲的需求也急劇攀升,對存儲系統(tǒng)提出了更為嚴苛的要求。在此背景下,希捷作為行業(yè)領軍者,正積極布局以應對這一挑戰(zhàn)。
劉嘉表示,在數(shù)據(jù)存儲的廣闊領域中,不同業(yè)務場景下的用戶需求呈現(xiàn)出多樣化的特點,大致可劃分為三大用戶群體。
第一類用戶:他們偏好以機械硬盤為核心構建存儲解決方案,這主要得益于機械硬盤在提供大容量存儲的同時,還能保持較高的成本效益。面對機械硬盤在隨機讀寫性能上的不足,這類用戶巧妙地采用數(shù)據(jù)分層管理策略,并優(yōu)化工作負載分配,通過固態(tài)硬盤與機械硬盤的互補組合,充分發(fā)揮各自優(yōu)勢,既保證了存儲效率,又控制了成本。
通過部署更大容量的硬盤,如24TB或30TB,可有效減少了服務器數(shù)量,進而降低了總體擁有成本(TCO)。盡管這一過程中可能涉及一定的軟件開發(fā)投入以適配業(yè)務和工作負載,但相較于硬件成本的顯著節(jié)省,這些投入最終實現(xiàn)了成本效益的最大化。
第二類用戶:他們可能面臨容量瓶頸的困擾,受限于業(yè)務需求,只能采用較小容量的硬盤,如12TB或16TB的機械硬盤。盡管如此,這些硬盤相較于固態(tài)硬盤而言,仍具有顯著的經濟優(yōu)勢。隨著磁密度的不斷提升,這些較低容量的硬盤未來有望通過技術進步實現(xiàn)TCO的持續(xù)下降,從而避免轉向成本更高的固態(tài)盤方案。
第三類用戶:他們則勇于嘗試新技術,如雙磁臂硬盤,這種創(chuàng)新設計旨在提升機械硬盤的性能表現(xiàn),特別是在隨機讀寫操作方面。通過引入此類技術,他們能夠在保持成本可控的前提下,獲得更為出色的存儲性能。
整體來看,不同用戶群體根據(jù)自身獨特的業(yè)務需求和預算考量,采取了多樣化的存儲策略。隨著技術的持續(xù)進步和市場環(huán)境的不斷變化,這些策略也將不斷演進和完善,以更好地滿足日益增長的存儲需求和成本效益要求。
AI開發(fā)中的存儲部署新策略
許多人對企業(yè)在進行AI開發(fā)時如何部署存儲感到好奇,特別是機械硬盤在當前環(huán)境下是否仍具有競爭力。劉嘉指出,在大模型的工作負載下,存儲的作用日益凸顯,尤其是在AIGC大模型的訓練過程中,存儲的角色更是不可或缺。這一過程可以細分為幾個關鍵步驟。
首先,模型文件需要被放置在GPU集群中,這些文件的大小從小至幾百MB到大至幾個TB不等。其次,在訓練過程中,會產生Checkpoint,即模型參數(shù)數(shù)據(jù),用于在訓練中斷后能夠恢復到某個特定狀態(tài),類似于游戲中的存盤功能。最初,由于性能需求,許多用戶選擇使用固態(tài)硬盤來存儲Checkpoint數(shù)據(jù),盡管成本較高。
然而,現(xiàn)在許多客戶開始意識到,并非所有的Checkpoint數(shù)據(jù)都需要存儲在固態(tài)硬盤上。對于那些保存時間較長、不經常讀取的數(shù)據(jù),用戶可能會選擇將它們遷移到成本更低的機械硬盤上,以降低成本。此外,對于存儲不同版本模型數(shù)據(jù)的需求,由于對性能要求不高,機械硬盤也成為了一個經濟實惠的選擇。
最后,當模型訓練完成,生成的文本、圖片或視頻等數(shù)據(jù),很可能會存儲在機械硬盤上。目前,由于模型的尺寸越來越大,產生的數(shù)據(jù)量也隨之增高,模型成熟和滲透率的提高,也讓未來生成數(shù)據(jù)的內容將更加豐富,對數(shù)據(jù)保留時間的要求也會增加。簡而言之,存儲需求從最初的簡單快速演變?yōu)楝F(xiàn)在的優(yōu)化成本,機械硬盤因此在某些場景下成為了固態(tài)硬盤的有效替代品。
用新技術探索機械硬盤的未來
談到數(shù)據(jù)產生速度加快和存儲需求激增的市場趨勢,劉嘉認為希捷聚焦于提升硬盤存儲容量以滿足生成式AI等應用的數(shù)據(jù)需求,同時致力于降低功耗、提升每TB的性能以優(yōu)化客戶體驗。特別關注企業(yè)級市場,針對90%數(shù)據(jù)存儲于企業(yè)級硬盤和云端的現(xiàn)狀,將不斷優(yōu)化產品以更好地服務于這一核心市場。此外,希捷還緊密追蹤AI技術的發(fā)展,評估并把握AI應用與負載帶來的新機遇,通過市場細分和定制化服務策略,持續(xù)創(chuàng)新以滿足多樣化的客戶需求。
在新技術探索方面,希捷最新技術成果正在通過Mozaic 3+(魔彩盒3+)平臺生動展現(xiàn)。從Mozaic平臺起步,依托HAMR熱輔助磁記錄技術、超晶格鉑合金介質、新一代寫入器、高性能集成控制器等關鍵技術,希捷已實現(xiàn)了單碟片面密度3TB的飛躍。
在技術的革新與持續(xù)迭代浪潮中,Mozaic 4+與Mozaic 5+平臺更將會把每碟片存儲容量推向4TB與5TB的新高度,持續(xù)刷新著機械硬盤的性能極限。這一系列平臺的發(fā)展,不僅預示著機械硬盤技術的持續(xù)突破,更為數(shù)據(jù)密集型應用提供了更加可靠、高效的存儲解決方案,開啟了數(shù)據(jù)存儲的新紀元。
隨著AI技術的深入發(fā)展,從深度學習、自然語言處理到圖像識別,每一個領域都在不斷產生和消耗著海量的數(shù)據(jù)。這些數(shù)據(jù)不僅是AI模型訓練的燃料,也是推動科技進步和應用發(fā)展的關鍵資源。
相信,希捷機械硬盤的持續(xù)創(chuàng)新與推動,將為全球企業(yè)帶來更加豐富的存儲選擇,為AI和數(shù)據(jù)存儲技術的不斷進步推波助瀾。
計算雜談公眾號
專業(yè),創(chuàng)造價值!
與你分享來自科技的樂趣。
【計算雜談】創(chuàng)辦人吳叢叢,筆名云中子,先后任職于走進中關村、賽迪網、51CTO、比特網,從業(yè)20年來重點專注服務器、存儲、云計算、數(shù)據(jù)中心、網絡、 虛擬化、安全、半導體、消費數(shù)碼等相關領域。計算雜談網站已上線,敬請關注!www.jisuanzt.com
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.