《黑神話:悟空》的熱銷不僅在游戲界掀起了一股新的波瀾,也無意中揭示了現代3A游戲對存儲容量的龐大需求。玩家們在享受精美畫面和沉浸式體驗的同時,也面臨著一個日益嚴峻的問題:游戲文件的大小正以驚人的速度增長,動輒數十甚至上百GB的容量需求,讓許多玩家的存儲設備感到壓力山大。這一現象,正是數據量快速增長趨勢的一個縮影。
隨著技術的進步和玩家對游戲體驗要求的提升,3A游戲的制作越來越精細,從高清紋理到復雜的物理模擬,從龐大的開放世界到豐富的劇情內容,每一項都意味著更多的數據需要被存儲和處理。這一趨勢不僅在游戲領域顯現,它同樣影響著視頻、圖像、科學研究、AI等多個領域,無論是消費級還是企業級市場,數據量的激增正在成為我們這個時代的一個顯著特征。在這樣的背景下,如何有效管理和利用這些龐大的數據資源,成為了一個亟待解決的問題。
AI驅動數據爆炸性增長
在近期舉辦的ODCC 2024開放數據中心峰會上,希捷中國區產品部總監劉嘉剖析了存儲領域面臨的快速增長新挑戰。他指出,隨著人工智能技術的蓬勃發展,數據生成的內容日益多元化且規模空前,尤其是圖片與視頻等多媒體數據呈現爆炸式增長態勢。企業紛紛加大對AI計算能力的投資,直接推動了數據量的持續飆升。面對這股數據洪流,企業正積極采取分層存儲策略,將海量數據高效部署于企業級設備中,其中,具備顯著TCO(總體擁有成本)優勢的機械硬盤成為了存儲主力軍,承載了大部分數據。
希捷中國區產品部總監 劉嘉
面對數據量的急劇膨脹,企業對高效、安全且經濟的存儲解決方案的需求愈發迫切。在此背景下,市場上涌現出多樣化的企業級存儲技術,各有千秋。固態硬盤(SSD)憑借其卓越的讀寫速度和低功耗特性,在追求極致性能的數據庫和即時服務領域獨占鰲頭,但其高昂的成本和有限的壽命亦不容忽視。相比之下,機械硬盤(HDD)則憑借低成本、高容量的顯著優勢,在企業的日常數據存儲、備份及長期歸檔方面發揮著不可替代的作用。
綜上所述,企業在選擇適合自身需求的企業級存儲技術時,需全面權衡性能、容量、安全性、成本效益以及維護管理等多方面因素。高性能密集型應用可能更傾向于采用固態硬盤以追求極致效率,而數據湖類的海量存儲、大數據存儲、對象存儲、文件存儲、塊存儲、和歸檔存儲,更傾向于成本效益更好的機械硬盤存儲方案。每種存儲技術都有其獨特的價值與應用場景,企業應基于自身業務需求和預算限制,做出明智的決策。通過精心規劃與適時的技術迭代升級,企業能夠構建起既高效又可靠的數據存儲基礎設施,為當前及未來的業務發展奠定堅實的基礎。
希捷布局三大用戶群體
當前,隨著AI技術的迅猛發展,其對數據存儲的需求也急劇攀升,對存儲系統提出了更為嚴苛的要求。在此背景下,希捷作為行業領軍者,正積極布局以應對這一挑戰。
劉嘉表示,在數據存儲的廣闊領域中,不同業務場景下的用戶需求呈現出多樣化的特點,大致可劃分為三大用戶群體。
第一類用戶:他們偏好以機械硬盤為核心構建存儲解決方案,這主要得益于機械硬盤在提供大容量存儲的同時,還能保持較高的成本效益。面對機械硬盤在隨機讀寫性能上的不足,這類用戶巧妙地采用數據分層管理策略,并優化工作負載分配,通過固態硬盤與機械硬盤的互補組合,充分發揮各自優勢,既保證了存儲效率,又控制了成本。
通過部署更大容量的硬盤,如24TB或30TB,可有效減少了服務器數量,進而降低了總體擁有成本(TCO)。盡管這一過程中可能涉及一定的軟件開發投入以適配業務和工作負載,但相較于硬件成本的顯著節省,這些投入最終實現了成本效益的最大化。
第二類用戶:他們可能面臨容量瓶頸的困擾,受限于業務需求,只能采用較小容量的硬盤,如12TB或16TB的機械硬盤。盡管如此,這些硬盤相較于固態硬盤而言,仍具有顯著的經濟優勢。隨著磁密度的不斷提升,這些較低容量的硬盤未來有望通過技術進步實現TCO的持續下降,從而避免轉向成本更高的固態盤方案。
第三類用戶:他們則勇于嘗試新技術,如雙磁臂硬盤,這種創新設計旨在提升機械硬盤的性能表現,特別是在隨機讀寫操作方面。通過引入此類技術,他們能夠在保持成本可控的前提下,獲得更為出色的存儲性能。
整體來看,不同用戶群體根據自身獨特的業務需求和預算考量,采取了多樣化的存儲策略。隨著技術的持續進步和市場環境的不斷變化,這些策略也將不斷演進和完善,以更好地滿足日益增長的存儲需求和成本效益要求。
AI開發中的存儲部署新策略
許多人對企業在進行AI開發時如何部署存儲感到好奇,特別是機械硬盤在當前環境下是否仍具有競爭力。劉嘉指出,在大模型的工作負載下,存儲的作用日益凸顯,尤其是在AIGC大模型的訓練過程中,存儲的角色更是不可或缺。這一過程可以細分為幾個關鍵步驟。
首先,模型文件需要被放置在GPU集群中,這些文件的大小從小至幾百MB到大至幾個TB不等。其次,在訓練過程中,會產生Checkpoint,即模型參數數據,用于在訓練中斷后能夠恢復到某個特定狀態,類似于游戲中的存盤功能。最初,由于性能需求,許多用戶選擇使用固態硬盤來存儲Checkpoint數據,盡管成本較高。
然而,現在許多客戶開始意識到,并非所有的Checkpoint數據都需要存儲在固態硬盤上。對于那些保存時間較長、不經常讀取的數據,用戶可能會選擇將它們遷移到成本更低的機械硬盤上,以降低成本。此外,對于存儲不同版本模型數據的需求,由于對性能要求不高,機械硬盤也成為了一個經濟實惠的選擇。
最后,當模型訓練完成,生成的文本、圖片或視頻等數據,很可能會存儲在機械硬盤上。目前,由于模型的尺寸越來越大,產生的數據量也隨之增高,模型成熟和滲透率的提高,也讓未來生成數據的內容將更加豐富,對數據保留時間的要求也會增加。簡而言之,存儲需求從最初的簡單快速演變為現在的優化成本,機械硬盤因此在某些場景下成為了固態硬盤的有效替代品。
用新技術探索機械硬盤的未來
談到數據產生速度加快和存儲需求激增的市場趨勢,劉嘉認為希捷聚焦于提升硬盤存儲容量以滿足生成式AI等應用的數據需求,同時致力于降低功耗、提升每TB的性能以優化客戶體驗。特別關注企業級市場,針對90%數據存儲于企業級硬盤和云端的現狀,將不斷優化產品以更好地服務于這一核心市場。此外,希捷還緊密追蹤AI技術的發展,評估并把握AI應用與負載帶來的新機遇,通過市場細分和定制化服務策略,持續創新以滿足多樣化的客戶需求。
在新技術探索方面,希捷最新技術成果正在通過Mozaic 3+(魔彩盒3+)平臺生動展現。從Mozaic平臺起步,依托HAMR熱輔助磁記錄技術、超晶格鉑合金介質、新一代寫入器、高性能集成控制器等關鍵技術,希捷已實現了單碟片面密度3TB的飛躍。
在技術的革新與持續迭代浪潮中,Mozaic 4+與Mozaic 5+平臺更將會把每碟片存儲容量推向4TB與5TB的新高度,持續刷新著機械硬盤的性能極限。這一系列平臺的發展,不僅預示著機械硬盤技術的持續突破,更為數據密集型應用提供了更加可靠、高效的存儲解決方案,開啟了數據存儲的新紀元。
隨著AI技術的深入發展,從深度學習、自然語言處理到圖像識別,每一個領域都在不斷產生和消耗著海量的數據。這些數據不僅是AI模型訓練的燃料,也是推動科技進步和應用發展的關鍵資源。
相信,希捷機械硬盤的持續創新與推動,將為全球企業帶來更加豐富的存儲選擇,為AI和數據存儲技術的不斷進步推波助瀾。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.