當(dāng)AI大模型參數(shù)規(guī)模突破萬億級,AI算力的重要性已經(jīng)毋庸置疑。但隨著算力基礎(chǔ)設(shè)施越建越多,一個(gè)被忽視的真相也逐漸清晰:最終決定訓(xùn)練乃至推理效率的不是單純的算力峰值,而是數(shù)據(jù)從存儲到計(jì)算的“流轉(zhuǎn)效率”。
在AI大模型訓(xùn)練、推理等業(yè)務(wù)快速發(fā)展的大背景下,數(shù)據(jù)存儲與計(jì)算的協(xié)同效率不僅成為運(yùn)營商IT系統(tǒng)升級的關(guān)鍵,更關(guān)乎AI在運(yùn)營商和各行各業(yè)業(yè)務(wù)中的部署應(yīng)用。
作為數(shù)字基建主力軍,當(dāng)前運(yùn)營商對存力的需求已從“輔助角色”升級為“重要引擎”。
01
迎接“AI+”時(shí)代
存算網(wǎng)協(xié)同成為運(yùn)營商的必答題
隨著AI大模型發(fā)展深入推進(jìn),行業(yè)對存力的需求日益凸顯。在數(shù)據(jù)處理能力上,存儲系統(tǒng)須具備高IOPS和高帶寬,滿足高速讀寫需求,減少計(jì)算資源等待時(shí)間;在容量方面,存力要從TB級擴(kuò)展到PB級以上,以容納海量非結(jié)構(gòu)化數(shù)據(jù);同時(shí),存力支撐下的低延遲訪問對實(shí)時(shí)AI應(yīng)用也至關(guān)重要。
直面行業(yè)需求,運(yùn)營商作為算網(wǎng)一體化的核心建設(shè)者與引領(lǐng)者,存儲與計(jì)算、網(wǎng)絡(luò)的協(xié)同已成為其無法回避的課題。
從業(yè)務(wù)需求來看,AI訓(xùn)練和推理對存算網(wǎng)協(xié)同的性能要求呈現(xiàn)多維度提升。中國移動研究院網(wǎng)絡(luò)與IT技術(shù)研究所項(xiàng)目經(jīng)理閆晗指出,在訓(xùn)練方面,隨著參數(shù)量、訓(xùn)練數(shù)據(jù)量的激增,訓(xùn)練檢查點(diǎn)不斷增大,對于存儲提出TB/s級高吞吐性能需求。在推理方面,由于GPU顯存空間有限,需要構(gòu)建HBM-DRAM-SSD多級KVCache緩存架構(gòu),以緩存更多KV數(shù)據(jù),提升KVCache命中率。
“當(dāng)前存儲與計(jì)算、網(wǎng)絡(luò)資源的協(xié)同還存在諸多短板:在多協(xié)議處理方面,傳統(tǒng)按照文件、對象、塊協(xié)議分立的存儲系統(tǒng)暴露出數(shù)據(jù)跨池拷貝痛點(diǎn)和數(shù)據(jù)冗余問題;在存儲網(wǎng)絡(luò)方面,傳統(tǒng)TCP/IP網(wǎng)絡(luò)面對海量數(shù)據(jù)傳輸存在瓶頸;在存儲客戶端方面,傳統(tǒng)NFS文件客戶端不能滿足高并發(fā)讀寫性能需求?!遍Z晗講道。
從IT系統(tǒng)整體來看,存儲與計(jì)算、網(wǎng)絡(luò)資源如何協(xié)同才能滿足AI業(yè)務(wù)需求,目前存在哪些協(xié)同短板?未來如何實(shí)現(xiàn)高效低時(shí)延傳輸?帶著這一系列行業(yè)關(guān)注的話題,近期,工信智媒體還將組織專家研討沙龍,深入探索行業(yè)的應(yīng)用之策。
02
高性能、低成本的SSD
成為存力市場核心訴求
構(gòu)建高效存力,存儲技術(shù)可謂關(guān)鍵制約因素。在這場關(guān)于容量、性能、成本的博弈中,存儲技術(shù)也逐漸演進(jìn),打破HDD市場長期被國外制約的困境,國產(chǎn)廠商在SSD領(lǐng)域正實(shí)現(xiàn)彎道超車。
就企業(yè)進(jìn)展來看,長江存儲3D NAND閃存技術(shù)持續(xù)迭代,作為SSD大腦的主控芯片,目前國內(nèi)絕大多數(shù)依然是國外芯片廠商占據(jù),其比例遠(yuǎn)高于CPU市場,這無疑凸顯了國內(nèi)相關(guān)產(chǎn)業(yè)在該領(lǐng)域?qū)崿F(xiàn)自主突破的緊迫性。
從技術(shù)價(jià)值來看,SSD芯片直接決定存儲性能?!爸袊苿又攸c(diǎn)考量SSD硬盤的讀寫帶寬、IOPS、時(shí)延、可靠性、功耗等指標(biāo),同時(shí)也考量SSD產(chǎn)品的成本因素,從技術(shù)和成本兩方面進(jìn)行綜合評估?!遍Z晗介紹,目前中國移動在智算場景下,存儲介質(zhì)正在快速向全閃化演進(jìn),以實(shí)現(xiàn)存儲系統(tǒng)高吞吐、低延遲、低功耗的目標(biāo)。
對此,中國聯(lián)通研究院未來網(wǎng)絡(luò)研究部總監(jiān)曹暢也同樣認(rèn)為,從運(yùn)營商角度來看,更為看好SSD在成本控制與性能優(yōu)化上的優(yōu)勢。一方面,新型SSD芯片可實(shí)現(xiàn)更低時(shí)延,提供更大帶寬和IOPS,能滿足AI訓(xùn)練中大量數(shù)據(jù)的快速讀寫需求,部分新型SSD芯片還具備計(jì)算加速功能,可以加速數(shù)據(jù)處理。另一方面,新型SSD芯片采用更先進(jìn)制程,在能效比上表現(xiàn)優(yōu)異。
近年來平頭哥的鎮(zhèn)岳企業(yè)級SSD主控芯片嶄露頭角,不僅具備高達(dá)3400K IOPS的IO處理能力,輕松應(yīng)對高并發(fā)AI推理任務(wù);而且憑借領(lǐng)先業(yè)界的超低延遲 ,能快速響應(yīng)推理請求,減少等待時(shí)間;同時(shí)支持多種NAND技術(shù),保證性能的同時(shí)控制存儲成本,提升AI推理成本效益。
03
存算網(wǎng)協(xié)同長遠(yuǎn)在于
打贏算力能效戰(zhàn)
AI算力的爆發(fā)式增長帶來巨大能耗壓力,如何在提升訓(xùn)練效率的同時(shí)降低能耗,成為運(yùn)營商存算網(wǎng)協(xié)同的重要課題,SSD憑借節(jié)能的突出優(yōu)勢,也將有效助力這一進(jìn)程。
對此,閆晗認(rèn)為,液冷技術(shù)與SSD替代結(jié)合是節(jié)能關(guān)鍵。液冷一方面能夠提高數(shù)據(jù)中心的設(shè)備部署密度,另一方面也能保證芯片在最大電壓和頻率下連續(xù)運(yùn)行,提升芯片性能。而SSD硬盤能耗比HDD硬盤節(jié)省90%以上,通過SSD對HDD的替代,可進(jìn)一步降低設(shè)備功率,其與液冷技術(shù)相輔相成,將共同推動新型節(jié)能、綠色低碳算力網(wǎng)絡(luò)發(fā)展。
網(wǎng)絡(luò)架構(gòu)優(yōu)化與協(xié)議創(chuàng)新可進(jìn)一步降低能耗。曹暢指出,光電混合新型組網(wǎng)方案是未來的重要方向,可以解決傳統(tǒng)網(wǎng)絡(luò)架構(gòu)難以滿足超大規(guī)模算力集群互聯(lián)需求。同時(shí),通過優(yōu)化擁塞控制算法、負(fù)載均衡策略及RDMA協(xié)議,能提升網(wǎng)絡(luò)吞吐效率AI訓(xùn)練效率。此外,曹暢提醒,從系統(tǒng)協(xié)同方面來看,通過智能化的管控與調(diào)度、自動化運(yùn)維等手段也可以確保網(wǎng)絡(luò)的高可用和高可靠。
正如不同的應(yīng)用場景,對存力的挑戰(zhàn)各有不同,各有側(cè)重。未來存算網(wǎng)協(xié)同還有賴于產(chǎn)業(yè)鏈上下游企業(yè)同心協(xié)作,從OEM廠商、SSD盤的廠商和SSD核心芯片企業(yè)都應(yīng)各盡所長。平頭哥半導(dǎo)體產(chǎn)品總監(jiān)周冠鋒認(rèn)為,作為一種典型的閉源系統(tǒng),SSD盤廠與主控廠需要緊密合作,充分發(fā)揮出主控芯片與NAND芯片的能力,并盡量以通用部件的形態(tài),滿足各場景訴求;同時(shí)在接口兼容性上與OEM廠商聯(lián)合發(fā)力,充分適配各種不同硬件平臺。
面向未來,當(dāng)存力、算力、運(yùn)力真正實(shí)現(xiàn)“同頻共振”,不僅將重塑運(yùn)營商的競爭力,更將為數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展注入底層動力。隨著AI業(yè)務(wù)的深入,相信運(yùn)營商還將在技術(shù)突破、產(chǎn)業(yè)協(xié)同等方面持續(xù)探索。后續(xù),工信智媒體將持續(xù)關(guān)注行業(yè)動向,并且通過“算網(wǎng)一體化中的存力挑戰(zhàn)研討”,邀請產(chǎn)業(yè)各方深入探討實(shí)踐路徑,敬請關(guān)注。
上半年信息通信業(yè)“交卷”:這幾個(gè)數(shù)據(jù)必須關(guān)注!
英偉達(dá)示好,“止痛”不“治痛”
黃仁勛“松口”:H20芯片解禁是喜還是憂?
作者:包建羽
責(zé)編/版式:王禹蓉
審校:王 濤 梅雅鑫
監(jiān)制:劉啟誠
【通信世界新媒體矩陣】
央視頻 | 微軟MSN | 視頻號 | 微博 | 今日頭條 | 百家號 | 網(wǎng)易號 | 搜狐 | 騰訊新聞
新浪看點(diǎn) | 雪球號 | 抖音 | 快手 | 愛奇藝 | 知乎 | 嗶哩嗶哩 | 咪咕視頻 | CSDN | 36氪
【新媒體團(tuán)隊(duì)】
監(jiān)制|劉啟誠
審校|王濤 梅雅鑫
編輯|王禹蓉
視頻制作|蓋貝貝 黃楊洋 盧瑞旭 蔣雅麗
運(yùn)營|林嵩
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.