提到AI基石,人們普遍會(huì)想到計(jì)算硬件、大模型等,卻容易忽略了一個(gè)關(guān)鍵的AI支柱——存力。
大模型的全周期,都離不開存力與算力的協(xié)同保障。比如Pre-Training預(yù)訓(xùn)練階段,涉及EB/PB級(jí)海量數(shù)據(jù)的處理,頻繁保存與讀取Checkpoint文件,對(duì)存儲(chǔ)的帶寬和吞吐量要求很高;Post-Training后訓(xùn)練階段,模型精調(diào)需要處理個(gè)性化數(shù)據(jù),存儲(chǔ)系統(tǒng)需應(yīng)對(duì)頻繁的IO操作。Inference推理階段,token輸出過慢會(huì)讓用戶長(zhǎng)時(shí)間等待、體驗(yàn)差,而低延遲的實(shí)時(shí)數(shù)據(jù)傳輸,依賴于存儲(chǔ)的并發(fā)訪問能力。
算力突飛猛進(jìn)而存力不足,兩者的不協(xié)同,在一定程度上制約云數(shù)據(jù)中心的效率,也成為當(dāng)前AI云亟需突破的一大難點(diǎn)。
這時(shí)候,迫切需要人才以代碼為利器,為行業(yè)解難題。華為軟件精英挑戰(zhàn)賽,正是這樣一個(gè)復(fù)合型人才的練兵場(chǎng)。
華為軟件精英挑戰(zhàn)賽是華為公司面向全球在校大學(xué)生舉辦的大型軟件編程競(jìng)賽,自2015年啟動(dòng)以來,已經(jīng)成為全球高校學(xué)子展示軟件設(shè)計(jì)與編程實(shí)力、挑戰(zhàn)技術(shù)巔峰的頂級(jí)舞臺(tái)。
以“普朗克計(jì)劃”為主題的2025第十一屆華為軟件精英挑戰(zhàn)賽,吸引了全球800多所高校、超22000名選手、超4200支隊(duì)伍報(bào)名參賽。經(jīng)過八大賽區(qū)區(qū)域初賽、區(qū)域復(fù)賽等環(huán)節(jié)的激烈角逐,共有34支隊(duì)伍、92名優(yōu)秀選手成功晉級(jí)4月19日舉辦的全球總決賽。最終,粵港澳賽區(qū)來自南方科技大學(xué)和香港科技大學(xué)的“Tom and Jerry”隊(duì)一舉奪魁,贏得全球總冠軍,獨(dú)攬20萬元獎(jiǎng)金。
究竟什么賽題,能激發(fā)全球軟件人才的挑戰(zhàn)興趣呢?在大模型技術(shù)快速迭代的當(dāng)下,華為今年賽題抽象自華為云存儲(chǔ)真實(shí)業(yè)務(wù)難題:選手們需從行業(yè)案例中提煉數(shù)據(jù)分片、緩存預(yù)熱、多協(xié)議互通等策略,結(jié)合算法創(chuàng)新,解決賽題中的存力瓶頸。
通過解題,年輕的參賽者們能直面來自大模型時(shí)代的存力挑戰(zhàn),親歷了從技術(shù)瓶頸發(fā)現(xiàn)、架構(gòu)設(shè)計(jì)到商業(yè)應(yīng)用的完整鏈條。
云存儲(chǔ)在升級(jí),人才在成長(zhǎng),華為在技術(shù)創(chuàng)新與人才培養(yǎng)上持續(xù)投入,為大模型強(qiáng)基、固本、培源。所以,從2025年華為軟件精英挑戰(zhàn)賽,我們可以更深入地了解,大模型時(shí)代的底座、底氣和底蘊(yùn)。
不少開發(fā)者都提過:打完比賽之后,所寫的代碼就沒什么用了,不能真的用技術(shù)為社會(huì)發(fā)光發(fā)熱,這樣的經(jīng)歷多來幾次,就感覺參加比賽沒什么意義。讓一場(chǎng)比賽具有意義感,不浪費(fèi)選手們的時(shí)間與期待,賽題必須鮮活,貼近現(xiàn)實(shí),緊密結(jié)合行業(yè)前沿技術(shù)與實(shí)際應(yīng)用,解決產(chǎn)業(yè)面臨的真問題。
2025華為軟挑大賽中,華為云精心打造的賽題,就源自云存儲(chǔ)的真實(shí)挑戰(zhàn)。
AI時(shí)代正在全業(yè)務(wù)流重塑對(duì)云存儲(chǔ)的關(guān)鍵需求,云存儲(chǔ)正在成為算力之外的第二生產(chǎn)力,具備海量數(shù)據(jù)承載能力、高性能存取效率與彈性擴(kuò)展架構(gòu)等優(yōu)勢(shì),成為驅(qū)動(dòng)AI訓(xùn)練效率提升、成本優(yōu)化及多模態(tài)創(chuàng)新的基石。
但存算不協(xié)同,可能出現(xiàn)存儲(chǔ)帶寬無法支撐海量小文件,比如百萬級(jí)圖文數(shù)據(jù)的傳輸,拖慢大模型的開發(fā)進(jìn)程;存儲(chǔ)系統(tǒng)無法及時(shí)將數(shù)據(jù)加載到GPU,可能導(dǎo)致數(shù)千萬元投資的GPU集群利用率不足,形成“內(nèi)存墻”難題,產(chǎn)生巨額算力浪費(fèi)。
所以,發(fā)展大模型,既需要算力的充沛保障,也要進(jìn)一步升級(jí)存力。
為此,華為云率先進(jìn)行了技術(shù)攻關(guān),打造了面向AI場(chǎng)景推出的AI-Native智算存儲(chǔ)解決方案,以O(shè)BS作為海量數(shù)據(jù)底座,提供大規(guī)模、高可靠性的數(shù)據(jù)存儲(chǔ)解決方案,疊加華為云SFS Turbo緩存加速層,可以為AI應(yīng)用提供高效的數(shù)據(jù)訪問能力。
通過以存助算/強(qiáng)算/代算/補(bǔ)算,華為云存儲(chǔ)為大模型構(gòu)筑了強(qiáng)大的存力基石,提供了產(chǎn)業(yè)的真實(shí)實(shí)踐。但創(chuàng)新之路永無止境,讓存力最大化,仍有優(yōu)化空間。
比如說 AI訓(xùn)練環(huán)節(jié),性能還可以進(jìn)一步優(yōu)化。針對(duì)海量小文件高性能、低時(shí)延處理以及大模型訓(xùn)練 CheckPoint快速存儲(chǔ)與恢復(fù)的特殊需求,華為云在數(shù)據(jù)湖 OBS之上,引入了高性能存儲(chǔ)加速緩存層 SFS Turbo,為 AI訓(xùn)練集群提供高性能數(shù)據(jù)讀寫能力,滿足訓(xùn)練數(shù)據(jù)加載和故障恢復(fù)過程中 CheckPoint機(jī)制的性能要求。然而,由于成本優(yōu)化的需求,SFS Turbo中的冷數(shù)據(jù)會(huì)被分級(jí)存儲(chǔ)到OBS中。
如何實(shí)現(xiàn) OBS中數(shù)據(jù)向 SFS Turbo的快速加載,是云存儲(chǔ)面臨的重要挑戰(zhàn),也對(duì)加速AI訓(xùn)練效率具有關(guān)鍵意義。
誰能來迎接這一前沿挑戰(zhàn)?答案是具有創(chuàng)造力和極強(qiáng)工程能力的軟件人才。
多年以來,華為軟件精英挑戰(zhàn)賽不斷將校園里的天才構(gòu)想,帶入賽場(chǎng),帶入技術(shù)世界和產(chǎn)業(yè)世界,已成為具有人才培養(yǎng)與產(chǎn)學(xué)聯(lián)動(dòng)示范意義的重要賽事。2025大賽沿用了自2022年發(fā)起的“普朗克計(jì)劃”,華為云CTO張宇昕表示,“華為軟件精英挑戰(zhàn)賽以‘普朗克計(jì)劃’為主題,希望越來越多像‘普朗克’一樣的軟件人才站出來,開創(chuàng)新的技術(shù)方向,突破新的技術(shù)領(lǐng)域”。
年輕的軟件人才就在華為的賽場(chǎng),與云存儲(chǔ)完成了一場(chǎng)風(fēng)云際會(huì)。
不少高校老師都反映說,AI領(lǐng)域,工業(yè)界具備大數(shù)據(jù)、算力、算法能力等優(yōu)勢(shì),所以普遍走得比學(xué)術(shù)界更快。老師們自己還沒搞懂,學(xué)校買不到GPU算卡,導(dǎo)致當(dāng)前的人才培養(yǎng)模式,很難滿足AI時(shí)代的人才需求。于是,一些由企業(yè)舉辦的產(chǎn)業(yè)賽事便成為人才實(shí)操的主要陣地。
而華為軟件精英挑戰(zhàn)賽,更緊密地實(shí)現(xiàn)了學(xué)術(shù)界與工業(yè)界的對(duì)接。大賽每屆賽題都源于華為探索世界領(lǐng)先技術(shù)中遇到的真實(shí)業(yè)務(wù)難題,同時(shí)緊密結(jié)合行業(yè)前沿技術(shù),本屆大賽也不例外。在大模型時(shí)代,該比賽與其他產(chǎn)業(yè)賽事呈現(xiàn)出明顯的差異:
首先是現(xiàn)實(shí)性強(qiáng)。大賽賽題高度還原了真實(shí)業(yè)務(wù)挑戰(zhàn),讓選手們解答現(xiàn)實(shí)難題,而非紙上談兵。比如本屆大賽就聚焦于開發(fā)一個(gè)存儲(chǔ)服務(wù)的控制系統(tǒng),旨在通過減少硬盤數(shù)據(jù)碎片化程度,提升系統(tǒng)整體效率,并依據(jù)存儲(chǔ)系統(tǒng)的整體性能來評(píng)定最終得分。選手們能感受到,存力問題直接關(guān)系到大模型效率與成本問題,是當(dāng)下全社會(huì)各行業(yè)都關(guān)心的,避免純解題過于懸浮、與現(xiàn)實(shí)脫節(jié),攻克這類難題能真的推動(dòng)產(chǎn)業(yè)進(jìn)步,帶給選手們滿滿的成就感。
同時(shí)挑戰(zhàn)難度大。本屆大賽的選手們需要根據(jù)題目提供的對(duì)象標(biāo)簽、對(duì)象大小等信息,將具有相似特征的對(duì)象盡可能聚合寫入,降低硬盤上數(shù)據(jù)的碎片化程度。在讀取時(shí),選手需要合理規(guī)劃磁頭的動(dòng)作,提高系統(tǒng)讀取對(duì)象的效率。這一賽題非常考驗(yàn)選手們的算法設(shè)計(jì)和工程能力,也讓選手們通過比賽能夠真正得到提升,有所收獲。
本屆大賽還與時(shí)俱進(jìn),鼓勵(lì)各位選手使用包括DeepSeek在內(nèi)的市面上所有的LLM,將AI能力融入?yún)①愖髌分?/strong>,增強(qiáng)作品的深度和創(chuàng)新性,不僅能充分激發(fā)選手們的創(chuàng)造性思維,還能讓高校學(xué)生不用擔(dān)心算力資源限制,上手實(shí)戰(zhàn)最新的AI大模型,達(dá)到以賽促學(xué)、以賽促用的效果。
此外,本屆大賽也十分關(guān)注華為根技術(shù)的生態(tài)發(fā)展,年輕人才加速涌入,可以增強(qiáng)軟件生態(tài)的韌性,應(yīng)對(duì)全球科技博弈的不確定挑戰(zhàn)。
為了讓更多開發(fā)者學(xué)習(xí)和使用華為根技術(shù),華為開發(fā)者空間為每位參賽選手準(zhǔn)備了一臺(tái)云主機(jī)、一套開發(fā)工具及云上存儲(chǔ)空間,讓開發(fā)者基于華為根生態(tài)創(chuàng)新。華為云為選手提供從工具到生態(tài)的全方位支持。
這些都是其他產(chǎn)業(yè)賽事很少具備的生態(tài)資源,也讓華為軟件精英挑戰(zhàn)賽作為國(guó)產(chǎn)軟件生態(tài)壯大的一支有生力量,幾乎無可替代。
正是這些特征,讓本屆華為軟件精英挑戰(zhàn)賽,成為年輕人才在大模型時(shí)代快速成長(zhǎng)起來的絕佳舞臺(tái)。而選手們以代碼為利器的存力攻堅(jiān)戰(zhàn),也為AI云存儲(chǔ)淬煉了一些優(yōu)秀算法。
在云存儲(chǔ)與AI算力深度融合的大模型時(shí)代,華為軟件精英挑戰(zhàn)賽以極具前瞻性的賽題設(shè)計(jì),揭示了云存儲(chǔ)作為數(shù)字底座對(duì)智能時(shí)代的基礎(chǔ)性價(jià)值,更通過華為云在真實(shí)場(chǎng)景下的技術(shù)攻堅(jiān),展現(xiàn)了根技術(shù)帶動(dòng)產(chǎn)業(yè)鏈升級(jí)的火車頭作用。
為什么是華為來做這件事?更深一步挖掘原因,會(huì)發(fā)現(xiàn)在技術(shù)創(chuàng)新、人才培養(yǎng)、研發(fā)投入,華為做了很多。
技術(shù)角度,華為在產(chǎn)業(yè)數(shù)智化和數(shù)智產(chǎn)業(yè)化方面,做了大量探索和實(shí)踐,可以從自身業(yè)務(wù)中凝練出更具挑戰(zhàn)性的賽題,讓人才站在巨人肩膀上去探索更前沿的命題,創(chuàng)新領(lǐng)先一步。
人才角度,人才培養(yǎng)是華為一直在做的事情,華為將多年來在ICT行業(yè)中積累的人才培養(yǎng)標(biāo)準(zhǔn)貢獻(xiàn)出來,聯(lián)合教育主管部門、高等院校、教育機(jī)構(gòu)和合作伙伴等各方生態(tài)角色,通過建設(shè)人才聯(lián)盟、融入人才標(biāo)準(zhǔn)等,強(qiáng)化國(guó)產(chǎn)化開發(fā)生態(tài),同時(shí)也通過舉辦產(chǎn)業(yè)賽事,全力支持年輕人不設(shè)限地發(fā)揮創(chuàng)造力。
投入方面,華為毫不吝嗇,堅(jiān)持每年將10%以上的銷售收入投入研究與開發(fā),近十年累計(jì)投入的研發(fā)費(fèi)用超過人民幣12490億元,2024年研發(fā)投入達(dá)到1797億元人民幣,約占全年收入的20.8%。
更務(wù)實(shí)一點(diǎn)來看,開發(fā)者想要參與到AI大模型的科創(chuàng)浪潮中,AI云服務(wù)靈活彈性、按需付費(fèi)等特點(diǎn),讓云平臺(tái)對(duì)開發(fā)者的吸引力與日俱增。華為云重度參與到比賽當(dāng)中,不僅有助于提高自身的產(chǎn)品競(jìng)爭(zhēng)力,也進(jìn)一步壯大了華為根生態(tài),成為華為的人才蓄水池,目前已經(jīng)有超2000名軟件精英通過大賽加入華為。
華為云CTO張宇昕在頒獎(jiǎng)總結(jié)致辭中表示,希望通過大賽找到一群志同道合的人,與華為一起攀登技術(shù)高峰,用軟件技術(shù)推動(dòng)科技進(jìn)步。
這種科技與人才互為表里的底蘊(yùn),是華為引領(lǐng)智能時(shí)代變革的核心競(jìng)爭(zhēng)力。
通過一場(chǎng)大賽,為存力強(qiáng)基,為人才固本,為根技術(shù)生態(tài)培源。年輕人才和元?jiǎng)?chuàng)新,得以源源不斷地生長(zhǎng)起來,這正是中國(guó)屹立于大模型時(shí)代的根源力量。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.