由于AI應用更廣泛落地、DeepSeek爆火,以及海外AI算力供應鏈不確定性增加,國內市場對于AI算力的認知已發生明顯轉向,中國AI基建迎來2.0版本:混合AI算力時代。
多重因素疊加,讓更多的算力需求正明確向推理場景集中,國產芯片多有上桌潛力。
有媒體報道,目前在某些業務場景中,推理的算力需求占比甚至已達80%。由于推理場景對GPU峰值性能的要求相對較低,這意味著更多規格的國產GPU已具備支持大模型應用的能力,存量海外AI芯片與國產芯片混合部署,將成為企業AI算力新常態。
因此,跨芯片的算力管理需求也更加迫切。
某頭部證券公司AI負責人坦言:“我們的數百張GPU卡,實際利用率不足30%,但業務部門仍在不斷要求擴容?!逼浔澈蟮脑蚴牵簜鹘y物理卡部署模式下,同一個GPU集群難以跨場景滿足需求,導致歷史囤積在某一需求側的算力資源閑置,而另一個新崛起的需求側算力資源匱乏。
再加上,不同類型芯片具有不同的技術架構,海外芯片+國產芯片混合部署成為新常態,更凸顯了跨芯片算力管理的需求。
這種背景下,行業需要的往往不是更多的算力供給,而是一個能精準調度現有資源的“算力分發工具”。
而所有捕捉到這一認知轉向的廠商中,京東云的思路尤為清晰。
目前,京東云已推出的vGPU AI算力平臺,采用GPU算力池化技術和異構算力統一管理方案,形成全棧自研算力平臺,直指算力調度的效能優化。這一架構聚焦目前智能算力市場的三大困境:GPU資源空轉閑置、異構資源管理困難、安全和性能難以兼得。
構思這樣一套的整體解決方案并不難,難在落地實現。京東云當前所擁有的落地經驗,背后是因為京東自身早已面對過算力調度效能低下的“切膚之痛”。
01、真實需求,往往最先來自內部
早在2023年,京東云vGPU AI算力平臺就已在內部布局,并將相關方案推向外部。
根據京東云對外發布的資料,2023年5月,京東云已經推出GPU算力切分、融合算力彈性輸出等解決方案,面向政務、國企、金融,醫療,教育等場景。顯然,這些方案只有得到過內部驗證才會推向市場。
幾個月后,這些方案對外有了更清晰的描述:“在原有支持混合多云CPU+GPU異構算力池化能力基礎上,針對大模型場景,支持訓練+微調+推理混合部署,進一步增加了針對AI應用所需的調度管理能力,提供一站式算力池化解決方案,算力利用率提升70%,全面推動大模型應用落地降本增效。”
這已經十分接近京東云現有的算力池化異構方案,更關鍵在于,“降本增效”、“大模型場景”的背后,是2023當年京東自己面臨的兩重處境。
其一,2023年京東自身也在注重降本增效,提升算力資源的利用率,自然也會是降本增效的一環。其二,2023年是國內大模型元年,在保持降本增效的基礎上,京東云也需要即時針對各種大模型的部署做出適配方案。
切身體會過客戶的痛點,對外合作推進也會更加順利。截止到2024年底,京東云vGPU AI算力平臺已經落地多個標桿案例,其中就不乏華夏基金、某頭部證券公司等客戶。
而到了 2025 年,京東云由內向外發掘到的需求,變成了整個行業的共同訴求。
在今年AI應用更廣泛落地的背景之下,算力在推理階段的需求持續增加。根據此前 IDC 的最新數據,預計在 2025 年,用于推理的工作負載的芯片將進一步增加到 67% 。而在一些特定場景中,這一需求比例甚至會達到 80% 。
與此同時目前在芯片市場,全球AI芯片行業仍然由英偉達掌握主要市場份額。根據摩根斯坦利分析,2024年全球生產的AI芯片晶圓中,英偉達占到51%,預計2025年將達到77% 。
但海外AI算力供應鏈不確定性依然在加劇,推理場景對GPU峰值性能的要求相對較低,這使得國產芯片更具上桌資格。于國內企業而言,芯片混合部署成為新常態。
另一方面,DeepSeek爆火進一步助推了算力向推理場景轉移,隨之而來的則是能夠提升算力利用率的智算軟硬一體相關的產品也“一夜爆火”。
但無論是算力向推理場景轉移、芯片混合部署,還是企業提升算力利用率的需求,亦或者智算軟硬一體方案這些產品,就像京東云早在2023年就已捕捉并布局一樣,這些情況其實一直存在,只是DeepSeek成了催化劑。
智算軟硬一體解決方案已成為算力管理的整體趨勢,而在這一賽道的各種硬件類廠商和互聯網云廠,各有其優勢。
對于硬件廠商來說,智算方案的核心支撐無疑是硬件一體機,而像浪潮信息、新華三等硬件廠,算是最早搶占一體機“紅利風口”的主角。至于互聯網云廠商,它們的王牌,則是自身強大的軟件平臺和完善的生態系統。
更進一步而言,僅看互聯網云廠,京東云的優勢算是一枝獨秀的一類。相比起較小的軟件廠,京東云背靠集團資源,無技術斷供風險,支持“硬件+軟件+運維”全棧服務;而比起其他互聯網云廠商,相較于他們只支持將vGPU與其他諸多系統能力打包整體輸出,京東云支持獨立輸出、無綁定云底座的架構,滿足私有化與混合部署需求。
依靠自身對于場景痛點理解和解決經驗的積累,京東云精準錨定了算力管理解決方案這一戰略高地。
02、技術進化,每個迭代都有意義
“在降本增效的同時部署大模型”,京東云vGPU AI算力平臺的技術架構有自己的思考路徑。
針對算力資源浪費這一核心問題,一般來講首先需要將物理GPU的算力池化,切成小份后放到一個池子中再進行按需分配。然而事實上,GPU算力池化本身的難點也在于,切分時的粒度粗造成資源浪費。
比如每個池化后的GPU都會占據物理GPU一定比例(通常是10%以上)的算力,當任務所需的GPU算力低于10%時,池化GPU本身的算力損耗都會超過任務所需,這非但沒有降本增效,甚至加重了算力負擔。常規操作系統層面的GPU算力池化算法通常只能實現粗顆粒度的虛擬化,導致適得其反的情況很容易出現。
而京東云憑借自己的GPU算力切分技術,以內核級1%算力和MB級顯存的細粒度切分與池化能力,將單卡分割為多個虛擬實例,實現了資源的動態分配。
落地到業務層面,這一技術已明確產生效能提升。京東云合作的華夏基金將物理GPU資源進行了細粒度的切分,使得華夏基金的GPU利用率最高提升了70%,大幅降低大模型推理成本。
另一方面,不同類型芯片混合部署后,由于不同廠商的GPU或國產芯片在架構、指令集、通信庫等方面存在顯著差異,導致異構設備間協同困難。例如,英偉達GPU與國產芯片的通信庫無法直接互通,需通過CPU中轉或定制中間層適配,這增加了開發成本并可能引入性能損耗。
但京東云能夠提供多元異構算力資源的統一管理,有效屏蔽異構算力復雜性,并兼容國內外主流深度學習AI框架,幫助客戶快速構建面向大模型的訓推一體化高性能基礎設施,降低運維復雜度。
據《新立場》了解,某知名證券公司原有集群GPU資源分散,整體利用率長期徘徊在25%。部署京東云vGPU AI算力平臺后,推理任務資源滿足率從65%提升至98%。
除了上述核心技術層面的解決方案,京東云著重打磨的更多細節,以及一系列生產級產品化的疊加和補充措施,非常值得關注。
在基礎性能層面,如何盡可能提高整體的系統吞吐量和并發數;在模型調度層面,如何針對各個大模型技術特點進行有針對性的優化;在模型架構、計算策略和資源管理等方面,MOE、MTP、專家并行、MRA等策略如何能有更好的發揮空間;如何在部署層面,滿足不同客戶的需求……京東云都有自己的答案。
比如京東云的全棧自研算力平臺,通過內核態攔截和推理引擎加速,內核驅動級優化提升了單臺服務器推理性能的50% 。
又如,京東云提供了五種全場景大模型部署模式,包括云端部署、邊緣部署、混合部署、本地部署和定制化部署。
再者,針對企業都會關心的安全問題,京東云借助AI全密態機密容器能力,確保模型參數與訓練數據雙域零泄露,為用戶提供金融級安全防護。
能將真實場景的需求理解得如此透徹,源于京東云早已落地多個金融領域標桿案例提供的底氣。而金融,恰恰是對數據安全等方面最敏感的領域之一。
03、聯動生態,保持業務場景敏銳
如前文所言,金融是對數據安全等方面最敏感的領域之一,長期服務高標準,為京東云鍛造出成熟的技術。
據悉,除了上述所說的華夏基金及某知名證券公司,京東云已繼續中標其他金融領域客戶。
金融數據涵蓋賬戶詳情、交易流水、風險測評及信用檔案等高度敏感信息。其安全直接關乎客戶隱私保護和金融資產安全,更關系到整個金融系統的穩定與發展。據調研,企業一旦發生數據泄露,其會損失高達數倍于用戶的預期補償。
安全需求與金融企業的生存邏輯深度綁定,京東云長期沉浸在這樣的需求強度之下,對金融場景也已有了不少積累,而這樣的服務能力也足以服務金融以外的其他領域,能源、交通行業的服務也更容易水到渠成。
另一方面,目前來看DeepSeek帶起的智算解決方案熱潮,讓市場認知拉通已基本完成,客戶需求開始回歸更本質的層面。
此前有其他媒體分享,在這段時間市場爆發之下,客戶在選擇智算軟硬一體解決方案上具有選擇困難:滿血版還是蒸餾版?后續選擇什么樣的芯片?推理場景的算力需要占比到多少?
還有部分服務亂象:有廠家售賣的所謂一體機,只是“計算平臺+推理框架+預裝大模型”,沒有智能體平臺和操作界面,仍是開發機;有的廠家打著滿血版的名義,卻給客戶部署蒸餾的模型;有廠家四處東拼西湊出一體機,交付時卻不負責匹配場景;甚至有些服務團隊并不理解業務場景,即使有心完整服務,項目落地時,客戶也容易一頭霧水。
在這種情況下,客戶需要的不止技術性能,還有服務團隊服務的完整性,以及對業務場景的理解能力。
而前文也提到,京東云做智算平臺原本就是來自內生需求,其更能理解降低客戶理解產品成本的重要性,目前京東云已經提供從模型開發到部署的一站式服務。
京東云vGPU AI算力平臺的“模型廣場”已集成DeepSeek 等多類大模型,企業可快速調用適配自身場景的AI能力,避免從零開發的重投入。
而不止外部大模型,京東基于內部場景研發的言犀大模型,擅長把供應鏈做透,適配于知識密集型、任務型產業場景;另外還有今年3月對外開源的京東健康醫療領域的大模型“京醫千詢”,該模型已經實現了在醫療健康行業的規模化、全場景落地應用。
在模型層面京東就已對業務場景充分吃透,當這些模型集成到京東云vGPU AI算力平臺上時,京東云本身也在聯動京東生態,以保持敏感能夠更好服務客戶。
從“樣板間”到“商品房”,平臺只要一直聯動背后的京東生態,就會一直保持對業務場景的敏銳。
04、寫在最后
如同亞馬遜AWS從內部需求孵化出云計算帝國,京東云vGPU AI算力平臺的誕生亦是“自我驗證”的必然。
京東云的真正優勢,在于將自身業務的高復雜度轉化為行業解決方案的普適性,京東云的故事,或許正是中國算力突圍的縮影。
京東云vGPU AI算力平臺通過統一調度、細粒度切割與自主可控,為行業提供了從“ survival”(生存)到“thrive”(繁榮)的路徑,隨著國產芯片性能提升與大模型更廣泛地落地應用,京東云正從“技術供應商”邁向“生態規則制定者”。
此時我們不免回想起1月份讓英偉達暴跌的那個周一,彼時就有分析師認為,DeepSeek的爆火并非做空英偉達,而是放大了市場對于唯芯片論的分歧。
典型如京東云,算力管理提升利用率的思路一直存在,而DeepSeek這條鯰魚讓其成為提前踩中趨勢的角色。
*題圖及文中配圖來源于網絡。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.