99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

混合算力成為常態,大模型如何落地

0
分享至



由于AI應用更廣泛落地、DeepSeek爆火,以及海外AI算力供應鏈不確定性增加,國內市場對于AI算力的認知已發生明顯轉向,中國AI基建迎來2.0版本:混合AI算力時代。

多重因素疊加,讓更多的算力需求正明確向推理場景集中,國產芯片多有上桌潛力。

有媒體報道,目前在某些業務場景中,推理的算力需求占比甚至已達80%。由于推理場景對GPU峰值性能的要求相對較低,這意味著更多規格的國產GPU已具備支持大模型應用的能力,存量海外AI芯片與國產芯片混合部署,將成為企業AI算力新常態。

因此,跨芯片的算力管理需求也更加迫切。

某頭部證券公司AI負責人坦言:“我們的數百張GPU卡,實際利用率不足30%,但業務部門仍在不斷要求擴容?!逼浔澈蟮脑蚴牵簜鹘y物理卡部署模式下,同一個GPU集群難以跨場景滿足需求,導致歷史囤積在某一需求側的算力資源閑置,而另一個新崛起的需求側算力資源匱乏。

再加上,不同類型芯片具有不同的技術架構,海外芯片+國產芯片混合部署成為新常態,更凸顯了跨芯片算力管理的需求。

這種背景下,行業需要的往往不是更多的算力供給,而是一個能精準調度現有資源的“算力分發工具”。

而所有捕捉到這一認知轉向的廠商中,京東云的思路尤為清晰。

目前,京東云已推出的vGPU AI算力平臺,采用GPU算力池化技術和異構算力統一管理方案,形成全棧自研算力平臺,直指算力調度的效能優化。這一架構聚焦目前智能算力市場的三大困境:GPU資源空轉閑置、異構資源管理困難、安全和性能難以兼得。

構思這樣一套的整體解決方案并不難,難在落地實現。京東云當前所擁有的落地經驗,背后是因為京東自身早已面對過算力調度效能低下的“切膚之痛”。

01、真實需求,往往最先來自內部

早在2023年,京東云vGPU AI算力平臺就已在內部布局,并將相關方案推向外部。

根據京東云對外發布的資料,2023年5月,京東云已經推出GPU算力切分、融合算力彈性輸出等解決方案,面向政務、國企、金融,醫療,教育等場景。顯然,這些方案只有得到過內部驗證才會推向市場。

幾個月后,這些方案對外有了更清晰的描述:“在原有支持混合多云CPU+GPU異構算力池化能力基礎上,針對大模型場景,支持訓練+微調+推理混合部署,進一步增加了針對AI應用所需的調度管理能力,提供一站式算力池化解決方案,算力利用率提升70%,全面推動大模型應用落地降本增效。”

這已經十分接近京東云現有的算力池化異構方案,更關鍵在于,“降本增效”、“大模型場景”的背后,是2023當年京東自己面臨的兩重處境。

其一,2023年京東自身也在注重降本增效,提升算力資源的利用率,自然也會是降本增效的一環。其二,2023年是國內大模型元年,在保持降本增效的基礎上,京東云也需要即時針對各種大模型的部署做出適配方案。

切身體會過客戶的痛點,對外合作推進也會更加順利。截止到2024年底,京東云vGPU AI算力平臺已經落地多個標桿案例,其中就不乏華夏基金、某頭部證券公司等客戶。

而到了 2025 年,京東云由內向外發掘到的需求,變成了整個行業的共同訴求。

在今年AI應用更廣泛落地的背景之下,算力在推理階段的需求持續增加。根據此前 IDC 的最新數據,預計在 2025 年,用于推理的工作負載的芯片將進一步增加到 67% 。而在一些特定場景中,這一需求比例甚至會達到 80% 。

與此同時目前在芯片市場,全球AI芯片行業仍然由英偉達掌握主要市場份額。根據摩根斯坦利分析,2024年全球生產的AI芯片晶圓中,英偉達占到51%,預計2025年將達到77% 。



但海外AI算力供應鏈不確定性依然在加劇,推理場景對GPU峰值性能的要求相對較低,這使得國產芯片更具上桌資格。于國內企業而言,芯片混合部署成為新常態。

另一方面,DeepSeek爆火進一步助推了算力向推理場景轉移,隨之而來的則是能夠提升算力利用率的智算軟硬一體相關的產品也“一夜爆火”。

但無論是算力向推理場景轉移、芯片混合部署,還是企業提升算力利用率的需求,亦或者智算軟硬一體方案這些產品,就像京東云早在2023年就已捕捉并布局一樣,這些情況其實一直存在,只是DeepSeek成了催化劑。

智算軟硬一體解決方案已成為算力管理的整體趨勢,而在這一賽道的各種硬件類廠商和互聯網云廠,各有其優勢。

對于硬件廠商來說,智算方案的核心支撐無疑是硬件一體機,而像浪潮信息、新華三等硬件廠,算是最早搶占一體機“紅利風口”的主角。至于互聯網云廠商,它們的王牌,則是自身強大的軟件平臺和完善的生態系統。

更進一步而言,僅看互聯網云廠,京東云的優勢算是一枝獨秀的一類。相比起較小的軟件廠,京東云背靠集團資源,無技術斷供風險,支持“硬件+軟件+運維”全棧服務;而比起其他互聯網云廠商,相較于他們只支持將vGPU與其他諸多系統能力打包整體輸出,京東云支持獨立輸出、無綁定云底座的架構,滿足私有化與混合部署需求。

依靠自身對于場景痛點理解和解決經驗的積累,京東云精準錨定了算力管理解決方案這一戰略高地。

02、技術進化,每個迭代都有意義

“在降本增效的同時部署大模型”,京東云vGPU AI算力平臺的技術架構有自己的思考路徑。

針對算力資源浪費這一核心問題,一般來講首先需要將物理GPU的算力池化,切成小份后放到一個池子中再進行按需分配。然而事實上,GPU算力池化本身的難點也在于,切分時的粒度粗造成資源浪費。

比如每個池化后的GPU都會占據物理GPU一定比例(通常是10%以上)的算力,當任務所需的GPU算力低于10%時,池化GPU本身的算力損耗都會超過任務所需,這非但沒有降本增效,甚至加重了算力負擔。常規操作系統層面的GPU算力池化算法通常只能實現粗顆粒度的虛擬化,導致適得其反的情況很容易出現。

而京東云憑借自己的GPU算力切分技術,以內核級1%算力和MB級顯存的細粒度切分與池化能力,將單卡分割為多個虛擬實例,實現了資源的動態分配。



落地到業務層面,這一技術已明確產生效能提升。京東云合作的華夏基金將物理GPU資源進行了細粒度的切分,使得華夏基金的GPU利用率最高提升了70%,大幅降低大模型推理成本。

另一方面,不同類型芯片混合部署后,由于不同廠商的GPU或國產芯片在架構、指令集、通信庫等方面存在顯著差異,導致異構設備間協同困難。例如,英偉達GPU與國產芯片的通信庫無法直接互通,需通過CPU中轉或定制中間層適配,這增加了開發成本并可能引入性能損耗。

但京東云能夠提供多元異構算力資源的統一管理,有效屏蔽異構算力復雜性,并兼容國內外主流深度學習AI框架,幫助客戶快速構建面向大模型的訓推一體化高性能基礎設施,降低運維復雜度。

據《新立場》了解,某知名證券公司原有集群GPU資源分散,整體利用率長期徘徊在25%。部署京東云vGPU AI算力平臺后,推理任務資源滿足率從65%提升至98%。

除了上述核心技術層面的解決方案,京東云著重打磨的更多細節,以及一系列生產級產品化的疊加和補充措施,非常值得關注。

在基礎性能層面,如何盡可能提高整體的系統吞吐量和并發數;在模型調度層面,如何針對各個大模型技術特點進行有針對性的優化;在模型架構、計算策略和資源管理等方面,MOE、MTP、專家并行、MRA等策略如何能有更好的發揮空間;如何在部署層面,滿足不同客戶的需求……京東云都有自己的答案。

比如京東云的全棧自研算力平臺,通過內核態攔截和推理引擎加速,內核驅動級優化提升了單臺服務器推理性能的50% 。

又如,京東云提供了五種全場景大模型部署模式,包括云端部署、邊緣部署、混合部署、本地部署和定制化部署。

再者,針對企業都會關心的安全問題,京東云借助AI全密態機密容器能力,確保模型參數與訓練數據雙域零泄露,為用戶提供金融級安全防護。

能將真實場景的需求理解得如此透徹,源于京東云早已落地多個金融領域標桿案例提供的底氣。而金融,恰恰是對數據安全等方面最敏感的領域之一。

03、聯動生態,保持業務場景敏銳

如前文所言,金融是對數據安全等方面最敏感的領域之一,長期服務高標準,為京東云鍛造出成熟的技術。

據悉,除了上述所說的華夏基金及某知名證券公司,京東云已繼續中標其他金融領域客戶。

金融數據涵蓋賬戶詳情、交易流水、風險測評及信用檔案等高度敏感信息。其安全直接關乎客戶隱私保護和金融資產安全,更關系到整個金融系統的穩定與發展。據調研,企業一旦發生數據泄露,其會損失高達數倍于用戶的預期補償。

安全需求與金融企業的生存邏輯深度綁定,京東云長期沉浸在這樣的需求強度之下,對金融場景也已有了不少積累,而這樣的服務能力也足以服務金融以外的其他領域,能源、交通行業的服務也更容易水到渠成。



另一方面,目前來看DeepSeek帶起的智算解決方案熱潮,讓市場認知拉通已基本完成,客戶需求開始回歸更本質的層面。

此前有其他媒體分享,在這段時間市場爆發之下,客戶在選擇智算軟硬一體解決方案上具有選擇困難:滿血版還是蒸餾版?后續選擇什么樣的芯片?推理場景的算力需要占比到多少?

還有部分服務亂象:有廠家售賣的所謂一體機,只是“計算平臺+推理框架+預裝大模型”,沒有智能體平臺和操作界面,仍是開發機;有的廠家打著滿血版的名義,卻給客戶部署蒸餾的模型;有廠家四處東拼西湊出一體機,交付時卻不負責匹配場景;甚至有些服務團隊并不理解業務場景,即使有心完整服務,項目落地時,客戶也容易一頭霧水。

在這種情況下,客戶需要的不止技術性能,還有服務團隊服務的完整性,以及對業務場景的理解能力。

而前文也提到,京東云做智算平臺原本就是來自內生需求,其更能理解降低客戶理解產品成本的重要性,目前京東云已經提供從模型開發到部署的一站式服務。

京東云vGPU AI算力平臺的“模型廣場”已集成DeepSeek 等多類大模型,企業可快速調用適配自身場景的AI能力,避免從零開發的重投入。

而不止外部大模型,京東基于內部場景研發的言犀大模型,擅長把供應鏈做透,適配于知識密集型、任務型產業場景;另外還有今年3月對外開源的京東健康醫療領域的大模型“京醫千詢”,該模型已經實現了在醫療健康行業的規模化、全場景落地應用。

在模型層面京東就已對業務場景充分吃透,當這些模型集成到京東云vGPU AI算力平臺上時,京東云本身也在聯動京東生態,以保持敏感能夠更好服務客戶。

從“樣板間”到“商品房”,平臺只要一直聯動背后的京東生態,就會一直保持對業務場景的敏銳。

04、寫在最后

如同亞馬遜AWS從內部需求孵化出云計算帝國,京東云vGPU AI算力平臺的誕生亦是“自我驗證”的必然。

京東云的真正優勢,在于將自身業務的高復雜度轉化為行業解決方案的普適性,京東云的故事,或許正是中國算力突圍的縮影。

京東云vGPU AI算力平臺通過統一調度、細粒度切割與自主可控,為行業提供了從“ survival”(生存)到“thrive”(繁榮)的路徑,隨著國產芯片性能提升與大模型更廣泛地落地應用,京東云正從“技術供應商”邁向“生態規則制定者”。

此時我們不免回想起1月份讓英偉達暴跌的那個周一,彼時就有分析師認為,DeepSeek的爆火并非做空英偉達,而是放大了市場對于唯芯片論的分歧。

典型如京東云,算力管理提升利用率的思路一直存在,而DeepSeek這條鯰魚讓其成為提前踩中趨勢的角色。

*題圖及文中配圖來源于網絡。

聲明:個人原創,僅供參考

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
新型的賣淫方式已出現了,真的讓人防不勝防,每個人都要警惕!

新型的賣淫方式已出現了,真的讓人防不勝防,每個人都要警惕!

小熊侃史
2024-12-06 07:10:14
美國回應了!在中國進行嚴正交涉之后,美國斬釘截鐵的回絕中國!

美國回應了!在中國進行嚴正交涉之后,美國斬釘截鐵的回絕中國!

小企鵝侃世界
2025-05-31 14:35:38
阿斯:皇馬今夏簽中場只是過渡選項,終極目標是明年簽羅德里

阿斯:皇馬今夏簽中場只是過渡選項,終極目標是明年簽羅德里

懂球帝
2025-05-31 21:25:15
汪小菲夫婦回臺北陪孩子過六一,小梅鄭重回復黑粉關于大S的言論

汪小菲夫婦回臺北陪孩子過六一,小梅鄭重回復黑粉關于大S的言論

情感大頭說說
2025-06-01 00:53:56
東京地鐵的現狀:每天吸金超8億日元,各國地鐵看完直接沉默了……

東京地鐵的現狀:每天吸金超8億日元,各國地鐵看完直接沉默了……

掘金日本房產
2025-05-31 22:30:45
俄羅斯“瘋狂”威脅德國,同時從莫斯科撤離重要資產

俄羅斯“瘋狂”威脅德國,同時從莫斯科撤離重要資產

山河路口
2025-05-29 18:37:53
醫院人妻通奸后續:開房幾十次,多次用咬,人妻美照曝光

醫院人妻通奸后續:開房幾十次,多次用咬,人妻美照曝光

蜉蝣說
2024-10-24 16:07:30
《老九門2》官宣演員陣容,原班人馬僅陳偉霆一人回歸,讓人唏噓

《老九門2》官宣演員陣容,原班人馬僅陳偉霆一人回歸,讓人唏噓

芊手若
2025-05-31 22:40:49
幾十年過去孫悟空還能認出當初喂桃給他吃的小牧童,這說明了什么

幾十年過去孫悟空還能認出當初喂桃給他吃的小牧童,這說明了什么

娛樂圈人物大賞
2025-05-29 00:15:06
土豪圓夢了!卡塔爾財團入主巴黎14年,天價砸錢買人無數終奪歐冠

土豪圓夢了!卡塔爾財團入主巴黎14年,天價砸錢買人無數終奪歐冠

直播吧
2025-06-01 05:21:13
美專家:中國不可怕,可怕的是我們仍用中國四千年前就淘汰的產物

美專家:中國不可怕,可怕的是我們仍用中國四千年前就淘汰的產物

混沌錄
2025-05-31 16:36:14
S媽又和汪小菲扛上了,這回連聊天記錄都被扒了出來

S媽又和汪小菲扛上了,這回連聊天記錄都被扒了出來

一盅情懷
2025-05-30 16:46:03
“內鬼”李卓勛,任上被查

“內鬼”李卓勛,任上被查

政知新媒體
2025-05-31 17:47:38
困難重重!朝鮮在打撈傾覆的新驅逐艦時發現嚴重問題

困難重重!朝鮮在打撈傾覆的新驅逐艦時發現嚴重問題

軍迷戰情室
2025-05-29 23:49:09
解放軍對賴清德稱呼變了,為未來采取非和平手段,做好輿論準備?

解放軍對賴清德稱呼變了,為未來采取非和平手段,做好輿論準備?

阿芒娛樂說
2025-05-30 13:04:23
辛柏青近況引人擔憂,好友透露:他說不出話,印證了李乃文的擔心

辛柏青近況引人擔憂,好友透露:他說不出話,印證了李乃文的擔心

頭號劇委會
2025-05-29 20:42:33
陳妤頡跑出半世紀中國最佳戰績 優秀氣質助她成為未來世界級跑將

陳妤頡跑出半世紀中國最佳戰績 優秀氣質助她成為未來世界級跑將

威猛孟巍
2025-06-01 03:32:52
美國展出唐伯虎10米真跡,估值超過100億,不愧是“頂級才子”!

美國展出唐伯虎10米真跡,估值超過100億,不愧是“頂級才子”!

書法網
2025-05-29 18:14:37
她們一邊做飯一邊賣淫

她們一邊做飯一邊賣淫

法律讀品
2025-05-05 17:24:28
周總理只是讓他經商,給黨賺取經費,他卻給組織賺回一個商業帝國

周總理只是讓他經商,給黨賺取經費,他卻給組織賺回一個商業帝國

博覽歷史
2025-05-23 17:54:35
2025-06-01 08:32:49
新立場NewPosition incentive-icons
新立場NewPosition
商業解讀,科技銳評,數碼生活
585文章數 485關注度
往期回顧 全部

科技要聞

1小時大定破千,余承東:尊界S800是個開端

頭條要聞

只剩幾堵墻的別墅被拍出2683萬元高價 疑2年前已被拆

頭條要聞

只剩幾堵墻的別墅被拍出2683萬元高價 疑2年前已被拆

體育要聞

亞錦賽女子200米:16歲陳妤頡22秒97奪金

娛樂要聞

張柏芝曬端午vlog!大兒子送禮物

財經要聞

中汽協倡議:反對“內卷式”惡性競爭

汽車要聞

續航超1000km/增程動力 上汽大眾ID.ERA深圳車展亮相

態度原創

時尚
藝術
數碼
房產
旅游

7款復購2次以上的香香好物!誰用誰好聞!

藝術要聞

故宮珍藏的墨跡《十七帖》,比拓本更精良,這才是地道的魏晉寫法

數碼要聞

機械革命星耀 14 筆記本開售,首發 4999 元起

房產要聞

金地華南落子海南自貿港22萬㎡標桿項目,夯實代建行業領軍者地位

旅游要聞

熱聞|清明假期將至,熱門目的地有哪些?

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 沂水县| 华池县| 莎车县| 汕尾市| 舒城县| 西和县| 绥化市| 青岛市| 安西县| 蚌埠市| 黄陵县| 定边县| 黄山市| 安图县| 长武县| 唐山市| 桐柏县| 新蔡县| 南涧| 东海县| 澳门| 黔江区| 平阴县| 东莞市| 汉沽区| 琼海市| 绥棱县| 德令哈市| 呼伦贝尔市| 安塞县| 铜梁县| 陆河县| 姜堰市| 马公市| 荃湾区| 青铜峡市| 白水县| 新宾| 元谋县| 河源市| 大丰市|