4月14日,小鵬汽車在香港舉辦AI技術分享會,首次對外展示其正在研發的超大規模自動駕駛大模型——“小鵬世界基座模型”,參數規模高達720億。這一模型將為小鵬汽車的“AI汽車”提供全新的智能大腦,并賦能其AI機器人、飛行汽車等業務。
小鵬世界基座模型以大語言模型為骨干網絡,通過海量優質駕駛數據訓練,具備視覺理解、鏈式推理和動作生成能力。通過強大的強化學習訓練,該模型不斷自我進化,有望發展出超越人類的自動駕駛技術。
小鵬汽車自動駕駛負責人李力耘介紹,該模型的一大優勢是具備鏈式推理能力(CoT),能夠像人類一樣進行復雜的常識推理,并將推理結果轉化為行動,實現與物理世界的交互。未來,智能駕駛系統有望借助這一模型從“模仿人類”進化到“超越人類”,處理全場景自動駕駛問題。
為了支持基座模型的研發,小鵬汽車早在去年就開始布局AI基礎設施,建成國內汽車行業首個萬卡智算集群,打造了一套名為“云端模型工廠”的生產流程。該工廠涵蓋了基座模型的預訓練、后訓練、模型蒸餾、車端模型訓練等任務,實現了從云到端的高效生產。
目前,小鵬“云端模型工廠”擁有10 EFLOPS的算力,集群運行效率常年保持在90%以上,從云到端的全鏈路迭代周期可達平均5天一次。此外,小鵬汽車自主開發了底層的數據基礎設施,使數據上傳規模提升22倍、訓練中的數據帶寬提升15倍,模型訓練速度提升了5倍。
在分享會上,小鵬汽車披露了基模研發的三個階段性成果:
驗證規模法則:小鵬團隊首次驗證了規模法則在自動駕駛領域持續生效,即參數規模和訓練數據量越大,模型的能力越強。
基模控車:小鵬汽車在后裝算力的車端成功實現基模控車,全新基模展現出令人驚喜的基礎駕車技能。
啟動72B參數基模訓練:小鵬汽車已經啟動72B參數基模的訓練,并搭建了針對強化學習的模型訓練框架。
小鵬汽車去年就開始研發強化學習技術,用以提升基座模型的性能天花板。強化學習能夠幫助模型自我進化,學會處理訓練數據中沒有的長尾問題,做到極致安全的自動駕駛。
同時,小鵬汽車已經著手開發世界模型(World Model),作為“云端模型工廠”的重要一環,支持基座模型的性能優化。這一實時建模和反饋系統能夠構建一個閉環的反饋網絡,幫助基座模型不斷進化,突破過去“模仿學習”的天花板。
基模研發是小鵬汽車“AI化”轉型的重要一步,小鵬汽車將繼續在自動駕駛領域投入研發,推動智能汽車技術的發展。關于小鵬世界基座研發和訓練成果更多的細節,今年6月小鵬汽車將會在計算機視覺國際頂會CVPR上進一步分享,值得期待。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.