作者 | Jessica
郵箱 | Jessica@pingwest.com
“CVPR的注冊隊伍現在在大廳里來回繞了2.5圈。如果你還沒到,可以睡個懶覺——等待時間至少45分鐘。”
6月14日,全球計算機視覺頂會CVPR 2025在美國納什維爾落下帷幕的前一天,社交媒體上仍有人在“抱怨”著入場的長隊,而這只是今年大會火爆程度的一個縮影。
整座城市都因上萬名 AI 研究者的涌入改變了節奏:機場里,背著電腦包、戴著參會證的人隨處可見;市中心的酒店幾乎全滿;會場走廊里,抱著電腦席地工作的研究者、匆匆穿梭于各個分會場的人群、永遠排成長龍的咖啡區,共同構成了這場 AI 盛會最典型的風景。
論文海報展示區人頭攢動 | 圖源:IEEE ComputerSociety推特
今年 CVPR 的競爭異常激烈。官方數據顯示,大會共收到創紀錄的 13,008 篇論文投稿,最終錄取率則是歷屆新低,僅為 22.1%。能獲得口頭報告(Oral)機會的更是鳳毛麟角,只有 96 篇,占比約 3.3%。
在海量的論文和討論中,兩大技術風向標尤為明確。其一,3D視覺正迎來爆發前夜,成為高質量研究成果和demo展示最密集的領域。本屆的最佳論文VGGT,就是一個能高效地從2D圖片中重建3D信息的端到端方案,一作王建元是華人研究員。其二,“世界模型”一詞無處不在,頻繁出現在各種論文、海報和研討會中,成為全場熱議的焦點。另外,包括謝賽寧、蘇昊、鄭奇立在內的多位華人學者亦獲得多項獎項與提名,中國研究員的活躍度和影響力持續提升。
與此同時,一個更宏觀的趨勢是:CVPR的學術界與產業界邊界正在快速模糊。會場隨處可見Meta、Google、NVIDIA的logo,大量參會者佩戴企業工牌,“從論文到產品”成為熱門議題。一位連續參會者告訴我們,今年的CVPR更像是一場技術和產業界緊密結合的大集市,一個全球視野下技術人才、成果、場景三位一體的競速場。
而就在“前沿技術趨勢”、“產業深度融合”和“華人力量崛起”這三大焦點的交匯處,一個來自中國的身影顯得尤為特別。
在今年CVPR自動駕駛分論壇(WAD)上,小鵬世界基座模型負責人劉先明發表了題為《Scaling up Autonomous Driving via Large Foundation Models》的主題演講。與眾多“論文參會型”企業不同,小鵬汽車是作為唯一受邀的中國車企,帶著在工業領域的重磅實踐經驗登場。當其他參會者分享還在探討“如何將研究成果應用于產業”時,他們的主題恰恰相反:如何用產業的真實數據和研發經驗,來推動基礎科研的邊界。
劉先明在CVPR 2025 WAD分論壇。| 圖源:硅星人
講臺上,劉先明的開場白簡單直接:
“我大概是今天唯一一個來自大規模量產汽車公司的分享者。”
這番話點明了演講的獨特視角:接下來的內容,將來自一個每天處理真實道路、真實用戶和海量量產車數據的研發團隊。在場的AI學者們將聽到的,不再是純粹的理論推演,而是一套在產業一線被反復捶打和驗證過的解題思路。
這是小鵬自今年 4 月發布 720 億參數的“世界基座模型”以來,首次在國際學術頂會上完整披露其自動駕駛研發進展。不僅帶來了工業界首次對“擴展法則”(Scaling Law)在自動駕駛領域的系統性驗證,結合“云端基座模型 + 強化學習”的方法論,還公開了已被 DeepSeek 驗證的“知識蒸餾”路徑,將 VLA(Visual-Language-Action)模型高效部署在自研芯片上的最新實踐。
一場由“工業界反哺學術界”的大型案例分享,就此展開。
1
軟件3.0:先造好“駕駛大腦”,再考慮怎么上車
在劉先明看來,自動駕駛軟件正在經歷一場范式革命。從十年前靠C++ 規則堆砌的“軟件 1.0”, 到引入模型來逐步替代軟件、漸漸發展到“模型即軟件”的“軟件 2.0”,再到如今小鵬全面投入的“軟件 3.0”階段,核心理念已經發生了根本性轉變,“軟件3.0”時代的最大特點是用模型生產模型。
在小鵬汽車的實踐中,就是先“不計成本”地把最聰明、最強大的“駕駛大腦”在云端訓練出來,暫時不用考慮車上那塊小芯片的計算能力。等到云端模型能力足夠強大,再通過技術手段將其蒸餾成適合車端運行的版本。目前,小鵬訓練的這個“完全體”基座模型,參數規模高達720億(72B),是現在行業主流VLA模型的35倍以上。
模型背后,是一座真正意義上的“云端模型工廠:它擁有算力達10EFLOPS、上萬張GPU卡的智算集群,并采用專門優化的數據傳輸架構,將訓練速度提升了5倍。更重要的是它的“數據引擎”——一個龐大且持續運轉的數據飛輪。
相比很多公司要依賴有限的公開數據集或單次采集任務,小鵬的一大優勢在于,其數據采集能力“不受限制”,直接來自大規模量產車隊。小鵬汽車的基座模型累計處理了超過5000萬段30秒視頻片段,總計超40萬小時訓練數據,平均每天上傳數據達600TB,這些數據全都來自真實世界、真實場景。這些數據采集由超過100種觸發機制驅動,確保了數據的多樣性和價值。
圖源:小鵬汽車
更重要的是,這些數據并非“采了就用”,而是通過一套“內外雙循環系統”持續驅動模型進化。
劉先明在演講中介紹,“我們的基座模型不是靜態的,它在持續學習、循環進化(Continued Online Learning)。可以把模型的迭代過程分成內、外兩個循環,內循環是指包含預訓練、后訓練(包括監督精調SFT和強化學習RL)和蒸餾部署的模型訓練過程;外循環,是指模型在車端部署之后,持續獲取新的駕駛數據和用戶反饋,數據回流云端,繼續用于云端基模的訓練。”
正是這種“數據飛輪”機制,讓小鵬的大模型訓練始終處在動態進化狀態,也為攻克自動駕駛行業長期面臨的“長尾場景”難題提供了充足的數據保障。
現場觀眾評價小鵬汽車“軟件3.0”觀點。| 來源:硅星人
1
擴展法則鐵證:為自動駕駛領域的“暴力美學”正名
支撐這套“先做大、再做小”邏輯的,是一項關鍵的實驗結果,也是小鵬此次分享最核心的貢獻之一:擴展法則(Scaling Law)在自動駕駛領域是有效的。
在語言大模型(LLM)領域,擴展法則已被反復驗證,即模型性能隨著計算量、數據量、參數規模增加而系統性提升。但在充滿不確定性的自動駕駛物理世界里,輸入是復雜的多模態信號,輸出需要實時行為決策,“越大越強”是否依然是鐵律?
小鵬團隊此次通過大規模實驗首次公開驗證了這一點。
他們在CVPR展示的圖表顯示,當模型參數量從10億增加到720億,以及訓練視頻片段數量從100萬增加到3000萬時,衡量軌跡預測精準度的關鍵指標——縱向平均位移誤差(Long ADE)——呈現出一條近乎完美的、持續下降的曲線。這意味著模型預測未來軌跡的精準度,確實隨著其規模增加而系統性提升。劉先明補充道:“目前為止,我們還沒有看到這個趨勢出現飽和。”
圖源:小鵬汽車
這為小鵬“軟件 3.0”路線提供了強有力的數據支撐,也向整個行業證明,在自動駕駛這條賽道上,依賴“海量高質量數據+大模型驅動”,是一條清晰可見、回報確定的技術路徑。
1
CoT鏈式推理 + 強化學習,教汽車“思考”怎么開
但光有規模還不夠,如何讓這個“大力士”擁有“繡花針”般的精細操作能力?小鵬展示了其在大模型能力塑造中的關鍵策略組合——鏈式推理(Chain of Thought, CoT)+強化學習(RL)。
這就好比是教一個新手司機成長為老司機的過程。
第一步:用CoT,讓AI學會分步驟思考
新手司機開車,往往是“看到障礙物,踩剎車”的本能反應;老司機則會在腦中進行一連串的思考:“前方有障礙,我需要減速。看一眼后視鏡,右后方沒車。打轉向燈,平穩地向右并線繞行。”CoT正是要賦予AI這樣的能力。
在模型訓練中,先通過大規模圖文數據建立基礎語義理解;接著在監督微調(SFT)階段引入CoT機制,讓模型在做出關鍵決策前生成一段推理鏈,包括環境描述、邏輯分析和動作規劃,提升可解釋性和魯棒性。劉先明說:“很多復雜場景需要分步驟思考,CoT正好賦予了模型這種思考時間。”
圖源:小鵬汽車
第二步:用RL,讓AI在試錯中進化
思考能力有了,但面對未知極限場景,模仿學習難以應對——“L3/L4自動駕駛很多極端情況是靠模仿學不會的,”劉先明坦言。這時RL就派上用場了。類似教孩子騎車,騎得穩有“愉悅”的獎勵,快摔倒有“恐懼”的懲罰,最終在不斷的試錯和調整中學會。RL也是同理,通過“獎勵與懲罰”機制,讓模型在虛擬環境中不斷試錯,自主尋找最優駕駛策略。劉先明舉例說:在一個U型掉頭場景,未優化的模型動作僵硬,甚至可能撞上路沿;而經過RL訓練后,模型會主動減速,以優雅平滑的路線完成掉頭。
圖源:小鵬汽車
為實現這一點,小鵬打造了完整的RL訓練體系,包括:Reward Function(強化安全、效率、合規駕駛能力)、Reward Model(從真實用戶接管和反饋數據中學習“好駕駛”行為)、World Model(虛擬博弈環境,支持高復雜動態交互)。可以說,RL讓大模型真正具備了面對復雜現實場景“悟”出解決方案的能力。
圖源:小鵬汽車
1
最后一公里:從云端大模型到車端自研芯片
有了這個既會“思考”、又能進化的云端大腦,下一個挑戰也是最現實的問題——如何將它裝進每一輛車里。
小鵬的軟件解法,是通過“知識蒸餾”路徑,將 720 億參數的基座模型能力提煉為適配車端算力的小型模型。在部分實車測試中,甚至實現了未蒸餾小尺寸模型的直接控車,顯著提升駕駛的平滑性與安全性。
而硬件解法,則是另一張王牌:自研芯片。就在 CVPR 舉辦期間的 6 月 11 日晚,小鵬正式發布其最新車型 G7——全球首款 L3 級AI汽車,首發搭載三顆自研圖靈 AI 芯片。
圖源:小鵬汽車
這款芯片在性能上尤為引人注目:單顆芯片有效算力達到英偉達 Orin的三倍;三顆協同工作后的總算力達 2200 TOPS,相當于 9 顆 Orin-X 的效能。集成小鵬自研智駕系統后可實現接近 100% 的算力利用率(相比通用芯片約 70%–80%),最高可在本地實時運行 300 億參數大模型,為高階自動駕駛提供了充足的冗余能力。
這塊強大的端側基石,配合小鵬云端具備5天一輪迭代能力的“云端工廠”,以及年內將突破2億clips的訓練數據目標,最終構建出了一套“云端訓練-車端部署、軟件定義-硬件優化”的自循環完整技術路徑。
圖源:小鵬汽車
1
結語:一份來自真實世界的行車報告
小鵬汽車的這場CVPR分享,并沒有太多華麗辭藻。它更像一位資深研發員攤開設計圖與實驗數據,向同行們細致講述團隊是如何一步步解決問題的。從驗證Scaling Law,到拆解“思考型”模型的訓練細節,再到公布軟硬一體的部署方案,小鵬帶來的是一套完整的、在真實世界里跑出來的工程體系。
更重要的是,它打破了“學術→工業”單向傳導的慣性,展示了工業界如何通過海量真實數據、扎實工程實踐,反哺學術探索、為物理世界AI打開全新可能性。
當理論照進現實,那些來自道路的真實挑戰和數據,正在定義著自動駕駛的下一程。
點個愛心,再走 吧
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.