新智元報道

編輯：編輯部 ZYXH

【新智元導讀】不去今年的CVPR不知道，原來中國自動駕駛在AI領域的創新已經這么牛了。作為今年唯一受邀參與CVPR演講的車企，這家公司在AI頂流圈層上桌吃飯了！

剛剛，世界計算機三大頂會之一——CVPR 2025正式落幕。

每年，CVPR吸引了來自世界各地研究者、行業領袖齊聚一堂，分享前沿成果。

展廳里，最新算法模型、3D重建、自動駕駛、生成式視覺等技術的demo令人目不暇接，Poster區更是人頭攢動。

各種Keynote演講座無虛席，激發學者無數靈感。

在這場學術與科技熱潮中，一個專注于未來出行和自動駕駛的專題研討會格外引人關注——CVPRWorkshop on Autonomous Driving（WAD）。

自AI大模型浪潮出現以來，自動駕駛領域的技術范式發生了很大轉變——從以前由人類編寫規則的模型，變成了依靠大量數據進行訓練的AI模型。相關的技術發展也成了這幾年CVPR會議上的熱門話題。

一直以來，CVPRWAD的參與者和講演者都是在自動駕駛業界創造里程碑式貢獻的領軍人物，比如大家熟知的Andrej Karpathy（前特斯拉AI和自動駕駛部門負責人、OpenAI創始成員），Ashok Elluswamy（特斯拉自動駕駛負責人）等等。

這屆WAD研討會也不例外，官方邀請了一眾大咖來發表演講，不光有Waymo、英偉達，還包括來自CMU、港大、UC伯克利等機構的學術研究者。

傳送門：https://cvpr2025.wad.vision/

令人矚目的是，一家中國車企也上桌了。

在WAD上，受到CVPR直邀的小鵬汽車世界基座模型負責人劉先明發表了題為《通過大規模基礎模型實現自動駕駛的規模化》（Scaling up Autonomous Driving via Large Foudation Models）的演講。

內容涵蓋小鵬自研的業界首個超大規模自動駕駛基座模型的歷程和方法，在模型預訓練、強化學習、模型車端部署、AI和數據基礎設施搭建方面的前沿探索等，為同行帶去了工業領域最重磅的實踐經驗。

值得一提的是，小鵬是本屆大會上唯一一個大型量產車公司嘉賓，而這也是小鵬繼2023年之后又一次在CVPR分享自動駕駛前沿成果。

正當學者們在大洋彼岸的CVPR WAD現場進行思維碰撞時，中國的消費者也在同一天見證了搭載「L3級算力平臺」的最新AI汽車——小鵬G7的亮相。

相比于傳統燃油車的電子化和上一代電車中的算力水平，小鵬給出了自己的「L3級算力平臺」標準：

• 有效算力大于2000 TOPS：堪稱汽車里自帶一個「移動超算」，作為對比，蘋果16 Pro Max搭載的最新A18 Pro的算力為45 TOPS，小鵬G7是其40多倍；

• 搭載本地部署的「VLA+VLM模型」：視覺與語言深度融合，本地化部署無延時，響應更快，無需擔憂網絡，面對極端路況更有底氣。

這樣強大的算力，讓小鵬自動駕駛的AI能力更上了一個新臺階。

大家猜猜，下面這些車用了多少行規則代碼開成這樣？

變道超車

連續變道超車

提前變道，避讓施工區；繼續通行，遇到從小路匯入主路的大貨車，減速應對

直行道上，前方大車切出后，看到臨停車，變道繞行；遇到突然橫穿馬路的電動摩托車，成功避讓；左側忽然有一輛大貨車加塞，減速靈活應對

雨天，無保護左轉，路況復雜，汽車、二輪車混行，成功避讓

答案是——0。

可以看到，在沒有任何規則代碼托底的情況下，小鵬最新的自動駕駛基座模型已展現出令人驚喜的基礎駕車技能，比如絲滑地加減速、變道繞行、轉彎掉頭、等待紅綠燈。

今天的自動駕駛，難點在哪

這些令人驚艷的案例背后，是小鵬團隊對于自動駕駛AI的多年艱難攻關。

要理解這個過程，首先我們需要明白的一個問題，就是如今自動駕駛的難點在哪里。

雖然規則時代的自動駕駛模型，也能解決大部分常見的駕駛問題，但無法處理那些罕見的、復雜的、事關安全的長尾問題，也即corner case。而不解決corner case，就不可能走向真正的L3、L4。

也就是說，自動駕駛真正的核心難點，在于處理那些罕見的、復雜的、事關安全的長尾問題。

因為這些問題發生概率極低，就很難有足夠數據讓模型學習。

那么，是否有可能讓模型能像人類一樣，基于常識和經驗處理長尾問題呢？畢竟，人類學車也并不是遍歷所有區域、所有場景。

此時的破局點，就在于讓自動駕駛模型從只會模仿學習，做到長出一個「大腦」，處理從未在訓練數據中見過的場景。

怎么辦？小鵬汽車根據多年經驗，決定進行一個大膽的實驗——在云端訓出一個會思考的超級大腦！

神奇的事情發生了：云上大模型開始「涌現」。

據劉先明介紹，研發團隊訓練了從10億到720億等不同尺寸的模型，持續向模型「投喂」更大規模的訓練數據，他們清晰地看到了Scaling Law的顯現，也就是說，模型參數越大、模型學習的數據越多，模型的性能越強。

這是大模型浪潮以來，行業內首次明確驗證規模法則（Scaling Law）在自動駕駛VLA模型上持續生效。

接下來，我們把小鵬720億參數的基座模型打開看看，這個「AI大腦」里有什么。

它跟傳統的「小腦」型自動駕駛模型最大的不同，就在于具備思維鏈推理的能力（CoT）。

由此，模型仿佛具備開車能力和思考能力的「大腦」，能讓汽車像人類一樣主動思考和理解世界，處理訓練數據中從未見過的長尾場景，而非機械執行程序員寫好的規則。

這種由過去純粹只懂開車、不懂思考的「小腦」到「大腦」的飛躍，是自動駕駛技術的質變。

從此，汽車有望完成從L2輔助駕駛到L4自動駕駛的縱向技術迭代，最終抵達真正的無人駕駛！

小鵬汽車的VLA大模型以大語言模型為骨干網絡，用了海量優質的自動駕駛數據訓練而成，具備視覺理解能力、鏈式推理能力和動作生成能力。

本身的強大性能加上后訓練階段的RL，讓它獲得了高度類人的CoT，即使在極為復雜、危險或罕見的場景，都能進行清晰的邏輯推理——

「我面臨的環境是什么樣的？眼前有哪些影響我開車的關鍵對象？現在交通信號燈讓不讓走？我應該怎么操作既安全、又合規，最好還能比較有效率？想好了，我現在輸出一條軌跡……」

在這個過程中，小鵬持續「投喂」了更大規模的訓練數據。目前，基座模型累計吃下了2000多萬條視頻片段（每條時長30秒）。團隊也清晰地看到了Scaling Law的顯現！

L2無法進化到L4，突破口在哪里？

正如上文所述，此前很多人認為，L2無法進化到L4，就是因為當時的自動駕駛模型只會「模仿學習」，處理訓練數據中見過的場景。

小鵬的解法，就是用強化學習，做出高度擬人的「AI大腦」。

但這過程中，就又遇到了一個難題：由于車端算力限制，最終能夠部署上車的模型參數都很小，目前業界常見的車端模型參數只在幾百萬到十億級別。

這樣，Scaling Law根本就無從發揮，更無法實現強大CoT。

為此，小鵬早在去年，就獨具慧眼地確定了云端基模技術路線——在云端「不計成本」地訓練超大規模基座模型，再通過蒸餾，幫模型跳出車端算力的「一畝三分地」。

劉先明介紹說，「云端基座模型+強化學習的組合，是讓模型性能突破天際的最好方法」。

前者，就好比人的智商，而后者，就好比能力激化器。

巧的是，開車也正是個非常適用強化學習的領域。

小鵬為此開發了自己的強化學習獎勵模型，在完成預訓練、SFT之后，就會進入RL階段，從安全、效率、合規三個方向上激發基模潛能。

如今，小鵬已經有幾十萬輛輔助駕駛車輛跑在全國各地，源源不斷創造著新訓練數據，包括大量長尾場景。

而小鵬的車主們，也不斷為AI輔助駕駛的智能所驚嘆。

比如，前不久一位福州用戶開到了紅綠燈路口，發現對面主干道有兩棵大樹，居然需要從兩棵樹的縫隙之間穿越而過，這復雜的路況讓人類司機都會愣上一陣。

這個典型的CoT場景，就需要模型做出大量實時推理：「我在哪？發生了什么？我要怎么走？」

令人驚喜的是，小鵬智能輔助駕駛系統居然順利地一把過了！

而這，僅僅是一個開始。

目前，小鵬汽車自動駕駛團隊已經開始自研「世界模型」（World Model）了。

作為實時建模和反饋系統，它基于動作信號模擬真實環境狀態，渲染場景，生成場景內其他智能體（交通參與者）的響應，構建出閉環反饋網絡。

這一系統，將助力基座模型的強化學習訓練，顯著提升模型在復雜場景中的決策能力。

一流AI公司，成就一流自動駕駛公司

過去，全球自動駕駛的核心敘事者一直是Waymo、特斯拉。

但小鵬CVPR的演講證明，中國車企正在用AI重新定義游戲規則。

正如劉先明所言，「大模型時代，想做一流的自動駕駛公司，首先必須成為一流的AI公司」。

為了研發下一代自動駕駛基座模型，小鵬汽車從2024年開始布局，建成國內汽車行業首個萬卡智算集群，算力高達10 EFLOPS，集群運行效率常年保持在90%以上，模型全鏈路迭代周期平均僅5天。

如此算力規模和運營效率，足以媲美全球頭部AI企業。

這套云到端的生產流程，被命名為「云端模型工廠」，支持基座模型預訓練、后訓練、模型蒸餾，以及車端模型訓練等全流程任務。

與LLM不同的是，自動駕駛基座模型的研發面臨更大的復雜性和挑戰。

自動駕駛模型需要融合攝像頭、導航信息等多模態數據，形成對物理世界的精準認知，并在動態駕駛場景中完成推理、決策和控車操作。

它的訓練需要從頭驗證所有技術問題，包括Scaling Law。

相較于大模型行業的「卷模型、卷技術」，汽車行業的AI化仍是少數派。特斯拉是這一賽道的先行者，其FSD系統背后強大的AI模型和基礎設施令人嘆服。

而小鵬汽車正以同樣的決心，加速追趕并試圖超越。

在CVPR上，小鵬首次披露了兩項核心數據：

• 數據處理能力：小鵬云上基模訓練過程中，累計處理超40萬小時的視頻數據

• 流式多處理器的利用率（streaming multiprocessor utilization）達到 85%。

這些數字背后，是小鵬比照全球領先AI公司標準，從0搭建的數據和AI基礎設施。

劉先明從兩個層面——云端模型訓練和車端模型部署，拆解了小鵬自動駕駛團隊提升模型訓練效率的方法。

云端模型訓練

和AI圈熟知的大語言模型（LLM）的訓練不同，自動駕駛VLM和VLA的訓練，不僅受限于計算瓶頸，還面臨數據加載和通信瓶頸。

小鵬團隊通過聯合優化CPU、GPU和容錯性，攻克了大規模并行訓練的難題。

針對數據加載問題，研發團隊對CPU的利用作了如下優化：

• 啟用額外的CPU節點，以提升GPU節點的數據加載能力；

• 對PyTorch進行定制化改造，降低進程間通信開銷；

• 采用激進的數據物化策略，進一步減輕CPU在數據加載上的負載；

• 優化打亂（shuffling）模式，在速度與隨機性之間取得平衡。

針對GPU計算資源的利用，優化策略如下：

• 使用FSDP 2實現模型分片

• 使用FP8混合精度訓練

• 利用Flash Attention 3加快計算速度

• 自定義Triton內核

這些優化，讓小鵬的「云端模型工廠」在處理海量多模態數據時，實現了極高的效率和穩定性。

車端模型部署

團隊自研的圖靈AI芯片，為車端模型部署提供了得天獨厚的優勢。

這款專為大模型設計的芯片，單顆算力就已經遠超Orin-X，三顆更是超過了2200 TOPS，未來可以支持L3+級別的智駕體驗。

據悉，小鵬汽車的模型、編譯器、芯片團隊長期聯合研發，針對下一代模型開展定制化工作。

比如，定制AI編譯器以最大化執行效率，協同設計硬件友好、量化友好的模型架構，確保軟硬件充分耦合，目標就是「榨干」車端芯片的算力。

以配備7個攝像頭VLA模型為例，每2秒視頻輸入會產生超5000個token，導致巨大的計算壓力。

為此，他們還設計了針對VLA模型的token壓縮方法，將token處理量壓縮70%（從5000壓縮至1500）。

這種軟硬協同的極致優化，讓小鵬在車端算力有限的場景下，依然實現了高性能智駕。

從CVPR的舞臺到全球市場的布局，小鵬汽車以AI為核心，重新定義了自動駕駛的未來。

其端到端大模型、強化學習和數據驅動的開發模式，不僅讓中國車企在全球AI智駕領域占據一席之地，更向世界證明了AI創新的無限可能。

在這條自動駕駛賽道上，小鵬正加速駛向改變世界的未來。

參考資料：

https://cvpr2025.wad.vision/