【1、智能駕駛進入終局？不，剛剛開始。】

啟動拼音輸入法，然后在鍵盤上連敲三次“D”鍵。排第一的候選詞是什么？我相信所有關注智能汽車相關技術的人，都會看到“端到端”，它在過去十二個月里，以極高的頻率，出現在每一家追求高階智能駕駛的車企的PPT或文稿中。

這種狂熱很好理解。進入端到端階段之前，大家得用有限的人工規則，去面對無限的邊緣場景，以有窮應對無窮，有人覺得自動駕駛永遠沒法實現。而轉機出現在端到端架構量產之后，人工規則退到次要位置，智能駕駛自己就能學習人類駕駛行為。Scaling Law 也提示我們，訓練數據量與模型性能通常呈正相關。Comment by 史云霞: Scaling Law的原理存在，但非絕對

端到端讓智能駕駛真正進入了 AI 的節奏，更高階段的自動駕駛，也沒那么遙不可及了。接下來的問題是，為了讓這天更快到來，現有的智能駕駛大模型還應該做些什么？除了讓車輛負責駕駛行為，自動駕駛階段的大模型還有哪些可能性？

在今年3月中旬NVIDIA GTC 2025 技術大會上，理想自動駕駛技術研發負責人賈鵬給大家介紹了理想的下一代自動駕駛架構MindVLA以及它的工程化、應用場景和拓展方向。這個叫做 MindVLA 的“新事物”，也許能回答上面兩個問題。

【2、從端到端+VLM 到 MindVLA，從智能駕駛到“機器人大模型”。】

基于端到端+VLM雙系統架構的最佳實踐，及對前沿技術的敏銳洞察，理想自研VLA模型——MindVLA。VLA是機器人大模型的新范式，其將賦予自動駕駛強大的3D空間理解能力、邏輯推理能力和行為生成能力，讓自動駕駛能夠感知、思考和適應環境。

MindVLA不是簡單地將端到端模型和VLM模型結合在一起，所有模塊都是全新設計。3D空間編碼器通過語言模型，和邏輯推理結合在一起后，給出合理的駕駛決策，并輸出一組Action Token（動作詞元），Action Token指的是對周圍環境和自車駕駛行為的編碼，并通過Diffusion（擴散模型）進一步優化出最佳的駕駛軌跡，整個推理過程都要發生在車端，并且要做到實時運行。

MindVLA打破自動駕駛技術框架設計的傳統模式，使用能夠承載豐富語義，且具備出色多粒度、多尺度3D幾何表達能力的3D高斯（3D Gaussian）這一優良的中間表征，充分利用海量數據進行自監督訓練，極大提升了下游任務性能。

理想從0開始設計和訓練了適合MindVLA的LLM基座模型，采用MoE混合專家架構，引入Sparse Attention（稀疏注意力），實現模型稀疏化，保證模型規模增長的同時，不降低端側的推理效率。基座模型訓練過程中，理想加入大量3D數據，使模型具備3D空間理解和推理能力。為了進一步激發模型的空間智能，理想加入了未來幀的預測生成和稠密深度的預測等訓練任務。

LLM基座模型獲得3D空間智能的同時，還需要進一步提升邏輯推理能力。理想訓練LLM基座模型學習人類的思考過程，讓快慢思考有機結合到同一模型中，并可以實現自主切換快思考和慢思考。為了把NVIDIA Drive AGX的性能發揮到極致，MindVLA采取小詞表結合投機推理，以及創新性地應用并行解碼技術，進一步提升了實時推理的速度。至此，MindVLA實現了模型參數規模與實時推理性能之間的平衡。

MindVLA利用Diffusion將Action Token解碼成優化的軌跡，并通過自車行為生成和他車軌跡預測的聯合建模，提升在復雜交通環境中的博弈能力。同時Diffusion可以根據外部條件，例如風格指令，動態調整生成結果。為了解決Diffusion模型效率低的問題，MindVLA采用Ordinary Differential Equation（常微分方程）采樣器，實現了2-3步就能完成高質量軌跡的生成。面對部分長尾場景，理想建立起人類偏好數據集，并且創新性地應用RLHF（基于人類反饋的強化學習）微調模型的采樣過程，最終使MindVLA能夠學習和對齊人類駕駛行為，顯著提升安全下限。

MindVLA基于自研的重建+生成云端統一世界模型，深度融合重建模型的三維場景還原能力與生成模型的新視角補全，以及未見視角預測能力，構建接近真實世界的仿真環境。源于世界模型的技術積累與充足計算資源的支撐，MindVLA實現了基于仿真環境的大規模閉環強化學習，即真正意義上的從“錯誤中學習”。過去一年，理想自動駕駛團隊完成了世界模型大量的工程優化，顯著提升了場景重建與生成的質量和效率，其中一項工作是將3D GS的訓練速度提升至7倍以上。

理想通過創新性的預訓練和后訓練方法，讓MindVLA實現了卓越的泛化能力和涌現特性，其不僅在駕駛場景下表現優異，在室內環境也展示出了一定的適應性和延展性。

有了這套新的模型架構，智能駕駛會有哪些變化？

【3、“Agent”的誕生：汽車將能聽得懂人話、理解世界，是一個真正意義上的“專職司機”。】

從用戶體驗方面來看，最直觀的感受就是，有MindVLA賦能的汽車不再只是一個簡單的駕駛工具，而是一個能與用戶溝通、理解用戶意圖的智能體，是一個真正意義上的司機Agent或者叫“專職司機”。

首先是“聽得懂”，用戶可以通過語音指令改變車輛的路線和行為，例如用戶在陌生園區尋找超市，只需要通過理想同學對車輛說：“帶我去找超市”，車輛將在沒有導航信息的情況下，自主漫游找到目的地；車輛行駛過程中，用戶還可以跟理想同學說：“開太快了”“應該走左邊這條路”等，MindVLA能夠理解并執行這些指令。

其次是“找得到”，車輛還會利用強大的空間推理能力自主尋找車位，即便遇到死胡同，車輛也會自如地倒車，重新尋找合適的車位停下，整個過程不依賴地圖或導航信息，完全依賴MindVLA的空間理解和邏輯推理能力。

再者是“看得見”，MindVLA具備強大的通識能力，不僅能夠認識星巴克、肯德基等不同的商店招牌，當用戶在陌生地點找不到車輛時，可以拍一張附近環境的照片發送給車輛，擁有MindVLA賦能的車輛能夠搜尋照片中的位置，并自動找到用戶。

一個原來需要人類監督工作的智能駕駛系統，以后會變成能與用戶溝通、理解用戶意圖的智能體。所以難怪，理想一直說智能駕駛即將迎來“iPhone 4時刻”。

不得不說，MindVLA的到來，將重新定義自動駕駛。且對于人工智能領域而言，汽車作為物理人工智能的最佳載體，未來將探索出物理世界和數字世界結合的范式，也將有望賦能多個行業協同發展。