借著端到端+VLM架構，理想汽車實現了在輔助駕駛上的逆襲。

嘗到新技術架構甜頭的理想汽車，希望更進一步，引入更新的技術架構，來夯實自己在輔助駕駛、自動駕駛領域的優勢，甚至希望成為引領者。

那就是VLA（視覺、語言、行動）大模型，理想汽車將其命名為司機大模型。

5月7日晚，理想汽車舉行了“理想Al Talk第二季 李想面對面”線上活動。理想汽車創始人、CEO李想再度現身討論AI及AI在輔助駕駛、智能駕駛和汽車上的應用思路。

李想認為，“今天輔助駕駛的這些規則算法、端到端跟人類差距還是太大了。”而司機大模型能力是最強的，“是最接近人類的，甚至有機會超過人類能力的一種”。

“我自己認為VLA（司機大模型）能夠解決到全自動駕駛。”

李想沒有透露具體的司機大模型支持的輔助駕駛系統上車時間。只是表示，比此前預計的9月要提前。

按照理想汽車透露的信息，理想純電SUV理想i8將于7月發布上市，并且搭載VLA（司機大模型）。

01

司機大模型有多厲害？

輔助駕駛系統發展到今天，對于行業、對于理想汽車，都可以說是一個節點。

就行業而言，由于一些飽受關注的事故影響，輔助駕駛系統的安全性受到質疑。

就理想汽車而言，盡管端到端+VLM雙系統開行業先河，并且將理想智駕拉到行業前列，引起一些技術路線追隨者，但是其輔助駕駛產品依舊是輔助工具。

本質上，這兩個問題都可以歸結為——輔助駕駛系統的能力依舊不足。

李想提及了此前規則架構、端到端架構的兩個問題。

一是對復雜東西的理解，比如復雜的修路，“如果是規則算法可能就會撞上了，如果是端到端可能停下來，但它不知道該怎么干了。”

另一方面是無法跟人溝通。“今天端到端怎么做？就跟猴子一樣，你影響不了它，對吧？”

但VLA架構不一樣。面對復雜場景，司機大模型能輕松解決，因為它有理解能力。在訓練階段，VLA架構模型即便沒有經歷過真實場景的學習，也可以通過生成數據來訓練。

在溝通方面，司機大模型作為Agent（智能體），可以理解語言，司機可以給出指令，比如讓它一直在中間行駛，直到下一個路口，再比如靠邊停車，或者“到C3區停車”。

而且，端到端架構的系統與導航配合出現問題時無法妥善處理，司機大模型卻能在小區等開放空間漫游并與導航調整后匯合。

因為，司機大模型看得懂導航軟件運行，具備思維鏈和推理能力，像人類司機一樣執行駕駛行動，最終能像全職司機一樣工作，實現全自動駕駛。

02

司機大模型如何訓練？

司機大模型為什么理解世界，聽懂司機指令，并且還能成為駕駛“專家”呢？

還要從VLA模型的架構特點和訓練方式說起。

李想認為，VLA架構是逐漸進化而來的，具備了很多“像人類一樣的”能力：

• 它能用3D的vision（視覺）和2D的組合，去看整個真實的物理世界，也包含它能夠去看懂導航軟件”。
• 它有自己的整個腦系統，不但要看到物理世界，還能夠理解這個物理世界。
• 它有它的language（語言），然后它也有它的CoT（思維鏈），有推理的一個能力。
• 它能夠像人類一樣的，真正地去執行這樣的行動……

這些能力來自何處？

李想表示，司機大模型需要四個步驟來訓練。

步驟一，訓練一個VL（視覺和語言）的基座模型。“我們目前在訓的，當前的這個版本，是一個32B的，就是320億云端的一個基座模型。”

這一模型和過去的模型的差異在于，要放入更多視覺的語料，其中就包括3D上的視覺語料、高清的2D的視覺語料。而此前的多模態的開源VLM（視覺語言模型）里邊，2D視覺語料的清晰度太低，所以看的距離不夠。

在語言模型方面，要放入跟交通、駕駛相關的足夠多的這方面的語料。

此外，還必須放入很多VL（視覺和語言）聯合的語料，就是三維圖像和對世界的理解語義要同時產生的。“比如我舉一個例子，我要把導航的地圖和車輛對導航地圖的理解一起放進去。”

李想也回應了為什么要做基座模型。

他說，理想汽車的VLA模型，即便是V（vision視覺）和L（language語言）部分也和通用大模型不一樣，需要涉及到更專業的車領域、交通領域、面向家庭用戶的語義語料，此外還需要把VL（視覺和語言）的組合語料放進去訓練。“那這些無論是OpenAI還是DeepSeek，它都沒有這樣的數據，它們也沒有這樣的場景和需求，也不去解決這樣的問題，那只能我自己來做了。”

他也強調，DeepSeek的開源加速了理想基座大模型的開發進度。“好處是說VLA（視覺語言行動模型）里邊的這個language（語言），我可以站在巨人的肩膀上，但是它只是我其中的一部分。”

李想在這里透露，理想汽車把基座模型的團隊從智駕系統開發團隊拆開，并且加大了投入，“訓練卡比團隊的預期應該多買了3倍。”

這一基座模型訓練出來之后，需要蒸餾成一個3.6B（即36億）端側（即上車）的蒸餾模型。“因為我要保證它運行速度足夠得快，然后無論是兩個Orin-X還是Thor-U上能夠流暢地運行。”

步驟二是做后訓練，要把action（行動）放進來，從VL模型變成VLA模型，仍然是一種模仿學習。“特別像你去駕校學開車……這個時候大概模型規模就會從3.2B大概擴大到接近4B，大概這么一個規模。”

步驟三是強化訓練，“比較像人到社會上開車了”。強化學習一部分先做RLHF（基于人類反饋的強化學習），包括人類接管的反饋。強化學習另一個部分是純粹的RL（強化學習），“是（拿RL模型放到）我們的世界模型來做訓練。這塊兒的目的什么呢？就是開得比人類更好。”

當這三個步驟完成了以后，VLA（司機大模型）能夠跑在車端的模型其實就產生了。

步驟四，搭建一個司機的Agent（智能體），能夠聽懂司機的語音指令。“如果是一些短指令，通用的短指令VLA（司機大模型）直接就處理了，不需要再經過云端。如果是一些復雜的指令，其實先要到云端的32B那里，VL（視覺和語言）處理完以后，（因為它理解交通的一切），整個交給VLA（司機大模型）來進行處理，大概這么運行的一個過程。”

最終，李想認為，“說白了它最后的一個好處是說它能夠像人類司機一樣去理解物理世界，能夠像人類司機一樣去開車，去處理復雜的問題，也能像人類司機一樣跟其他人類進行溝通。這是最后我們交付到用戶那里的產品。”

03

還有沒有更強的架構？

自特斯拉引入端到端技術架構之后，探索智能駕駛輔助系統的企業，紛紛模仿。

但是，特斯拉不再舉辦AI DAY之后，業界無法再跟隨。此后，理想汽車提出了端到端+VLM的雙系統架構，被一些企業學習模仿。

再往后呢？

在機器人領域，VLA架構被廣泛討論。和智能駕駛輔助領域，理想汽車和元戎啟行都提出VLA作為下一代架構。

李想認為，交通領域應該是VLA最早實現應用的。

第一，因為交通規則清楚，雖然復雜但具備確定性。

第二，車有三個方向的自由度需要控制，而機器人的上來就是40多個自由度，那個挑戰就更大了。

第三，在交通領域還能做特別好的強化，“大家在使用的過程中不滿意的時候就接管了”。

理想汽車自從自研智能駕駛輔助系統以來，已經迭代了數個技術架構。會不會明年又換一個？

李想表示，司機大模型是能力最強的架構，能解決到全自動駕駛，但是，不一定是效率最高的架構。VLA基于 Transformer，而Transformer 架構不一定是效率最高的，未來大概率會出現更高效的架構，因為當前VLA對算力要求較高。

未來還沒來，當前社會和行業對于輔助駕駛有不少負面評價，李想說，“比較像黎明前的黑暗吧。我覺得黎明馬上就要來了。”