作者 |肖恩

編輯 |德新

中國農歷新年結束沒多久，馬斯克就給中國的特斯拉車主送上一份大禮——2月26日，在毫無征兆的情況下特斯拉向中國區(qū)購買了FSD的HW4.0車主開啟了功能推送。

此前一度傳言FSD因為數據問題入華時間將推遲，而且這次推送的是和美國相同的V13版本，對于它在中國的表現(xiàn)大家非常好奇，隨后各大媒體和大V都對FSD進行了詳細的測試。

從媒體的測試結果來看，F(xiàn)SD的表現(xiàn)無疑是不及格的，認錯路和違反交規(guī)是常規(guī)操作，甚至用接管次數這個指標已經無法評價它的表現(xiàn)了，要用違章次數才能體現(xiàn)出FSD在中國的拉跨，中國智駕遙遙領先的聲音更響亮了。

但是FSD的表現(xiàn)真的如此不堪嗎？

一、端到端架構：特斯拉智駕指明的方向

作為智駕從業(yè)者，我也體驗了FSD在城區(qū)的表現(xiàn)。

如果以接管次數為評價指標，F(xiàn)SD和國內第一梯隊的方案相比，確實是不合格的，但是幾乎所有的接管都是和交通規(guī)則和道路相關。這也側面印證了馬斯克的說法，現(xiàn)階段由于數據問題特斯拉只能通過互聯(lián)網的視頻來訓練FSD，無法很好地理解和適應中國的交通環(huán)境。

除此之外，F(xiàn)SD的基礎能力堪稱驚艷，異常流暢的控制、行云流水的繞行、果斷的超車和變道，給人的體驗就像是經驗豐富的專車司機，在遇到擁堵情況時決策毫不拖泥帶水。

從我個人的體驗來看，FSD如果適應了中國的交規(guī)和道路，它的表現(xiàn)將超過國內現(xiàn)階段的智駕方案。

特斯拉從V12開始全面轉向端到端架構，和之前的版本相比FSD的表現(xiàn)有了巨大的提升，從BEV、Transformer到占用格柵網絡。在傳統(tǒng)的感知-規(guī)劃-控制的架構下，特斯拉給智駕行業(yè)帶來了非常多的啟示，為了實現(xiàn)無人駕駛的目標，特斯拉跳出傳統(tǒng)的思維框架，第一次在量產車上引入了端到端的架構，為智駕行業(yè)指出了新的技術方向。

也許是怕中國學生學得太快，特斯拉并沒有公布自己端到端架構的細節(jié)。

國內智駕行業(yè)開始自己探索端到端這條技術路徑，其中最典型和成功的案例，無疑是理想的端到端+VLM雙系統(tǒng)架構。這個方案將理想從原來智駕第三梯隊的位置快速提升至第一梯隊，在部分場景的表現(xiàn)甚至超過華為的ADS。

理想的這套系統(tǒng)結合了快慢系統(tǒng)的理論。

系統(tǒng)1是一段式的端到端模型，可以處理95%以上的常規(guī)駕駛場景；同時為了提升長尾場景的處理能力，引入了VLM視覺語言模型作為系統(tǒng)2輔助決策，系統(tǒng)2能夠對場景進行描述和分析，給系統(tǒng)1提出決策建議。

其中VLM的核心是一個LLM模型，也就是類似chatGPT的大語言模型。它有非常強的理解和邏輯推理能力，由大規(guī)模海量互聯(lián)網數據預訓練的LLM具備一定的通識認知，能夠利用符合邏輯的推理能力獲得復雜場景和從未見過的長尾場景的處理能力。

理想在LLM的基礎上，使用了車輛的傳感器數據和場景描述信息對模型進行了訓練，最終讓VLM模型能夠對場景完成思維鏈推理，從場景描述到場景分析，最終完成層級規(guī)劃并輸出軌跡。

從實際的體驗來看，這套系統(tǒng)「端味十足」，對車輛的控制非常線性，駕駛行為接近人類的習慣，VLM的加入讓系統(tǒng)在特殊場景下的表現(xiàn)也可圈可點，是當前技術條件下非常好的思路。

但是，這套系統(tǒng)仍然有一些問題要解決。

第一個問題就是VLM系統(tǒng)的延時太高。

由于LLM模型的參數量非常大，對于計算量的需求很高。現(xiàn)在車端算力最大的智駕芯片OrinX也只有254Tops，雖然經過非常多的優(yōu)化，最終VLM在車端能實現(xiàn)的頻率也只有5Hz左右，無法滿足實時性的要求，導致VLM的決策軌跡只能作為決策建議，并不能直接輸出給車輛控制，在一定程度上限制了VLM的能力。

第二，理想的VLM基座模型是千問。

它是阿里的開源大語言模型，這一類模型基于網絡上大量的文本訓練而成，特點是通用性好，有很強的對語義理解能力和對話能力，但并不是專為駕駛場景設計。對于駕駛行為的理解能力有限，也沒有很好的3D空間理解能力，即使經過了訓練，但是上限不夠。

第三，端到端和VLM是兩個獨立的模型，使用的訓練數據也不相同，而且運行的頻率不一樣，對兩個模型聯(lián)合訓練和優(yōu)化非常困難。

為了解決這些問題，理想給出的答案是VLA。

二、什么是VLA？

VLA代表Vision-Language-Action，最早出現(xiàn)在具身機器人領域。

谷歌DeepMind在2023年7月發(fā)布了全球首個可以控制機器人的VLA模型：RT-2，這個模型以大語言模型為基礎，模型接收攝像頭的原始數據和語言指令后，可以直接輸出控制信號，完成各種復雜的操作。

RT-2的結構非常簡單，圖像信息經過VIT編碼后和語言信息的token一起輸入到LLM中，谷歌在這里使用了自家的Gemini，模型輸出一系列的Action token，解碼后轉化為機械臂的控制信號。

和以前的模型相比，RT-2在交互能力、任務能力和泛化能力上都有非常大的提升。

傳統(tǒng)的機器人模型只能支持少數的特定指令，借助于大語言模型強大的語言理解能力，RT-2可以直接和用戶進行語言交互，能夠理解復雜和模糊的指令，完成各種類型的任務。

大語言模型最強大的地方在于它的泛化能力，基于互聯(lián)網海量信息的訓練，大模型會涌現(xiàn)出強大的通識能力，這就是我們常說的Scaling Law，這種能力可以遷移到VLA模型中，能夠讓模型理解訓練數據以外的物體和場景。

VLA在機器人領域的成功，很快也應用在了自動駕駛上。

不論是傳統(tǒng)的規(guī)則模型還是數據驅動的端到端模型，都無法解決一個問題。如果某個場景在模型的訓練數據之外，系統(tǒng)的表現(xiàn)會非常不穩(wěn)定，只能不斷修補，但是現(xiàn)實中駕駛場景太復雜，沒有辦法在數據中窮舉所有的可能。因此長尾場景一直是自動駕駛最大的挑戰(zhàn)。

自從大語言模型出現(xiàn)后，它表現(xiàn)出接近于人類水平的理解能力，給工程師看到一種可能，利用大模型來解決長尾場景，VLM和VLA都是這個方向的探索。

繼RT-2之后，24年11月一直專注于L4方案的Waymo發(fā)布了用于自動駕駛的多模態(tài)大語言模型（Multimodal Large Language Models）EMMA，雖然Waymo沒有將其定義為VLA，但是從模型的結構看，可以看作是VLA的一種形態(tài)。

EMMA有三個輸入，分別是

1. 攝像頭的原始圖像；
2. 導航的路徑信息；
3. 歷史信息和自車狀態(tài)。

中間的大語言模型和RT-2一樣，基于谷歌的Gemini，通過CoT思維鏈的推理，EMMA能輸出以下信息：

1. 自車未來的軌跡；
2. 感知結果；
3. 道路元素；
4. 對場景的理解。

在nuScenes數據集的Planning Benchmark上，EMMA的表現(xiàn)經驗，超過了傳統(tǒng)端到端模型，如UniAD以及許多VLM模型，側面證明了VLA在自動駕駛領域的潛力。

雖然EMMA也有一些問題，例如對于3D空間的推理能力較弱、計算量大等，但是為自動駕駛帶來的新的方向。

三、VLA上車難，難在哪里？

雖然EMMA和DriveGPT4等VLA模型在學術領域都取得了不錯的進展，但是至今還沒有一個可量產的方案出現(xiàn)，這里有幾個問題要解決。

算力問題

不論哪種VLA都是基于大語言模型來實現(xiàn)，而大語言模型的特點除了參數量大之外，對算力的要求非常高，通常都是部署在服務器端。

目前車端的自動駕駛芯片算力非常有限，量產算力最高的自動駕駛芯片OrinX也只有254Tops，這限制了車端能部署的模型規(guī)模以及運行的頻率。

從理想VLM的經驗來看，雖然經過了非常多工程上的優(yōu)化，最終的運行效率仍然達不到10Hz，需要更強大的芯片來支持。英偉達下一代的Thor U芯片將超過700 Tops，對于VLA上車來說會是非常重要的一環(huán)。

數據閉環(huán)

另一個對VLA非常重要的挑戰(zhàn)是數據。

雖然大語言模型已經基于海量的互聯(lián)網數據進行訓練，對于語言和文本已經有了非常強的分析能力，但對于駕駛相關的視頻數據、激光雷達點云和車輛狀態(tài)等數據，并沒有公開的海量數據可用。

而且VLA的關鍵能力CoT思維鏈，需要根據設計的邏輯和問題建立定制化的數據，需要車企有非常強的數據閉環(huán)能力。

在現(xiàn)在全民智駕的背景下，很多OEM喜歡用汽車的保有量來宣稱自己有海量的數據，能夠快速迭代智駕算法，實際上這只是面向普通消費者的宣傳術語。

即使是軟件和硬件架構高度統(tǒng)一的特斯拉，前幾代產品產生的數據也很難對現(xiàn)在的算法有幫助，更別說國內的OEM早期的車輛基本只有一顆前視攝像頭，而且方案還五花八門，這種數據對于高階智駕的算法，特別是VLA而言就是毫無用處。

進入端到端和VLA的時代，數據閉環(huán)不僅僅是收集數據，收集什么樣的數據，如何從海量的量產數據中挖掘有用的場景，如何把這些場景用在算法的優(yōu)化上；誰能更早把這些問題想清楚，誰就能在數據為王的時代占得先機。

可解釋性差

這幾乎是所有大語言模型的通病。雖然大模型能夠涌現(xiàn)出強大的能力，但是它似乎是一個大的黑盒子，到現(xiàn)在也沒有人能很好地解釋為什么大模型會有Scaling Law，以及它是如何思考的。也許對于語言類的大模型而言，邏輯上的錯誤并不致命，但是對于自動駕駛來說，一個小小的錯誤有可能就會產生嚴重的后果。

因此可解釋性對于自動駕駛而言是非常重要的特性，特別是在量產車上，遇到有問題的場景，需要找到根源問題root cause才能快速地優(yōu)化。

雖然在VLA中增加了對于決策過程的解釋，但是無法像傳統(tǒng)算法那樣定位到問題代碼，如何快速解bug，這會是VLA上車之后的一大挑戰(zhàn)。

辦法總比困難多，雖然VLA上車有種種挑戰(zhàn)，但是總用不怕困難的廠商率先嘗試，這一次還是理想走在了前面。

四、打響VLA上車的第一槍

作為首發(fā)VLM上車的車企，理想無疑是去年智駕行業(yè)最耀眼的明星。

不到一年的時間，理想再次領先一步，3月18日理想正式發(fā)布了下一代自動駕駛架構MindVLA，這是一個融合了視覺、語言和行為智能的大模型，賦予了自動駕駛強大的3D空間理解能力、邏輯推理能力和行為生成能力，讓自動駕駛能夠感知、思考和適應環(huán)境，更重要的是通過3D高斯、MoE混合專家架構的LLM基座模型和diffusion模型等技術，讓VLA第一次應用在量產車。

理想也公開了非常多的細節(jié)，從架構上看MindVLA和學術領域的VLA架構有很多的不同點。

之前的VLA架構非常簡單，輸入是傳感器數據和語言信息，輸出軌跡，中間是一個大的基座模型，而MindVLA除了有基座大模型之外，還增加了其它的模塊，這其中有幾個關鍵的技術，代表了理想從工程端對VLA的理解。

V - Spatial Intelligence空間智能

在MindVLA的架構中傳感器數據沒有直接輸入到基座大模型中，而是先經過了一個V-Spatial Intelligence的模塊，這個模塊能根據傳感器的原始輸入形成對3D物理世界的理解，和大語言模型相比，有更強的空間感知能力，這其中關鍵的技術是使用了3D高斯表征。

3D高斯最早起源于圖像渲染和三維場景重建領域，可以通過二維的圖像還原3D的場景，此前該領域廣泛應用的是神經輻射場算法-NeRF，這是一種基于輻射場和光纖可逆原理還原3D物體的神經網絡算法，圖像質量高但是訓練時間長、渲染速度慢，不適合實時場景，廣泛用于電影特效和游戲開發(fā)領域。

而3D高斯則是利用3D高斯分布的點對圖像進行建模，每個高斯點包含位置、方向、顏色和透明度等信息，渲染時這些高斯分布點會被投影出來，通過光柵化技術合成，類似于在圖層上潑灑高斯點，每個點貢獻一個像素或片段的顏色和透明圖，最終還原整個物體。

3D高斯最大的特點是建模速度非常快并且可以通過原圖的RGB信息進行自監(jiān)督學習。

如果用畫畫來比喻，NeRF就像一個畫功很好的畫家，根據原圖中的光影和細節(jié)一筆一畫的還原出來，而3D高斯則是前衛(wèi)的「潑墨」藝術家，同時將不同顏色和透明度的斑點打在畫布上，層層疊加形成圖像。

理想的團隊將3D高斯首次應在自動駕駛領域，并且在路徑規(guī)劃、占用格柵網絡和障礙物檢測等任務上都有很好的表現(xiàn)，MindVLA中使用3D高斯作為感知模塊，和自車位置和導航信息等一同編碼輸入到基座大模型中。

MindGPT大模型

這次的MindVLA中，理想沒有再使用開源的千問模型，而是從0開始搭建了一個LLM基座模型MindGPT。

從名字來看這似乎是和理想座艙共用的大模型，而且李想今年也公開表示成為一家AI公司的長期愿景，所以根據自身的需求搭建一個大模型是非常必要的戰(zhàn)略方向。

為了降低大模型在車端的計算需求，MindVLA采用了MoE混合專家架構和Sparse Attention（稀疏注意力）。

MoE模型是一種分而治之策略的神經網絡架構，它將復雜的問題分解為多個子問題，每個子問題由一個獨立的模型（稱為專家）進行處理，與稠密模型相比，參數更少，預訓練速度更快，同時由于少數專家模型被同時激活，與相同參數數量的模型相比，MoE架構可以大幅減少計算開銷。

稀疏注意力機制是一種改進的注意力機制，旨在解決傳統(tǒng)的Transformer注意力機制在高維輸入或長序列數據上的計算復雜度過高的問題。通過減少注意力計算中需要處理的元素數量，稀疏注意力機制能夠顯著降低計算和內存開銷，同時保持較高的模型性能。

理想也把當前端到端+VLM的快慢思考模式引入到MindVLA中，訓練MindGPT學習這個思考模式，可以自主切換快思考和慢思考，同時MindVLA采取小詞表結合投機推理，以及并行解碼技術，實現(xiàn)了模型參數規(guī)模與實時推理性能之間的平衡。

擴散模型（Diffusion Model）

LLM大模型雖然可以直接輸出控制軌跡，但是準確度不穩(wěn)定，MindVLA中沒有讓基座大模型直接生成軌跡，而是輸出Action token，然后使用了一個擴散模型解碼成駕駛軌跡。

擴散模型不僅生成自車的軌跡，同時預測其它車輛和行人的軌跡，此外擴散模型還可以根據外部的條件輸入改變生成的結果，通過這種特性可以根據用戶的指令改變自動駕駛系統(tǒng)的風格。

為了解決擴散模型生成效率低的問題，MindVLA使用了基于常微分方程的ODE采樣器來加速生成過程，在2~3步內就可以生成穩(wěn)定的軌跡。

云端世界模型

通過高質量的數據進行訓練，MindVLA大模型能夠達到專業(yè)司機的駕駛水平，但是要讓系統(tǒng)有機會超越人類，需要在云端模型場景對系統(tǒng)進行訓練，但是傳統(tǒng)的云端模擬都是基于游戲引擎，會出現(xiàn)不符合物理規(guī)律的幻覺，無法滿足自動駕駛對真實性的要求。

理想的做法是結合真實場景進行重建和生成，同時在不同的視角下添加噪音來訓練生成模型，讓模型具備多視角的生成能力，更接近真實世界的3D環(huán)境。

理想通過創(chuàng)新的架構和工程上的優(yōu)化，讓VLA率先應用在了量產車上，而且根據理想公布的計劃，MindVLA不僅會應用在Thor方案上，當前OrinX的方案也會搭載MindVLA，雖然在模型的參數規(guī)模上可能有些裁剪，但是表現(xiàn)同樣讓人期待。

五、VLA，是不是唯一路徑？

除了理想之外，元戎也一直是VLA方案的推崇者，從去年開始元戎就在多個場合提出VLM并不是自動駕駛方案的最優(yōu)解。

在前不久GTC上，元戎CEO周光也提到將用VLA打通空間智能、語言智能和行為智能，實現(xiàn)自動駕駛并應用在其它AI場景。

但VLA是實現(xiàn)自動駕駛的唯一解嗎？

特斯拉并沒有公開表示自己的端到端是以大語言模型為基座，但是它的表現(xiàn)依然驚艷。

「AI教母」李飛飛的第一個創(chuàng)業(yè)項目沒有選擇大語言模型，而是轉向空間智能，通過二維圖片來還原3D世界，類似的想法還有蔚來的世界模型；這些都代表了AI行業(yè)對下一代技術方向的思考，VLA是不是最優(yōu)解還需要實際表現(xiàn)來證明。

VLA在自動駕駛領域才剛剛起步，還有很大的想象空間，今年7月份理想會開啟MindVLA的推送，元戎也預計搭載其VLA模型的車型今年將投入消費者市場。

非常期待它們的表現(xiàn)。