1月22日，在第17屆日本國際汽車工業(yè)技術展上，元戎啟行CEO周光發(fā)表了一場演講，對VLA模型（Vision Language Action Model，視覺語言動作模型）的特點進行了簡要介紹，并宣布該公司已與某頭部車企達成量產(chǎn)合作，共同推出搭載VLA模型的智能駕駛汽車，該車配備英偉達Thor芯片，將于今年投入消費者市場。

RoboX將本次周光的演講內(nèi)容進行了翻譯和整理，供大家參考。

高精地圖就像「作弊」

“高精度地圖雖然在十年前非常有用，能幫助車輛定位，但這種方式更像是一種‘作弊’，因為它只能在限定范圍內(nèi)規(guī)避一定問題。”周光表示，最典型的案例就是傳統(tǒng)基于規(guī)則的Robotaxi，至今仍只能在特定區(qū)域運營。

另外，自然還有高精度地圖一直被詬病的「高成本」、「難以保持鮮度」等問題。

相比來看，無圖化的「端到端」方案的優(yōu)勢在于：

• 實時感知和重建：車輛能夠?qū)崟r感知周圍環(huán)境，并根據(jù)感知結果做出決策，而不是依賴于預先繪制的高精度地圖。這使得車輛能夠適應各種突發(fā)情況和道路變化。
• 處理長尾情況：傳統(tǒng)基于規(guī)則的自動駕駛系統(tǒng)往往難以處理長尾情況，因為這些情況通常沒有在規(guī)則中明確列出。而端到端解決方案則能夠通過學習大量數(shù)據(jù)來適應這些情況。
• 可擴展性和泛化性：由于基于神經(jīng)網(wǎng)絡，端到端解決方案可以很容易地擴展到數(shù)百萬輛車上，并且具有很強的泛化能力，可以在全球范圍內(nèi)使用。

VLA，將讓智駕更強大

周光稱，在過去的兩年里，自動駕駛技術的進步遠遠超過了過去的20年，尤其是在結合了大語言模型之后。

2022年，元戎啟行（以下簡稱「元戎」）不需要高精地圖和高精定位，并將多個模塊全部融合到一個通用感知網(wǎng)絡中。該網(wǎng)絡可以檢測到3D動態(tài)障礙物和靜態(tài)物體，例如地標、邊界等等。

同年，元戎又開始使用深度學習方法來處理決策和規(guī)劃，但那時性能還不夠理想。

2023年，元戎進行了端到端的初步測試，并于2024年開始開發(fā)下一代端到端技術——視覺-語言-動作模型（VLA）。

“VLA與最新的生成式大模型相結合，讓自動駕駛功能更強大。今年，這一新技術將被集成到量產(chǎn)車中，并實現(xiàn)交付。“周光說道。

他介紹稱，傳統(tǒng)的感知網(wǎng)絡利用的是結構數(shù)據(jù)。而神經(jīng)網(wǎng)絡會使用原始向量，而且是高維向量，這些向量在神經(jīng)模塊之間傳遞信息，并通過超高帶寬進行信息交換，避免信息丟失。

元戎的DeepRoute IO正是這樣一個系統(tǒng)——IO代表輸入和輸出，即輸入數(shù)據(jù)，輸出控制命令，這意味著它是一個單一的神經(jīng)網(wǎng)絡。

傳統(tǒng)方案與VLA、端到端的本質(zhì)區(qū)別

“我認為VLA是端到端2.0。在第一代端到端的架構中，已經(jīng)沒有太多代碼了。它就像神經(jīng)網(wǎng)絡或者大語言模型一樣，從底端直接輸入，并輸出結果。”

要想搞清楚VLA方案，首先要搞清楚「輸入、輸出、視覺編碼器、文本編碼器，軌跡解碼器」，以及它們?nèi)绾喂ぷ鳌?/p>

周光解釋稱，所謂的「輸入」，就是從攝像頭、導航系統(tǒng)、地圖等接收的「輸入」信號。輸入要通過兩個編碼器，文本編碼器(text encoder)和視覺編碼器(vision encoder)。

視覺編碼器對圖像進行編碼，并從中提取高級特征；而文本編碼器，更多代表著用戶與汽車的交互。

“在傳統(tǒng)方案中，會生成各類特征。雖然看起來簡單，實際上它背后的網(wǎng)絡復雜得多。它結合了文本特征等，然后通過模型進行輸出。”

至于「輸出」，是由軌跡解碼器(trajectory decoder)把模型的輸出轉(zhuǎn)換成系統(tǒng)能理解的軌跡信號，它負責告訴用戶接下來10秒，乃至30秒中，車輛會做什么，也就是給出帶有速度和路徑的軌跡。

同時，「文本解碼器」也會解釋下一步動作的原因。例如，“有兩個行人正在試圖過馬路，車輛需要減速并等他們通過。”

相比之下，基于端到端技術的自動駕駛解決方案則更加高效，這種方案通過實時感知和重建世界，能夠處理各種復雜和長尾的情況。

“由于它是基于神經(jīng)網(wǎng)絡的，因此具有很強的泛化能力，可以適應全球范圍內(nèi)的不同道路和環(huán)境。”

周光表示，在端到端技術加持下，軌跡解碼器就像人類大腦一樣工作，而不是像規(guī)則。

他介紹稱，VLA的關鍵特性是「思維鏈」：“因為現(xiàn)實世界要復雜得多，規(guī)則庫無法應對這種復雜度。你需要通過多重信息來決定如何通過復雜場景，也需要不斷地與其他車輛博弈、交互。”

他為VLA的思維鏈舉了個例子，例如潮汐車道，基于VLA的智能駕駛車輛，能通過文本等看懂可逆車道的道路標志，并從多重信息中確認此時的潮汐車道是否可行駛，并通過轉(zhuǎn)向燈等與其他車輛交互，隨即變換車道，進行轉(zhuǎn)向，最終行駛至潮汐車道中。

這一系列動作都是使用VLA進行的，它可以利用類人的思維，通過對全局上下文的了解，去了解車道的情況，與其他車輛交互，并做出最優(yōu)的、安全的決策。

在周光看來，VLA相比目前的端到端具備兩點關鍵提升：

首先，它更具適應性，也就是VLA可以適應并處理復雜的現(xiàn)實世界場景；

其次，是透明度，也就是它會解釋動作及軌跡原因，“傳統(tǒng)的數(shù)據(jù)系統(tǒng)需要解釋代碼，但是作為人類，我可以自然解釋操控原因，這就是高級推理。VLA正是具備了這樣的高級推理，因為它采用了全局信息和長上下文（context）信息，它可以做出更好的決策并提高安全性。

VLA的關鍵挑戰(zhàn)

然而，VLA技術仍然存在許多重大挑戰(zhàn)。首當其沖的，自然還是數(shù)據(jù)，而且周光還強調(diào)了真實數(shù)據(jù)的重要性。

“真實世界的數(shù)據(jù)是不同的，它涵蓋了大量的環(huán)境變化，例如閃電、天氣等。這就是我們?yōu)槭裁词褂谜鎸嵤澜鐢?shù)據(jù)的原因，因為合成數(shù)據(jù)無法完整覆蓋這些變化。還有更重要的一點，就是合成數(shù)據(jù)缺乏關鍵狀態(tài)。例如行人違規(guī)橫穿馬路等場景，是在模擬中是無法得到的。”

對于這點，周光認為，量產(chǎn)車的規(guī)模，決定了迭代的速度：“我們每個月出貨量都在萬臺規(guī)模，擁有大量數(shù)據(jù)來開發(fā)VLA模型。在中國，我們在全國范圍內(nèi)進行測試，收集數(shù)據(jù)。由于中國各地的天氣條件、不同城市都有差異，我們可以覆蓋各種場景，并收集足夠的數(shù)據(jù)用于訓練。”

另外，「實時響應」也是一個很大的挑戰(zhàn)。大模型需要數(shù)十億量級的參數(shù)，以及數(shù)千種類型的計算。所以元戎選擇與英偉達共同開發(fā)VLA模型，再加上元戎自己的推理引擎，可通過AI推理最大限度地提高模型性能。

“我們可以在100毫秒內(nèi)對情況做出響應，這比人類還快。”

當周光提及近期在美國測試特斯拉FSD最新版本的感受時，他表示FSD的整體表現(xiàn)非常流暢、自然且可預測。

“但我也注意到了特斯拉數(shù)據(jù)的不足——美國灣區(qū)的車輛相比國內(nèi)少得多，人流量、電動車的密度等都比中國低。如果想在中國部署這個系統(tǒng)，這些數(shù)據(jù)都是缺乏的。”

他認為，擁有足夠的臨界態(tài)數(shù)據(jù)，才意味著可以更好地和參與交通的其他車輛、行人進行交互。“我確信特斯拉也在使用相同的技術。”

周光表示，目前元戎正與多家主機廠進行量產(chǎn)合作，其中包括了SUV、乘用車和越野車等車型。

“去年，我們有三款車型實現(xiàn)量產(chǎn)，而今年會有超過10款，預計今年這些車型的產(chǎn)量將超過20萬輛，甚至更多。”

周光提及，最近元戎與Smart建立了戰(zhàn)略合作伙伴關系，同樣涉及自動駕駛。而且，第一款使用元戎解決方案的MPV也將于今年第一季度上市。

預計在今年，元戎不僅會在量產(chǎn)汽車中部署VLA模型，還會使用這些技術探索Robotaxi。

“Robotaxi是商業(yè)邏輯，而不是一項技術。我認為Robotaxi應該使用端到端模型、使用VLA來運營。”他說道。