99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

李想下重注的VLA,到底能不能干掉端到端?

0
分享至



伴隨著各路頭部智駕企業奮力攻堅L3,視覺語言動作模型VLA替代了去年大火的端到端方案。

那么,作為新的算法架構,VLA相較于之前方案的進步到底在哪里呢?

當小甜甜變成了牛夫人,昔日的座上賓就有可能被冷落在一邊。

2024年,整個本土車圈還是開口端到端,閉口端到端,似乎要跟端到端愛到滄海桑田、海枯石爛。

進入2025年,這些渣男們就變了臉,開始將VLA呼作小甜甜。


其實,從算法的形式上來看,VLA也是視頻入、軌跡出的端到端方案。

相較于更早之前的分模塊方案,端到端方案的本質是以深度神經網絡DNN取代分模塊方案中的規則代碼,以一個完整的神經網絡的形式從自動駕駛算法的輸入端(以視覺為主的各類傳感器信息)直接貫通到輸出端(行駛軌跡)。


不過,傳統端到端神經網絡的架構為基于判別式AI的BEV+OCC+AI Planning小模型,而VLA雖然在形式上仍然是神經網絡架構,但其架構已經升級為基于生成式AI的多模態大模型。

小模型到大模型的轉變是當前這波轟轟烈烈的AI熱潮的主旋律,智能輔助駕駛行業的主流模型架構由端到端小模型升級為端到端大模型,也不過是追求大時代的腳步罷了,沒什么好稀奇的。


參考元戎啟行的說法,傳統端到端方案是只具備專業領域能力的端到端1.0,視覺語言動作模型是具備跨越多個領域通識能力的端到端2.0。


端到端小模型到端到端大模型、端到端1.0到端到端2.0的核心轉變與整個AI領域小模型到大模型的轉變一脈相承。

AI模型在GPT出現前后的轉變在于出現了基于海量數據學習、灌注世界知識的大語言模型,智駕模型在VLA模型出現前后的轉變同樣在于引入了大語言模型。

或者可以這樣認為,VLA是在原本的V-A模型中引入了L,由V-A演變成了V-L-A,如果在這里列一個數學公式,就是V-L-A = V-A + L。

愛因斯坦說過,一切都應該盡可能地簡單,但也不能過于簡單。

簡單地理解VLA模型和傳統端到端方案的區別就是,傳統端到端方案相當于在視覺動作VA模型,引入大語言模型L(LLM),VA+L=VLA,表示VLA是引入了大語言模型能力的進階版端到端。

如果簡單照搬,以理想汽車為代表的雙系統方案指的是端到端系統1+視覺語言模型系統2。

系統1是視覺動作模型VA,系統2是視覺語言模型VL,VA+VL=VLA,是不是意味著理想汽車的雙系統方案也能帶來類似VLA模型的能力表現?


答案當然是包不同經常掛在嘴邊的“非也,非也。”

從神經網絡的形式來看,端到端系統1的輸入端是以視覺為主的傳感器信息,輸出端是行駛軌跡。

視覺語言模型系統2的輸入端是2D視覺信息、導航信息,輸出端是文本而非軌跡。

VLA的輸入端是視覺為主的傳感器信息、2D視覺信息、3D視覺信息、導航信息、語音指令信息,輸出端是文本和行駛軌跡。


從面向智能輔助駕駛應用的神經網絡形式來看,系統1和VLA模型均為(傳感輸入)端到(控制輸出)端神經網絡,而視覺語言模型2因其輸出端并非軌跡,導致其并非端到端神經網絡!

其結果就是,無論是端到端系統1還是作為被稱為端到端2.0的視覺語言動作模型,其在神經網絡架構上均能實現全程可導。

來自駕駛車隊的海量數據和來自世界模型的高質量生成數據,都可以通過反向傳播推動神經網絡的參數更新和能力進步。

而視覺語言模型因為其并不直接輸出軌跡,導致無法受益于真實數據和生成數據的驅動。


全程可求導和非全程可求導的區別在于,無論是數據驅動的端到端還是知識驅動的VLA,都能高效率、低成本地通過自動化的數據閉環實現駕駛場景數據驅動,而視覺語言模型無法借助數據閉環,實現高效率、低成本的數據驅動。

廢話放在一邊,直接開門見山。

在算法架構層面,VLA引入了大語言模型,在算法形式層面,VLA保持了從傳感輸入到軌跡輸出的端到端神經網絡形式。

那么,在能力層面,相較于第一代的端到端、第二代的端到端+VLM,VLA帶來了哪些升級呢?

這當然要從大語言模型談起。


和端到端1.0相比,VLA最為重要的轉變在于引入了大語言模型。

大語言模型帶來了理解能力和生成能力的雙重升級。

具體到對駕駛場景的理解能力上,傳統端到端方案缺乏對場景語義的深層解析,VLA能夠構建多層次的語義特征,捕捉數據中的復雜模式,這種來自大語言模型的邏輯推理能力可以實現對復雜交通場景的語義化理解。

在傳統端到端方案的基礎上,VLA模型具備融合復雜交通標志、交警和行人手勢、交警口令等多模態信息的整合能力,打開了自動駕駛系統根據臨時交通標志、交警手勢靈活性駕駛的潛力。


具體到駕駛軌跡的輸出能力上,VLA模型引入了CoT思維鏈,可以像特斯拉和蔚來的車端世界模型中的“視覺思維鏈”那樣,對未來場景進行各種預演和長時間推理。

根據對未來一段時間內場景狀態的預測和實際場景狀態的偏差,對思維鏈進行動態調整,修正預測偏差。

世界模型或視覺思維鏈這種先預判、再根據執行動作和場景感知進行策略修正的做法,非常吻合人類司機駕駛行為中的認知模式。

此外,VLA模型在預訓練階段吸收了互聯網規模數據中包含的交通規則、車輛運動學、物理規律,可以生成更精確、更符合交規的駕駛軌跡。

VLA模型在強化學習階段可以根據司機接管行為和人類偏好進行模型強化,可生成更具安心感和舒適感的駕駛軌跡。


總之,由于LLM的嵌入,VLA實現了更精細的場景感知、更準確的語義理解、更符合人類認知模式和偏好的軌跡。

相較于之前的端到端方案,VLA模型在一定程度上實現了性能躍遷。

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
3倍年薪在招手約克雷斯去阿森納稅后年薪800萬歐 目前僅240萬

3倍年薪在招手約克雷斯去阿森納稅后年薪800萬歐 目前僅240萬

直播吧
2025-07-16 16:27:16
強吻、襲胸、掀衣服、彈內衣帶,內娛的“假戲真做”太可怕了!

強吻、襲胸、掀衣服、彈內衣帶,內娛的“假戲真做”太可怕了!

可樂談情感
2025-07-16 08:54:29
樊振東加入德甲僅一個月,惡心的一幕出現,他到底是不是賣國求榮

樊振東加入德甲僅一個月,惡心的一幕出現,他到底是不是賣國求榮

晚霧空青
2025-07-07 18:20:48
被俘12年后,李仙洲才決定交代一個問題,周總理聽后:這是大功勞

被俘12年后,李仙洲才決定交代一個問題,周總理聽后:這是大功勞

丁丁鯉史紀
2025-07-11 16:25:42
波克羅夫斯克方向一支俄軍重型裝甲突擊縱隊遭全殲,俄軍尸橫遍野

波克羅夫斯克方向一支俄軍重型裝甲突擊縱隊遭全殲,俄軍尸橫遍野

環球熱點快評
2025-07-15 11:06:39
帶著兒子倒貼嫁給張譯,如今19年過去,才知道她嫁的到底有多值

帶著兒子倒貼嫁給張譯,如今19年過去,才知道她嫁的到底有多值

凡知
2025-05-27 13:02:41
宗馥莉和杜建英:爭的不是信托資產,而是娃哈哈股權

宗馥莉和杜建英:爭的不是信托資產,而是娃哈哈股權

金牌娛樂
2025-07-16 11:10:21
“兩彈元勛”被暴徒當街打死,周總理怒摔茶杯,粟裕親自圍捕兇手

“兩彈元勛”被暴徒當街打死,周總理怒摔茶杯,粟裕親自圍捕兇手

柳絮憶史
2025-07-15 11:50:38
黃一鳴自曝:王思聰每次約她,車費都給10萬,來給5萬,回再給5萬

黃一鳴自曝:王思聰每次約她,車費都給10萬,來給5萬,回再給5萬

漢史趣聞
2025-06-24 10:07:59
網友稱全紅嬋新家施工因鄰居家大樹受阻,施工方:不存在該情況

網友稱全紅嬋新家施工因鄰居家大樹受阻,施工方:不存在該情況

娛樂圈見解說
2025-07-16 19:40:16
CCTV5直播!中國女籃VS新西蘭要鎖定小組第一,宮魯鳴或重用雙塔

CCTV5直播!中國女籃VS新西蘭要鎖定小組第一,宮魯鳴或重用雙塔

老葉評球
2025-07-16 10:08:21
中國歷史上“最接近神”的七個人,諸葛亮勉強登榜,第一無人能敵

中國歷史上“最接近神”的七個人,諸葛亮勉強登榜,第一無人能敵

青梅侃史啊
2025-05-21 06:35:04
“有分數沒腦子”,高考670分男生兼職被抓,到手的浙大夢碎了

“有分數沒腦子”,高考670分男生兼職被抓,到手的浙大夢碎了

知曉科普
2025-07-16 11:20:13
北京醫科大學曲黎敏教授大膽直言:“一夫一妻制是違背人性的

北京醫科大學曲黎敏教授大膽直言:“一夫一妻制是違背人性的

忠于法紀
2025-07-16 18:55:38
李尚福烈士家屬可享受哪些撫恤政策?

李尚福烈士家屬可享受哪些撫恤政策?

世界有奇事
2025-05-24 09:30:36
全網都在替宗馥莉出主意

全網都在替宗馥莉出主意

長三角momo
2025-07-14 17:32:24
瓦良格號給中國的震撼有多大?中國專家驚嘆:蘇聯用的鋼材太好了

瓦良格號給中國的震撼有多大?中國專家驚嘆:蘇聯用的鋼材太好了

鐵錘簡科
2025-07-03 17:07:12
破1.96億,搶了《侏羅紀世界》的冠軍,陳思誠挽救了國產片的顏面

破1.96億,搶了《侏羅紀世界》的冠軍,陳思誠挽救了國產片的顏面

靠譜電影君
2025-07-14 23:14:28
向佐拖欠百萬賭債原因曝光,美高梅發文解釋,網友:還得是向家!

向佐拖欠百萬賭債原因曝光,美高梅發文解釋,網友:還得是向家!

娛圈小愚
2025-07-16 13:58:20
宗婕莉信息被扒!曾是學校排球隊主力,不像宗慶后,長得一言難盡

宗婕莉信息被扒!曾是學校排球隊主力,不像宗慶后,長得一言難盡

果娛
2025-07-16 11:42:40
2025-07-16 21:40:49
燃擎頻道 incentive-icons
燃擎頻道
中國汽車自媒體前30強!
7934文章數 231272關注度
往期回顧 全部

科技要聞

網易直擊黃仁勛見面會,他說了這28句話

頭條要聞

黃楊鈿甜"天價耳環"價格一百多元 一家非過億別墅業主

頭條要聞

黃楊鈿甜"天價耳環"價格一百多元 一家非過億別墅業主

體育要聞

不給楊瀚森傳球,他有自己的理由

娛樂要聞

都美竹將參加綜藝,單身媽媽發文抵制

財經要聞

探究萬億市場的休閑零食

汽車要聞

理想i8內飾官圖公布 李想回應"被打臉"

態度原創

游戲
房產
健康
親子
軍事航空

電競世界杯:有驚無險,HLE輕取CFO

房產要聞

三亞又有好地要賣,起拍樓面價飆到了1.6萬/㎡!

呼吸科專家破解呼吸道九大謠言!

親子要聞

貴州29歲女子連生5娃,住大平層睡醒就吃還打牌,聲稱還能再生倆

軍事要聞

特朗普否認鼓動烏克蘭打擊莫斯科

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 石渠县| 民丰县| 闽侯县| 仁寿县| 黔东| 昆明市| 靖安县| 汝州市| 巴南区| 凌源市| 凯里市| 海林市| 大方县| 桃园市| 竹北市| 建平县| 永仁县| 江华| 内江市| 霸州市| 灵石县| 苗栗县| 肇庆市| 兖州市| 湄潭县| 绥芬河市| 建水县| 渝中区| 泊头市| 长子县| 双江| 上蔡县| 平邑县| 蕲春县| 米易县| 乌审旗| 屯门区| 新巴尔虎右旗| 通化县| 桐庐县| 井研县|