基于今年發(fā)布的各類端到端智能駕駛方案,RoboX根據(jù)過(guò)往采訪內(nèi)容以及公開(kāi)信息,高度概括出10家企業(yè)的端到端方案結(jié)構(gòu),以及相關(guān)負(fù)責(zé)人的觀點(diǎn),便于大家快速達(dá)成基本認(rèn)知:
01
理想汽車
概述:理想采用了「雙系統(tǒng)」端到端——端到端「快系統(tǒng)」+VLM「慢系統(tǒng)」(視覺(jué)語(yǔ)言模型)。
其中,「快系統(tǒng)」負(fù)責(zé)實(shí)時(shí)響應(yīng)、輸出行為,「慢系統(tǒng)」則負(fù)責(zé)應(yīng)對(duì)復(fù)雜邏輯判斷,輸出決策和參考軌跡。
理想汽車智能駕駛技術(shù)研發(fā)負(fù)責(zé)人-賈鵬:
“如果未來(lái)算力足夠,VLM有望跑進(jìn)10-20赫茲,達(dá)到實(shí)時(shí)。隨著Thor等大算力芯片的到來(lái),兩個(gè)系統(tǒng)最終會(huì)合成一個(gè)統(tǒng)一的模型,而且兜底策略可能也會(huì)被VLM消化掉。”
02
蔚來(lái)汽車
概述:基于群體智能和生成式仿真,訓(xùn)練蔚來(lái)世界模型NWM,并基于該模型的時(shí)空認(rèn)知和規(guī)劃能力,進(jìn)行端到端智能駕駛。
蔚來(lái)智能駕駛研發(fā)副總裁-任少卿:
“因?yàn)樾枰亟ㄒ曨l,接入信息也會(huì)更多,這使得NWM的收斂速度更快,想象的能力也會(huì)更強(qiáng)。同時(shí),相比于之前的算法,NWM生成的視頻長(zhǎng)度會(huì)長(zhǎng)很多。”
03
小鵬汽車
概述:小鵬的端到端智駕大模型包含:神經(jīng)網(wǎng)絡(luò)XNet(感知)、規(guī)控大模型XPlanner(決策控制)以及大語(yǔ)言模型XBrain(與用戶交互)。其端到端方案也是fen分段式結(jié)構(gòu)。
小鵬汽車董事長(zhǎng)-何小鵬:
在Q2財(cái)報(bào)電話會(huì)上,何小鵬認(rèn)為端到端的進(jìn)步速度,會(huì)快速替代之前的L3甚至L4級(jí)自動(dòng)駕駛,上限很高。但他同時(shí)認(rèn)為端到端的下限還存在瓶頸,例如轉(zhuǎn)角遇到流浪貓的特殊場(chǎng)景,端到端或許無(wú)法解決。
04
華為乾崑
概述:華為ADS 3.0進(jìn)一步去掉了BEV網(wǎng)絡(luò),以GOD(通用障礙物識(shí)別)大模型負(fù)責(zé)感知,PDP(預(yù)測(cè)決策規(guī)控)網(wǎng)絡(luò)負(fù)責(zé)預(yù)決策和規(guī)劃,可實(shí)現(xiàn)「從原始信號(hào)輸入到最終規(guī)劃軌跡輸出」的自動(dòng)化過(guò)程,但同樣是「分段式端到端」。
05
極氪汽車
概述:極氪的「浩瀚智駕2.0」由兩個(gè)子系統(tǒng)組成,其中包括了兩個(gè)自研的智駕大模型——場(chǎng)景認(rèn)知大模型SCM + 規(guī)控大模型IPM,它們分別實(shí)現(xiàn)「感知端到端」和「規(guī)控端到端」。目前可以實(shí)現(xiàn)的是泊車場(chǎng)景端到端、路口場(chǎng)景端到端。
極氪智能科技副總裁-陳奇:
“「浩瀚智駕2.0」可大大提升復(fù)雜場(chǎng)景下的表現(xiàn),也可以學(xué)習(xí)人類駕駛軌跡、變道時(shí)機(jī)等。接下來(lái),極氪將分三個(gè)階段實(shí)現(xiàn)實(shí)現(xiàn)「車位到車位全場(chǎng)景城市智駕」:從城市NZP通勤模式,到城市NZP,再到城市NZP+。”
06
長(zhǎng)城汽車
概述:在采用端到端智駕大模型——SEE 2.0的同時(shí),長(zhǎng)城也做了多層兜底——通過(guò)數(shù)據(jù)共享和交換機(jī)制,該方案既要用一個(gè)感知模型替代多個(gè)模型,又要加上后處理的仲裁。以求既能直接輸出駕駛軌跡,又能為感知加上模塊化的決策規(guī)劃,以此保證智能駕駛的擬人化和安全。
長(zhǎng)城汽車智能平臺(tái)開(kāi)發(fā)中心的專家-吳國(guó)蘇州:
“以當(dāng)前的技術(shù)狀態(tài)來(lái)說(shuō),誰(shuí)也沒(méi)辦法達(dá)成完全端到端,更無(wú)法實(shí)現(xiàn)‘所有場(chǎng)景都能開(kāi)’,所以將兩種技術(shù)結(jié)合起來(lái),是現(xiàn)階段的比較好的方案。”
07
商湯絕影
概述:商湯絕影采用的是「完全端到端」方案UniAD——將感知、決策、規(guī)劃等模塊都整合到一個(gè)全棧Transformer端到端模型中,實(shí)現(xiàn)由傳感器輸入,直接輸出行為軌跡。現(xiàn)階段,該方案還需要規(guī)則兜底,而隨著大模型的強(qiáng)化,亦有望舍棄規(guī)則。
未來(lái),基于多模態(tài)大模型打造的DriveAGI將是可解釋、可交互的下一代智駕方案。
商湯科技聯(lián)合創(chuàng)始人、首席科學(xué)家、絕影智能汽車事業(yè)群總裁-王曉剛:
“「兩段式」方案還是存在性能瓶頸的,因?yàn)槠浣?jīng)過(guò)感知過(guò)濾后的信息,會(huì)出現(xiàn)較多損失。不過(guò)目前,一段式端到端還像一個(gè)孩子,需要規(guī)則兜底來(lái)幫扶一段時(shí)間,使其迭代;但這個(gè)孩子再怎么不成熟,也是屬于人類,終究會(huì)成長(zhǎng)起來(lái)。”
08
地平線
概述:地平線的SuperDrive采用了動(dòng)態(tài)、靜態(tài)、OCC「三合一的端到端感知架構(gòu)」,該架構(gòu)能夠同時(shí)處理動(dòng)態(tài)、靜態(tài)目標(biāo),精準(zhǔn)還原物理世界的真實(shí)環(huán)境。SuperDrive無(wú)需對(duì)感知數(shù)據(jù)進(jìn)行抽象和逐級(jí)傳遞,提升了系統(tǒng)的遮擋準(zhǔn)召率和降低了動(dòng)態(tài)代碼行數(shù)及網(wǎng)絡(luò)負(fù)載。
09
Nullmax
概述:多模態(tài)大模型+「安全類腦」技術(shù):通過(guò)多模態(tài)大模型,端到端系統(tǒng)可以根據(jù)理解來(lái)輸出軌跡,并對(duì)其合理性進(jìn)行一級(jí)仲裁;「安全類腦」則具備天然避障能力,可對(duì)多模態(tài)模型的控制輸出進(jìn)行二級(jí)仲裁,相當(dāng)于監(jiān)督功能。
Nullmax創(chuàng)始人、CEO、CTO -徐雷:
“之所以采用兩個(gè)安全模塊(一級(jí)仲裁+二級(jí)仲裁),是因?yàn)槲覀兒茈y保證對(duì)規(guī)則的考慮都是全面的——不管是一段式端到端,還是模塊化的端到端,都要基于感知結(jié)果設(shè)計(jì)規(guī)則,而感知的準(zhǔn)確性不可能100%準(zhǔn)確,并且終究會(huì)有一些規(guī)則是我們沒(méi)有想到的。”
10
鑒智機(jī)器人
概述:鑒智機(jī)器人采用了端到端神經(jīng)網(wǎng)絡(luò)Agent——GraphAD,該范式將圖模型思想引入motion和planning等任務(wù)中,對(duì)駕駛環(huán)境中的交互場(chǎng)景元素(Interaction Scene Graph,ISG)進(jìn)行顯性建模,使得學(xué)習(xí)和訓(xùn)練效率更強(qiáng)。目前,該方案已經(jīng)部署到量產(chǎn)車載計(jì)算平臺(tái)上。
鑒智機(jī)器人聯(lián)合創(chuàng)始人、CTO都大龍:
“我們將真實(shí)世界的信息壓縮成一個(gè)生成式模型,同時(shí)要不斷對(duì)其進(jìn)行幾個(gè)層面的優(yōu)化:包括真實(shí)度、可控度以及可交互度,使其無(wú)限逼近真實(shí)世界。”
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.