文/周雄飛
如何讓自動駕駛算法,實現(xiàn)人類大腦的工作效率?
這一課題,一直都是自動駕駛行業(yè)探索的重要領域。因為就目前來看,大多數(shù)的自動駕駛算法模型,以及引得全行業(yè)追逐的端到端模型,都是基于海量數(shù)據(jù)訓練和調優(yōu)實現(xiàn)的,由此在業(yè)內看來,現(xiàn)階段自動駕駛行業(yè),是處于數(shù)據(jù)驅動的時代。
但與此同時,數(shù)據(jù)驅動也存在著諸多的問題。就比如隨著對端到端技術的研究和應用走向更加深入,對于數(shù)據(jù)質量的要求變得越來越高,以及還存在泛化性能不足和效率不高等問題,更為重要的是,在應對一些Corner cases時不如人類大腦的反應速度。
在這樣的行業(yè)背景下,以Nullmax為代表的一些自動駕駛企業(yè)們也提出了創(chuàng)新性的思考。
這兩天,Nullmax舉辦了主題為“AI無止境,智變新開端”的技術發(fā)布會,正式推出了最新的自動駕駛技術——Nullmax Intelligence(以下簡稱NI),是一套基于端到端技術架構的技術,包含多模態(tài)大模型和安全類腦的神經網(wǎng)絡。
圖源Nullmax
基于多模態(tài)大模型,NI可實現(xiàn)對聲音、文本和手勢等眾多信息輸入的支持,輸出端則支持包括文本、運動軌跡等可視化結果信息;此外,NI還引入了規(guī)模對應斑馬魚的神經網(wǎng)絡,換句話說就是把類腦的神經網(wǎng)絡引入自動駕駛架構,讓腦科學與自動駕駛實現(xiàn)結合。
湊巧的是,作為特斯拉掌門人的埃隆·馬斯克,通過布局腦機接口公司Neuralink,也算同時布局自動駕駛和腦科學兩大領域的企業(yè)家,只不過目前這兩項業(yè)務并沒有完全融合起來,這意味著Nullmax或許比馬斯克更進一步。
如今,Nullmax發(fā)布Nullmax Intelligence,在業(yè)內看來Nullmax試圖解決以上這些行業(yè)問題的同時,也為整個自動駕駛行業(yè)向智能驅動進化帶來了新的啟發(fā)。
01、讓自動駕駛行業(yè)向智能驅動進化
“自動駕駛技術,需要更聰明和更擬人。”
在發(fā)布會上,Nullmax創(chuàng)始人兼CEO徐雷說出了他對自動駕駛技術的看法,為了做到這一目標,他在NI架構中引入了多模態(tài)大模型和安全類腦的概念。
先來看多模態(tài)大模型,區(qū)別于只支持輸入視頻信號的大模型,NI基于參數(shù)量達到十億級別的多模態(tài)大模型,可支持視頻、聲音、文本以及手勢等多種信號的輸入。
翻譯一下,NI除了能識別攝像頭采集的諸多視頻信號之外,還能“聽懂”和“看懂”環(huán)境中出現(xiàn)的聲音和文本信息,以及交警的手勢信息等等,以便做到“眼觀六路,耳聽八方”的目標。
輸入端輸入這些信息后,NI端到端架構的輸出端就會輸出包括人機交互畫面(HMI)、場景描述和運動軌跡等可視化結果。
NI架構圖示,圖源Nullmax
對于為何會輸出這么多可視化結果的原因,徐雷向飛說智行解釋為“要讓端到端模型具備可解釋性,讓其不再是一個‘黑箱’”。
一直以來,端到端架構“黑箱”問題一直困擾著自動駕駛行業(yè),對此也有英國自動駕駛企業(yè)Wayve,國內自動駕駛企業(yè)毫末智行等企業(yè),試圖引入LLM大語言模型和VLM視覺語言模型來解決這一問題。
但就在之后的實踐中,行業(yè)也發(fā)現(xiàn)LLM存在一定幻覺的問題。就比如毫末智行CEO顧維灝認為,LLM存在較為嚴重的幻覺,來指導自動駕駛算法有較大的風險。
或許Nullmax看到了這一風險,由此在基于LLM給出場景描述的同時,NI還會輸出人機交互畫面(HMI)和車輛運動軌跡等可視化結果,以便達到交叉驗證和干涉調整的目的,從而打破端到端“黑箱”問題。
如果以上過程屬于NI輸出結果后的一級仲裁,那么Nullmax還在此基礎上加入了“安全類腦”架構和一級仲裁結果并行的二級仲裁。
圖源Nullmax
所謂“安全類腦”,按照徐雷對飛說智行的解釋,參考了斑馬魚腦部神經網(wǎng)絡,搭建了一個參數(shù)量為十萬量級的神經網(wǎng)絡,以便讓自動駕駛算法具備“趨利避害”的生物本能,能夠根據(jù)環(huán)境情況作出反應,從而實現(xiàn)更高程度的安全、智能、自由。
其實,把類腦神經網(wǎng)絡引入自動駕駛算法中,除了Nullmax之外,在學術界也有嘗試。
2020年,奧地利科技學院(IST Austria)、維也納工業(yè)大學(TU Wien)和麻省理工學院(MIT)三所高校,由于受到線蟲等小型動物大腦的啟發(fā),把類腦神經元引入至自動駕駛算法中,從而讓其控制車輛。
在該項目負責人Radu Grosu教授看來,由于少量神經元的參與,自動駕駛網(wǎng)絡不再是深度學習的“黑箱”,研究者可以知道每個網(wǎng)絡運行的情況,這項研究也刊登在當年的《自然-機器智能》期刊中。這應該也是徐雷認為NI端到端架構不再是“黑箱”的原因所在。
Radu Grosu等人提出的新架構,圖源《Neural circuit policies en
雖然Radu Grosu等人的研究面世早于Nullmax,但從產業(yè)落地和量產交付方面,后者走在了自動駕駛行業(yè)的前端。按照徐雷透露,NI架構預計會在明年初上車落地,由此自動駕駛行業(yè)有望進入智能驅動的時代。
但對于Nullmax來說,野心不止于此。
02、不止于ADAS,還有運貨和具身智能
高開放性和高適用性,是Nullmax智能駕駛方案最明顯的標簽。
按照Nullmax此次發(fā)布的方案來看,主要分為以下三種:
(1)僅搭載1顆攝像頭的1V方案,基于一顆來自TI的2 TOPS算力芯片,可實現(xiàn)基礎的L2級別輔助駕駛;
(2)搭載5-6顆攝像頭,基于8 TOPS的算力芯片,實現(xiàn)包括高速NOA、記憶泊車等智能輔助駕駛能力,且在泊車過程中可檢測障礙物。
(3)搭載11顆攝像頭,實現(xiàn)L2+高階智駕的能力。
基于這低中高三大方案,可以看到Nullmax的智駕方案,可以實現(xiàn)適配不同硬件和算力的配置,同時根據(jù)徐雷的介紹,他們的智駕方案還可以適配不同車企旗下的不同車型產品,從而滿足不同車企客戶需求的目的。
Nullmax低中高三大方案,圖源Nullmax
按照Nullmax的計劃,未來基于智能驅動的智駕方案,可以實現(xiàn)以小于100 TOPS的稀疏算力,實現(xiàn)全場景NOA;也能實現(xiàn)對2 TOPS-2000 TOPS算力區(qū)間方案的全覆蓋。
Nullmax能實現(xiàn)這些,得益于他們對于軟件平臺化的布局。簡單說,通過多模態(tài)輸入token化、多模態(tài)模型推理和自動駕駛功能集成這三個環(huán)節(jié)進行抽象,再加上自研中間件MaxOS平臺,從而可以讓整體算法適配不同車型的傳感器搭載和不同算力的芯片,且易于部署。
除了開放性和適用性之外,智駕方案的成本是否具有優(yōu)勢,也已成為行業(yè)和車企們重點關注的方面。
按照Nullmax官方的介紹,他們的智駕方案成本已低至千元級級別,具備行業(yè)優(yōu)勢。一方面的原因是因為采用了純視覺、真無圖的技術路線,不依賴高精地圖、輕地圖、低精地圖、眾包地圖等資源,從而降低了成本。
另一方面,Nullmax也降低了算法訓練的成本和提高了訓練的效率,這是基于他們構建的數(shù)據(jù)和算法平臺——基石架構。除了利用真實路測數(shù)據(jù)之外,基于這一架構,還能通過AIGC方式生成高質量虛擬數(shù)據(jù),推動算法的迭代。
相比于真實數(shù)據(jù),虛擬數(shù)據(jù)在成本方面可大幅降低,與此同時還提升了算法仿真訓練的效率。
基石架構,圖源Nullmax
依靠以上這樣高開放性和高適配性、以及高性價比的智駕方案能力,Nullmax目前已收獲眾多合作伙伴,包括奇瑞、上汽、比亞迪、長城和福特等頭部車企,以及德賽西威、黑芝麻等上下游生態(tài)伙伴。
在提出智能驅動的背景下,除了乘用車ADAS之外,Nullmax還想把版圖擴展到更多的領域。
按照他們的展望,在推動全場景的載人和運貨應用,實現(xiàn)真正有價值的大范圍無人駕駛的同時,還能復用成套的AI技術能力,開拓更廣闊的具身智能應用。
這也意味著,Nullmax此次推出Nullmax Intelligence的同時,也邁出了奔向未來的一大步。
參考資料:
1、Mathias Lechner, Ramin Hasani, Alexander Amini.Neural circuit policies enabling auditable autonomy[C].Nature Machine Intelligence volume 2, pages642–652 (2020).
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.