近日,地平線創始人余凱指出,99%的人類駕駛行為是不值得學習的,仿真強化學習更為重要。這與商湯絕影日前發布的強化學習技術路線不謀而合。
“某種意義上來說,余凱的觀點是有道理的。尤其是在端到端的研究范式下,模型根據你輸入的視頻去預測自車行駛軌跡,但是大部分的時間,它只是很簡單的直行狀態。”
商湯絕影CEO、首席科學家王曉剛指出,只有駕駛行為發生改變的數據才有價值,而且通過參差不齊的駕駛行為數據,以及簡單場景的數據,只能讓模型達到人類平均水平。
基于這種背景,以及強化學習的新啟發,商湯絕影(以下簡稱「絕影」在上海車展發布了一系列的技術進展。
其中包括生成式智駕R-UniAD技術方案、近實時在線交互的4D世界模型「絕影開悟2.0」,以及專為車載AIOS打造的AI內核「絕影千機」。
世界模型步入2.0階段
今年,絕影以DeepSeek為啟發,推出了強化學習的新范式——Reinforced-UniAD(R- UniAD),進一步拉高模型能力上限。
在車展現場,絕影展示了基于構建集VLAR (視覺-語言-行動-強化學習)技術架構的R-UniAD技術方案。
例如,以「施工占道剎停」路測視頻作為輸入,R-UniAD基于絕影開悟世界模型的4D仿真復現,然后端到端模型生成該場景下各種可能駕駛策略,并與世界模型生成的環境交互,反復強化學習中找到最優路徑,能預判施工占道,絲滑變道繞行。經過泛化訓練后,遇到類似場景,端到端模型也能及時變道,并顯著提升對此類施工場景的泛化交互能力。
同時,絕影也宣布,其世界模型「絕影開悟」升級為2.0版本,進化為近實時在線交互的4D世界模型。
它能夠實現「復雜場景自由復現」,也具備近實時交互能力,比行業SOTA 提升5 倍之多,讓仿真訓練過程更加高效和逼真,且感知結果接近真實精標數據98%,能避免因數據風格差異帶來的Sim-to-Real 遷移時能力退化問題。
同時,王曉剛透露稱,絕影也正與車企共同提升L3的解決方案。
“L3會有更多的冗余備份,對人機的協同性也會提出相應要求,比如要求接管的路徑等。它同時它對于廠家融合的要求也會更高一些。”
在算力需求方面,王曉剛介紹稱,盡管算力和模型能力存在正比關系,但絕影可通過MoE的架構,減少在同等規模參數的情況下,減少對端側算力的依賴。
這是一種類似于DeepSeek的技術路線,以此方法結合多模態模型,絕影的New Member也能帶來更多可能。
下一代車載OS的「AI內核」
在車展現場,商湯絕影也發布了專為車載AIOS打造的AI內核「絕影千機」,其中最核心的三大技術包括MOE多模態大模型、類人記憶框架以及原生智能體框架。
同時,AI 基礎系統模塊、AIOS 工具鏈和生成式UI等外圍技術,也可以為三大核心模塊提供支持與交互。
“如今,我們的業務模式也不局限于軟件。鑒于未來云端的研發占比會越來越高,商湯也會提供AI DC云服務。”王曉剛指出,絕影是駕艙云三位一體的,將基礎模型工具鏈和云服務相結合,已成為其業務特色之一。
據了解,依托于「日日新SenseNova V6」基礎模型,絕影構建了覆蓋0.1B 至70B汽車垂類模型矩陣,模型首字延遲小于300ms,吐字速度高達47 Tokens/s,性能超越DeepSeek。
同時,絕影還構建了業內首個端側類人記憶框架,賦予AIOS認知力與成長性。
在這樣的技術加持下,New Member擁有了多模態識人能力:不需要注冊,它就能結合相貌,在座艙多人交互的過程推測出每個人的名字及關系。不僅如此,它還能記住你用戶喜好及生活點滴,結合這些進行深度思考。
“當我坐上去的時候,它就會叫我王老師。那么,人與車的關系一下子就拉近了。從前,它是需要注冊和登錄的,今天,我們的小影能夠直接通過面部記憶或聊天對話,知道用戶姓名和身份。“
王曉剛介紹稱,New Member能夠記住用戶生活當中經歷的點點滴滴,會與用戶形成共情,甚至能給予情感上的支撐。“
在絕影展臺上,另一個熱門技術是「3D視線交互算法技術」——它將艙內3D視線結合車外前視相機,能夠辨識人眼所關注的人、車、建筑、二維碼、花草樹木等目標,真正實現「視線所及,所見即所得」。
“從前的2D視線技術,只能區分用戶是在看哪塊大的區域。如今我們把2D 視線追蹤升級為3D gaze,而且可以結合車外攝像頭進行交互——例如用戶在座艙內看車外的人和物,還有建筑物的時候,3D gaze能夠自動判斷用戶的視線定位在哪?具體是哪輛車?哪個人?”
王曉剛介紹稱,3D gaze可以帶來很多創新型應用,而且可以與輔助駕駛聯動,甚至改變駕駛策略。
另外,打通艙內外的3D視線,能實現更多便捷功能。王曉剛還舉了一個例子:在3D視線技術加持下,在離開停車場時,用戶只需注視出口處二維碼的同時說“我要繳費”,系統即可自動完成掃碼支付,實現更便捷的無感通行。
“到了2026年,法規會強制要求DMS與高精度視線結合,這樣能夠大幅的降低智駕事故的發生率。所以我預測,接下3D gaze的使用會變得非常重要。”王曉剛說道。
另外,絕影還推出了跟健康和安全駕駛相關的,測你的心跳、血氧、血壓,能夠不舒服的時候做出主動的關懷和問候問診,巡診問診、掛號。
在輔助駕駛領域,商湯絕影的量產方案目前已合作4家車企和7款車型。今年3月底,絕影和廣汽聯合打造的首批基于地平線征程6M的輔助駕駛方案,正式量產上市。今年還有更多基于地平線征程6打造的輔助駕駛方案量產落地奇瑞等眾多車企伙伴。
另外,在英偉達DRIVE AGX Thor平臺部署的絕影UniAD一段式端到端量產方案,也將于2025年第四季度量產交付東風汽車。
截至2024年底,商湯絕影已與超30家國內外車企達成合作,覆蓋130余款車型,量產交付累計突破360萬輛。
“現在,我們也在繼續配合國內車企,做好出海的準備。2026年,ENCAP會對座艙中的DMS、OMS 增加很多強制性的要求,也會大幅的提升它的裝配率。此外,我們與合資車企和全球品牌也一直都有合作。”
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.