真正的AI汽車是什么樣子的?應該具備哪些特征?
商湯絕影CEO、商湯科技聯合創始人、首席科學家王曉剛給出的答案是:“真正的AI汽車是將生成式AI深度融入智駕和座艙,既讓輔助駕駛安全變得更有確定性,也要讓每一輛車擁有‘有趣的靈魂’,成為真正懂你、愛你、守護你的家庭新成員。”
作為專注于汽車行業的AI公司,商湯絕影也是按照這個思路不斷進行技術的創新和迭代。
2025上海車展期間,商湯絕影全面展示了系列生成式AI汽車創新產品,包括生成式智駕R-UniAD技術方案、近實時在線交互的4D世界模型“絕影開悟2.0”、專為車載AIOS打造的AI內核“絕影千機”、全新升級的“家庭新成員”New Member,以及健康管家、安全衛士和3D交互等AI座艙創新產品。
這涵蓋了商湯絕影在汽車領域全產品譜系的布局。
在王曉剛看來,智能汽車經歷了從工具到助手再到家庭新成員的范式演進。商湯絕影希望用生成式AI打開汽車的想象力,讓每一臺車都能擁有有趣的靈魂,成為真正的家庭新成員。
在持續創新生成式AI技術和產品的同時,商湯絕影也在加速推進商業化落地。截至2024年底,商湯絕影已與本田、比亞迪、廣汽等超30家國內外車企達成合作,項目覆蓋輔助駕駛、智能座艙等多個領域,涵蓋130余款車型,量產交付累計突破360萬輛。
01
智能駕駛進入生成式階段
去年以來,端到端技術被認為是智能駕駛實現路徑中的“終極形態”,但大多數技術方案都卡在數據、性能、安全三道門檻前。
王曉剛在接受采訪時表示,傳統端到端模型即使是百萬量產車回流的數據量,極端場景有效信息提取率不足1%,且模仿學習的范式難以突破人類駕駛能力的上限。
就在此前,地平線創始人余凱也指出,99%的人類駕駛行為是不值得學習的。
王曉剛指出,只有駕駛行為發生改變的數據才有價值,比如應對各種復雜極端的交通場景。通過參差不齊的駕駛行為數據,以及簡單場景的數據,只能讓模型達到人類平均水平。
這也是為什么商湯絕影的生成式智駕R-UniAD技術方案將強化學習引入到智能駕駛,讓端到端智駕與世界交互的不斷深入,通過生成的方式真實還原并深度理解駕駛環境,從而主動預測并處理復雜狀況,驗證輔助駕駛的安全邊界,讓駕駛安全更有確定性、更加值得信賴,并且超越人類的駕駛極限。
目前智能駕駛已經從規則式智駕進入到端到端智駕時代,王曉剛表示,下一個階段智能駕駛將進入到生成式階段。
2025年2月,商湯絕影發布了行業首個與世界模型協同交互的端到端技術方案R-UniAD,通過世界模型生成在線交互的仿真環境,以此進行端到端模型的強化學習訓練,行業開始邁向生成式智駕。
基于世界模型和強化學習兩大核心技術,商湯絕影構建了集“視覺-語言-行動-強化學習”于一體的VLAR技術架構,實現生成式智駕的核心突破。
商湯絕影的R-UniAD技術方案是“多階段強化學習”端到端技術方案,具體分為三個階段,首先是依靠冷啟動數據通過模仿學習進行云端的端到端輔助駕駛大模型訓練;然后基于強化學習,讓云端的端到端大模型與世界模型協同交互,持續提升端到端模型的性能;最后云端大模型通過高效蒸餾的方式,實現高性能端到端輔助駕駛小模型的車端部署。
在VLAR技術架構的助力下,商湯絕影能夠針對更多復雜長尾場景、極端工況,進行4D仿真復現、強化學習、泛化驗證,讓端到端模型比人類“看更多”、“學更快”、“開更好”,讓輔助駕駛的安全更有確定性。
以車展現場展示的“施工占道場景”為例,R-UniAD先通過“絕影開悟”世界模型構建4D動態環境,再讓模型反復在這個世界里強化訓練不同策略。最終結果是,模型不僅能精準避讓,還能泛化到其它類似場景中。
在少數據場景里跑出更強泛化能力,是當前行業少見的嘗試,它不僅降低了數據成本,更提高了模型上限。
02
“絕影開悟”世界模型2.0決勝智駕戰場
世界模型是生成式智駕的基石所在。“這些復雜場景、極端工況,無論是采集成本,還是危險性都非常高。”王曉剛認為,強化學習加上世界模型,能夠突破人類駕駛行為的上限。
在去年11月發布的“絕影開悟”世界模型基礎上,“絕影開悟”升級為2.0版本,進化為近實時在線交互的4D世界模型,能夠實現“4D空間自由交互”,推動智能體邁向通用空間智能,成為商湯絕影決勝智駕戰場的重磅武器。
“絕影開悟2.0”具備三大能力,首先是“面向量產的數據生成”,它具有多樣性場景的可控生成的能力,為模型訓練提供了海量且豐富的訓練數據。而且,它還能一鍵生成極端高風險場景。
例如,Cut-in 場景是行車時極為常見但非常重要的場景,“絕影開悟2.0”能夠從100多個維度組合生成萬千Cut-in場景,包括白天、黃昏、凌晨、夜晚等不同光照類型;晴天、陰天、雨天等不同天氣;從高速到城市道路等不同道路等級;不同的車型,不同的Cut-in距離和車輛速度等等。
此外,極端風險場景(如車禍、道路塌陷等)難以采集,成本也非常高昂。“絕影開悟2.0”只需輸入一段提示詞,就可以生成極端風險場景,讓端到端模型可以在安全的虛擬環境中,讓系統反復學習和應對這些危險場景,從而在實際駕駛中更好地預判和規避風險。
其次,“絕影開悟2.0”能夠實現“復雜場景自由復現”,根據不同需求,任意修改和調整場景中的各種要素,既可以替換特定車輛、插入新的車輛,或者刪除不需要的車輛,也能改變道路的布局、車輛的速度,創造稀缺復雜場景,從而豐富訓練場景的多樣性。
最后,“絕影開悟2.0”具備近實時交互能力,比行業 SOTA 提升 5 倍之多,讓仿真訓練過程更加高效和逼真,車輛的決策和反饋能夠幾乎在瞬間得到響應;同時感知結果接近真實精標數據98%,能避免因數據風格差異帶來的 Sim-to-Real 遷移時能力退化問題,為端到端模型打造了“云端虛擬訓練場”。
王曉剛在接受采訪時強調,“我們對世界模型的要求還是非常高的。比如我們有11個攝像頭,這里面要做到時空的一致性和真實性,生成的東西必然要是符合交通法則和各種物理規律等。”
按照計劃,絕影UniAD一段式端到端量產方案將于2025年第四季度量產交付,該方案基于英偉達DIRVE AGX Thor平臺部署,率先搭載于東風汽車。
此外,商湯絕影還有更多基于地平線征程?6打造的輔助駕駛方案量產落地奇瑞等眾多車企伙伴。
今年3月底,絕影和廣汽聯合打造的行業首批基于地平線征程?6M的輔助駕駛方案已經正式量產上市。截至目前,商湯絕影在輔助駕駛領域的量產方案已合作4家車企,上車7款車型,2025年將全力推進輔助駕駛方案的量產交付。
針對不同價位車型,王曉剛表示,商湯絕影會針對不同車型和成本,設計不同技術配置,明確每種方案的安全邊界和能力上限。
與此同時,王曉剛透露稱,絕影也正與車企共同提升L3的解決方案。“L3會有更多的冗余備份,對人機的協同性也會提出相應要求,比如要求接管的路徑等。它同時它對于廠家融合的要求也會更高一些。”
在王曉剛看來,智能駕駛的難點在于基礎設施標準不統一,不是技術本身。目前車端傳感器配置不一,數據回流管道也未打通。“未來比拼的是基礎設施構建能力。”
03
助力車企打造下一代AIOS
生成式AI不僅帶來了智駕新范式,同時也在深度融入智能座艙。當大模型上車成為行業共識,越來越多的汽車公司也意識到,只是簡單把AI大模型或者智能體應用(Agent)接入車機并不能真正實現智能座艙體驗的跨越式提升,生成式AI深度融入智能座艙需要體系化革新,從操作系統到交互體驗,再到智能體應用進行全方位升級。
智能座艙一直是商湯的強項,其座艙AI軟件市場份額已連續5年位列行業第一。截至2024年底,商湯絕影已與超30家國內外車企達成合作,覆蓋130余款車型,量產交付累計突破360萬輛,其中多數為座艙領域。
此次上海車展商湯絕影發布了行業首個專為車載AIOS打造的AI內核“絕影千機”,助力車企打造下一代AIOS。
“絕影千機”最核心的三大技術包括MOE多模態大模型、類人記憶框架以及原生智能體框架。同時,AI 基礎系統模塊、AIOS 工具鏈和生成式 UI等外圍技術,為三大核心模塊提供支持與交互。
依托于“日日新SenseNova V6”基模型,商湯絕影構建了覆蓋 0.1B 至 70B汽車垂類模型矩陣,模型首字延遲小于 300ms,吐字速度高達 47 Tokens/s,性能超越DeepSeek,還能在快慢思考之間自如切換,契合每一種場景需求。
商湯絕影去年發布的“A New Member For U”(你的家庭新成員),讓每一輛車擁有“有趣的靈魂”,今年也進行了全新升級,擁有了多模態識人能力,以及深度思考的能力,表達會更加生動有趣。
之前行業做到的是大模型一對一的交流,如今New Member在業內首次實現免喚醒的多人多輪對話能力,并能隨時參與到對話當中,做到“不過度打擾,但時刻陪伴”。
在汽車智能化變革的浪潮中,車載AIOS正在構建全新的AI汽車生態。未來,商湯絕影將把“絕影千機”AI內核、New Member與主機廠操作系統結合在一起,形成AI的操作系統,推動智能座艙向更加高級的智能體進化。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.