2025年5月7日,理想汽車舉辦理想AI Talk第二季,董事長兼CEO李想深入剖析了人工智能在汽車領域的演進路徑,詳細介紹了VLA司機大模型的技術原理、訓練方法和應用前景,并分享了對創業與個人成長的獨特見解。本次活動揭示了理想汽車在智能駕駛領域的最新技術布局和戰略方向,展現了其從輔助駕駛向真正自動駕駛躍遷的技術路徑。
對于理想汽車而言,VLA(Vision-Language-Action Model,視覺語言行動模型)司機大模型正是這樣一個交通領域的專業生產工具,其目標是成為像人類司機一樣工作的AI駕駛員。VLA司機大模型的訓練過程精妙地模擬了人類學習駕駛的歷程,分為預訓練、后訓練和強化訓練三個核心環節。
預訓練階段相當于人類學習物理世界和交通領域的基礎知識,通過海量高清2D和3D視覺數據、交通相關語料以及視覺語言聯合數據,訓練出強大的云端VL基座模型,并通過蒸餾技術轉化為車端高效運行的端側模型。
后訓練階段類似人類在駕校系統學習駕駛技能,隨著Action(動作)數據的加入——即對周圍環境和自車駕駛行為的編碼,VL基座模型升級為VLA司機大模型。得益于短鏈條的CoT思維鏈和Diffusion擴散模型對他車軌跡與環境的精準預測,VLA具備了實時處理復雜交通環境的博弈能力。
強化訓練階段則對應人類在實際道路上練習駕駛的過程,通過RLHF(基于人類反饋的強化學習)完成安全對齊,使模型遵守交通規則并適應中國用戶的駕駛習慣;同時將純強化學習模型置于世界模型中訓練,全面提升駕駛舒適性,避免碰撞事故,確保交通規則的嚴格執行。
在產品形態上,VLA司機大模型以"司機Agent"的方式呈現給用戶,支持通過自然語言交流——"跟人怎么說,就跟司機Agent怎么說"。系統架構上采用云端與車端協同的設計:簡單通用的短指令由端側VLA直接處理,而復雜指令則先由云端VL基座模型解析后,再交由VLA執行,確保交互的自然流暢與準確高效。
面對AI能力增強帶來的安全隱憂,理想汽車采取了兩大關鍵措施:超級對齊與世界模型。李想強調,模型能力越強,越需要嚴格的職業性約束,以確保能力下限。為此,理想汽車于2024年底組建了超過100人的超級對齊團隊,專注于為司機Agent注入專業駕駛員的職業素養,避免學習加塞等違規行為。同時,為解決AI決策"黑盒問題",理想汽車結合重建與生成兩種技術路徑,打造了真實且符合物理世界規律的世界模型,全面覆蓋交通場景中的所有參與者與要素。基于這一世界模型的強大仿真能力,VLA能夠低成本、高準確地驗證現實問題,大幅提升問題解決效率。
李想指出,判斷司機Agent是否稱職有三個關鍵標準:專業能力、職業能力和構建信任的能力。VLA司機大模型通過自身的技術架構提升了專業能力,借助超級對齊增強了職業能力,并通過自然語言理解與記憶能力提升了與用戶之間的信任構建。
在談及理想汽車實現技術快速躍遷的秘訣時,李想將其歸結為從研究、研發到能力表達,再到業務價值轉化的基本功積累。他特別強調研究的重要性,認為研究突破是提升研發效率和實現業務落地的關鍵。例如,面對英偉達Orin-X芯片無法直接運行語言模型的挑戰,理想汽車依托自有編譯團隊,自研底層推理引擎,實現了通過INT4(4比特整型)量化運行VLM的技術突破。同時,憑借芯片、控制器設計和自研汽車操作系統等綜合能力,成功讓雙Orin-X芯片和Thor-U芯片高效運行同等規模的VLA司機大模型。
李想坦言,理想汽車在VLA司機大模型的語言能力研發上得益于DeepSeek的開源成果,節省了近9個月的時間和數億元成本。盡管如此,公司仍選擇加大投入,在基座模型訓練上投入超預期3倍的計算資源,專注打造適配多場景的自研模型體系。"我們可以站在巨人的肩膀上,但它只是其中的一部分。"在受益于開源的同時,理想汽車也選擇將自研的汽車操作系統——理想星環OS開源,以回饋社會。
編輯說:
理想汽車不僅強調技術能力的提升,更注重AI系統的安全性與可信賴性,通過"超級對齊"和"世界模型"雙重保障機制,解決了智能駕駛面臨的兩大核心挑戰:職業素養和黑盒決策。這種既追求技術突破又高度重視安全責任的平衡發展思路,反映了理想汽車作為行業新勢力的成熟與責任擔當。隨著VLA司機大模型未來在實際道路上的應用與迭代,我們期待看到一個更加安全、智能、人性化的出行新時代加速到來。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.