上周，輕舟智航的侯聰以「聯(lián)合創(chuàng)始人、總裁」的新身份亮相，為媒體介紹了這家低調(diào)的公司去年和現(xiàn)在都在忙些什么。同時，輕舟智航CTO李棟，也同臺展示了其最新的端到端技術(shù)方案。

（侯聰）

2024年都在忙什么？

• 2024年1-3月：緊張交付階段，同時也在研發(fā)征程6芯片方案。
• 4月：在北京車展發(fā)布基于征程6的智駕方案，從征程5移植到征程6，僅用了兩周時間。
• （相關(guān)閱讀：輕舟智航于騫：實測征程6+Transformer，模型性能明顯提升）
• 5月：基于征程5芯片的行泊全棧方案量產(chǎn)，一次性交付了30萬以上的用戶。
• 6月：獲得數(shù)億元融資，來自中關(guān)村科學城和翠湖基金。
• 9月：NOA交付量達到40萬臺，NOA市占率高于50%（源自高工智能汽車的統(tǒng)計）。
• 10月：聯(lián)合四維圖新發(fā)布了基于征程6M的城市NOA高性價比方案，能夠匹配15萬元車型。另外，完成第二輪融資，成為2024年唯一一家獲得兩輪融資的智駕企業(yè)。
• 11月：新款Robobus在金華落地，同時也將商用車運營中心落到了金華。輕舟將立足于金華，向浙江、長三角區(qū)域拓展業(yè)務(wù)。
• 12月：NOA上車量超過50萬臺，并獲得了基于征程6M的車型定點。

如今，輕舟智航（以下簡稱「輕舟」）的方案也已經(jīng)向端到端迭代。“這是一個無圖方案，成本相對高一些，它可以部署在15萬元左右的車型上。”（「乘風」Air方案可部署于10萬元級別車型）

侯聰認為，輕舟現(xiàn)在的優(yōu)勢主要體現(xiàn)在數(shù)據(jù)閉環(huán)上。在擁有50萬用戶后，輕舟每天都能得到大量反饋數(shù)據(jù)。

“過去在量產(chǎn)的方案中，輕舟的BEV模型是2億幀的數(shù)據(jù)，道路語義也是將近1億的數(shù)據(jù)量。這些數(shù)據(jù)都能夠進行自動標注，我們現(xiàn)在新的端到端的方案也基于這些基礎(chǔ)。”他說道。

輕舟端到端方案簡述

2024年，輕舟智航的研發(fā)重點逐漸轉(zhuǎn)向城市NOA的量產(chǎn)，也開始涉及端到端的研發(fā)工作。

李棟介紹稱，輕舟采用的是One Model的端到端模型，同時在在線模型訓練上，引入了安全對齊機制。而在離線訓練中，他們則采用了基于運動模擬的世界模型。

“整個系統(tǒng)的上限是端到端打出來的，而系統(tǒng)的下限是由時空聯(lián)合規(guī)劃算法來保障的，這樣我們能夠得到兩方面最好的結(jié)果。”

李棟展示了一個現(xiàn)實案例：在一輛車的繞行場景中，端到端模型給出的軌跡距離障礙物非常近；而如果運行時空規(guī)劃算法，它會根據(jù)已有的經(jīng)驗，優(yōu)化出一條更好的軌跡。

據(jù)他介紹，輕舟「安全對齊」的做法，是來啟發(fā)自O(shè)penAI的大模型安全對齊方法——它是通過人類的反饋，讓模型產(chǎn)生一個符合人類的價值觀的答案。

「安全對齊」可以自動化評價端到端模型產(chǎn)生的軌跡，不斷給它Feedback，「懲罰」那些不安全的軌跡信息，通過強化學習的方法去反復迭代，這樣模型會在規(guī)避危險層面上持續(xù)進化。

李棟稱，「安全對齊」的過程，其實是離線訓練的過程，模型會在對齊過程中發(fā)生一些變化，訓出后才會部署在車上。

在訓練和測試過程中，其校驗標準大多數(shù)都是基于規(guī)則：比如發(fā)生碰撞或闖燈，這種不對的操作就會被截掉，主要是為了保證模型的下限。

另外，針對離線的端到端模型訓練，輕舟智航創(chuàng)新性地構(gòu)建了基于運動模擬的世界模型。

該模型的訓練可被理解為兩步：第一步是運動行為的生成，也就是對車輛運動下一幀的朝向、速度、狀態(tài)、位置等變化，利用模型來自動生成；第二步是通過另一個模型，來反推傳感器應(yīng)該返回什么樣的圖像。

相較于傳統(tǒng)的世界模型，基于運動模擬的世界模型可以批量生產(chǎn)大量的長尾場景和罕見的安全臨界場景，同時生成的仿真視頻更加可控，保證了時序、空間位置、物體幾何、物理規(guī)則的一致性和正確性，從而提高端到端系統(tǒng)的安全性。

對于目前業(yè)內(nèi)推崇的VLA和VLM，李棟認為，雖然它們是接下來技術(shù)提升的關(guān)鍵工具，但其前景尚未被完全發(fā)揮出來。

“是否應(yīng)用VLA，并不會影響部署城市NOA產(chǎn)品的節(jié)奏，因為我們看到端到端+算法設(shè)計已經(jīng)能解決非常多的復雜問題了。VLA、VLM雖然能解決更多、更復雜的問題，但是當前的量產(chǎn)芯片可能不支持這么大的推理任務(wù)。”

他表示，先收集回來更多數(shù)據(jù)、觀察數(shù)據(jù)表現(xiàn)，讓整個系統(tǒng)效果更好，這可能是更易落地的方案。

（PS：RoboX同期發(fā)表了李棟的演講全文精華版，歡迎關(guān)注本號閱讀！）

不應(yīng)完全抵觸規(guī)則

侯聰認為，安全其實不等于保守安全，而是應(yīng)由創(chuàng)新來驅(qū)動。

例如輕舟的代碼審核機制，技術(shù)設(shè)計的流程，評測系統(tǒng)的搭建等等。

“我們從一開始就搭建了先進的訪問測試系統(tǒng)，它使得每一次修改都會經(jīng)過數(shù)十萬場景的仿真驗證。”

他認為，無論是過去做BEV感知，還是最新的端到端架構(gòu)，其實本質(zhì)上都是通過數(shù)據(jù)驅(qū)動模型訓練，從而解決問題。但是，模型的下限問題，使得輕舟仍然不排除用規(guī)則去修問題。

“規(guī)則也有舉一反三的能力，這也結(jié)合了我們過去在L4市場的經(jīng)驗。”侯聰說道。

同樣的，在安全冗余的設(shè)計上，輕舟也參考了L4的一些方法。

當然了，出于成本考慮，L2系統(tǒng)不可能像L4這樣用那么重的硬件去做。但是理念依然是相通的——輕舟在做系統(tǒng)設(shè)計的時候，也會考慮到L4會做的單傳感器失效預(yù)案，而且也會從模型上就訓練出相對解法。

例如，在做模型訓練的時候，輕舟會模擬攝像頭遇到逆光、污損，被遮擋等情況。

另外，在做無圖方案的時候，考慮到作為先驗的導航地圖也會出錯，因此輕舟不想讓模型過分依賴地圖的先驗，還會在訓練過程中刻意去喂錯誤的數(shù)據(jù)，從而讓系統(tǒng)學會應(yīng)對地圖失效的情況。

征程6M的邊界在哪？????

“征程6P算力很高，想把這個算力用好，背后整個投入會比較大，類似于Thor，或者特斯拉AI 4.0，它背后要投入很多的算力和人力。”

在侯聰看來，目前更加務(wù)實的做法是做高性價比的方案，而不是直接去沖擊最佳性能、不計成本的方案。

他認為，如果仔細分析征程6M的算力邊界，可發(fā)現(xiàn)它可應(yīng)對97%、98%這樣量級的城市NOA功能：“它不會是像雙Orin那樣全場景的城市NOA，當遇到特別大的路口或者速度差特別大的場景，我們會通過一些產(chǎn)品設(shè)計規(guī)避掉這些行為：比如需要用戶確認，才能從一個小路口拐上速度特別大的路，因為它的算力導致它的測試距離可能是有限的。”

所以輕舟是做了一個選擇——既然不像主機廠那樣，能有更多的資源投入極高算力的芯片的產(chǎn)品，那不如選擇做高性價比的產(chǎn)品，同時拉高體驗，提升市占率。

“把自己的定位想清楚了，這其實是更大的市場。我們會持續(xù)在征程6M上研發(fā)產(chǎn)品，它的成本遠遠低于Thor或者征程6P的相關(guān)產(chǎn)品。之后，我們也會持續(xù)的去走這條路…可能三年之后，還會有征程7，或者其他芯片，我們依然會把新的技術(shù)，通過保持極致性價比的理念不斷推出。”侯聰說道。

在目前極為敏感的算力問題上，侯聰表示，目前輕舟在和主機廠合作的時候，也大多會有算力層的合作。例如做一個固定項目時，就會采購一定的算力用于該項目，這相當于是共擔一些成本。

在他看來，業(yè)界對于算力規(guī)模的需求，其實已經(jīng)有一些探索出來的數(shù)據(jù)：“可能需要千卡級別的量級，才可支撐起一個量產(chǎn)項目。”

而當被問及高性價比的城市NOA何時能被大規(guī)模普及時，侯聰認為，應(yīng)該是會在2026年中段。