2024年，輕舟智航的研發重點逐漸轉向城市NOA的量產，也開始涉及端到端的研發工作。

近日，輕舟智航CTO李棟對其端到端方案進行了詳細解讀，指出該公司采用的是One Model的端到端模型，同時在線模型訓練上引入了安全對齊機制，并在離線訓練中，采用了基于運動模擬的世界模型。

“端到端模型能解決很多難題，但是在給定的時間窗口和數據壓力下，很難指望它來解決所有問題。”因此，輕舟在端到端模型基礎上，運用了時空聯合規劃算法。

李棟表示，端到端模型是一個智能且復雜的軌跡生成模塊，時空聯合規劃算法是另一個軌跡生成模塊，它將扮演「后決策機制」的角色，優選出一個軌跡來執行。

“整個系統的上限是端到端打出來的，但系統的下限是由時空聯合規劃算法來保證的，這樣能夠得到兩方面最好的結果。”

李棟展示了一個現實案例：在一輛車的兩條繞行軌跡中，端到端的軌跡距離障礙物非常近；而如果運行時空規劃算法，它就會根據已有的經驗，優化出更好的一條軌跡。

輕舟One Model架構簡介

在現場，李棟展示了輕舟的端到端架構，大體如下：

• 1、將來自傳感器的圖像識別、激光雷達等信息，提煉出OCC、靜態元素，動態元素等核心信息；
• 2、將核心信息的Query輸入到Attention fusion的Layer（注意力融合：用于融合處理多模態信息），然后傳到時序的fused BEV Layer，以便進行3D目標檢測、跟蹤和場景理解，形成時空上的融合。
• 3、之后，大模型還會接入OCC靜態、動態信息的head，進而解碼出相應的元素。這些元素一方面可以做訓練校驗，另一方面也方便用戶看到系統對障礙物檢測和軌跡生成的結果；同時，還需要線上系統根據結果對模型的輸出做校驗。
• 4、引入導航信息，和圖像中的Feature進行合并，最后解碼出來規劃軌跡。

李棟指出，這些設計中，融入了很多對規劃的理解和對安全的要求。

其中一個例子，就是「多重碰撞損失約束」——將車輛不應碰觸的東西設置出不同級別的Cost：“例如假設車輛碰到一個物體，付出的代價會超級高，但如果只是離它近一點，付出的代價會稍微小一點，這樣它會讓模型天然地收斂到一個保證合適距離，而且不發生碰撞的結構。”

據介紹，輕舟「安全對齊」的做法，是來啟發自OpenAI的大模型安全對齊方法——它是通過人類的反饋，讓模型產生一個符合人類的價值觀的答案。

當這樣的方法運用到智駕上，就可以自動化評價端到端模型產生的軌跡，不斷給它Feedback，「懲罰」那些不安全的軌跡信息，通過強化學習的方法去反復迭代，這樣模型會在規避危險層面上做得越來越好。

給世界模型加「保險」

針對離線的端到端模型訓練，輕舟智航構建了基于運動模擬的世界模型。

該模型的訓練可被理解為兩步：第一步是運動行為的生成，也就是對車輛運動下一幀的朝向、速度、狀態、位置等變化，利用模型來自動生成；第二步是通過另一個模型，來反推傳感器應該返回什么樣的圖像。

相較于傳統的世界模型，基于運動模擬的世界模型可以批量生產大量的長尾場景和罕見的安全臨界場景，同時生成的仿真視頻更加可控，保證了時序、空間位置、物體幾何、物理規則的一致性和正確性，從而提高端到端系統的安全性。

“根據基于運動模擬的世界模型，我們可以做兩件事：一方面是特殊場景、邊界場景的數據生成；另一方面，它天然就是一個仿真器，我們可以將模型放在這個環境里去迭代和仿真，來判斷它是否會形成一些危險場景或不合規場景。”

另一個端到端模型：

自動標注大模型

李棟表示，輕舟專門為端到端組建了一條業務鏈，讓數據從采集到回傳，都較為高效：其中數據回傳可以做到T+1，也就是第二天研發人員就能看到數據質量的問題，一旦有新要求可以快速閉環。

在數據挖掘層面，李棟也展示了如何對道路幾何元素進行重建——通過一段視頻反推出當時的3D道路幾何狀態：“視頻是2D的，要通過視頻來反推出來3D，例如根據一段行車的片段，推斷出當時每個障礙物的3D位置。”

至于數據標注，由于端到端需要對連續的時間片段進行全量的數據標注，如果沒有全自動化的標注系統，幾乎是不可行的。

在此背景下，輕舟利用4D障礙物自動標注大模型，自動標記好車輛、行人，還有桿狀物、道路邊界、二輪車等元素。

“離線模型比在線更好做，有兩個原因：1、離線下模型可以更大，可以不用太在意實時運行這個模型；2、離線可以反復閱讀一段數據，而在線只能按時間推進閱讀數據，所以前者對遮擋之類的場景都能解決得非常好…現在我們的障礙物標注幾乎全是模型來做的。”

李棟指出，其實自動標注大模型本身，也是純粹的端到端模型，因為其后處理邏輯也用模型取代了。

該模型可以做到通過離線的空序關系，在不同的時間點看到類似的場景，排除掉遮擋帶來的問題，能夠自動化標出來類似手工標的高精地圖的效果。

在分享會上，李棟展示了北京北四環的一個大型路口，距離對面超過100米，人可能都看不太清路對面的情況，系統卻可以靠端到端模型去推斷出左轉車道，而且左轉的朝向也可以根據道路邊界來做預判和規劃。

“這個端到端的模型，是部署在征程6M芯片上運行的模型，這在業內應該是首次。”

更細致的安全冗余

有了大量數據之后，除了能解決很多道路場景問題，還可以主動干預一些用戶的交互安全問題。

例如，起身防誤觸策略：在開啟智駕的過程中，有時用戶會分心做點別的事情，可能會蹭到方向盤，導致系統誤以為被接管，引發危險。

“當用戶起身的時候，我們首先會根據座椅的壓力和安全帶，去提醒用戶接管。其次，我們會將方向盤的接管扭矩增大，讓它更難去觸發方向盤接管，能減少很多安全事故。”李棟說道。

另外，還有「惡意駕駛（躺平）安全提示」。針對部分司機用礦泉水瓶別在方向盤上，讓系統檢測不到脫手狀態，然后放倒座椅躺平的危險行為，輕舟專門增加了座椅角度的檢測——當角度很不正常的時候，系統會提醒駕駛員接管，直到他糾正坐姿。

還有一種危險場景，是用戶醉酒或疲勞駕駛：這時用戶的手雖然在方向盤上，但可能已經睡著。此時也能通過DMS信號，進行接管提醒。

“這些小功能未必能完全體現技術深度，但是代表了我們在量產之后對用戶行為的關注…輕舟量產產品至今沒有任何一起重大事故，是因為我們的系統設計保證了安全。”李棟總結道。