像加塞、急剎，碰撞這樣的邊緣場(chǎng)景在現(xiàn)實(shí)中發(fā)生概率極低，但一旦發(fā)生就可能導(dǎo)致重大事故。如何在這類場(chǎng)景中安全駕駛就成為了自動(dòng)駕駛落地的“最后一公里”。

與此同時(shí)，這類邊緣場(chǎng)景數(shù)據(jù)的稀缺，正在成為制約自動(dòng)駕駛模型性能提升的關(guān)鍵因素。一方面，這類場(chǎng)景本就罕見，難以獲取大規(guī)模的訓(xùn)練數(shù)據(jù)；另一方面，風(fēng)險(xiǎn)高、采集難，也抬高了數(shù)據(jù)成本。對(duì)數(shù)據(jù)驅(qū)動(dòng)的自動(dòng)駕駛來說，缺乏這種對(duì)應(yīng)場(chǎng)景的“極限磨練”，在現(xiàn)實(shí)道路上“翻車”幾乎不可避免。

為此，來自O(shè)penDriveLab、上海交大、浙大、復(fù)旦、Zenseact 和廣汽研究院的聯(lián)合團(tuán)隊(duì)，提出 Nexus 框架，通過解耦擴(kuò)散模型，分塊建模局部的噪聲演化過程，來模擬這類難、偏、怪的邊緣場(chǎng)景，從而提高自動(dòng)駕駛汽車在這些場(chǎng)景的可靠性。

自動(dòng)駕駛的最大難題，不是跑得快，而是自動(dòng)駕駛汽車能不能在各類邊緣場(chǎng)景（corner cases）中跑得穩(wěn)。

論文題目： Decoupled Diffusion Sparks Adaptive Scene Generation 論文作者： Yunsong Zhou, Naisheng Ye, William Ljungbergh, Tianyu Li, Jiazhi Yang, Zetong Yang, Hongzi Zhu, Christoffer Petersson, Hongyang Li 論文地址： https://arxiv.org/pdf/2504.10485 項(xiàng)目主頁(yè)： https://opendrivelab.com/Nexus/

一、什么是 Nexus？

Nexus 就像一個(gè)聰明的“場(chǎng)景生成器”，它能根據(jù)預(yù)設(shè)目標(biāo)快速構(gòu)建出包含多車交互、突發(fā)變道、急剎、碰撞等交通場(chǎng)景，而且比此前的方法更靈活、更可靠。

此前的做法要么是一次性生成整個(gè)視頻，但存在生成慢、對(duì)目標(biāo)難以把控的問題；要么是一幀幀預(yù)測(cè)，雖然快，但卻容易出現(xiàn)“場(chǎng)景崩潰”。

Nexus 的創(chuàng)新在于：將場(chǎng)景劃分為區(qū)塊，單獨(dú)建模每個(gè)局部的噪聲演化過程，再通過狀態(tài)間約束將它們串成整體，這樣既保證了局部合理，又能全局協(xié)同邊生成邊調(diào)整，根據(jù)每一幀的新信息動(dòng)態(tài)更新后續(xù)內(nèi)容，確保場(chǎng)景既逼真又可控。

二、雙管齊下：既要實(shí)時(shí)高效，又要目標(biāo)可控

Nexus 的設(shè)計(jì)目標(biāo)很明確：生成的場(chǎng)景既要滿足實(shí)時(shí)性，又要滿足可控性。

• 傳統(tǒng)擴(kuò)散模型在“去噪”時(shí)，對(duì)全部未來時(shí)刻一次性處理，速度又慢，又難以干涉中間過程；

• 自動(dòng)回歸方法雖然能即時(shí)更新，卻缺乏目標(biāo)狀態(tài)的指引。

這兩類傳統(tǒng)方法導(dǎo)致模型無法兼顧交互性和可控性，而 Nexus 的兩大核心創(chuàng)新正解決了這一問題。

1. 噪聲狀態(tài)的“解耦”擴(kuò)散建模：既快又聽話

Nexus 并不是讓整個(gè)場(chǎng)景?次性擴(kuò)散，?是將整體場(chǎng)景劃分為多個(gè)軌跡單元，每個(gè)單元在??的時(shí)間軸上獨(dú)?擴(kuò)散噪聲狀態(tài)。然后再通過?為規(guī)則和邏輯約束，協(xié)同各個(gè)單元。從?使建模速度?幅提升，且每條軌跡都能精確引導(dǎo)。

2.噪聲感知的調(diào)度機(jī)制：像“動(dòng)態(tài)滑窗”?樣順序生成

Nexus 根據(jù)各區(qū)塊的噪聲強(qiáng)度動(dòng)態(tài)決定?成順序，類似滑動(dòng)窗?式優(yōu)化。優(yōu)先處理“最模糊”的部分，逐步收斂到清晰合理的全局場(chǎng)景。這?做法使得?成時(shí)?更短，時(shí)序?致性更好，避免局部誤差向全局?jǐn)U散。

Nexus-Data：540 小時(shí)邊緣場(chǎng)景庫(kù)

為了在邊緣場(chǎng)景中有更好的表現(xiàn)，Nexus 團(tuán)隊(duì)還構(gòu)建了包含數(shù)千個(gè)?危瞬間、總時(shí)?達(dá) 540 ?時(shí)的 Nexus-Data 數(shù)據(jù)集，覆蓋加塞、碰撞、逼停等多種邊緣場(chǎng)景，為模型訓(xùn)練提供充分的“極限考驗(yàn)”。

三、實(shí)驗(yàn)效果：大幅降低誤差，提升準(zhǔn)確率

• 軌跡誤差降低 42%，生成的場(chǎng)景更加自然、精準(zhǔn)
  

• 生成數(shù)據(jù)用于訓(xùn)練后，規(guī)劃準(zhǔn)確率提升 20%
  

• 支持閉環(huán)測(cè)試、策略學(xué)習(xí)、仿真評(píng)估等實(shí)際環(huán)節(jié)，真正能落地的生成方案

四、邊緣場(chǎng)景生成表現(xiàn)

五、基準(zhǔn)測(cè)試對(duì)比（nuPlan數(shù)據(jù)集）

Nexus-Full 在控制精度、安全性、穩(wěn)定性三個(gè)維度均超越已有方法，同時(shí)保持合理的推理時(shí)間，達(dá)到了SOTA。

任務(wù)為基于 2 秒歷史預(yù)測(cè) 8 秒軌跡，含/不含目標(biāo)引導(dǎo)。

Nexus 支持閉環(huán)場(chǎng)景生成，能作為自動(dòng)駕駛智能體的交互式仿真環(huán)境。智能體在生成場(chǎng)景中進(jìn)行規(guī)劃，Nexus 則根據(jù)其動(dòng)作實(shí)時(shí)更新環(huán)境，從而實(shí)現(xiàn)感知—決策—反饋的閉環(huán)。

閉環(huán)交互式場(chǎng)景生成性能對(duì)比（Scol/Sp）

此外，Nexus 不僅能“生成”，還能作為數(shù)據(jù)引擎為模型訓(xùn)練提供更多關(guān)鍵場(chǎng)景，提升模型實(shí)戰(zhàn)表現(xiàn)。

使用合成數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)的對(duì)比實(shí)驗(yàn)。

Nexus通過解耦擴(kuò)散模型突破動(dòng)態(tài)場(chǎng)景生成的技術(shù)瓶頸，代碼與部分?jǐn)?shù)據(jù)集已開源，詳情參考OpenDriveLab官網(wǎng)。

llustration From IconScout By IconScout Store

-The End-

本周上新！

掃碼觀看！

“AI技術(shù)流”原創(chuàng)投稿計(jì)劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線600+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會(huì)及其他線上交流活動(dòng)，不定期舉辦技術(shù)人線下聚會(huì)交流活動(dòng)。我們正在努力成為AI人才喜愛的高質(zhì)量、知識(shí)型交流平臺(tái)，希望為AI人才打造更專業(yè)的服務(wù)和體驗(yàn)，加速并陪伴其成長(zhǎng)。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識(shí)分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會(huì)選擇部分在深度技術(shù)解析及科研心得方向，對(duì)用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎(jiǎng)勵(lì)

投稿方式

發(fā)送郵件到

melodybai@thejiangmen.com

或添加工作人員微信（yellowsubbj）投稿，溝通投稿詳情；還可以關(guān)注“將門創(chuàng)投”公眾號(hào)，后臺(tái)回復(fù)“投稿”二字，獲得投稿說明。

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機(jī)構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動(dòng)企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級(jí)。

將門成立于2015年底，創(chuàng)始團(tuán)隊(duì)由微軟創(chuàng)投在中國(guó)的創(chuàng)始團(tuán)隊(duì)原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價(jià)值的投后服務(wù)，歡迎發(fā)送或者推薦項(xiàng)目給我“門”:

bp@thejiangmen.com

點(diǎn)擊右上角，把文章分享到朋友圈