在自動駕駛領(lǐng)域，高精度仿真系統(tǒng)扮演著“虛擬練兵場”的角色。工程師需要在數(shù)字世界中模擬暴雨、擁堵、突發(fā)事故等極端場景，反復(fù)驗證算法的可靠性。

然而，傳統(tǒng)仿真技術(shù)往往面臨兩大難題：首先是視角局限，依賴單一軌跡數(shù)據(jù)，如一條固定路線的攝像頭錄像，重建的場景只能在有限視角內(nèi)逼真，無法支持車輛 “自由探索”。其次是動態(tài)失真，同一路口在不同時間可能停滿車輛或空無一人，這些變化使得生成畫面脫離現(xiàn)實。

為解決這一問題，上海創(chuàng)智學(xué)院聯(lián)合香港大學(xué)等機構(gòu)聯(lián)合提出MTGS （Multi-Traversal Gaussian Splatting）方法，通過多軌跡數(shù)據(jù)融合，構(gòu)建既能還原真實道路細節(jié)又能動態(tài)響應(yīng)環(huán)境變化的超高精度仿真場景。

日常通勤中，車輛往往會以不同的軌跡反復(fù)經(jīng)過同一路段；而用于采集駕駛數(shù)據(jù)的車隊也往往會在同一街區(qū)多次遍歷，每輛車在不同時間從不同的角度記錄了當(dāng)前街區(qū)的信息。因此，使用多軌跡數(shù)據(jù)能獲取到更多周圍環(huán)境的信息。然而，實驗發(fā)現(xiàn)，簡單地堆疊數(shù)據(jù)并不能帶來重建效果的提升，反而可能損傷單軌跡下重建的場景模型，原因之一是這些數(shù)據(jù)在天氣、光照上有較大差異，無法很好地對齊。而 MTGS 的核心創(chuàng)新，正是將這些碎片化的“數(shù)字拼圖”智能整合，使不同軌跡采集到的幾何信息能互相補足，重建出幾何信息更精準(zhǔn)的駕駛場景。

• arXiv 鏈接：https://arxiv.org/abs/2503.12552
• 代碼、checkpoint 等即將開源

基于多個軌跡的場景異質(zhì)圖

MTGS 將同一個場景中的元素集合在一個異質(zhì)圖中，并針對不同場景元素的特點分成三類節(jié)點，靜態(tài)節(jié)點、外觀節(jié)點、瞬態(tài)節(jié)點。這種 “分而治之” 的設(shè)計，使得 MTGS 既能還原道路的原有特征，又能靈活地呈現(xiàn)瞬息萬變的車流與環(huán)境。

靜態(tài)節(jié)點- 所有軌跡共享的靜態(tài)背景，如瀝青路面、交通標(biāo)志。

外觀節(jié)點- 通過球諧函數(shù)系數(shù)調(diào)整光照、陰影，適配多軌跡對應(yīng)不同時段的天氣變化和光照差異。

瞬態(tài)節(jié)點- 各次軌跡獨有的移動物體，如穿梭的車輛、臨時停靠的快遞車。

其中，靜態(tài)節(jié)點和外觀節(jié)點共同決定表征靜態(tài)背景的高斯球，前者提供高斯球的位置、旋轉(zhuǎn)四元數(shù)、尺寸、透明度和球諧函數(shù)的首個參數(shù)，后者則決定球諧函數(shù)的其他參數(shù)。這一設(shè)計源自球諧函數(shù)自身的特性：第一個球諧函數(shù) Y_0,0 具備旋轉(zhuǎn)不變性，可用于表征物體的本色或底色；其他球諧函數(shù)則會隨著觀察視角的變化而有所變化，更適合表征物體在不同軌跡不同視角上的色彩變化，如陰影、反光等細節(jié)。

同一軌跡中的外觀對齊

除了多軌跡間的光照差異，同一軌跡內(nèi)部也存在外觀不對齊的情況，如部分相機過度曝光、不同相機間的色調(diào)差異。MTGS 創(chuàng)新性地利用激光雷達點云顏色作為 “錨點”，將同一空間點在同一時刻不同相機中的顏色對齊，并為每個相機學(xué)習(xí)獨立的仿射變換，確保不同時刻采集的圖片色調(diào)統(tǒng)一。

此外，為避免模型產(chǎn)生 “浮空碎片” 等失真現(xiàn)象，MTGS 還引入多重約束：（1）用激光雷達點云矯正三維形狀，確保路沿、護欄等結(jié)構(gòu)精確對齊；（2）使用 UniDepth 對圖像進行深度估計，使用估計深度計算得到每個像素的法向量方向，從而通過相鄰像素的法向量約束，讓曲面過渡更自然（如車頂弧度）；（3）將移動物體的陰影從背景中分離，防止 “鬼影” 殘留。這些技術(shù)讓重建效果提升46.3%，合成畫面中的鋸齒、重影等問題顯著減少。

實測效果：數(shù)字與現(xiàn)實的 “像素級逼近”

在 nuPlan 大規(guī)模自動駕駛數(shù)據(jù)集上的測試顯示，MTGS 在多項指標(biāo)上刷新紀(jì)錄。在畫面質(zhì)量方面，感知相似度（LPIPS）提升23.5%。在幾何精度方面，深度誤差降低46.3%，護欄間距、車道寬度等細節(jié)厘米級還原。在動態(tài)響應(yīng)方面，支持每秒 60 幀的實時渲染，車流密度變化、行人突然穿行等場景流暢呈現(xiàn)。