物理 AI（Physical AI）涵蓋機(jī)器人技術(shù)、智能汽車(chē)等領(lǐng)域，需要大量真實(shí)世界數(shù)據(jù)、專(zhuān)用基礎(chǔ)設(shè)施以及嚴(yán)格的測(cè)試。

51Sim 利用 NVIDIA Cosmos? 的生成式世界基礎(chǔ)模型，對(duì)現(xiàn)有的合成數(shù)據(jù)進(jìn)行大規(guī)模泛化，在確保物理真實(shí)性的前提下，大幅提升了數(shù)據(jù)的豐富度。同時(shí)依托 NVIDIA Issac Sim，將輔助駕駛領(lǐng)域的經(jīng)驗(yàn)成功拓展到了具身智能領(lǐng)域，為端到端輔助駕駛仿真測(cè)試與具身智能機(jī)器人訓(xùn)練提供了海量高置信度的合成數(shù)據(jù)，目前相關(guān)成果已在多個(gè)主機(jī)廠(chǎng)和智能裝備企業(yè)中實(shí)現(xiàn)落地應(yīng)用。

合成數(shù)據(jù)的“多樣性”和“真實(shí)性”痛點(diǎn)

合成數(shù)據(jù)的泛化性和模擬-現(xiàn)實(shí)差距（Sim-to-Real Gap）是包括輔助駕駛仿真在內(nèi)的具身智能領(lǐng)域的核心難題。

端到端輔助駕駛模型測(cè)試區(qū)別于傳統(tǒng)的模塊化測(cè)試方式，需要同時(shí)包含感知與規(guī)控環(huán)節(jié)，因此高置信度的感知仿真的重要性大幅提升，這也對(duì)仿真場(chǎng)景的真實(shí)性和數(shù)據(jù)置信度提出了更高的要求。同時(shí)泛化性也是重要的影響因素，高階輔助駕駛的進(jìn)化深度依賴(lài)數(shù)據(jù)多樣性，海量、多維度，且覆蓋極端場(chǎng)景的長(zhǎng)尾數(shù)據(jù)可以有效提升算法針對(duì)突發(fā)事件的應(yīng)對(duì)能力。

相比于智能汽車(chē)，港口、礦山、工廠(chǎng)等場(chǎng)景的工礦則更加復(fù)雜，真實(shí)數(shù)據(jù)的采集成本更高、數(shù)據(jù)更為稀缺。同時(shí)由于裝備本身的復(fù)雜性，需要依托高質(zhì)量的仿真環(huán)境和高度真實(shí)的物理仿真引擎才能完成閉環(huán)仿真測(cè)試與訓(xùn)練數(shù)據(jù)合成，這為安全性驗(yàn)證提出了更艱巨的任務(wù)。

利用 NVIDIA Cosmos? 提升輔助駕駛合成數(shù)據(jù)場(chǎng)景的泛化性

NVIDIA Cosmos? 是一個(gè)生成式世界基礎(chǔ)模型（WFMs）平臺(tái)，包含先進(jìn)的視覺(jué)標(biāo)記器、護(hù)欄以及加速視頻數(shù)據(jù)處理工具管線(xiàn)。它專(zhuān)為加速輔助駕駛汽車(chē)和機(jī)器人領(lǐng)域的合成數(shù)據(jù)生成、AI 模型訓(xùn)練與評(píng)估而設(shè)計(jì)，能夠?yàn)槭澜缒Ｐ陀?xùn)練提供支持，并加速輔助駕駛汽車(chē)和機(jī)器人的物理 AI 開(kāi)發(fā)。

基于高真實(shí)感動(dòng)靜態(tài)場(chǎng)景仿真和物理級(jí)傳感器仿真，51Sim 的輔助駕駛與機(jī)器人仿真測(cè)試平臺(tái) SimOne 能夠輸出豐富的傳感器原始數(shù)據(jù)和真值數(shù)據(jù)類(lèi)型，包括攝像頭視頻流、2D/3D 包圍盒、語(yǔ)義分割、實(shí)例分割、深度圖、法線(xiàn)圖等。這些真值可進(jìn)一步作為 Cosmos Transfer 的控制輸入，通過(guò)不同的 Prompt，生成大規(guī)模、高真實(shí)感的合成數(shù)據(jù)集。

NVIDIA Cosmos 為 51Sim 多種合成數(shù)據(jù)技術(shù)路線(xiàn)的融合帶來(lái)了更多可能性。圖形和 3DGS 混合渲染引擎的輸出可以直接作為 Cosmos 世界基礎(chǔ)模型的輸入。Cosmos Transfer 可基于結(jié)構(gòu)輸入或來(lái)自 NVIDIA Omniverse 的真實(shí)數(shù)據(jù)，可根據(jù)提示，生成不同場(chǎng)景風(fēng)格的視頻。可在 Hugging Face 和 GitHub 上開(kāi)放使用。在 Cosmos Transfer 的支持下，通過(guò)初期的基礎(chǔ)場(chǎng)景搭建以及云端 GPU 集群的加速生成，用戶(hù)可在有限資源投入的前提下，快速生成兼具真實(shí)性與多樣性的合成數(shù)據(jù)，顯著提升了生成效率，降低合成數(shù)據(jù)的整體成本。

借助 Cosmos，51Sim 將基于自研方案生產(chǎn)的合成數(shù)據(jù)的泛化性，實(shí)現(xiàn)了跨數(shù)量級(jí)的提升。一次構(gòu)建，可生成海量的泛化場(chǎng)景，大幅提升了數(shù)據(jù)的復(fù)用性，節(jié)省了重建成本。這些合成數(shù)據(jù)幫助車(chē)企算法研發(fā)部門(mén)實(shí)現(xiàn)了極端數(shù)據(jù)的“飽和式”覆蓋，為應(yīng)對(duì)極端場(chǎng)景提供了更強(qiáng)大的數(shù)據(jù)保障，加速高階輔助駕駛算法的快速迭代。

51Sim 專(zhuān)注打造強(qiáng)大落地能力的合成數(shù)據(jù)方案

憑借多年利用圖形引擎對(duì)真實(shí)世界進(jìn)行數(shù)字孿生重建的經(jīng)驗(yàn)，51Sim 積累了海量的高質(zhì)量 3D 資產(chǎn)庫(kù)，并擁有包括物理仿真及圖形渲染、3DGS 輻射場(chǎng)的重建、世界模型在內(nèi)的行業(yè)內(nèi)全面的合成數(shù)據(jù)技術(shù)路徑。

依托自研的 3DGS 混合引擎，51Sim 大幅提升了虛擬環(huán)境的視覺(jué)真實(shí)度和多樣化，并大幅降低了重建成本。這些虛擬場(chǎng)景產(chǎn)生的合成數(shù)據(jù)，嚴(yán)格遵循真實(shí)世界的物理規(guī)律，包括光照變化、材質(zhì)特性、碰撞反饋及物體間的動(dòng)態(tài)交互。

51Sim 的合成數(shù)據(jù)方案已在端到端輔助駕駛領(lǐng)域?qū)崿F(xiàn)落地應(yīng)用，憑借高置信度且多樣性的仿真場(chǎng)景、真實(shí)傳感器標(biāo)定的物理級(jí)傳感器建模能力及一致性經(jīng)驗(yàn)，實(shí)現(xiàn)了攝像頭、激光雷達(dá)、毫米波雷達(dá)等物理級(jí)多傳感器仿真，滿(mǎn)足了車(chē)企算法測(cè)試部門(mén)對(duì)于端到端仿真對(duì)置信度的極致要求。

為了進(jìn)一步滿(mǎn)足在輔助駕駛算法對(duì)于數(shù)據(jù)的真實(shí)性與多樣性的要求，縮小真實(shí)與仿真之間的領(lǐng)域差異，SimOne 還引入了實(shí)時(shí)光線(xiàn)追蹤渲染、3DGS 場(chǎng)景及動(dòng)靜態(tài)資產(chǎn)的重建技術(shù)。同時(shí)，為了增強(qiáng)數(shù)據(jù)的多樣性，SimOne 還構(gòu)建了基于域隨機(jī)化的靜態(tài)場(chǎng)景生成系統(tǒng)、基于大語(yǔ)言模型（LLM）的動(dòng)態(tài)場(chǎng)景生成工具，并增加了海量的 SOTIF 資產(chǎn)庫(kù)，結(jié)合天氣與光照的泛化能力，從而實(shí)現(xiàn)了高質(zhì)量、多樣化的合成數(shù)據(jù)生成。

未來(lái)展望：推動(dòng)物理AI安全、高效地進(jìn)入物理世界

基于 NVIDIA Cosmos 與 Isaac Sim 的強(qiáng)大能力，51Sim 進(jìn)一步為端到端輔助駕駛提供了海量高置信度的仿真數(shù)據(jù)，全面提升了輔助駕駛系統(tǒng)的安全性與泛化性能，助力車(chē)企端到端輔助駕駛技術(shù)的落地。

目前，51Sim 目前應(yīng)用領(lǐng)域已從輔助駕駛仿真，向智能裝備、低空飛行器、通用機(jī)器人等眾多行業(yè)進(jìn)行了拓展。依托 NVIDIA Isaac 開(kāi)放生態(tài)，將多年積累的仿真與合成數(shù)據(jù)經(jīng)驗(yàn)，和海量的高質(zhì)量數(shù)據(jù)資產(chǎn)，成功拓展到了智能裝備、機(jī)器人等具身智能的仿真訓(xùn)練領(lǐng)域，為更多行業(yè)提供有力數(shù)據(jù)和仿真能力支撐，推動(dòng)物理 AI 安全、高效地進(jìn)入物理世界。

51Sim 于今年加入了 NVIDIA 初創(chuàng)加速計(jì)劃，并參加了 2025 NVIDIA 創(chuàng)業(yè)企業(yè)展示活動(dòng)，后續(xù)將在 NVIDIA 的助力下，在技術(shù)和市場(chǎng)方面進(jìn)行更多交流與聯(lián)動(dòng)。

本文中圖片由 51Sim 提供，如果您有任何疑問(wèn)或需要使用圖片，請(qǐng)聯(lián)系 51Sim。