全新的 Cosmos Predict-2 世界基礎(chǔ)模型與 CARLA 的集成加速了智能汽車訓(xùn)練。

輔助駕駛堆棧正在從許多不同的模型演變?yōu)榻y(tǒng)一的端到端架構(gòu)，端到端架構(gòu)可直接根據(jù)傳感器數(shù)據(jù)執(zhí)行駕駛操作。這種向使用大模型的過渡大大增加了對用于訓(xùn)練、測試和驗(yàn)證的高質(zhì)量、基于物理學(xué)傳感器數(shù)據(jù)的需求。

為加速下一代輔助駕駛架構(gòu)的開發(fā)，NVIDIA 發(fā)布了 NVIDIA Cosmos Predict-2，這是一種全新的世界基礎(chǔ)模型，具有更強(qiáng)的未來世界狀態(tài)預(yù)測能力，可生成高質(zhì)量的合成數(shù)據(jù)，以及新的開發(fā)者工具。

Cosmos Predict-2 是 NVIDIA Cosmos 平臺的一部分，該平臺為開發(fā)者提供了應(yīng)對端到端輔助駕駛開發(fā)中最復(fù)雜挑戰(zhàn)的技術(shù)。Oxa、Plus 與 Uber 等行業(yè)領(lǐng)導(dǎo)者正在使用 Cosmos 模型快速擴(kuò)展輔助駕駛開發(fā)的合成數(shù)據(jù)生成。

Cosmos Predict-2 加速智能汽車訓(xùn)練

Cosmos Predict-1 可通過文本、圖像和視頻提示預(yù)測并生成未來世界狀態(tài)。在 Cosmos Predict-1 的基礎(chǔ)上，Cosmos Predict-2 可更好地理解文本和視覺輸入的上下文，從而減少幻覺，使生成的視頻細(xì)節(jié)更豐富。

Cosmos Predict-2 通過增強(qiáng)文字理解和常識推理水平，優(yōu)化了路口停車標(biāo)志的識別效果。

通過使用最新的優(yōu)化技術(shù)，Cosmos Predict-2 顯著加快了 NVIDIA DGX Cloud 上合成數(shù)據(jù)的生成速度。

經(jīng)后訓(xùn)練的 Cosmos 模型解鎖了新的訓(xùn)練數(shù)據(jù)源

通過在輔助駕駛數(shù)據(jù)集上對 Cosmos 模型進(jìn)行后訓(xùn)練，開發(fā)者可以生成與現(xiàn)有物理環(huán)境與車輛軌跡高度匹配的視頻，還能從單視角視頻（如行車記錄儀片段）生成多視角視頻。這種將廣泛可用的行車記錄儀數(shù)據(jù)轉(zhuǎn)化為多攝像頭數(shù)據(jù)的能力，為開發(fā)者提供了全新的輔助駕駛訓(xùn)練數(shù)據(jù)庫。這些多視角視頻數(shù)據(jù)還可用于替換因傳感器損壞或遮擋而缺失的真實(shí)攝像頭數(shù)據(jù)。

經(jīng)后訓(xùn)練的 Cosmos 模型會生成多視角視頻數(shù)據(jù)，從而大幅增強(qiáng)輔助駕駛訓(xùn)練數(shù)據(jù)集。（視頻請至微信公眾號觀看）

NVIDIA Research 團(tuán)隊(duì)基于 20,000 小時的真實(shí)世界駕駛數(shù)據(jù)對 Cosmos 模型進(jìn)行了后訓(xùn)練。利用輔助駕駛專用模型生成多視角視頻數(shù)據(jù)，該團(tuán)隊(duì)提高了模型在霧天和雨天等復(fù)雜環(huán)境下的性能。

汽車行業(yè)生態(tài)系統(tǒng)

利用 Cosmos Predict 推動技術(shù)進(jìn)步

多家汽車制造商已經(jīng)將 Cosmos Predict 集成到其系統(tǒng)中，以擴(kuò)展并加速車輛開發(fā)的規(guī)模和速度。

輔助駕駛卡車領(lǐng)域的領(lǐng)軍企業(yè) Plus 正在利用 NVIDIA DRIVE AGX 平臺構(gòu)建其解決方案，該企業(yè)正在通過卡車運(yùn)輸數(shù)據(jù)對 Cosmos Predict 進(jìn)行后訓(xùn)練，以生成高度逼真的合成駕駛場景，從而加速其輔助駕駛卡車解決方案的大規(guī)模商業(yè)化進(jìn)程。輔助駕駛軟件公司 Oxa 也正在使用 Cosmos Predict，以支持生成具有高保真和時間一致性的多攝像頭視頻數(shù)據(jù)。

全新 NVIDIA 模型

和 NIM 微服務(wù)助力智能汽車開發(fā)

除 Cosmos Predict-2 外，NVIDIA 還以 NVIDIA NIM 微服務(wù)預(yù)覽版的方式發(fā)布了Cosmos Transfer，以便開發(fā)者在數(shù)據(jù)中心 GPU 上部署。

Cosmos Transfer NIM 微服務(wù)預(yù)覽版增強(qiáng)了數(shù)據(jù)集，并使用 NVIDIA Omniverse 平臺的結(jié)構(gòu)化輸入或地面實(shí)況仿真來生成逼真的視頻。另外，NuRec Fixer 模型有助于修復(fù)和填補(bǔ)重建輔助駕駛數(shù)據(jù)的空白。

NuRec Fixer 通過填補(bǔ)駕駛數(shù)據(jù)中的空白來提升神經(jīng)重建的質(zhì)量。（視頻請至微信公眾號觀看）

全球領(lǐng)先的開源輔助駕駛模擬平臺 CARLA，現(xiàn)已將 Cosmos Transfer 和 NVIDIA NuRec 集成到其最新版本中，后者是一套用于神經(jīng)重建和渲染的 API 工具集。這有助于 CARLA 平臺上超過 15 萬智能汽車開發(fā)者用戶群以高保真度渲染合成仿真場景和視角，并通過簡單的提示生成無限種照明、天氣和地形組合變化。

開發(fā)者可以使用 NVIDIA 物理 AI 數(shù)據(jù)集上提供的開源數(shù)據(jù)試用該工作流。最新發(fā)布的數(shù)據(jù)集包括由 Cosmos 生成的 40,000 個片段，以及用于神經(jīng)渲染的樣本重建場景。借助最新版本的 CARLA，開發(fā)者可以創(chuàng)建新的行駛軌跡、重新定位傳感器并完善模擬駕駛過程。

這種可擴(kuò)展的數(shù)據(jù)生成工作流為端到端輔助駕駛模型架構(gòu)的開發(fā)提供了動力，最近 NVIDIA Research 團(tuán)隊(duì)連續(xù)第二次獲得 CVPR 大會輔助駕駛國際挑戰(zhàn)賽“端到端輔助駕駛”賽道冠軍，就是最佳佐證。

該挑戰(zhàn)賽為研究人員提供了探索應(yīng)對突發(fā)情況方法的新機(jī)會，除使用真實(shí)世界人類駕駛數(shù)據(jù)之外，加速開發(fā)更智能的汽車。

NVIDIA Halos 提升端到端智能汽車安全性

為增強(qiáng)輔助駕駛系統(tǒng)的運(yùn)行安全性，NVIDIA 今年早些時候推出了 NVIDIA Halos，這是一個綜合安全系統(tǒng)，它將 NVIDIA 全套汽車硬件、軟件安全堆棧與專注于汽車安全領(lǐng)域的前沿 AI 研究成果相結(jié)合。

汽車行業(yè)領(lǐng)軍企業(yè)博世、Easyrain 與 Nuro 率先加入 NVIDIA Halos AI 系統(tǒng)檢測實(shí)驗(yàn)室，驗(yàn)證其產(chǎn)品與 NVIDIA 技術(shù)的安全集成，提升智能汽車的安全性。今年早些時候宣布加入實(shí)驗(yàn)室的成員還包括大陸集團(tuán)、Ficosa、OMNIVISION、onsemi 和 Sony Semiconductor Solutions。