在物理 AI 快速發(fā)展的推動(dòng)下，機(jī)器人領(lǐng)域正在經(jīng)歷一場重大變革。它正在加快新機(jī)器人解決方案的上市時(shí)間，增強(qiáng)人們對(duì)其安全性的信心，并推動(dòng)物理 AI 在工廠和倉庫中的應(yīng)用。

在 GTC 上發(fā)布的 Newton 是一個(gè)開源、可擴(kuò)展的物理引擎。該引擎由 NVIDIA、谷歌 DeepMind 和 Disney Research 專為推進(jìn)機(jī)器人的學(xué)習(xí)與開發(fā)而共同打造。

NVIDIA Cosmos 是一個(gè)以開放模型許可證形式發(fā)布的世界基礎(chǔ)模型（WFM）平臺(tái)，它將加速自動(dòng)駕駛汽車、機(jī)器人等自主機(jī)器的物理 AI 開發(fā)。

最新版本 NVIDIA Omniverse Kit SDK 107 是機(jī)器人應(yīng)用領(lǐng)域的又一個(gè)重要里程碑。該套件已升級(jí)到 OpenUSD 24.05 版本，并且更新了 Python、C++ 和 Linux 應(yīng)用二進(jìn)制接口（ABI）。NVIDIA Isaac Sim 5.0 將在 Kit 107 的基礎(chǔ)上進(jìn)行開發(fā)。這些增強(qiáng)功能大幅提升了傳感器仿真、語言支持和二進(jìn)制兼容性，可極大地促進(jìn)機(jī)器人應(yīng)用的開發(fā)。

用于機(jī)器人開發(fā)的系統(tǒng)和工具

無論是工業(yè)機(jī)器還是人形助手，AI 驅(qū)動(dòng)的機(jī)器人在部署到現(xiàn)實(shí)世界之前都必須經(jīng)過大量訓(xùn)練、測試和驗(yàn)證，其中最基礎(chǔ)的工作是整合來自專業(yè)工具集的異構(gòu)數(shù)據(jù)。目前有許多方法可用于促進(jìn)機(jī)器人的開發(fā)：

• CAD 軟件：創(chuàng)建詳細(xì)的機(jī)器人 3D 模型。
• 數(shù)字內(nèi)容創(chuàng)建工具：創(chuàng)建動(dòng)畫、仿真等內(nèi)容。
• 仿真器：針對(duì)虛擬環(huán)境中真實(shí)傳感器模型所感知到的各種情況，測試并驗(yàn)證機(jī)器人的行為。
• 機(jī)群管理軟件：在一個(gè)環(huán)境中協(xié)調(diào)和管理多個(gè)機(jī)器人。

Schema（定義機(jī)器人完成任務(wù)行為的數(shù)據(jù)模型）是每個(gè)機(jī)器人的核心。它是存儲(chǔ)高級(jí)數(shù)據(jù)和元數(shù)據(jù)的通用接口，包含以下內(nèi)容：

• 運(yùn)動(dòng)學(xué)屬性：有關(guān)機(jī)器人運(yùn)動(dòng)和結(jié)構(gòu)的信息。
• 機(jī)器人語義：定義機(jī)器人用途和能力的數(shù)據(jù)。
• 機(jī)體層次結(jié)構(gòu)：機(jī)器人組件的組織結(jié)構(gòu)。
• 配置參數(shù)：控制機(jī)器人操作的設(shè)置。

圖 1 機(jī)器人 Schema 示例

數(shù)據(jù)管理方面的挑戰(zhàn)

目前，各個(gè)機(jī)器人領(lǐng)域的開發(fā)者都需要管理多個(gè)數(shù)據(jù)源，使得整個(gè)機(jī)器人生態(tài)系統(tǒng)相互脫節(jié)。機(jī)器人的各個(gè)子系統(tǒng)往往依賴于多個(gè)分散的數(shù)據(jù)源，而打通這些數(shù)據(jù)源十分耗時(shí)。另外，開發(fā)者還面臨以下挑戰(zhàn)：

• 不同的機(jī)器人格式：機(jī)器人的設(shè)計(jì)和表示格式多種多樣，目前缺乏通用的銜接方式。
• 不同的機(jī)器人數(shù)據(jù)：機(jī)器人數(shù)據(jù)類型有 CAD 設(shè)計(jì)、機(jī)器人裝配、電氣和機(jī)械信息、傳感器數(shù)據(jù)、物聯(lián)網(wǎng)指標(biāo)等等。
• 各種仿真求解器：目前針對(duì)特定機(jī)器人組件沒有統(tǒng)一的專用求解器。

為了解決這些挑戰(zhàn)，必須以統(tǒng)一的方式整合所有數(shù)據(jù)，才能通過復(fù)制真實(shí)世界的感知來訓(xùn)練、優(yōu)化和操作機(jī)器人。

OpenUSD 的作用

通用場景描述（OpenUSD）是統(tǒng)一來自不同數(shù)據(jù)源的內(nèi)容和進(jìn)行大規(guī)模仿真的關(guān)鍵。OpenUSD 的主要優(yōu)點(diǎn)有：

• 互操作性：OpenUSD 具有與生俱來的可擴(kuò)展性，能夠支持當(dāng)前來自 CAD 和 URDF 的機(jī)器人數(shù)據(jù)源，在仿真環(huán)境中導(dǎo)入達(dá)到物理學(xué)精度的材料和運(yùn)動(dòng)學(xué)，并傳輸來自機(jī)器人傳感器或工業(yè)設(shè)施傳感器的實(shí)時(shí)運(yùn)行數(shù)據(jù)。
• 聚合：OpenUSD 使用文件格式插件和引用來實(shí)現(xiàn)數(shù)據(jù)集的聚合，同時(shí)保持?jǐn)?shù)據(jù)源的規(guī)范。
• 協(xié)作：OpenUSD 的合成和非破壞性編輯功能幫助人類、AI 和仿真器之間搭建起新的協(xié)同工作流。

推出適用于機(jī)器人的

OpenUSD 資產(chǎn)結(jié)構(gòu)管線

在 GTC 2025 上，NVIDIA 與 Disney Research 和 Intrinsic AI 共同推出了適用于機(jī)器人的 OpenUSD 資產(chǎn)結(jié)構(gòu)管線。這一全新結(jié)構(gòu)和數(shù)據(jù)管線使用 OpenUSD 中的最佳實(shí)踐統(tǒng)一機(jī)器人工作流并提供適用于所有數(shù)據(jù)源的通用語言。

圖 2 適用于機(jī)器人的 OpenUSD 資產(chǎn)結(jié)構(gòu)管線

在圖 2 中，從左到右的箭頭表示工作流，從右到左的箭頭表示組件依賴關(guān)系。

OpenUSD 資產(chǎn)結(jié)構(gòu)管線能夠在機(jī)器人資產(chǎn)用于仿真和開發(fā)前，簡化其準(zhǔn)備和增強(qiáng)過程。該工作流能夠在對(duì)資產(chǎn)進(jìn)行高效管理、優(yōu)化和增強(qiáng)的同時(shí)，保持資產(chǎn)的原始完整性和層次結(jié)構(gòu)。

OpenUSD 資產(chǎn)結(jié)構(gòu)管線的各個(gè)階段

通過使用基于提取、轉(zhuǎn)換和加載（ETL）的 OpenUSD 資產(chǎn)結(jié)構(gòu)管線，可以將機(jī)器人資產(chǎn)無縫集成到仿真環(huán)境中，從而更加輕松地在各種應(yīng)用中測試、完善和部署這些資產(chǎn)。

資產(chǎn)來源

• 將資產(chǎn)直接導(dǎo)入 USD（使用 Omniverse CAD 轉(zhuǎn)換器或開源文件格式插件進(jìn)行轉(zhuǎn)換）。
• 將資產(chǎn)分成各個(gè)機(jī)器人組件的 USD 層或組合成一個(gè)完整機(jī)器人層。
• 保留資產(chǎn)的原始組織和層次結(jié)構(gòu)，以方便管理和引用。

轉(zhuǎn)換

• 通過重組資產(chǎn)優(yōu)化其結(jié)構(gòu)或提高其性能。
• 確保資產(chǎn)完全達(dá)到仿真就緒狀態(tài)，同時(shí)保持其完整性。

功能

• 為每個(gè)資產(chǎn)添加仿真功能。
• 通過可使用變體進(jìn)行配置的有效載荷組合所有仿真功能。
• 使用模塊化方法實(shí)現(xiàn)各種工作流和提高仿真效率。

主要優(yōu)點(diǎn)

該管線支持從來源到仿真的內(nèi)容結(jié)構(gòu)轉(zhuǎn)換重塑，可在運(yùn)行時(shí)環(huán)境（例如機(jī)器人仿真參考應(yīng)用 NVIDIA Isaac Sim）內(nèi)進(jìn)行大規(guī)模訓(xùn)練和實(shí)時(shí)仿真優(yōu)化。

其設(shè)計(jì)兼顧了可重用性和模塊性，可支持當(dāng)前的工作流和未來的創(chuàng)新。單一接口層可通過變體集進(jìn)行配置，既統(tǒng)一了機(jī)器人資產(chǎn)結(jié)構(gòu)管線，又具有根據(jù)手頭任務(wù)定制資產(chǎn)的靈活性。

該管線使用引用保持與 CAD 數(shù)據(jù)源的鏈接，確保任何更新或更改都可以向下游推送或拉取。

它還能使用新的 Cosmos 世界基礎(chǔ)模型將結(jié)構(gòu)化仿真轉(zhuǎn)換成逼真的視頻，以此生成更豐富的合成數(shù)據(jù)用于訓(xùn)練物理 AI 模型。

注意事項(xiàng)

OpenUSD 非常靈活，因?yàn)槠浜铣梢媾c領(lǐng)域無關(guān)。在最基礎(chǔ)的層面上，OpenUSD 無須知道鍵值對(duì)的 3D 含義就能組合鍵值對(duì)。不過，這也意味著在聚合 OpenUSD 格式的數(shù)據(jù)時(shí)，必須考慮與領(lǐng)域相關(guān)的因素。因此，OpenUSD 的標(biāo)準(zhǔn)化對(duì)于保證互操作性和數(shù)據(jù)互換性至關(guān)重要。

其中最需要考慮的因素之一是場景單位。當(dāng)在 Isaac Sim 等運(yùn)行時(shí)環(huán)境中使用 USD 進(jìn)行機(jī)器人仿真時(shí)，建議使用將 metersPerUnit 設(shè)置為“meters”的根層，引用已經(jīng)以“meters”為單位的機(jī)器人，并使用度量單位匯編器確保引用到仿真中的任何環(huán)境都已按適當(dāng)比例縮放（需要時(shí)以“meters”為單位）。不建議在任何未以“meters”為單位的內(nèi)容中劃分子層。

OpenUSD 聯(lián)盟（AOUSD）還將探索更加全面的方法處理 USD 層棧中的混合單位和其他階段指標(biāo)。但為了滿足以下要求，必須對(duì)這些方法進(jìn)行仔細(xì)斟酌：

• 保持性能
• 減少代碼和內(nèi)容的不兼容性
• 集中計(jì)算最終轉(zhuǎn)換和其他受單元影響的值

圖 3 OpenUSD 場景單元

即將推出的 OpenUSD 功能

適用于機(jī)器人的 OpenUSD 發(fā)展藍(lán)圖包含以下內(nèi)容：

• 機(jī)器人格式概念數(shù)據(jù)映射：將 URDF、MJCF、SDFormat 等機(jī)器人格式的數(shù)據(jù)模型映射到 OpenUSD，并根據(jù)需要發(fā)布 Schema 提議，以填補(bǔ)概念空白。
• AOUSD 宣布在新領(lǐng)域成立 OpenUSD 工作組：推動(dòng)特定行業(yè)的創(chuàng)新并擴(kuò)大 OpenUSD 應(yīng)用在各個(gè)新興領(lǐng)域的應(yīng)用，擴(kuò)展對(duì)象包括工業(yè)與工程數(shù)字孿生（IEDT）專項(xiàng)工作組和網(wǎng)絡(luò)專項(xiàng)工作組。

• AOUSD 關(guān)于可變形體和 B-reps 的提議：AOUSD 物理學(xué)工作組提議在 UsdPhysics 中添加可變形體（軟體動(dòng)力學(xué)），用于訓(xùn)練機(jī)器人機(jī)械手和抓手。AOUSD 幾何工作組正在開發(fā) B-reps 的初步 Schema。該 Schema 可用于根據(jù)需求為同一工業(yè)環(huán)境中的各種物理求解器推導(dǎo) CAD 幾何體的不同曲面細(xì)分（tessellation）。

• USD + FMI 提議：通過 OpenUSD 與功能模擬接口（FMI）之間的標(biāo)準(zhǔn)化協(xié)同和概念數(shù)據(jù)映射實(shí)現(xiàn)協(xié)同仿真（例如多個(gè)求解器對(duì)同一機(jī)器人的不同組件或其周圍環(huán)境進(jìn)行仿真）。
• 動(dòng)態(tài)行為提議：能夠?qū)崿F(xiàn)機(jī)器人動(dòng)作仿真所需的動(dòng)態(tài)行為，例如封裝在 ROS 橋中的動(dòng)態(tài)行為或?qū)Π踩珔^(qū)域進(jìn)行仿真所需的動(dòng)態(tài)行為。該提議將確定在皮克斯即將推出的 OpenExec 計(jì)劃基礎(chǔ)上實(shí)現(xiàn)此類動(dòng)態(tài)行為所需的 OmniGraph 功能要求。

開始使用

現(xiàn)在可以下載基于 Omniverse 構(gòu)建的 Isaac Sim，并訪問 Hugging Face 上的 NVIDIA Cosmos 和 NVIDIA Isaac GR00T 基礎(chǔ)模型。

可通過免費(fèi)的 OpenUSD 課程以及深度學(xué)習(xí)培訓(xùn)中心（DLI）的 Learn OpenUSD 和機(jī)器人基礎(chǔ)課程進(jìn)一步鞏固您的基礎(chǔ)知識(shí)：https://www.nvidia.com/en-us/learn/learning-path/openusd/

如要加速人形機(jī)器人和工業(yè)機(jī)械臂方面的工作，請使用 Isaac GR00T 系列開源模型：https://developer.nvidia.com/zh-cn/blog/accelerate-generalist-humanoid-robot-development-with-nvidia-isaac-gr00t-n1/

圖 4 仿真就緒資產(chǎn)