在 COMPUTEX 2025 上，NVIDIA 宣布了機器人仿真參考應用 NVIDIA Isaac Sim 和機器人學習框架 NVIDIA Isaac Lab 的更新，以加速各種形態機器人的開發。

本文將介紹 Isaac Sim 和 Isaac Lab 的更新（將于今年二季度推出），以及這些更新如何加速機器人工作流。

Isaac Sim 5.0 的更新

基于 NVIDIA Omniverse 和 OpenUSD 構建的新版 Isaac Sim，將具備開源及可定制的特點，可以通過 NVIDIA Launchable 加快開發速度，并支持先進的合成數據生成流程以加速機器人仿真。

開源且完全可定制

即將在 GitHub 上推出的 Isaac Sim 5.0 將具備開源、完全可定制以及可擴展的特性，用戶能夠針對特定需求自定義仿真，比如針對合成數據生成 (SDG) 和軟件在環 (Software-in-the-Loop) 測試。

如果需要對基礎 Omniverse Kit 的其他企業級支持以及商業再分發權限，需要有 Omniverse Enterprise 許可證。

通過 NVIDIA Brev 快速啟動開發項目

Isaac Sim 5.0 將可以通過 NVIDIA Brev 訪問，通過 NVIDIA Brev，開發者可以直接訪問主要云服務商的 NVIDIA GPU 實例。Brev 提供了快速啟動 Isaac Sim 的快捷方式，無需搭建基礎設施，并加速了迭代周期。

開發者可以選擇一鍵啟動部署，或通過選擇實例類型和端口配置來自定義部署。

圖 1. Isaac Sim Brev 窗口

先進的合成數據生成流程

通過仿真生成的合成數據可確保對真實世界物理特性（包括運動數據和環境交互）進行精確建模，因存在危險而難以在真實世界中采集的罕見場景，也可通過這種方式進行捕獲。

MobilityGen

高質量的運動數據是訓練更智能、適應性更強的機器人的基礎，這些機器人能夠在真實環境中安全高效地運行。這需要逼真的運動動力學和豐富的 ground-truth 數據，以開發可在機器人和環境中泛化的適應性強、高效的運動模型。

MobilityGen 將作為 Isaac Sim 中的擴展程序提供，用于創建多樣化的基于物理性質的數據和感知模型訓練數據，比如占據地圖、機器人狀態、位姿、速度和圖像等。它還將支持各種數據收集方法，如遠程操作、自動動作和可定制的路徑規劃。生成的數據可用于訓練自主移動機器人、四足機器人和人形機器人。MobilityGen 的數據已用于訓練端到端通用導航模型 X-Mobility。

將合成數據生成擴展到物理空間

物理 AI 使機器人、自動駕駛汽車和智能空間等系統能夠在工廠、倉庫和城市等真實環境中感知和行動。為了更好地從空間角度理解環境，開發者需要訓練數據來準確模擬這些復雜 3D 環境中的攝像頭所拍攝到的多個移動主體和物體。

Isaac Sim 中的新擴展程序可生成用于訓練視覺 AI 模型的合成圖像和視頻數據，包括：

• Isaacsim.Replicator.Agent：對人類和機器人在 3D 環境中執行行走、坐下或舉起物體等動作進行仿真。
• Isaacsim.Replicator.Object：生成合成數據集，用于使用可配置場景和域隨機化進行物體檢測。
• Incident extension（將在 Isaac 5.0 中推出）：生成基于事件的數據，如火災、泄漏或物體掉落。
• Caption extension（將在 Isaac 5.0 中推出）：創建圖像 – 文本對 (image-caption pairs)，用于訓練基于場景理解的視覺語言模型。

Cosmos 世界基礎模型

數據格式兼容性的優化

NVIDIA Cosmos Transfer 等世界基礎模型 (WFM) 可幫助將 Isaac Sim 生成的合成數據增強到模型訓練所需的逼真程度。新的 NVIDIA Omniverse Replicator writer 針對 Cosmos Transfer 輸入進行了優化，使用戶能夠輕松生成并導出高質量合成數據用于模型訓練。它支持獨立工作流和腳本編輯器，還能無縫集成到現有的 Isaac Sim 合成數據生成腳本中。

增強型傳感器仿真

圖 2. 深度傳感器仿真輸出

準確的傳感器仿真對于在真實世界中成功部署機器人和計算機視覺應用至關重要。Isaac Sim 將支持通用深度圖噪聲模型，使開發者能夠逼真地對立體攝像頭的噪聲特性進行仿真。此功能有助于生成噪聲模式接近真實傳感器數據的深度圖像，進一步提升合成輸出的真實感。

改進的執行器模型

Isaac Sim 現在支持通過 OpenUSD 架構定義的新關節摩擦模型，包括與 Hexagon Robotics 和 maxon 合作開發的執行器和摩擦參數。這些模型利用制造商數據表中的真實世界數據，確保仿真中關節和電機的驅動行為與實際高度一致，從而縮小仿真與現實之間的差距。通過更準確的執行器建模，可以更好地訓練強化學習 (RL) 策略，實現從仿真到物理硬件的平滑過渡，并提升機器人在真實世界中性能的可靠性。

借助標準化 ROS 2 接口和

ZMQ 橋接器簡化機器人工作流

為了解決機器人技術長期面臨的挑戰，新的標準化 ROS 2 仿真接口通過引入一種一致的方法，通過 ROS 2 控制不同的仿真器。這個新的標準化接口由 Robotec.ai 牽頭，由 Gazebo、Open 3D Engine 和 NVIDIA 共同合作開發，通過為開發者提供一種一致的方法來控制 ROS 2 中的仿真，從而簡化集成過程。

ZMQ 橋接器是為 Isaac Sim 4.5 添加的擴展程序，可實現與 ROS 之外的外部應用程序進行快速雙向通信。它支持軟件在環測試，并且可以擴展到邊緣設備上的硬件在環。用例包括流式傳輸攝像頭數據、傳輸 ground truth、發送控制指令及交換輔助數據等。

Isaac Lab 2.2 的更新

最新的 Isaac Lab 更新包括 GR00T N1 模型的基準測試腳本、增強的合成運動數據生成、通過 Omniverse Fabric 加快加載速度，以及改進的吸盤夾具建模。

對 NVIDIA Isaac GR00T N 模型

進行基準測試和評估

最新版本的 Isaac Lab 將支持用于對 Isaac GR00T N 系列基礎模型進行閉環評估的環境基準測試腳本。開發者可以加載這些預構建的環境和工業任務，比如螺母澆注和管道分揀等，來運行閉環基準測試。

圖 3. GR00T N1 部署在 Isaac Lab 中的 傅利葉 GR1 人形機器人上，用于雙手操作任務

除了新環境和基準測試外，Isaac Lab 還將支持 LeRobot 數據格式，能夠將 Isaac GR00T Blueprint 生成的合成數據轉換為合成操作運動生成 ，用于 Isaac GR00T N1 模型的后訓練。然后，經過訓練的策略可以在 Isaac Sim 中針對多種 “假設” 場景進行進一步驗證。

使用 GR00T-Mimic 增強合成運動生成

Isaac Lab 2.1 中引入了雙手操作，Isaac Lab 2.2 將新增預構建環境。NVIDIA 在 2025 年 GTC 大會上進行了有關演示（請見圖 4）。

圖 4. 搭載 GR00T N1 的傅利葉 GR1 人形機器人 執行復雜雙手操作任務

這些專為數據采集設計的示例環境已預先配置在傅利葉 GR1 人形機器人上，便于收集合成運動數據以訓練機器人策略模型。這些新的訓練環境使用來自人形機器人視角的視覺輸入，同時結合機器人狀態信息（如 GR00T N 模型的關節位置數據）。

此外，還將提供樣例數據、腳本、提示詞及模型檢查點，用以增強來自 Cosmos-Transfer1 的合成數據。

提升使用體驗

新版本的 Isaac Lab 將使用 NVIDIA Fabric。這個 Omniverse 庫支持高性能創建、修改和訪問場景數據，以及在網絡中的 CPU、GPU 和其他 Fabric 客戶端之間的高效通信場景數據。

Fabric 可對數據建立索引并提供查詢 API，使物理引擎和渲染系統等僅需訪問所需數據，而無需在每幀中遍歷整個場景。這將加快加載速度并提升可擴展性，支持物理仿真、傳感器數據采集等任務與用戶交互并行運行。

張量吸盤

表面夾具是機器人操作中的重要組件。物理上準確的仿真和張量化訪問對于實現基于吸盤的強化學習任務和控制行為至關重要。

以前，表面夾具僅限于單個關節連接點，因此導致無法拾取多個物體。它還缺乏調整物理行為的靈活性，比如使用吸力吸引動物體，而只能在當前位置靜態地抓取物體。此外，每個夾具必須針對每個環境單獨映射，而不是使用更簡化的張量化訪問方法。

現在，Isaac Sim 和 Isaac Lab 將允許用戶創建和配置可變形的表面夾具，能夠測量抓力并以張量化方式更新吸盤參數。

Isaac Sim 5.0 和 Isaac Lab 2.2 將于今年夏天推出。

生態系統采用情況

Agility Robotics、波士頓動力、傅利葉、Mentee Robotics、Neura Robotics 和小鵬機器人等公司正在使用 Isaac Sim 和 Isaac Lab 對其人形機器人進行仿真和驗證。Skild AI 正在使用該仿真框架開發通用機器人智能，General Robotics 正在將其集成到其機器人仿真平臺中。

此外，臺灣地區領先的電子和機器人制造商，比如威剛科技 (Adata)、研華科技 (Advantech)、臺達電子 (Delta Electronics)、Foxconn、Foxlink、所羅門 (Solomon)、達明機器人 (Techman) 和緯創 (Wistron) 正在使用 Isaac Sim 和 Lab 開發下一代 AI 機器人。

開始開發機器人解決方案

請注冊 NVIDIA 開發者計劃，接收以下資源和參考架構的更新，為開發目標提供支持：

https://developer.nvidia.cn/developer-program

• NVIDIA Isaac Sim：基于 Omniverse 構建的參考應用，使開發人員能夠在基于物理的虛擬環境中設計、仿真、測試和訓練基于 AI 的機器人和自主機器
• https://developer.nvidia.cn/isaac/sim
• NVIDIA Isaac Lab：用于機器人學習的輕量級應用
• https://developer.nvidia.cn/isaac/sim#isaac-lab
• NVIDIA Isaac Perceptor：用于自主移動機器人 (AMRs) 開發的參考工作流
• https://developer.nvidia.cn/isaac/perceptor
• NVIDIA Isaac Manipulator：為工業機械臂提供新的基礎模型和參考工作流
• https://developer.nvidia.cn/isaac/manipulator
• NVIDIA Isaac ROS：基于開源的 ROS 2 軟件框架構建，是一組加速計算包和 AI 模型，為全球 ROS 開發者提供 NVIDIA 加速的技術支持
• https://developer.nvidia.cn/isaac/ros
• NVIDIA Jetson：針對自主機器和嵌入式應用的領先平臺
• https://developer.nvidia.cn/embedded-computing

觀看 NVIDIA 創始人兼首席執行官黃仁勛在 COMPUTEX 上發表的主題演講，關注 NVIDIA GTC 臺北了解更多信息。

即刻開始使用 NVIDIA Isaac 庫和 AI 模型開發物理 AI 系統：

https://developer.nvidia.cn/isaac