本文作者來自：南京大學(xué)、香港大學(xué)、中南大學(xué)、地平線、中國科學(xué)院計(jì)算所、上海交通大學(xué)、慕尼黑工業(yè)大學(xué)、清華大學(xué)。

當(dāng)下，隨著機(jī)器人與人工智能技術(shù)的飛速進(jìn)展，“具身智能”（Embodied Intelligence）已成為業(yè)界與學(xué)界共同關(guān)注的核心課題。與純感知或生成任務(wù)不同，具身智能要求智能體在復(fù)雜環(huán)境中自主感知、預(yù)測并執(zhí)行動(dòng)作，才能真正邁向通用智能（AGI）。而要實(shí)現(xiàn)這一宏大目標(biāo)，物理模擬器與世界模型的深度融合被認(rèn)為是最具潛力的路徑：前者通過高度可控的虛擬環(huán)境，為算法訓(xùn)練提供安全、高效的多場景試錯(cuò)土壤；后者則模擬了從感知到?jīng)Q策的 “腦內(nèi)演算” 過程，使智能體能夠在動(dòng)作之前，先在內(nèi)部進(jìn)行環(huán)境預(yù)測與策略規(guī)劃。

這篇由南京大學(xué)、香港大學(xué)等機(jī)構(gòu)學(xué)者撰寫的綜述論文 ——A Survey: Learning Embodied Intelligence from Physical Simulators and World Models，使用 25 張圖、6 張表格、超 400 篇參考系統(tǒng)地梳理了兩大技術(shù)如何協(xié)同推動(dòng)機(jī)器人從 “會(huì)做” 向 “會(huì)想” 演進(jìn)的全貌。

• 論文題目：A Survey: Learning Embodied Intelligence from Physical Simulators and World Models
• 工作內(nèi)容：基于物理模擬器與世界模型的具身智能學(xué)習(xí)
• 論文鏈接：https://arxiv.org/abs/2507.00917
• 倉庫鏈接：https://github.com/NJU3DV-LoongGroup/Embodied-World-Models-Survey

論文摘要

對(duì)通用人工智能（AGI）的追求使具身智能成為機(jī)器人研究的前沿課題。具身智能關(guān)注的是能夠在物理世界中感知、推理并行動(dòng)的智能體。要實(shí)現(xiàn)魯棒的具身智能，不僅需要先進(jìn)的感知與控制能力，還需具備將抽象認(rèn)知扎根于現(xiàn)實(shí)交互中的能力。

在這一過程中，兩項(xiàng)基礎(chǔ)技術(shù) —— 物理模擬器與世界模型 —— 已成為關(guān)鍵推動(dòng)力量。物理模擬器為訓(xùn)練與評(píng)估機(jī)器人智能體提供了可控、高保真度的環(huán)境，使復(fù)雜行為的開發(fā)變得安全而高效。相比之下，世界模型為機(jī)器人賦予了對(duì)環(huán)境的內(nèi)部表示能力，從而使其能夠進(jìn)行預(yù)測性規(guī)劃和超越直接感知的自適應(yīng)決策。

本文系統(tǒng)回顧了近年來通過物理模擬器與世界模型融合學(xué)習(xí)具身智能的研究進(jìn)展。我們分析了這兩者在提升智能體自主性、適應(yīng)性與泛化能力方面的互補(bǔ)作用，并探討了外部模擬與內(nèi)部建模之間的協(xié)同關(guān)系，如何推動(dòng)從模擬訓(xùn)練走向真實(shí)部署的跨越。通過整合當(dāng)前的研究成果與開放問題，本文旨在為構(gòu)建更強(qiáng)大、更具泛化能力的具身智能系統(tǒng)提供全面的視角。我們還維護(hù)了一個(gè)持續(xù)更新的文獻(xiàn)與開源項(xiàng)目倉庫，地址為：https://github.com/NJU3DV-LoongGroup/Embodied-World-Models-Survey。

主要貢獻(xiàn)：

• 智能機(jī)器人能力分級(jí)標(biāo)準(zhǔn)： 提出一個(gè)涵蓋自主性、任務(wù)處理能力、環(huán)境適應(yīng)能力與社會(huì)認(rèn)知能力四個(gè)關(guān)鍵維度的五級(jí)能力分級(jí)體系（IR-L0 至 IR-L4）。
• 機(jī)器人學(xué)習(xí)技術(shù)分析： 系統(tǒng)回顧智能機(jī)器人在腿式運(yùn)動(dòng)（如雙足行走、摔倒恢復(fù)）、操作控制（如靈巧操作、雙手協(xié)調(diào)）與人機(jī)交互（如認(rèn)知協(xié)作、社會(huì)嵌入）方面的最新技術(shù)進(jìn)展。
• 主流物理模擬器分析： 全面對(duì)比Webots、Gazebo、MuJoCo、Isaac Gym/Sim/Lab 等主流模擬器的物理仿真能力、渲染質(zhì)量與傳感器支持能力。
• 世界模型的最新進(jìn)展： 首先回顧世界模型的代表性架構(gòu)及其潛在作用，例如作為可控模擬器、動(dòng)態(tài)建模器與獎(jiǎng)勵(lì)模型在具身智能中的應(yīng)用。進(jìn)一步探討專為自動(dòng)駕駛與關(guān)節(jié)型機(jī)器人設(shè)計(jì)的最新世界模型方案。

研究內(nèi)容與結(jié)構(gòu)一覽

1、智能機(jī)器人五級(jí)能力分級(jí)（IR-L0 ～ IR-L4）

• IR-L0：基礎(chǔ)執(zhí)行 —— 完全依賴人類指令，無環(huán)境感知。
• IR-L1：規(guī)則響應(yīng) —— 有限的傳感器驅(qū)動(dòng)，能在封閉環(huán)境下執(zhí)行預(yù)設(shè)任務(wù)。
• IR-L2：感知自適應(yīng) —— 引入視覺、LiDAR 等多模態(tài)，具備基本路徑規(guī)劃與避障能力。
• IR-L3：類人協(xié)作 —— 多輪對(duì)話、情感識(shí)別，能在動(dòng)態(tài)場景中與人類協(xié)同工作。
• IR-L4：完全自主 —— 具備自我生成目標(biāo)、長期學(xué)習(xí)與倫理決策能力 。

2、機(jī)器人核心技術(shù)回顧

• 運(yùn)動(dòng)能力：從 Model Predictive Control、Whole-Body Control，到基于深度強(qiáng)化學(xué)習(xí)的端到端策略；
• 操控能力：單臂抓取到雙臂協(xié)作，乃至全身動(dòng)作控制，輔以 VLM/LLM 驅(qū)動(dòng)的視覺 — 語言 — 動(dòng)作一體化模型；
• 交互能力：認(rèn)知協(xié)作、物理安全與社會(huì)嵌入三大維度的最新進(jìn)展 。

3、物理模擬器橫評(píng)

回顧主流模擬平臺(tái)（Webots、Gazebo、MuJoCo、Isaac Gym/Sim）的物理引擎精度、渲染質(zhì)量及傳感器組件支持；

對(duì)比其在異構(gòu)硬件與大規(guī)模并行訓(xùn)練中的表現(xiàn)差異，并指出未來優(yōu)化方向。

4、世界模型架構(gòu)與應(yīng)用

代表性結(jié)構(gòu)：從預(yù)測網(wǎng)絡(luò)、生成式模型到多任務(wù)復(fù)合型 “動(dòng)態(tài)＋獎(jiǎng)勵(lì)” 模型；

應(yīng)用場景：自動(dòng)駕駛中的軌跡預(yù)測、關(guān)節(jié)機(jī)器人中的仿真 — 現(xiàn)實(shí)閉環(huán)校準(zhǔn)。

智能機(jī)器人分級(jí)標(biāo)準(zhǔn)

仿真器仿真能力對(duì)比

仿真器渲染能力對(duì)比

自動(dòng)駕駛領(lǐng)域的世界模型代表性工作匯總

機(jī)器人領(lǐng)域的世界模型代表性工作匯總