近年來(lái)，隨著人工智能從感知智能向決策智能演進(jìn)，世界模型 （World Models）逐漸成為機(jī)器人領(lǐng)域的重要研究方向。世界模型旨在讓智能體對(duì)環(huán)境進(jìn)行建模并預(yù)測(cè)未來(lái)狀態(tài)，從而實(shí)現(xiàn)更高效的規(guī)劃與決策。

與此同時(shí)，具身數(shù)據(jù)也迎來(lái)了爆發(fā)式關(guān)注。因?yàn)槟壳熬呱硭惴ǜ叨纫蕾囉诖笠?guī)模的真實(shí)機(jī)器人演示數(shù)據(jù)，而這些數(shù)據(jù)的采集過(guò)程往往成本高昂、耗時(shí)費(fèi)力，嚴(yán)重限制了其可擴(kuò)展性和泛化能力。盡管仿真平臺(tái)提供了一種相對(duì)低成本的數(shù)據(jù)生成方式，但由于仿真環(huán)境與真實(shí)世界之間存在顯著的視覺(jué)和動(dòng)力學(xué)差異（即sim-to-realgap），導(dǎo)致在仿真中訓(xùn)練的策略難以直接遷移到真實(shí)機(jī)器人上，從而限制了其實(shí)際應(yīng)用效果。因此如何高效獲取、生成和利用高質(zhì)量的具身數(shù)據(jù)，已成為當(dāng)前機(jī)器人學(xué)習(xí)領(lǐng)域的核心挑戰(zhàn)之一。

近日，地平線、極佳科技與中國(guó)科學(xué)院自動(dòng)化研究所等單位提出RoboTransfer，基于擴(kuò)散模型的視頻生成框架，可以用于擴(kuò)充機(jī)器人策略模型的訓(xùn)練數(shù)據(jù)。得益于合成數(shù)據(jù)的多樣性，下游策略模型能夠在新場(chǎng)景下取得 251% 的顯著提升，大幅提升策略模型的泛化性，為具身智能的通用性與泛化性奠定了堅(jiān)實(shí)的基礎(chǔ)。

• 論文題目：
  
• RoboTransfer:Geometry-Consistent Video Diffusionfor Robotic Visual Policy Transfer
• 論文鏈接：
• https://arxiv.org/pdf/2505.23171
  
• 項(xiàng)目主頁(yè)：
• https://horizonrobotics.github.io/robot_lab/robotransfer/

模仿學(xué)習(xí)（Imitation Learning）已成為機(jī)器人操作領(lǐng)域的重要方法之一。通過(guò)讓機(jī)器人 “模仿” 專家示教的行為，可以在復(fù)雜任務(wù)中快速構(gòu)建有效的策略模型。然而，這類方法通常依賴大量高質(zhì)量的真實(shí)機(jī)器人演示數(shù)據(jù)，而數(shù)據(jù)采集過(guò)程成本高、周期長(zhǎng)，嚴(yán)重制約了其擴(kuò)展性和泛化能力。

為了解決上述問(wèn)題，本項(xiàng)工作提出了 RoboTransfer ，一種基于擴(kuò)散模型（diffusion model）的視頻生成框架，旨在實(shí)現(xiàn)高質(zhì)量的機(jī)器人操作場(chǎng)景數(shù)據(jù)合成。不同于傳統(tǒng)的仿真方法或現(xiàn)有生成模型，RoboTransfer 融合了多視角幾何信息，并對(duì)場(chǎng)景中的關(guān)鍵組成成分（如背景、物體屬性等）實(shí)現(xiàn)了顯式控制。具體而言，RoboTransfer 通過(guò)引入跨視角特征交互機(jī)制以及全局深度圖與法向圖作為條件輸入，確保生成視頻在多個(gè)視角下的幾何一致性。此外，該框架支持細(xì)粒度的編輯控制，例如更換背景、替換目標(biāo)物體等，從而能夠靈活地生成多樣化、結(jié)構(gòu)合理的視覺(jué)數(shù)據(jù)。

實(shí)驗(yàn)結(jié)果表明，RoboTransfer 能夠生成具有高幾何一致性和視覺(jué)質(zhì)量的多視角視頻序列。此外，使用 RoboTransfer 合成數(shù)據(jù)訓(xùn)練的機(jī)器人視覺(jué)策略模型，在標(biāo)準(zhǔn)測(cè)試任務(wù)中表現(xiàn)出顯著提升的性能：在更換前景物體的場(chǎng)景下取得了 33.3% 的成功率相對(duì)提升，在更具挑戰(zhàn)性的場(chǎng)景下（同時(shí)更換前景背景）更是達(dá)到了 251% 的顯著提升。

RoboTransfer 的整體框圖如下，為了在視頻生成過(guò)程中保證多視角之間的一致性，RoboTransfer 引入了多視角一致性建模機(jī)制，使得生成過(guò)程能夠聯(lián)合不同視角的信息進(jìn)行推理，從而提升生成結(jié)果的空間連貫性與視覺(jué)合理性。

此外，在控制條件的設(shè)計(jì)方面，RoboTransfer 通過(guò)將控制信號(hào)解耦為幾何信息與外觀（紋理）信息兩個(gè)部分，實(shí)現(xiàn)了對(duì)生成內(nèi)容的細(xì)粒度控制。具體來(lái)說(shuō)，在幾何控制方面，采用深度圖（depth map）和表面法向圖（surface normal map）等具有強(qiáng)結(jié)構(gòu)約束的表示方式，來(lái)引導(dǎo)生成視頻中物體的三維空間結(jié)構(gòu)，確保在不同視角下生成內(nèi)容的幾何一致性。而在外觀控制方面，模型利用參考背景圖像和目標(biāo)物體的參考圖像作為輸入條件，這些圖像經(jīng)過(guò)編碼后能夠有效保留原始場(chǎng)景的色彩、紋理以及上下文信息，從而在生成過(guò)程中維持物體外觀的細(xì)節(jié)還原能力。

在實(shí)驗(yàn)部分，RoboTransfer 證明可以通過(guò) real-to-real，以及 sim-to-real 兩種方式實(shí)現(xiàn)數(shù)據(jù)增廣，并訓(xùn)練下游的策略模型提升其性能。

• real-to-real 數(shù)據(jù)增廣
• 基于真機(jī)采集的真實(shí)視頻數(shù)據(jù)，可從中提取結(jié)構(gòu)化信息作為控制條件，通過(guò)調(diào)整背景桌面與前景物體的控制參數(shù)，實(shí)現(xiàn)新場(chǎng)景數(shù)據(jù)的合成。如下圖所示，左側(cè)為真實(shí)采集的數(shù)據(jù)及其對(duì)應(yīng)的結(jié)構(gòu)化信息，右側(cè)為合成結(jié)果，實(shí)驗(yàn)表明 RoboTransfer 能夠靈活地實(shí)現(xiàn)背景桌布的替換。

改變前景：下圖所示第一行為真機(jī)采集數(shù)據(jù)，第二行為深度圖，第三行為法向圖，第四行為前景物體的控制條件，第五行為合成數(shù)據(jù)，第六行為背景桌布控制條件。以下實(shí)驗(yàn)結(jié)果表明 RoboTransfer 可以實(shí)現(xiàn)對(duì)前景物體外表編輯的功能，豐富生成數(shù)據(jù)的多樣性，提升策略模型的訓(xùn)練質(zhì)量。

sim-to-real 數(shù)據(jù)增廣

RoboTransfer 不僅可以改變真機(jī)數(shù)據(jù)的前景和背景，還可以實(shí)現(xiàn)對(duì)仿真數(shù)據(jù)的重新渲染。利用仿真數(shù)據(jù)中的結(jié)構(gòu)化信息以及真實(shí)場(chǎng)景的物體和背景作為控制條件，RoboTransfer 可以將仿真數(shù)據(jù)的轉(zhuǎn)化為逼真的真實(shí)數(shù)據(jù)，極大地降低 sim-to-real 之間的 gap，為通用機(jī)器人的訓(xùn)練提供了一個(gè)新的范式。以下是兩個(gè)不同的仿真場(chǎng)景重新渲染的實(shí)驗(yàn)結(jié)果，左側(cè)是疊碗，右側(cè)是放置杯子，其中第一行為仿真采集數(shù)據(jù)，第二行為深度圖，第三行為法向圖，第四行為合成數(shù)據(jù)，第五行為背景參考圖。

對(duì)比實(shí)驗(yàn)結(jié)果

與其他 SOTA 方法的對(duì)比可以發(fā)現(xiàn)，RoboTransfer 在時(shí)序一致性以及多視角之間的一致性上都要顯著優(yōu)于其他方法。

定量實(shí)驗(yàn)的實(shí)驗(yàn)結(jié)果如下表所示，實(shí)驗(yàn)表明對(duì)于生成數(shù)據(jù)的前背景增廣可以顯著提升策略模型在新場(chǎng)景下的成功率，其中對(duì)于前背景完全改變的新場(chǎng)景，前背景的數(shù)據(jù)增廣能夠讓策略模型獲得 251% 的性能提升。

表 1 數(shù)據(jù)增廣對(duì)于策略模型在不同 setting 下的提升

總體來(lái)說(shuō)，該方法構(gòu)建了數(shù)據(jù)處理流程，可以生成包含幾何和外觀控制條件的三元組數(shù)據(jù)，以訓(xùn)練基于擴(kuò)散模型的機(jī)器人數(shù)據(jù)合成框架 RoboTransfer。實(shí)驗(yàn)和評(píng)估結(jié)果顯示，RoboTransfer 能夠生成具有多視角一致、幾何一致的數(shù)據(jù)，并且可以根據(jù)參考圖像修改前景和背景紋理。生成的數(shù)據(jù)用于訓(xùn)練機(jī)器人操作策略，從而顯著提升了策略模型的泛化能力。