第一作者李文軒目前就讀于國防科技大學(xué)計算機學(xué)院，碩士二年級，導(dǎo)師為徐凱教授，研究方向包括世界模型、可微物理仿真等。共同第一作者趙航，現(xiàn)為武漢大學(xué)計算機學(xué)院博士后，博士期間導(dǎo)師為徐凱教授，研究方向為工業(yè)具身智能。本文通信作者為深圳大學(xué)胡瑞珍教授與國防科技大學(xué)徐凱教授。

在機器人操作中，物體運動往往涉及摩擦、碰撞等復(fù)雜物理機制。準(zhǔn)確的物理屬性描述可以實現(xiàn)對物體運動結(jié)果更準(zhǔn)確的預(yù)測，并提升機器人在操作技能學(xué)習(xí)中的表現(xiàn)。

然而，一般用于訓(xùn)練機器人操作策略的仿真交互環(huán)境，其物理屬性與真實環(huán)境往往存在明顯差異且難以校準(zhǔn)，機器人控制策略的虛擬到現(xiàn)實遷移（Sim2Real）一直是困擾社區(qū)的問題。

為解決上述問題，國防科大、深圳大學(xué)、武漢大學(xué)團隊提出 PIN-WM（Physics-INformed World Models）——一種物理驅(qū)動的世界模型。

• 論文標(biāo)題：PIN-WM: Learning Physics-INformed World Models for Non-Prehensile Manipulation
• 論文地址：https://arxiv.org/abs/2504.16693
• 項目主頁：https://pinwm.github.io

基于可微物理和可微渲染，PIN-WM 以真實世界運動結(jié)果為監(jiān)督信號，可以從視覺觀測中直接辨識剛體物理屬性。由于可微物理提供了物理系統(tǒng)的動力學(xué)基礎(chǔ)描述和有效的梯度引導(dǎo)，PIN-WM僅需少量且任務(wù)無關(guān)的交互軌跡進行學(xué)習(xí)，隨后可以基于未見「狀態(tài)-動作對」實現(xiàn)對下一時刻狀態(tài)的良好泛化估計。

進一步，團隊提出物理感知的數(shù)字表親 PADC（Physics-Aware Digital Cousins），在辨識參數(shù)附近局部擾動，生成具有近似且多樣視覺和物理特性的世界模型變體，以建模未被觀測的潛在偏差，進一步提高策略學(xué)習(xí)的魯棒性。

基于 PIN-WM 和 PADC，團隊在世界模型中訓(xùn)練非抓取式操作技能，無需策略微調(diào)即可直接實現(xiàn)操作技能的 Sim2Real 遷移。

論文創(chuàng)新點

• 一種物理驅(qū)動的世界模型：使用可微仿真和可微渲染技術(shù)從視覺觀測中直接辨識剛體的物理參數(shù)。
• 一種物理感知的數(shù)字表親：在辨識參數(shù)附近進行小范圍擾動，生成多組具有近似且多樣視覺和物理特性的世界模型變體，以應(yīng)對未建模誤差，提升策略在真實環(huán)境中的魯棒性。

圖 1：PIN-WM 僅需少量任務(wù)無關(guān)交互軌跡辨識物理屬性，以支持機器人操作技能學(xué)習(xí)與 Sim2Real 遷移

技術(shù)路線

該團隊提出一種從現(xiàn)實到虛擬再到現(xiàn)實的框架，以學(xué)習(xí)非抓取操作相關(guān)的技能策略。該框架可分為兩大階段：系統(tǒng)辨識和策略訓(xùn)練。

• 從現(xiàn)實到仿真（Real2Sim）：系統(tǒng)辨識
• 渲染屬性估計：收集物體的多視角圖片，并計算 Rendering loss，然后使用 2DGS 對其渲染參數(shù)進行優(yōu)化。
• 物理屬性估計：收集機器人與物體的交互視頻，同樣基于 Rendering loss，使用 2DGS 和可微 LCP 傳播梯度，從而對物理參數(shù)進行優(yōu)化（此時固定渲染參數(shù)）。
• 從仿真到現(xiàn)實（Sim2Real）：策略訓(xùn)練與部署
• 結(jié)合數(shù)字表親學(xué)習(xí)策略：在辨識參數(shù)附近進行小范圍擾動，生成多組具有視覺和物理特性差異的世界模型變體，并在此基礎(chǔ)上訓(xùn)練策略。
• 策略部署：將世界模型中學(xué)習(xí)到的策略部署到真實場景中，完成虛擬到現(xiàn)實遷移。

圖 2：Real2Sim2Real 框架用于學(xué)習(xí)非抓取操作策略

實驗結(jié)果

「推」（Push）和「翻轉(zhuǎn)」（Flip）作為經(jīng)典的非抓取式任務(wù)，對摩擦、碰撞等復(fù)雜物理機制非常敏感。PIN-WM 在這兩項代表性任務(wù)上進行實驗評估：「推」指通過推的方式將平面上的物體移動到目標(biāo)姿態(tài)，「翻轉(zhuǎn)」指通過戳的方式將物體翻轉(zhuǎn)（圖 3）。通過統(tǒng)計各方法在兩項任務(wù)中的成功率及完成步數(shù)，對其性能進行對比評估。

圖 3：仿真場景中「推」和「翻轉(zhuǎn)」任務(wù)軌跡

在仿真實驗方面，PIN-WM 分別與數(shù)據(jù)驅(qū)動的方法、預(yù)設(shè)物理參數(shù)的方法和辨識物理參數(shù)的方法進行對比。團隊在更具挑戰(zhàn)性的低摩擦場景下學(xué)習(xí)世界模型以及機器人操作策略，物理參數(shù)估計誤差造成的機器人操作失準(zhǔn)會在低摩擦的場景下被進一步放大，導(dǎo)致任務(wù)失敗。

實驗結(jié)果說明：數(shù)據(jù)驅(qū)動方法（Dreamer，Diffusion Policy）在已使用更多交互數(shù)據(jù)的情況下泛化能力依然不足，策略測試性能欠佳；預(yù)設(shè)物理參數(shù)方法（RoboGSim、Domain Randomization）底層動力學(xué)與真實物理有明顯差異，而其他辨識物理參數(shù)的方法依賴簡化的物理模型（2D Physics）或者缺少梯度引導(dǎo)（ASID），動力學(xué)的擬合效果相對較差，失準(zhǔn)的動力學(xué)建模導(dǎo)致策略表現(xiàn)依然欠佳；在可微物理梯度引導(dǎo)下，PIN-WM 能夠?qū)崿F(xiàn)更準(zhǔn)確的物理參數(shù)辨識，在「推」和「翻轉(zhuǎn)」兩項非抓取式操作任務(wù)上的策略表現(xiàn)均明顯優(yōu)于其他方法（表 1）。

表 1：仿真場景中的非抓取策略性能對比

在真機實驗方面，PIN-WM 同樣與上述主要基線對比，在真實場景「推」和「翻轉(zhuǎn)」兩項任務(wù)上的性能優(yōu)勢得到驗證（表 2）。

表 2：真實場景中的非抓取策略性能對比

圖 4 展示了真實場景中不同方法執(zhí)行「推」任務(wù)時的軌跡對比圖。

圖 4：真實場景中不同方法執(zhí)行「推」任務(wù)時的軌跡對比

圖 5 展示了真實場景中不同方法執(zhí)行「翻轉(zhuǎn)」任務(wù)時的軌跡對比圖。

圖 5：真實場景中不同方法執(zhí)行「翻轉(zhuǎn)」任務(wù)時的軌跡對比

PIN-WM 執(zhí)行系統(tǒng)辨識后，在光滑玻璃平面上「推」T 形物體的測試結(jié)果，機器人可以準(zhǔn)確地將物體推入目標(biāo)位置。

未執(zhí)行系統(tǒng)辨識時，策略在光滑玻璃平面上「推」T 形物體，機器人在目標(biāo)位置反復(fù)嘗試，始終無法將物體正確推入目標(biāo)位置。

PIN-WM 執(zhí)行系統(tǒng)辨識后，在光滑玻璃平面上「推」正方體的測試結(jié)果。正方體的質(zhì)量和體積更小，機器人操作更加困難，而 PIN-WM 訓(xùn)練出的策略能夠準(zhǔn)確完成任務(wù)。

未執(zhí)行系統(tǒng)辨識時，策略在光滑玻璃平面上「推」正方體，無法將正方體正確推入目標(biāo)位置。

PIN-WM 執(zhí)行系統(tǒng)辨識后，在粗糙平面上「戳」正方體使其翻轉(zhuǎn)。

未執(zhí)行系統(tǒng)辨識時，在粗糙平面上「戳」正方體，正方體輕微抬升，卻始終無法有效翻轉(zhuǎn)。

PIN-WM 執(zhí)行系統(tǒng)辨識后，在粗糙平面上「推」任務(wù)的測試結(jié)果（軌跡 1）。

PIN-WM 執(zhí)行系統(tǒng)辨識后，在粗糙平面上「推」任務(wù)的測試結(jié)果（軌跡 2）。

在更大尺寸物體上驗證 PIN-WM 的有效性，執(zhí)行系統(tǒng)辨識后，在粗糙平面上「推」T 形物體的測試結(jié)果（軌跡 1）。

PIN-WM 執(zhí)行系統(tǒng)辨識后，在粗糙平面上「推」更大尺寸 T 形物體的測試結(jié)果（軌跡 2）。

總結(jié)

國防科大、深圳大學(xué)、武漢大學(xué)團隊提出了一種物理驅(qū)動的世界模型 PIN-WM（Physics-INformed World Models），可以從視覺觀測（少量且任務(wù)無關(guān)的交互軌跡）中辨識剛體的物理屬性。

同時，團隊提出具備物理感知的數(shù)字表親 PADC（Physics-Aware Digital Cousins），在辨識參數(shù)附近進行局部擾動以建模潛在的偏差，從而進一步提高虛擬到現(xiàn)實的遷移性能。團隊通過廣泛的實驗證明了 PIN-WM 的有效性，其提出的方法有效提升了非抓握式操作技能從仿真到現(xiàn)實遷移的性能。