本論文共同第一作者為王昱然、吳睿海、陳越，導師為北京大學董豪老師。課題組致力于統一的物體表征操作研究，以實現具有可解釋性和泛化能力的物體操作策略。

在機器人操作領域，柔性物體，尤其是衣物的操控始終是一個值得關注的難題。與剛體或鉸接物體相比，衣服具有近乎無限的狀態空間，以及復雜的動力學特性，這使得現有方法在應對衣物操作時表現欠佳。

董豪課題組已在柔性物體操作領域進行了諸多探索，其中：（1）GarmentLab作為首個全面的衣物和柔體操作環境與基準平臺，提供了關于柔體、流體、可變形物體的各種仿真和針對二指夾抓取的大量操作任務；（2）GarmentPile重點關注堆疊柔性物體的相關操作，通過功能可供性（Affordance）使機器人能夠針對不同堆疊狀態下的衣服泛化并高效完成調整和操作。

然而，基于靈巧手（尤其是雙臂協同）的柔性衣物操作仍未被充分探索，當前，機器人在柔性衣物靈巧操作中面臨三大核心挑戰：

數據難題：靈巧手的高維動作空間與衣物的復雜狀態，使得策略學習對數據依賴極大，且不同任務對抓取姿態的要求差異明顯，導致現有仿真環境中往往需要大量人工遙操作或專家策略進行示范，效率極低。

仿真環境的局限性：真實的衣物操作往往涉及與衣架、人體等剛性或鉸接物體的交互，而現有仿真器在物理準確性與真實感方面存在不足，難以支持高質量的靈巧操作研究。

算法泛化能力弱：現有的強化學習和模仿學習主流方法往往依賴復雜的獎勵設計或大量示教數據，難以推廣至形狀、狀態高度變化的全新衣物實例，實用性受限。

為應對上述挑戰，北京大學聯合加州大學伯克利分校研究團隊提出了全新仿真平臺DexGarmentLab，這是首個專為靈巧（特別是雙手）衣物操作設計的高保真仿真環境。DexGarmentLab 基于 Isaac Sim 4.5.0 搭建，具有以下三個顯著優勢：

（1）多樣化、高真實性的仿真場景

涵蓋來自 ClothesNet 數據庫的 8 大類共計超 2500 件的柔性衣物；配套 15 個高質量靈巧手（尤其針對雙臂）衣物操作任務場景；柔性衣物仿真具備真實物理屬性，顯著縮小 “仿真到現實” 的差距。

（2）自動化數據采集管線

提出利用衣物結構對應關系，僅基于單次專家示范，自動生成多樣化的操作軌跡，大幅減少人工成本。

（3）泛化能力強的策略框架 HALO

提出分層策略 HALO（Hierarchical gArment-manipuLation pOlicy），結合功能可供性（affordance）與擴散方法（diffusion），自動生成可泛化的操作軌跡，在面對形狀與狀態變化巨大的衣物時，表現出優于現有模仿學習方法的穩定泛化能力。

大量實驗驗證表明，DexGarmentLab 搭配 HALO 策略，不僅在模擬環境中具備高效學習與泛化能力，在現實應用中也表現出顯著優勢，向真正實用的衣物靈巧操作又邁進了一大步。

• 論文標題：DexGarmentLab: Dexterous Garment Manipulation Environment with Generalizable Policy
• 論文主頁：https://wayrise.github.io/DexGarmentLab/
• Github 鏈接：https://github.com/wayrise/DexGarmentLab

DexGarmentLab 介紹

（一）DexGarmentLab 仿真環境

先前的柔性物體仿真工作存在諸多問題，很難恰當地模擬柔性衣物在日常生活中非常常見的折疊和交互行為。為此，我們引入了 adhesion，friction，particle-adhesion-scale, particle-friction-scale 等參數來增強柔性衣物物理仿真的真實性。

得益于 friction 和 adhesion，靈巧手能夠依靠物理作用力直接抓取并提起衣物，而無需額外的 attach block 輔助 （attach block 在 GarmentLab 中被用于二指夾抓取，但是這種方式不適合靈巧手抓取）。

particle-adhesion-scale 和 particle-friction-scale 有助于穩定粒子系統，防止粒子之間發生過多的自碰撞，從而使得衣物能夠保持相對穩定的折疊狀態，避免變得凌亂。

我們共提出了涵蓋 8 個衣物類別的 15 項衣物操作任務，涵蓋了衣物自交互（如攤開、折疊）和衣物與環境交互（如懸掛、穿戴、收納）兩大類任務場景。在衣物自身交互任務中，關鍵變量包括衣物的位置、朝向與形狀；而在衣物與環境交互任務中，還需考慮環境交互物體的位置（如衣架、掛鉤、人體等），以全面模擬現實中的操作情境。

（二）自動數據收集

自動數據采集流水線介紹：

（1）單次專家示范：針對每個任務，首先通過一次專家示范提取關鍵信息，包括手部抓取姿態、任務執行順序，以及衣物上的抓取點；

（2）利用 Garment Affordance Model (GAM)：通過功能可供性模型（GAM），將專家示范中的抓取點映射到形變各異的新衣物上，自動識別目標抓取位置；

（3）自動執行任務序列：基于推理得到的抓取點和手部姿態，自動執行任務序列，實現高效、可擴展的數據采集流程。

注意：軌跡會根據衣物結構和場景配置進行自適應調整，也就是說，不同衣物和場景會生成不同的操作軌跡（如提升高度、放置位置等），確保操作行為更加貼合實際，同時也增加了任務操作難度。

我們在項目主頁中可視化了各種任務場景的配置及各種任務的示例視頻，在此我們挑選了九個典型任務進行全流程的展示。

Fling_Dress（整理裙子）

Fold_Tops（折疊上衣）

Hang_Coat（懸掛外套）

Hang_Trousers（晾曬褲子）

Store_Tops（收納上衣）

Wear_BaseballCap（戴棒球帽）

Wear_BowlHat（戴帽子）

Wear_Scarf（戴圍巾）

Wear_Glove（戴手套）

（三）泛化策略: HALO

我們采用分層架構實現了具有泛化能力的策略框架 HALO，在衣物操作任務中相比現有模仿學習算法展現出更優的泛化表現。該策略分為兩個階段：

階段 Ⅰ：可操作點生成

利用 Garment Affordance Model (GAM) 生成具備泛化能力的可操作點，幫助機器人精準定位并移動至目標區域。

階段 Ⅱ：結構感知擴散策略（SADP）

我們引入 Structure-Aware Diffusion Policy (SADP)，將衣物點云（輔以左右手的可操作點 Affordance 作為綁定特征）、交互物體點云、環境點云以及機器人當前關節狀態作為條件輸入，生成機器人的聯合動作控制信號。輸出包含每只手 24 自由度、每條手臂 6 自由度，總計 60 自由度的控制指令。

我們的分層策略在仿真和真實世界中均展現出非常強的泛化能力和非常穩定的執行能力。在仿真任務里，我們測試了除 Wear_Glove 外的全部 14 個任務；在真實世界里，我們在四個典型任務上對所提出的方法進行了評估：折疊上衣（Fold Tops）、懸掛上衣（Hang Tops）、佩戴圍巾（Wear Scarf）和佩戴帽子（Wear Hat），每個任務在測試時均選取了每類 3 件不同衣物，每件衣物設置 5 種初始變形狀態。

如下表所示，從仿真實驗和真機實驗的任務執行量化結果來看，HALO 均優于各種 beseline 與 ablation。

仿真實驗結果

真機實驗結果

四個任務中，Fold_Tops 是衣物自交互任務，Hang_Tops、Wear_Scarf、Wear_Hat 是衣物與環境交互任務。在測試過程中，衣物樣本在形狀、長度、變形程度等方面均存在較大差異，同時衣物與交互物體的位置也各不相同。

盡管存在上述變化，HALO 中的 GAM 模塊依然能夠準確定位抓取區域，而 SADP 模塊則根據衣物和交互物體的狀態生成自適應操作軌跡，確保操作動作既穩定又具備良好的泛化能力。

總結

DexGarmentLab 為柔性衣物操作提供了先導的仿真環境、高效的數據采集方式以及泛化的操作策略，基于 DexGarmentLab 可以拓展一系列的柔性衣物工作，包括二指夾交互任務、靈巧手交互任務、移動操作任務、堆疊衣物交互任務等。期待更多基于 DexGarmentLab 的工作可以探索并實現更加廣泛的柔性物體操作應用，助力具身智能邁向通用的家居場景！