近日，一個「人形機器人做漢堡」的視頻火爆全網！

這個具備 [主動視覺]、[高精度觸覺] 以及 [高自由度靈巧手] 的人形機器人，首次實現了 2.5 分鐘連續自主控制，從原材料開始，一步步制作出完整漢堡，并遞到你的盤子里。

真正讓機器人「看得見」、「摸得準」、「動得巧」，未來廚房可能真的不需要人類了！

https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA

靈巧操控是機器人實現類人交互的關鍵能力，尤其在涉及多階段、細致接觸的任務中，對控制精度與響應時機提出了極高要求。盡管視覺驅動的方法近年來快速發展，但在遮擋、光照變化或復雜接觸環境下，單一視覺感知常常失效。

觸覺感知為機器人提供了與環境交互的直接反饋，在判斷接觸狀態、施力時機等方面扮演著不可替代的角色。然而，當前大多數方法僅將觸覺信息作為靜態輸入進行融合，缺乏真正有效的多模態聯合建模機制。更為關鍵的是，現有方法往往只關注當前的觸覺狀態，忽視了對未來觸覺變化的預測。這種短視導致機器人在連續操作中難以提前準備、策略難以穩定，特別是在需要時序感知和力覺判斷的任務中表現不佳。

盡管已有研究嘗試引入觸覺信息提升策略表現，但往往停留在簡單拼接或輔助通道的層面，缺乏結構性設計，難以充分發揮視觸結合的潛力。

為應對上述挑戰，來自 UC 伯克利、北京大學、Sharpa 等機構的研究人員提出ViTacFormer，一個融合視覺與觸覺信息，并引入未來觸覺預測機制的統一框架，專為提升靈巧操控中的精度、穩定性與持續控制能力而設計。

論文作者包括我們熟悉的 UC Berkeley 大牛 Pieter Abbeel 和 Jitendra Malik，以及他們的學生，北大校友、UC Berkeley 博士生耿浩然 (項目 lead)。

• 論文標題：ViTacFormer: Learning Cross-Modal Representation for Visuo-Tactile Dexterous Manipulation
• 論文主頁：https://roboverseorg.github.io/ViTacFormerPage/
• Github 鏈接: https://github.com/RoboVerseOrg/ViTacFormer

https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA

這項研究獲得了業內人士的高度認可，多位知名學者和企業家討論和轉發，其中就包括 Transformer 作者之一、GPT-4 作者之一 Lukasz Kaiser。

ViTacFormer 介紹

方法設計：跨模態注意力與觸覺預測

ViTacFormer 核心思想是構建一個跨模態表征空間，通過多層跨注意力模塊在策略網絡的每一步中動態融合視覺信息與觸覺信號，實現對接觸語義與空間結構的聯合建模。

與傳統方法僅依賴當前觸覺觀測不同，ViTacFormer 引入了一個自回歸觸覺預測分支，以強化模型對未來接觸狀態的建模能力。該模塊強制共享表征空間編碼可用于預測的觸覺動態特征，使策略不僅「看得見、摸得到」，還能「預判下一步觸感變化」。

在推理過程中，模型首先基于當前觀測預測未來的觸覺反饋信號，再將其用于指導動作生成，從而實現由 「感知當前」 向 「預測未來」 的關鍵轉變。我們通過實驗證明，這種基于未來觸覺信號的前瞻式建模方式顯著提升了動作策略的穩定性與精度。

系統架構：雙臂靈巧手與視觸覺數據采集

ViTacFormer 基于一套雙臂機器人系統進行數據采集與策略評估。系統由兩臺 Realman 機械臂組成，每條機械臂搭載一只 SharpaWave 靈巧手（開發版本），具有 5 指結構和 17 個自由度，支持高自由度的多指動作控制。每個手指的指尖均配備分辨率為 320×240 的觸覺傳感器，用于實時記錄接觸反饋。

視覺感知部分包括兩種視角：手腕安裝的魚眼相機提供近距離局部觀察以及頂部 ZED Mini 立體攝像頭提供全局場景信息。視覺與觸覺數據同步記錄，覆蓋機器人執行過程中的關鍵狀態變化。

在專家示范采集過程中，團隊使用一套基于機械外骨骼手套的遙操作系統。操作者通過手套與靈巧手形成機械聯動，并佩戴 VR 頭顯獲取第一人稱沉浸式反饋。該界面集成了立體頂視圖、雙腕局部視圖與實時觸覺圖像疊加，支持自然直觀的操控體驗，有效提升了接觸密集型任務的示范質量。

實驗評估：真實任務中的操作性能驗證

基線比較：在短程靈巧操作任務中的表現

團隊在四項真實的短程靈巧操控任務上評估了 ViTacFormer 的性能，包括插銷（Peg Insertion）、擰瓶蓋（Cap Twist）、擦花瓶（Vase Wipe）和翻書（Book Flip），每項任務均具有明確的接觸依賴性與細粒度控制需求。

實驗設置中，每個任務僅使用 50 條專家軌跡進行訓練，并在測試階段獨立推理 10 次，以評估模型在有限數據條件下的策略學習能力與執行穩定性。

https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA

https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA

https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA

https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA

團隊將 ViTacFormer 與四個當前代表性的模仿學習基線方法進行比較：Diffusion Policy (DP)、HATO、ACT 和 ACTw/T。DP 和 ACT 分別代表當前主流的視覺模仿策略，不使用觸覺信息；而 HATO 和 ACTw/T 則在輸入中引入觸覺信號，但均采用直接拼接或簡單 token 融合的方式，未進行深入建模。

相比之下，ViTacFormer 采用跨模態注意力與自回歸預測機制，充分挖掘視覺與觸覺之間的動態依賴關系。

從結果來看（見上表），ViTacFormer 在所有短程靈巧操控任務中均顯著優于現有方法，相比僅使用視覺或簡單融合觸覺的模型，成功率穩定提升，平均增幅超過 50%。這表明跨模態注意力與未來觸覺預測在提升操作穩定性與精度方面具有關鍵作用。

長時任務評估 穩定完成 11 階段連續操作流程

為進一步驗證 ViTacFormer 在復雜任務中的執行能力，團隊對其在一項長時靈巧操作任務中進行評估。

該任務包括 11 個連續子階段，模擬制作漢堡的全過程，涵蓋多指協調、精細接觸與長時間持續控制等挑戰，對策略的穩定性與動作連貫性提出了極高要求。

https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA

實驗結果顯示，ViTacFormer 能夠穩定完成整個操作序列，持續操控時間達到約 2.5 分鐘，整體成功率超過 80%。在長時間、多階段的任務中，系統表現出良好的動作連貫性和接觸控制能力，充分體現了視觸覺融合策略在復雜任務執行中的優勢。