99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

人形機器人做漢堡火了! 伯克利等ViTacFormer讓機器人操如老手

0
分享至



近日,一個「人形機器人做漢堡」的視頻火爆全網!

這個具備 [主動視覺]、[高精度觸覺] 以及 [高自由度靈巧手] 的人形機器人,首次實現了 2.5 分鐘連續自主控制,從原材料開始,一步步制作出完整漢堡,并遞到你的盤子里。

真正讓機器人「看得見」、「摸得準」、「動得巧」,未來廚房可能真的不需要人類了!


https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA

靈巧操控是機器人實現類人交互的關鍵能力,尤其在涉及多階段、細致接觸的任務中,對控制精度與響應時機提出了極高要求。盡管視覺驅動的方法近年來快速發展,但在遮擋、光照變化或復雜接觸環境下,單一視覺感知常常失效。

觸覺感知為機器人提供了與環境交互的直接反饋,在判斷接觸狀態、施力時機等方面扮演著不可替代的角色。然而,當前大多數方法僅將觸覺信息作為靜態輸入進行融合,缺乏真正有效的多模態聯合建模機制。更為關鍵的是,現有方法往往只關注當前的觸覺狀態,忽視了對未來觸覺變化的預測。這種短視導致機器人在連續操作中難以提前準備、策略難以穩定,特別是在需要時序感知和力覺判斷的任務中表現不佳。

盡管已有研究嘗試引入觸覺信息提升策略表現,但往往停留在簡單拼接或輔助通道的層面,缺乏結構性設計,難以充分發揮視觸結合的潛力。

為應對上述挑戰,來自 UC 伯克利、北京大學、Sharpa 等機構的研究人員提出ViTacFormer,一個融合視覺與觸覺信息,并引入未來觸覺預測機制的統一框架,專為提升靈巧操控中的精度、穩定性與持續控制能力而設計。

論文作者包括我們熟悉的 UC Berkeley 大牛 Pieter Abbeel 和 Jitendra Malik,以及他們的學生,北大校友、UC Berkeley 博士生耿浩然 (項目 lead)。



  • 論文標題:ViTacFormer: Learning Cross-Modal Representation for Visuo-Tactile Dexterous Manipulation
  • 論文主頁:https://roboverseorg.github.io/ViTacFormerPage/
  • Github 鏈接: https://github.com/RoboVerseOrg/ViTacFormer

https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA

這項研究獲得了業內人士的高度認可,多位知名學者和企業家討論和轉發,其中就包括 Transformer 作者之一、GPT-4 作者之一 Lukasz Kaiser。



ViTacFormer 介紹

方法設計:跨模態注意力與觸覺預測

ViTacFormer 核心思想是構建一個跨模態表征空間,通過多層跨注意力模塊在策略網絡的每一步中動態融合視覺信息與觸覺信號,實現對接觸語義與空間結構的聯合建模。



與傳統方法僅依賴當前觸覺觀測不同,ViTacFormer 引入了一個自回歸觸覺預測分支,以強化模型對未來接觸狀態的建模能力。該模塊強制共享表征空間編碼可用于預測的觸覺動態特征,使策略不僅「看得見、摸得到」,還能「預判下一步觸感變化」。

在推理過程中,模型首先基于當前觀測預測未來的觸覺反饋信號,再將其用于指導動作生成,從而實現由 「感知當前」 向 「預測未來」 的關鍵轉變。我們通過實驗證明,這種基于未來觸覺信號的前瞻式建模方式顯著提升了動作策略的穩定性與精度。

系統架構:雙臂靈巧手與視觸覺數據采集

ViTacFormer 基于一套雙臂機器人系統進行數據采集與策略評估。系統由兩臺 Realman 機械臂組成,每條機械臂搭載一只 SharpaWave 靈巧手(開發版本),具有 5 指結構和 17 個自由度,支持高自由度的多指動作控制。每個手指的指尖均配備分辨率為 320×240 的觸覺傳感器,用于實時記錄接觸反饋。

視覺感知部分包括兩種視角:手腕安裝的魚眼相機提供近距離局部觀察以及頂部 ZED Mini 立體攝像頭提供全局場景信息。視覺與觸覺數據同步記錄,覆蓋機器人執行過程中的關鍵狀態變化。



在專家示范采集過程中,團隊使用一套基于機械外骨骼手套的遙操作系統。操作者通過手套與靈巧手形成機械聯動,并佩戴 VR 頭顯獲取第一人稱沉浸式反饋。該界面集成了立體頂視圖、雙腕局部視圖與實時觸覺圖像疊加,支持自然直觀的操控體驗,有效提升了接觸密集型任務的示范質量。

實驗評估:真實任務中的操作性能驗證

基線比較:在短程靈巧操作任務中的表現

團隊在四項真實的短程靈巧操控任務上評估了 ViTacFormer 的性能,包括插銷(Peg Insertion)、擰瓶蓋(Cap Twist)、擦花瓶(Vase Wipe)和翻書(Book Flip),每項任務均具有明確的接觸依賴性與細粒度控制需求。

實驗設置中,每個任務僅使用 50 條專家軌跡進行訓練,并在測試階段獨立推理 10 次,以評估模型在有限數據條件下的策略學習能力與執行穩定性。


https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA


https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA


https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA


https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA

團隊將 ViTacFormer 與四個當前代表性的模仿學習基線方法進行比較:Diffusion Policy (DP)、HATO、ACT 和 ACTw/T。DP 和 ACT 分別代表當前主流的視覺模仿策略,不使用觸覺信息;而 HATO 和 ACTw/T 則在輸入中引入觸覺信號,但均采用直接拼接或簡單 token 融合的方式,未進行深入建模。

相比之下,ViTacFormer 采用跨模態注意力與自回歸預測機制,充分挖掘視覺與觸覺之間的動態依賴關系。



從結果來看(見上表),ViTacFormer 在所有短程靈巧操控任務中均顯著優于現有方法,相比僅使用視覺或簡單融合觸覺的模型,成功率穩定提升,平均增幅超過 50%。這表明跨模態注意力與未來觸覺預測在提升操作穩定性與精度方面具有關鍵作用。

長時任務評估 穩定完成 11 階段連續操作流程

為進一步驗證 ViTacFormer 在復雜任務中的執行能力,團隊對其在一項長時靈巧操作任務中進行評估。

該任務包括 11 個連續子階段,模擬制作漢堡的全過程,涵蓋多指協調、精細接觸與長時間持續控制等挑戰,對策略的穩定性與動作連貫性提出了極高要求。


https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA

實驗結果顯示,ViTacFormer 能夠穩定完成整個操作序列,持續操控時間達到約 2.5 分鐘,整體成功率超過 80%。在長時間、多階段的任務中,系統表現出良好的動作連貫性和接觸控制能力,充分體現了視觸覺融合策略在復雜任務執行中的優勢。

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
“叔圈天菜”王陽慘了!孫菲菲再發文,揭其雙面人嘴臉,吃相難看

“叔圈天菜”王陽慘了!孫菲菲再發文,揭其雙面人嘴臉,吃相難看

興史興談
2025-07-08 17:55:25
600公里時速超導電動高速磁浮列車亮相:具備全自動駕駛功能

600公里時速超導電動高速磁浮列車亮相:具備全自動駕駛功能

澎湃新聞
2025-07-11 07:46:35
杰倫威簽2.87億!親弟弟科迪威:哥!咱家發達啦

杰倫威簽2.87億!親弟弟科迪威:哥!咱家發達啦

直播吧
2025-07-11 11:00:16
上海迪士尼官宣:今起停止!有人要求退酒店退卡,網友呼吁:別太瘋狂

上海迪士尼官宣:今起停止!有人要求退酒店退卡,網友呼吁:別太瘋狂

新民晚報
2025-07-11 13:19:31
中國女乒3人晉級3人出局!3主將打成這樣,這回教練組該清醒了吧

中國女乒3人晉級3人出局!3主將打成這樣,這回教練組該清醒了吧

星夜明瞳
2025-07-11 15:30:34
53歲吳越逛云南菜市場,穿衣時尚,皮膚很白,一個人過得瀟灑自在

53歲吳越逛云南菜市場,穿衣時尚,皮膚很白,一個人過得瀟灑自在

比利
2025-07-10 21:32:58
港媒爆料趙雅芝日子挺苦的,被3個兒子長期啃老,71歲還不能老!

港媒爆料趙雅芝日子挺苦的,被3個兒子長期啃老,71歲還不能老!

木子愛娛樂大號
2025-07-05 09:37:33
山姆2公斤冰塊賣22.8元被指“刺客” 客服:工藝特殊,融化速度慢20%

山姆2公斤冰塊賣22.8元被指“刺客” 客服:工藝特殊,融化速度慢20%

板扎在線NEWS
2025-07-09 07:33:07
從中國出發的巨輪紅海沉沒,24小時兩次爆炸,打法比伊朗兇狠多了

從中國出發的巨輪紅海沉沒,24小時兩次爆炸,打法比伊朗兇狠多了

通鑒史智
2025-07-09 09:03:53
世俱杯金球獎賠率:維蒂尼亞超低賠率領跑,恩佐第4

世俱杯金球獎賠率:維蒂尼亞超低賠率領跑,恩佐第4

懂球帝
2025-07-11 14:34:07
吃一塹長一智!曾因400萬放走哈登,今夏直接怒砸8.22億續約核心

吃一塹長一智!曾因400萬放走哈登,今夏直接怒砸8.22億續約核心

大衛的籃球故事
2025-07-11 17:28:45
中美軍事實力有多大差距?張召忠:我可以負責任地講,別再被誤導

中美軍事實力有多大差距?張召忠:我可以負責任地講,別再被誤導

混沌錄
2025-05-12 18:38:14
免簽后遺癥爆發!老外回國集體“戒斷”:中國太安全太便利太高效

免簽后遺癥爆發!老外回國集體“戒斷”:中國太安全太便利太高效

阿傖說事
2025-07-11 09:42:53
心態又炸了!世界第一薩巴倫卡爆冷,怒批對手阿尼西莫娃失禮舉動

心態又炸了!世界第一薩巴倫卡爆冷,怒批對手阿尼西莫娃失禮舉動

體育妞世界
2025-07-11 08:16:36
王俊凱被曝掛了16科

王俊凱被曝掛了16科

極目新聞
2025-07-10 19:17:55
薩巴倫卡:每次輸球總感覺自己快要死了,仿佛生命就此終結

薩巴倫卡:每次輸球總感覺自己快要死了,仿佛生命就此終結

懂球帝
2025-07-11 06:25:57
2025養老金調整:企退事退同漲2%,9000漲180,1300漲26?合理嗎

2025養老金調整:企退事退同漲2%,9000漲180,1300漲26?合理嗎

社保精算師
2025-07-11 10:32:07
8萬紅軍改編為八路軍,只許留4.5萬,剩下3.5萬偉人做4個巧妙安排

8萬紅軍改編為八路軍,只許留4.5萬,剩下3.5萬偉人做4個巧妙安排

冰雅憶史
2025-07-10 19:29:49
歐洲吹響集結號,烏克蘭看到勝利曙光

歐洲吹響集結號,烏克蘭看到勝利曙光

近距離
2025-07-11 15:42:49
為涉黑母親辯護的河南基層法官,涉嫌洗錢罪被刑拘

為涉黑母親辯護的河南基層法官,涉嫌洗錢罪被刑拘

新京報
2025-07-10 14:39:13
2025-07-11 18:20:49
機器之心Pro incentive-icons
機器之心Pro
專業的人工智能媒體
10843文章數 142365關注度
往期回顧 全部

科技要聞

稚暉君神操作 宇樹痛失"人形機器人第一股"

頭條要聞

特朗普對援烏態度"巨大轉變" 或動用"總統特別撥款權"

頭條要聞

特朗普對援烏態度"巨大轉變" 或動用"總統特別撥款權"

體育要聞

從無畏金蘭到薪火相傳,中國女籃新的花期來了

娛樂要聞

新聞聯播鏡頭下的宋佳面相變了

財經要聞

管濤:百年美元信用將崩塌?

汽車要聞

最便宜滿血版華為智駕和鴻蒙座艙 嵐圖FREE+閉眼沖

態度原創

本地
親子
旅游
公開課
軍事航空

本地新聞

換個城市過夏天 | 楓葉之都的22℃清涼秘境

親子要聞

#匯樂玩具 新品的翻蓋手機終于是補貨了,家里寶寶老愛搶手機,或者一坐車就鬧騰的一定要安排一個!#益智...

旅游要聞

熱聞|清明假期將至,熱門目的地有哪些?

公開課

李玫瑾:為什么性格比能力更重要?

軍事要聞

俄羅斯對烏克蘭發動最大規模無人機襲擊

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 德兴市| 荔波县| 赤峰市| 陆川县| 江源县| 云林县| 治县。| 韶山市| 湛江市| 永仁县| 辽源市| 安阳县| 资溪县| 临泉县| 淳安县| 安图县| 原平市| 滦平县| 和田县| 峨眉山市| 叶城县| 咸阳市| 合作市| 曲水县| 杂多县| 炉霍县| 胶南市| 屯留县| 高台县| 枣阳市| 镇江市| 定边县| 克东县| 潜江市| 乌拉特中旗| 潮安县| 建德市| 东方市| 长海县| 醴陵市| 达日县|