99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

人形機(jī)器人做漢堡火了! 伯克利等ViTacFormer讓機(jī)器人操如老手

0
分享至



近日,一個「人形機(jī)器人做漢堡」的視頻火爆全網(wǎng)!

這個具備 [主動視覺]、[高精度觸覺] 以及 [高自由度靈巧手] 的人形機(jī)器人,首次實現(xiàn)了 2.5 分鐘連續(xù)自主控制,從原材料開始,一步步制作出完整漢堡,并遞到你的盤子里。

真正讓機(jī)器人「看得見」、「摸得準(zhǔn)」、「動得巧」,未來廚房可能真的不需要人類了!


https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA

靈巧操控是機(jī)器人實現(xiàn)類人交互的關(guān)鍵能力,尤其在涉及多階段、細(xì)致接觸的任務(wù)中,對控制精度與響應(yīng)時機(jī)提出了極高要求。盡管視覺驅(qū)動的方法近年來快速發(fā)展,但在遮擋、光照變化或復(fù)雜接觸環(huán)境下,單一視覺感知常常失效。

觸覺感知為機(jī)器人提供了與環(huán)境交互的直接反饋,在判斷接觸狀態(tài)、施力時機(jī)等方面扮演著不可替代的角色。然而,當(dāng)前大多數(shù)方法僅將觸覺信息作為靜態(tài)輸入進(jìn)行融合,缺乏真正有效的多模態(tài)聯(lián)合建模機(jī)制。更為關(guān)鍵的是,現(xiàn)有方法往往只關(guān)注當(dāng)前的觸覺狀態(tài),忽視了對未來觸覺變化的預(yù)測。這種短視導(dǎo)致機(jī)器人在連續(xù)操作中難以提前準(zhǔn)備、策略難以穩(wěn)定,特別是在需要時序感知和力覺判斷的任務(wù)中表現(xiàn)不佳。

盡管已有研究嘗試引入觸覺信息提升策略表現(xiàn),但往往停留在簡單拼接或輔助通道的層面,缺乏結(jié)構(gòu)性設(shè)計,難以充分發(fā)揮視觸結(jié)合的潛力。

為應(yīng)對上述挑戰(zhàn),來自 UC 伯克利、北京大學(xué)、Sharpa 等機(jī)構(gòu)的研究人員提出ViTacFormer,一個融合視覺與觸覺信息,并引入未來觸覺預(yù)測機(jī)制的統(tǒng)一框架,專為提升靈巧操控中的精度、穩(wěn)定性與持續(xù)控制能力而設(shè)計

論文作者包括我們熟悉的 UC Berkeley 大牛 Pieter Abbeel 和 Jitendra Malik,以及他們的學(xué)生,北大校友、UC Berkeley 博士生耿浩然 (項目 lead)。



  • 論文標(biāo)題:ViTacFormer: Learning Cross-Modal Representation for Visuo-Tactile Dexterous Manipulation
  • 論文主頁:https://roboverseorg.github.io/ViTacFormerPage/
  • Github 鏈接: https://github.com/RoboVerseOrg/ViTacFormer

https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA

這項研究獲得了業(yè)內(nèi)人士的高度認(rèn)可,多位知名學(xué)者和企業(yè)家討論和轉(zhuǎn)發(fā),其中就包括 Transformer 作者之一、GPT-4 作者之一 Lukasz Kaiser。



ViTacFormer 介紹

方法設(shè)計:跨模態(tài)注意力與觸覺預(yù)測

ViTacFormer 核心思想是構(gòu)建一個跨模態(tài)表征空間,通過多層跨注意力模塊在策略網(wǎng)絡(luò)的每一步中動態(tài)融合視覺信息與觸覺信號,實現(xiàn)對接觸語義與空間結(jié)構(gòu)的聯(lián)合建模。



與傳統(tǒng)方法僅依賴當(dāng)前觸覺觀測不同,ViTacFormer 引入了一個自回歸觸覺預(yù)測分支,以強(qiáng)化模型對未來接觸狀態(tài)的建模能力。該模塊強(qiáng)制共享表征空間編碼可用于預(yù)測的觸覺動態(tài)特征,使策略不僅「看得見、摸得到」,還能「預(yù)判下一步觸感變化」。

在推理過程中,模型首先基于當(dāng)前觀測預(yù)測未來的觸覺反饋信號,再將其用于指導(dǎo)動作生成,從而實現(xiàn)由 「感知當(dāng)前」 向 「預(yù)測未來」 的關(guān)鍵轉(zhuǎn)變。我們通過實驗證明,這種基于未來觸覺信號的前瞻式建模方式顯著提升了動作策略的穩(wěn)定性與精度。

系統(tǒng)架構(gòu):雙臂靈巧手與視觸覺數(shù)據(jù)采集

ViTacFormer 基于一套雙臂機(jī)器人系統(tǒng)進(jìn)行數(shù)據(jù)采集與策略評估。系統(tǒng)由兩臺 Realman 機(jī)械臂組成,每條機(jī)械臂搭載一只 SharpaWave 靈巧手(開發(fā)版本),具有 5 指結(jié)構(gòu)和 17 個自由度,支持高自由度的多指動作控制。每個手指的指尖均配備分辨率為 320×240 的觸覺傳感器,用于實時記錄接觸反饋。

視覺感知部分包括兩種視角:手腕安裝的魚眼相機(jī)提供近距離局部觀察以及頂部 ZED Mini 立體攝像頭提供全局場景信息。視覺與觸覺數(shù)據(jù)同步記錄,覆蓋機(jī)器人執(zhí)行過程中的關(guān)鍵狀態(tài)變化。



在專家示范采集過程中,團(tuán)隊使用一套基于機(jī)械外骨骼手套的遙操作系統(tǒng)。操作者通過手套與靈巧手形成機(jī)械聯(lián)動,并佩戴 VR 頭顯獲取第一人稱沉浸式反饋。該界面集成了立體頂視圖、雙腕局部視圖與實時觸覺圖像疊加,支持自然直觀的操控體驗,有效提升了接觸密集型任務(wù)的示范質(zhì)量。

實驗評估:真實任務(wù)中的操作性能驗證

基線比較:在短程靈巧操作任務(wù)中的表現(xiàn)

團(tuán)隊在四項真實的短程靈巧操控任務(wù)上評估了 ViTacFormer 的性能,包括插銷(Peg Insertion)、擰瓶蓋(Cap Twist)、擦花瓶(Vase Wipe)和翻書(Book Flip),每項任務(wù)均具有明確的接觸依賴性與細(xì)粒度控制需求。

實驗設(shè)置中,每個任務(wù)僅使用 50 條專家軌跡進(jìn)行訓(xùn)練,并在測試階段獨立推理 10 次,以評估模型在有限數(shù)據(jù)條件下的策略學(xué)習(xí)能力與執(zhí)行穩(wěn)定性。


https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA


https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA


https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA


https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA

團(tuán)隊將 ViTacFormer 與四個當(dāng)前代表性的模仿學(xué)習(xí)基線方法進(jìn)行比較:Diffusion Policy (DP)、HATO、ACT 和 ACTw/T。DP 和 ACT 分別代表當(dāng)前主流的視覺模仿策略,不使用觸覺信息;而 HATO 和 ACTw/T 則在輸入中引入觸覺信號,但均采用直接拼接或簡單 token 融合的方式,未進(jìn)行深入建模。

相比之下,ViTacFormer 采用跨模態(tài)注意力與自回歸預(yù)測機(jī)制,充分挖掘視覺與觸覺之間的動態(tài)依賴關(guān)系。



從結(jié)果來看(見上表),ViTacFormer 在所有短程靈巧操控任務(wù)中均顯著優(yōu)于現(xiàn)有方法,相比僅使用視覺或簡單融合觸覺的模型,成功率穩(wěn)定提升,平均增幅超過 50%。這表明跨模態(tài)注意力與未來觸覺預(yù)測在提升操作穩(wěn)定性與精度方面具有關(guān)鍵作用。

長時任務(wù)評估 穩(wěn)定完成 11 階段連續(xù)操作流程

為進(jìn)一步驗證 ViTacFormer 在復(fù)雜任務(wù)中的執(zhí)行能力,團(tuán)隊對其在一項長時靈巧操作任務(wù)中進(jìn)行評估。

該任務(wù)包括 11 個連續(xù)子階段,模擬制作漢堡的全過程,涵蓋多指協(xié)調(diào)、精細(xì)接觸與長時間持續(xù)控制等挑戰(zhàn),對策略的穩(wěn)定性與動作連貫性提出了極高要求。


https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA

實驗結(jié)果顯示,ViTacFormer 能夠穩(wěn)定完成整個操作序列,持續(xù)操控時間達(dá)到約 2.5 分鐘,整體成功率超過 80%。在長時間、多階段的任務(wù)中,系統(tǒng)表現(xiàn)出良好的動作連貫性和接觸控制能力,充分體現(xiàn)了視觸覺融合策略在復(fù)雜任務(wù)執(zhí)行中的優(yōu)勢。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點推薦
造車17年!又一合資工廠停止運營

造車17年!又一合資工廠停止運營

汽車工程師
2025-07-12 08:35:29
毛主席為何拒絕給董存瑞題詞?得知緣由后,眾人欽佩:偉人高明

毛主席為何拒絕給董存瑞題詞?得知緣由后,眾人欽佩:偉人高明

文史道
2025-07-03 20:21:14
大連的雨又來了!局部大雨!主要降雨時段為…….

大連的雨又來了!局部大雨!主要降雨時段為…….

半島晨報
2025-07-12 12:35:40
43分慘敗后再輸55分!女籃熱身賽遭潰敗:U19中國隊沒張子宇懸了

43分慘敗后再輸55分!女籃熱身賽遭潰敗:U19中國隊沒張子宇懸了

籃球快餐車
2025-07-12 05:37:09
爸爸和繼母生了個兒子,看著和弟弟相似的臉,我偷偷做了親子鑒定

爸爸和繼母生了個兒子,看著和弟弟相似的臉,我偷偷做了親子鑒定

小卿情感故事
2025-07-03 18:21:40
先丟大中亞,后失高加索?泥潭中的俄羅斯距離全面崩潰還有多遠(yuǎn)?

先丟大中亞,后失高加索?泥潭中的俄羅斯距離全面崩潰還有多遠(yuǎn)?

馬蹄燙嘴說美食
2025-07-10 08:38:51
61歲皮特帶女友出門營業(yè)!相差26歲引熱議,網(wǎng)友:還是前任們權(quán)威

61歲皮特帶女友出門營業(yè)!相差26歲引熱議,網(wǎng)友:還是前任們權(quán)威

巧百搭
2025-06-18 14:36:14
又一位超巨要加盟火箭,杜蘭特超級興奮,這陣容太無解

又一位超巨要加盟火箭,杜蘭特超級興奮,這陣容太無解

安徽紅蜻蜓雜志社
2025-07-11 22:36:46
南京一小區(qū)拿出30多萬元給業(yè)主發(fā)紅包,平均每戶500元

南京一小區(qū)拿出30多萬元給業(yè)主發(fā)紅包,平均每戶500元

現(xiàn)代快報
2025-07-12 19:04:27
中央敲定北方十大城:哈爾濱第7,青島不敵沈陽,石家莊倒數(shù)!

中央敲定北方十大城:哈爾濱第7,青島不敵沈陽,石家莊倒數(shù)!

健身狂人
2025-07-07 01:44:27
黃鼠狼到大爺家偷雞被抓,大爺心軟放了它,5天后進(jìn)雞圈大爺愣了

黃鼠狼到大爺家偷雞被抓,大爺心軟放了它,5天后進(jìn)雞圈大爺愣了

蘭姐說故事
2025-07-10 10:00:10
央媒官宣!46歲霍啟剛再升職,級別有些高,背后是誰在為他鋪路?

央媒官宣!46歲霍啟剛再升職,級別有些高,背后是誰在為他鋪路?

凡知
2025-07-12 14:44:01
1975年李富春病逝,蔡暢堅決不許女兒送葬,聶帥出面勸說都沒用

1975年李富春病逝,蔡暢堅決不許女兒送葬,聶帥出面勸說都沒用

柳絮憶史
2025-07-11 11:35:25
中國澳門選手朱雨玲4-1淘汰申裕斌,晉級美國大滿貫女單半決賽

中國澳門選手朱雨玲4-1淘汰申裕斌,晉級美國大滿貫女單半決賽

直播吧
2025-07-12 06:25:08
印度墜機(jī)最新細(xì)節(jié)曝光!機(jī)器雙重故障幾乎不可能,不排除人為陰謀

印度墜機(jī)最新細(xì)節(jié)曝光!機(jī)器雙重故障幾乎不可能,不排除人為陰謀

據(jù)說說娛樂
2025-07-12 12:39:24
郭正亮給了臺灣“最好”出路?一國兩制改1個字,或可統(tǒng)后不駐軍

郭正亮給了臺灣“最好”出路?一國兩制改1個字,或可統(tǒng)后不駐軍

顧史
2025-07-08 21:02:11
山東女子500元被賣掉,受養(yǎng)父嚴(yán)重虐待:耳朵被撕裂,尾椎骨被打斷!18歲創(chuàng)業(yè)現(xiàn)擁有三家工廠,尋親成功后欲討公道

山東女子500元被賣掉,受養(yǎng)父嚴(yán)重虐待:耳朵被撕裂,尾椎骨被打斷!18歲創(chuàng)業(yè)現(xiàn)擁有三家工廠,尋親成功后欲討公道

揚子晚報
2025-07-12 08:45:32
形勢已經(jīng)大變,打響臺海“第一槍”的人,讓大家都意想不到

形勢已經(jīng)大變,打響臺海“第一槍”的人,讓大家都意想不到

奉壹數(shù)碼
2025-07-11 18:58:18
Grok4全網(wǎng)玩瘋,成功通過小球編程測試,Epic創(chuàng)始人:這就是AGI

Grok4全網(wǎng)玩瘋,成功通過小球編程測試,Epic創(chuàng)始人:這就是AGI

量子位
2025-07-11 16:50:40
蘋果華為為何賣的貴!重慶市原市長黃奇帆:1部6千元手機(jī)一半是知產(chǎn)和芯片

蘋果華為為何賣的貴!重慶市原市長黃奇帆:1部6千元手機(jī)一半是知產(chǎn)和芯片

快科技
2025-07-11 09:13:05
2025-07-12 20:55:00
機(jī)器之心Pro incentive-icons
機(jī)器之心Pro
專業(yè)的人工智能媒體
10845文章數(shù) 142374關(guān)注度
往期回顧 全部

科技要聞

Kimi深夜整活,開源了首個萬億參數(shù)模型

頭條要聞

媒體:3萬億公積金放"大招" 真的可以用來付首付了

頭條要聞

媒體:3萬億公積金放"大招" 真的可以用來付首付了

體育要聞

夏聯(lián)-開拓者大勝勇士 楊瀚森首秀10+4+5+3帽

娛樂要聞

鹿晗賬號解禁后首曬自拍,漲粉超400萬

財經(jīng)要聞

中國超半數(shù)城市人口下滑,什么信號?

汽車要聞

小米YU7深度試駕:優(yōu)點很多缺點也很多

態(tài)度原創(chuàng)

時尚
親子
游戲
公開課
軍事航空

女人“優(yōu)雅到老”并不難,別隨便穿衣,這4個方法真的超實用

親子要聞

寶藍(lán)和爸爸在商場玩躲貓貓!爸爸怎么找都找不到,隱藏的太好了!

《羊蹄山》選角再引爭議 網(wǎng)友:"喜美子"演員是更優(yōu)選

公開課

李玫瑾:為什么性格比能力更重要?

軍事要聞

美國防部承認(rèn)美空軍基地在6月被伊朗導(dǎo)彈擊中

無障礙瀏覽 進(jìn)入關(guān)懷版 主站蜘蛛池模板: 敦化市| 察隅县| 固安县| 资中县| 赤水市| 新竹市| 龙海市| 南漳县| 台江县| 太和县| 同德县| 永年县| 正阳县| 吴川市| 邛崃市| 岳普湖县| 沙田区| 庆阳市| 灵川县| 沙洋县| 梨树县| 大化| 德令哈市| 渝中区| 大邑县| 即墨市| 通河县| 高雄市| 安徽省| 汉阴县| 辽宁省| 靖安县| 佛坪县| 常州市| 五河县| 龙泉市| 分宜县| 连江县| 高淳县| 含山县| 如东县|