99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

人形機(jī)器人做漢堡火了! 伯克利等ViTacFormer讓機(jī)器人操如老手

0
分享至



近日,一個(gè)「人形機(jī)器人做漢堡」的視頻火爆全網(wǎng)!

這個(gè)具備 [主動(dòng)視覺]、[高精度觸覺] 以及 [高自由度靈巧手] 的人形機(jī)器人,首次實(shí)現(xiàn)了 2.5 分鐘連續(xù)自主控制,從原材料開始,一步步制作出完整漢堡,并遞到你的盤子里。

真正讓機(jī)器人「看得見」、「摸得準(zhǔn)」、「動(dòng)得巧」,未來(lái)廚房可能真的不需要人類了!


https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA

靈巧操控是機(jī)器人實(shí)現(xiàn)類人交互的關(guān)鍵能力,尤其在涉及多階段、細(xì)致接觸的任務(wù)中,對(duì)控制精度與響應(yīng)時(shí)機(jī)提出了極高要求。盡管視覺驅(qū)動(dòng)的方法近年來(lái)快速發(fā)展,但在遮擋、光照變化或復(fù)雜接觸環(huán)境下,單一視覺感知常常失效。

觸覺感知為機(jī)器人提供了與環(huán)境交互的直接反饋,在判斷接觸狀態(tài)、施力時(shí)機(jī)等方面扮演著不可替代的角色。然而,當(dāng)前大多數(shù)方法僅將觸覺信息作為靜態(tài)輸入進(jìn)行融合,缺乏真正有效的多模態(tài)聯(lián)合建模機(jī)制。更為關(guān)鍵的是,現(xiàn)有方法往往只關(guān)注當(dāng)前的觸覺狀態(tài),忽視了對(duì)未來(lái)觸覺變化的預(yù)測(cè)。這種短視導(dǎo)致機(jī)器人在連續(xù)操作中難以提前準(zhǔn)備、策略難以穩(wěn)定,特別是在需要時(shí)序感知和力覺判斷的任務(wù)中表現(xiàn)不佳。

盡管已有研究嘗試引入觸覺信息提升策略表現(xiàn),但往往停留在簡(jiǎn)單拼接或輔助通道的層面,缺乏結(jié)構(gòu)性設(shè)計(jì),難以充分發(fā)揮視觸結(jié)合的潛力。

為應(yīng)對(duì)上述挑戰(zhàn),來(lái)自 UC 伯克利、北京大學(xué)、Sharpa 等機(jī)構(gòu)的研究人員提出ViTacFormer,一個(gè)融合視覺與觸覺信息,并引入未來(lái)觸覺預(yù)測(cè)機(jī)制的統(tǒng)一框架,專為提升靈巧操控中的精度、穩(wěn)定性與持續(xù)控制能力而設(shè)計(jì)

論文作者包括我們熟悉的 UC Berkeley 大牛 Pieter Abbeel 和 Jitendra Malik,以及他們的學(xué)生,北大校友、UC Berkeley 博士生耿浩然 (項(xiàng)目 lead)。



  • 論文標(biāo)題:ViTacFormer: Learning Cross-Modal Representation for Visuo-Tactile Dexterous Manipulation
  • 論文主頁(yè):https://roboverseorg.github.io/ViTacFormerPage/
  • Github 鏈接: https://github.com/RoboVerseOrg/ViTacFormer

https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA

這項(xiàng)研究獲得了業(yè)內(nèi)人士的高度認(rèn)可,多位知名學(xué)者和企業(yè)家討論和轉(zhuǎn)發(fā),其中就包括 Transformer 作者之一、GPT-4 作者之一 Lukasz Kaiser。



ViTacFormer 介紹

方法設(shè)計(jì):跨模態(tài)注意力與觸覺預(yù)測(cè)

ViTacFormer 核心思想是構(gòu)建一個(gè)跨模態(tài)表征空間,通過多層跨注意力模塊在策略網(wǎng)絡(luò)的每一步中動(dòng)態(tài)融合視覺信息與觸覺信號(hào),實(shí)現(xiàn)對(duì)接觸語(yǔ)義與空間結(jié)構(gòu)的聯(lián)合建模。



與傳統(tǒng)方法僅依賴當(dāng)前觸覺觀測(cè)不同,ViTacFormer 引入了一個(gè)自回歸觸覺預(yù)測(cè)分支,以強(qiáng)化模型對(duì)未來(lái)接觸狀態(tài)的建模能力。該模塊強(qiáng)制共享表征空間編碼可用于預(yù)測(cè)的觸覺動(dòng)態(tài)特征,使策略不僅「看得見、摸得到」,還能「預(yù)判下一步觸感變化」。

在推理過程中,模型首先基于當(dāng)前觀測(cè)預(yù)測(cè)未來(lái)的觸覺反饋信號(hào),再將其用于指導(dǎo)動(dòng)作生成,從而實(shí)現(xiàn)由 「感知當(dāng)前」 向 「預(yù)測(cè)未來(lái)」 的關(guān)鍵轉(zhuǎn)變。我們通過實(shí)驗(yàn)證明,這種基于未來(lái)觸覺信號(hào)的前瞻式建模方式顯著提升了動(dòng)作策略的穩(wěn)定性與精度。

系統(tǒng)架構(gòu):雙臂靈巧手與視觸覺數(shù)據(jù)采集

ViTacFormer 基于一套雙臂機(jī)器人系統(tǒng)進(jìn)行數(shù)據(jù)采集與策略評(píng)估。系統(tǒng)由兩臺(tái) Realman 機(jī)械臂組成,每條機(jī)械臂搭載一只 SharpaWave 靈巧手(開發(fā)版本),具有 5 指結(jié)構(gòu)和 17 個(gè)自由度,支持高自由度的多指動(dòng)作控制。每個(gè)手指的指尖均配備分辨率為 320×240 的觸覺傳感器,用于實(shí)時(shí)記錄接觸反饋。

視覺感知部分包括兩種視角:手腕安裝的魚眼相機(jī)提供近距離局部觀察以及頂部 ZED Mini 立體攝像頭提供全局場(chǎng)景信息。視覺與觸覺數(shù)據(jù)同步記錄,覆蓋機(jī)器人執(zhí)行過程中的關(guān)鍵狀態(tài)變化。



在專家示范采集過程中,團(tuán)隊(duì)使用一套基于機(jī)械外骨骼手套的遙操作系統(tǒng)。操作者通過手套與靈巧手形成機(jī)械聯(lián)動(dòng),并佩戴 VR 頭顯獲取第一人稱沉浸式反饋。該界面集成了立體頂視圖、雙腕局部視圖與實(shí)時(shí)觸覺圖像疊加,支持自然直觀的操控體驗(yàn),有效提升了接觸密集型任務(wù)的示范質(zhì)量。

實(shí)驗(yàn)評(píng)估:真實(shí)任務(wù)中的操作性能驗(yàn)證

基線比較:在短程靈巧操作任務(wù)中的表現(xiàn)

團(tuán)隊(duì)在四項(xiàng)真實(shí)的短程靈巧操控任務(wù)上評(píng)估了 ViTacFormer 的性能,包括插銷(Peg Insertion)、擰瓶蓋(Cap Twist)、擦花瓶(Vase Wipe)和翻書(Book Flip),每項(xiàng)任務(wù)均具有明確的接觸依賴性與細(xì)粒度控制需求。

實(shí)驗(yàn)設(shè)置中,每個(gè)任務(wù)僅使用 50 條專家軌跡進(jìn)行訓(xùn)練,并在測(cè)試階段獨(dú)立推理 10 次,以評(píng)估模型在有限數(shù)據(jù)條件下的策略學(xué)習(xí)能力與執(zhí)行穩(wěn)定性。


https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA


https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA


https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA


https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA

團(tuán)隊(duì)將 ViTacFormer 與四個(gè)當(dāng)前代表性的模仿學(xué)習(xí)基線方法進(jìn)行比較:Diffusion Policy (DP)、HATO、ACT 和 ACTw/T。DP 和 ACT 分別代表當(dāng)前主流的視覺模仿策略,不使用觸覺信息;而 HATO 和 ACTw/T 則在輸入中引入觸覺信號(hào),但均采用直接拼接或簡(jiǎn)單 token 融合的方式,未進(jìn)行深入建模。

相比之下,ViTacFormer 采用跨模態(tài)注意力與自回歸預(yù)測(cè)機(jī)制,充分挖掘視覺與觸覺之間的動(dòng)態(tài)依賴關(guān)系。



從結(jié)果來(lái)看(見上表),ViTacFormer 在所有短程靈巧操控任務(wù)中均顯著優(yōu)于現(xiàn)有方法,相比僅使用視覺或簡(jiǎn)單融合觸覺的模型,成功率穩(wěn)定提升,平均增幅超過 50%。這表明跨模態(tài)注意力與未來(lái)觸覺預(yù)測(cè)在提升操作穩(wěn)定性與精度方面具有關(guān)鍵作用。

長(zhǎng)時(shí)任務(wù)評(píng)估 穩(wěn)定完成 11 階段連續(xù)操作流程

為進(jìn)一步驗(yàn)證 ViTacFormer 在復(fù)雜任務(wù)中的執(zhí)行能力,團(tuán)隊(duì)對(duì)其在一項(xiàng)長(zhǎng)時(shí)靈巧操作任務(wù)中進(jìn)行評(píng)估。

該任務(wù)包括 11 個(gè)連續(xù)子階段,模擬制作漢堡的全過程,涵蓋多指協(xié)調(diào)、精細(xì)接觸與長(zhǎng)時(shí)間持續(xù)控制等挑戰(zhàn),對(duì)策略的穩(wěn)定性與動(dòng)作連貫性提出了極高要求。


https://mp.weixin.qq.com/s/1NSh2smFWit5_fBJFPixtA

實(shí)驗(yàn)結(jié)果顯示,ViTacFormer 能夠穩(wěn)定完成整個(gè)操作序列,持續(xù)操控時(shí)間達(dá)到約 2.5 分鐘,整體成功率超過 80%。在長(zhǎng)時(shí)間、多階段的任務(wù)中,系統(tǒng)表現(xiàn)出良好的動(dòng)作連貫性和接觸控制能力,充分體現(xiàn)了視觸覺融合策略在復(fù)雜任務(wù)執(zhí)行中的優(yōu)勢(shì)。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
趙本山一覺醒來(lái)天塌了!這次,再多豪車豪宅,也救不了自己的女兒

趙本山一覺醒來(lái)天塌了!這次,再多豪車豪宅,也救不了自己的女兒

聞識(shí)
2025-07-09 15:37:45
非常扛揍!德國(guó)Vector偵察無(wú)人機(jī)在烏克蘭硬扛11次槍擊仍成功返航

非常扛揍!德國(guó)Vector偵察無(wú)人機(jī)在烏克蘭硬扛11次槍擊仍成功返航

軍迷戰(zhàn)情室
2025-07-10 22:46:12
你和異性做過最曖昧的事情是什么?網(wǎng)友:這曖昧的令人漲知識(shí)了!

你和異性做過最曖昧的事情是什么?網(wǎng)友:這曖昧的令人漲知識(shí)了!

特約前排觀眾
2025-06-09 00:15:06
韓媒:成都舊將安德里戈加盟水原FC,不會(huì)回成都

韓媒:成都舊將安德里戈加盟水原FC,不會(huì)回成都

懂球帝
2025-07-10 09:51:05
楊少華吊唁現(xiàn)場(chǎng)!長(zhǎng)子悲傷欲絕,眼睛哭腫睜不開,楊議微笑合影

楊少華吊唁現(xiàn)場(chǎng)!長(zhǎng)子悲傷欲絕,眼睛哭腫睜不開,楊議微笑合影

180視角
2025-07-10 16:14:33
2025年高考各省投檔分?jǐn)?shù)線出爐!各位學(xué)生盡快查詢志愿狀態(tài)!

2025年高考各省投檔分?jǐn)?shù)線出爐!各位學(xué)生盡快查詢志愿狀態(tài)!

教育導(dǎo)向分享
2025-07-10 20:35:52
美戰(zhàn)機(jī)俯沖我國(guó)055軍艦,軍艦全部導(dǎo)彈打開目標(biāo)摧毀整個(gè)航母艦隊(duì)

美戰(zhàn)機(jī)俯沖我國(guó)055軍艦,軍艦全部導(dǎo)彈打開目標(biāo)摧毀整個(gè)航母艦隊(duì)

呱呱請(qǐng)你吃瓜
2025-07-04 17:29:44
一手實(shí)測(cè)讓馬斯克睡帳篷的Grok4,DeepSeekR2又多一位可笑的對(duì)手

一手實(shí)測(cè)讓馬斯克睡帳篷的Grok4,DeepSeekR2又多一位可笑的對(duì)手

卡爾的AI沃茨
2025-07-10 16:50:56
揭秘:布麗吉特訪英“幾度忽視”丈夫馬克龍,原來(lái)事出有因!

揭秘:布麗吉特訪英“幾度忽視”丈夫馬克龍,原來(lái)事出有因!

小彭的燦爛筆記1
2025-07-10 06:40:31
日本門將早川友基:中國(guó)隊(duì)有個(gè)人能力突出的球員,要警惕反擊

日本門將早川友基:中國(guó)隊(duì)有個(gè)人能力突出的球員,要警惕反擊

懂球帝
2025-07-10 17:08:01
川西墜河6母女更多信息曝光,家屬希望家鄉(xiāng)人不要亂說

川西墜河6母女更多信息曝光,家屬希望家鄉(xiāng)人不要亂說

九方魚論
2025-07-11 00:01:26
皇馬恥辱夜爆發(fā)內(nèi)訌!33歲門神炮轟:球隊(duì)沒聽教練的話 踢大爺球

皇馬恥辱夜爆發(fā)內(nèi)訌!33歲門神炮轟:球隊(duì)沒聽教練的話 踢大爺球

風(fēng)過鄉(xiāng)
2025-07-10 06:34:36
蘋果iOS18.6.2推送,5G網(wǎng)絡(luò)不可思議,續(xù)航優(yōu)化前所未有

蘋果iOS18.6.2推送,5G網(wǎng)絡(luò)不可思議,續(xù)航優(yōu)化前所未有

庫(kù)克啥都聊
2025-07-10 15:17:52
油價(jià)大跌超0.56元/升,創(chuàng)今年新低油價(jià)“連漲3次”后,或重新大降

油價(jià)大跌超0.56元/升,創(chuàng)今年新低油價(jià)“連漲3次”后,或重新大降

油價(jià)早知道
2025-07-09 09:06:30
楊瀚森選秀一共花了多少錢?這筆錢誰(shuí)來(lái)出?答案出乎你的意料

楊瀚森選秀一共花了多少錢?這筆錢誰(shuí)來(lái)出?答案出乎你的意料

孤影來(lái)客
2025-07-10 23:58:34
4人4球!若進(jìn)球數(shù)相同,世俱杯金靴獎(jiǎng)將依據(jù)助攻數(shù)、出場(chǎng)時(shí)間決定

4人4球!若進(jìn)球數(shù)相同,世俱杯金靴獎(jiǎng)將依據(jù)助攻數(shù)、出場(chǎng)時(shí)間決定

直播吧
2025-07-10 10:02:09
“網(wǎng)紅律師”西綠,已被刑拘

“網(wǎng)紅律師”西綠,已被刑拘

新京報(bào)
2025-07-10 15:03:15
川西墜河第9天,已找到1具女性遺體,家屬?gòu)?qiáng)硬發(fā)聲,更多細(xì)節(jié)曝光

川西墜河第9天,已找到1具女性遺體,家屬?gòu)?qiáng)硬發(fā)聲,更多細(xì)節(jié)曝光

娛樂看阿敞
2025-07-10 17:28:54
返回廣東,全紅嬋還能回歸國(guó)家隊(duì)?誰(shuí)注意全紅嬋回家待遇改變

返回廣東,全紅嬋還能回歸國(guó)家隊(duì)?誰(shuí)注意全紅嬋回家待遇改變

東球弟
2025-07-10 12:51:13
7月11日精選熱點(diǎn):硅片開啟漲價(jià)潮,這些超跌龍頭要暴漲了

7月11日精選熱點(diǎn):硅片開啟漲價(jià)潮,這些超跌龍頭要暴漲了

元芳說投資
2025-07-10 21:14:21
2025-07-11 04:36:49
機(jī)器之心Pro incentive-icons
機(jī)器之心Pro
專業(yè)的人工智能媒體
10837文章數(shù) 142364關(guān)注度
往期回顧 全部

科技要聞

Grok4最貴訂閱月費(fèi)2千,會(huì)不會(huì)三觀不正?

頭條要聞

退休人員基本養(yǎng)老金為何上調(diào)2% 人社部發(fā)文回應(yīng)

頭條要聞

退休人員基本養(yǎng)老金為何上調(diào)2% 人社部發(fā)文回應(yīng)

體育要聞

白衣生涯最后一舞,但魔笛的故事還沒結(jié)束

娛樂要聞

宋佳,真的好叛逆!

財(cái)經(jīng)要聞

潮玩規(guī)模破千億的幕后故事

汽車要聞

靠譜奶爸的底氣 樂道L90靜態(tài)體驗(yàn)

態(tài)度原創(chuàng)

旅游
藝術(shù)
教育
親子
時(shí)尚

旅游要聞

熱聞|清明假期將至,熱門目的地有哪些?

藝術(shù)要聞

故宮珍藏的墨跡《十七帖》,比拓本更精良,這才是地道的魏晉寫法

教育要聞

熱議:傳聞今年兩所“六大”高中斷檔?

親子要聞

老婆懷孕了想吃40元一斤的草莓,經(jīng)濟(jì)一般該買嗎?

我完美的發(fā)型被回南天做局了……

無(wú)障礙瀏覽 進(jìn)入關(guān)懷版 主站蜘蛛池模板: 新绛县| 高陵县| 黄浦区| 保定市| 太保市| 雷山县| 东港市| 义乌市| 阜平县| 扶余县| 临桂县| 松桃| 莱阳市| 兴文县| 紫阳县| 孟村| 吴忠市| 漾濞| 类乌齐县| 吴桥县| 沭阳县| 新巴尔虎右旗| 南投县| 温泉县| 横山县| 桐梓县| 金沙县| 上高县| 沈阳市| 镇宁| 普宁市| 邵阳市| 潍坊市| 平谷区| 延长县| 凌云县| 胶南市| 磐石市| 深州市| 兖州市| 惠安县|