99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

VLA統一架構新突破:自回歸世界模型引領具身智能

0
分享至



本文來自:王宇琪,中國科學院自動化所博士,研究方向為世界模型,自動駕駛感知與決策等,在 CVPR、NeurIPS、ICCV、ECCV、ICLR 等頂級會議上發表過多篇論文。

王鑫龍團隊,北京智源研究院,研究方向為原生多模態大模型,Emu 系列工作核心負責人。

張兆翔團隊,中國科學院自動化研究所,研究方向涵蓋世界模型、視覺生成與重建、自動駕駛、具身智能等。

從 Sora 到Genie2,從語言驅動的視頻生成到世界的交互模擬,世界模型正加速成為連接感知、理解與決策的關鍵基座。隨著視覺 - 語言 - 動作(VLA)模型在具身智能領域的快速發展,多模態之間的邊界正被重塑。

然而,現有方法多以語言模態為中心,往往忽視了視覺信息蘊含的豐富時序動態與因果結構。

為此,北京智源研究院聯合中國科學院自動化研究所提出UniVLA—— 一種全新的 VLA 模型架構,基于全離散、自回歸機制,原生建模視覺、語言與動作信號,并在后訓練階段引入世界模型建模,從大規模視頻中學習時序信息與因果邏輯,有效增強了模型在下游決策任務的性能和學習效率。

UniVLA 在 CALVIN、LIBERO、SimplerEnv 等主流具身智能基準上全面刷新多項 SOTA 紀錄,并展現出在真機操控和自動駕駛等現實場景中的廣泛潛力。



  • 論文標題:Unified Vision-Language-Action Model
  • 網站鏈接:https://robertwyq.github.io/univla.github.io/
  • 論文鏈接:https://arxiv.org/abs/2506.19850
  • 代碼鏈接:https://github.com/baaivision/UniVLA

統一視覺 - 語言 - 動作的

全離散自回歸模型

該框架將視覺、語言與動作信號統一轉化為離散 token,并構建視覺 - 動作交錯的多模態時序序列,實現原生統一建模。在訓練范式上,采用自回歸方式進行學習,不僅高效穩定,更具大規模擴展的潛力。

得益于這種時序化的多模態表示,模型天然支持多種任務的統一訓練,包括視覺理解、文生視頻、動作預測等,具備良好的通用性與數據擴展能力。



統一的視覺-語言-動作模型架構

世界模型助力下游決策

在這套統一框架下,世界模型的后訓練顯著提升了下游決策性能,且無需依賴大量動作數據,僅憑海量視頻即可高效學習。

對比語言生成圖像的訓練范式,時序動態信息被證明至關重要;而與純視頻建模相比,多模態語義對齊同樣不可或缺。這為機器人從大規模視頻中學習真實世界知識打開了新路徑,展現出世界模型在多模態感知與決策融合中的巨大潛力。



刷新多項仿真基準紀錄

該方法在當前主流的具身仿真基準上 —— 包括 CALVIN、LIBERO 和 SimplerEnv—— 均展現出強勁的性能優勢,全面刷新多項任務紀錄。



CALVIN 的長程任務評測



LIBERO 的泛化評測



SimplerEnv 的泛化測試

解鎖更廣應用:

真機雙臂操控與端到端駕駛

雙臂協作倒水

探索新的VLA技術路徑



未來展望

相比于基于視覺語言模型(VLM)拓展而來的 VLA 框架,本文提出了一條全新的技術路線,展現出更大的潛力與探索空間。

一方面,我們構建了一個視頻版本的 VLA 架構,使模型能夠有效捕捉視頻中的時空動態特征,并在推理過程中更充分地利用歷史信息;同時,即便缺乏動作標簽,模型僅通過大規模視頻數據的訓練,依然在下游任務中表現出顯著優勢。

另一方面,我們引入全離散的自回歸訓練范式,顯著提升了訓練效率,并為大規模數據下的模型擴展性提供了堅實基礎。未來,我們將進一步探索該框架與多模態強化學習的深度融合,推動其在開放世界中的感知、理解與決策能力持續演進。

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
已下架,七大著名酸奶全軍覆沒,實為科技糖水,購買時注意鑒別!

已下架,七大著名酸奶全軍覆沒,實為科技糖水,購買時注意鑒別!

阿天愛旅行
2025-07-10 05:57:02
沖上熱搜!短劇演員于龍向楊伊璐求婚成功,網友:磕的CP成真了

沖上熱搜!短劇演員于龍向楊伊璐求婚成功,網友:磕的CP成真了

大象新聞
2025-07-10 22:09:39
貴州即將消失的三線廠,昔日生活富足幸福滿滿,如今重組只剩老人

貴州即將消失的三線廠,昔日生活富足幸福滿滿,如今重組只剩老人

旅游探秘行者
2025-07-10 23:11:34
國內最強混血?山東找到未來核心 曲紹斌若帶他世青賽成績或更好

國內最強混血?山東找到未來核心 曲紹斌若帶他世青賽成績或更好

大嘴爵爺侃球
2025-07-10 21:31:23
李月汝18+10引熱議 美媒:扛起了這一支球隊 讓她長期留在飛翼吧

李月汝18+10引熱議 美媒:扛起了這一支球隊 讓她長期留在飛翼吧

狼叔評論
2025-07-10 11:54:06
警惕!有人體溫41℃,深度昏迷!醫院已收治多人

警惕!有人體溫41℃,深度昏迷!醫院已收治多人

極目新聞
2025-07-10 19:08:29
馬斯克呼吁美國:提前準備好下場戰爭,如不做出根本改變,會慘敗

馬斯克呼吁美國:提前準備好下場戰爭,如不做出根本改變,會慘敗

Ck的蜜糖
2025-07-11 02:19:59
欣旺達:公司計劃2026年推出第一代全固態電池產品,2027年推出第二代全固態電池產品

欣旺達:公司計劃2026年推出第一代全固態電池產品,2027年推出第二代全固態電池產品

每日經濟新聞
2025-07-10 18:13:47
一種新型的異性關系,在中年男女間悄然流行:你知我心,我知你意

一種新型的異性關系,在中年男女間悄然流行:你知我心,我知你意

阿傖說事
2025-07-07 15:42:07
真相:中國民航飛行員嚴重過剩

真相:中國民航飛行員嚴重過剩

難得君
2025-07-06 16:06:01
江西繼子被后媽冷待10年,考上清華辦升學宴,他拿出鑒定后媽呆住

江西繼子被后媽冷待10年,考上清華辦升學宴,他拿出鑒定后媽呆住

張道陵秘話
2025-05-15 19:50:15
中俄已點頭,就差特朗普簽字,菲律賓站出來,要求中國放棄核武器

中俄已點頭,就差特朗普簽字,菲律賓站出來,要求中國放棄核武器

掌青說歷史
2025-07-08 11:03:43
430萬!男子理發店充值灌腸退費遇阻,網友的關注點不一般

430萬!男子理發店充值灌腸退費遇阻,網友的關注點不一般

天氣觀察站
2025-07-11 03:20:50
為什么要遠離社會底層,給大家講幾個實際案例

為什么要遠離社會底層,給大家講幾個實際案例

侃神評故事
2025-07-10 20:21:28
下肢5個異常,糖尿病足的“最后警報”,很多人后悔沒早點知道

下肢5個異常,糖尿病足的“最后警報”,很多人后悔沒早點知道

牛鍋巴小釩
2025-07-11 01:11:47
天水鉛中毒事件,越扒越讓人后怕

天水鉛中毒事件,越扒越讓人后怕

清書先生
2025-07-08 16:48:18
7位“過氣演員”回歸普通生活,擺攤賣菜,喂豬放牛,住農村別墅

7位“過氣演員”回歸普通生活,擺攤賣菜,喂豬放牛,住農村別墅

手工制作阿殲
2025-07-04 05:51:31
長沙湘江邊“網紅打卡地”冒出大量收費座椅,城管部門:違法經營,立即整治

長沙湘江邊“網紅打卡地”冒出大量收費座椅,城管部門:違法經營,立即整治

上游新聞
2025-07-10 15:43:04
婆婆看上我的陪嫁奔馳,想偷偷轉去小姑子名下,過戶時她們傻眼了

婆婆看上我的陪嫁奔馳,想偷偷轉去小姑子名下,過戶時她們傻眼了

如煙若夢
2025-06-23 17:53:04
伊朗怒了!巴勒斯坦怒了!敘利亞怒了!黎巴嫩怒了!

伊朗怒了!巴勒斯坦怒了!敘利亞怒了!黎巴嫩怒了!

小企鵝侃世界
2025-07-09 22:24:56
2025-07-11 04:40:49
機器之心Pro incentive-icons
機器之心Pro
專業的人工智能媒體
10837文章數 142364關注度
往期回顧 全部

科技要聞

Grok4最貴訂閱月費2千,會不會三觀不正?

頭條要聞

退休人員基本養老金為何上調2% 人社部發文回應

頭條要聞

退休人員基本養老金為何上調2% 人社部發文回應

體育要聞

白衣生涯最后一舞,但魔笛的故事還沒結束

娛樂要聞

宋佳,真的好叛逆!

財經要聞

潮玩規模破千億的幕后故事

汽車要聞

靠譜奶爸的底氣 樂道L90靜態體驗

態度原創

本地
房產
旅游
家居
公開課

本地新聞

換個城市過夏天 | 楓葉之都的22℃清涼秘境

房產要聞

重磅!招商+平安出手,拿下海南440畝灣區大盤!

旅游要聞

熱聞|清明假期將至,熱門目的地有哪些?

家居要聞

美式簡約 奢華不失優雅

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 云浮市| 阿鲁科尔沁旗| 彰武县| 于田县| 瑞昌市| 海林市| 湖南省| 高密市| 沐川县| 丹东市| 光泽县| 阳新县| 龙南县| 金乡县| 宁乡县| 荣成市| 商河县| 繁昌县| 上高县| 义马市| 新泰市| 贺兰县| 临城县| 察雅县| 扶风县| 洪湖市| 紫云| 曲靖市| 凉城县| 玉屏| 衡南县| 龙井市| 若羌县| 荣昌县| 阿巴嘎旗| 包头市| 文山县| 平顺县| 澄江县| 多伦县| 会昌县|