始智AI wisemodel.cn開源社區(qū)

始智AI wisemodel.cn社區(qū)是源自中國的中立開放的AI開源社區(qū)。正在，歡迎加入共同成長。wisemodel社區(qū)上線，價(jià)格實(shí)惠，靈活方便，支持在線微調(diào)訓(xùn)練模型，及和，并。

從 2023 年的 Sora 到如今的可靈、Vidu、通義萬相，AIGC 生成式技術(shù)的魔法席卷全球，打開了 AI 應(yīng)用落地的大門，同樣在具身智能機(jī)器人大模型上也帶來了驚人的表現(xiàn)。

“給我盛一碗熱騰騰的雞湯”，以前這句話能帶給你一個(gè)溫暖感人、栩栩如生的視頻。現(xiàn)在，如果你旁邊有一個(gè)機(jī)器人，這句話就能讓他真的給你盛一碗湯！

這背后技術(shù)來自于清華大學(xué)叉院ISRLab和星動(dòng)紀(jì)元—ICML2025 Spotlight論文高分作品AIGC生成式機(jī)器人大模型VPP（Video Prediction Policy），利用預(yù)訓(xùn)練視頻生成大模型，讓AIGC的魔力從數(shù)字世界走進(jìn)具身智能的物理世界，就好比“機(jī)器人界的 Sora”！

VPP 利用了大量互聯(lián)網(wǎng)視頻數(shù)據(jù)進(jìn)行訓(xùn)練，直接學(xué)習(xí)人類動(dòng)作，極大減輕了對(duì)于高質(zhì)量機(jī)器人真機(jī)數(shù)據(jù)的依賴，且可在不同人形機(jī)器人本體之間自如切換，這有望大大加速人形機(jī)器人的商業(yè)化落地。

VPP 將視頻擴(kuò)散模型的泛化能力轉(zhuǎn)移到了通用機(jī)器人操作策略中，巧妙解決了 diffusion 推理速度的問題，開創(chuàng)性地讓機(jī)器人實(shí)時(shí)進(jìn)行未來預(yù)測(cè)和動(dòng)作執(zhí)行，大大提升機(jī)器人策略泛化性，現(xiàn)已上線始智AI-wisemodel開源社區(qū)，歡迎體驗(yàn)。

模型地址

https://wisemodel.cn/models/yjguo/video-prediction-policy/file
https://wisemodel.cn/models/yjguo/video-prediction-policy-0/file

目前 AI 大模型領(lǐng)域有兩種主流方法，基于自回歸的理解模型和基于擴(kuò)散的生成模型，各自代表作分別為自回歸的GPT和生成式的 Sora：

• GPT 的思路演化到具身智能領(lǐng)域，就是以 PI（ Physical Intelligence ）為代表的 VLA 技術(shù)，他是從視覺語言理解模型（VLM）微調(diào)而來，擅長抽象推理和語義理解。

• 生成式的技術(shù)與機(jī)器人的碰撞，就誕生了 VPP 這樣的生成式機(jī)器人大模型。

然而，人工智能領(lǐng)域存在著著名的莫拉維克悖論（Moravec's paradox）：高級(jí)推理功能反而容易（例如圍棋、數(shù)學(xué)題），下層的感知和執(zhí)行反而困難（例如各種家務(wù)）。VLM 更擅長高層級(jí)的推理，而 AIGC 生成式模型更擅長細(xì)節(jié)處理。VPP 基于 AIGC 視頻擴(kuò)散模型而來，在底層的感知和控制有獨(dú)特的優(yōu)勢(shì)。

如圖所示，VPP 分成兩階段的學(xué)習(xí)框架，最終實(shí)現(xiàn)基于文本指令的視頻動(dòng)作生成。第一階段利用視頻擴(kuò)散模型學(xué)習(xí)預(yù)測(cè)性視覺表征；第二階段通過 Video Former 和 DiT 擴(kuò)散策略進(jìn)行動(dòng)作學(xué)習(xí)。

01.

提前預(yù)知未來

以往機(jī)器人策略（例如：VLA 模型）往往只能根據(jù)當(dāng)前觀測(cè)進(jìn)行動(dòng)作學(xué)習(xí)，機(jī)器人策略需要先理解指令和場(chǎng)景，再執(zhí)行。VPP 能夠提前預(yù)知未來的場(chǎng)景，讓機(jī)器人 “看著答案” 行動(dòng)，大大增強(qiáng)泛化能力。

VPP 視頻預(yù)測(cè)結(jié)果與機(jī)器人實(shí)際物理執(zhí)行結(jié)果幾乎一致。能被視頻生成的，就能被機(jī)器人執(zhí)行！

02.

高頻預(yù)測(cè)和執(zhí)行

AIGC 視頻擴(kuò)散模型雖能生成逼真的視頻，但往往花費(fèi)大量推理時(shí)間。星動(dòng)紀(jì)元研究團(tuán)隊(duì)發(fā)現(xiàn)，不需要精確地預(yù)測(cè)未來的每個(gè)像素，通過有效提取視頻模型中間層的表征，單步去噪的預(yù)測(cè)就可以蘊(yùn)含大量未來信息。這讓模型預(yù)測(cè)時(shí)間小于 150ms，模型的預(yù)測(cè)頻率約 6-10hz，通過 action chunk size = 10，模型的控制頻率能超過 50Hz。

如圖所示，單步視頻擴(kuò)散模型預(yù)測(cè)已經(jīng)蘊(yùn)含大量未來信息，足夠?qū)崿F(xiàn)高頻預(yù)測(cè)（規(guī)劃）和執(zhí)行。

03.

跨本體學(xué)習(xí)

如何利用不同本體的機(jī)器人數(shù)據(jù)是一個(gè)巨大的難題。VLA 模型只能學(xué)習(xí)不同維度的低維度 action 信息，而 VPP 可以直接學(xué)習(xí)各種形態(tài)機(jī)器人的視頻數(shù)據(jù)，不存在維度不同的問題。

如果將人類本體也當(dāng)作一種機(jī)器本體，VPP 也可以直接學(xué)習(xí)人類操作數(shù)據(jù)，顯著降低數(shù)據(jù)獲取成本。同時(shí)視頻數(shù)據(jù)也包含比低維度動(dòng)作更加豐富的信息，大大提高模型泛化能力。

VPP 能學(xué)習(xí)跨本體的豐富視頻數(shù)據(jù)，相比下，VLA 只能學(xué)習(xí)維度不一致的低維動(dòng)作信號(hào)。

04.

基準(zhǔn)測(cè)試領(lǐng)先

在 Calvin ABC-D 基準(zhǔn)測(cè)試中，實(shí)現(xiàn)了 4.33 的任務(wù)完成平均長度，已經(jīng)接近任務(wù)的滿分 5.0。相較于先前技術(shù)，VPP 實(shí)現(xiàn)了 41.5% 的顯著提升。

左圖為 Calvin ABC-D 任務(wù)的平均長度對(duì)比，右圖為 Real-World Dexterous Hand 任務(wù)的成功率對(duì)比。可以看出，VPP 方法在這兩項(xiàng)指標(biāo)中均取得了最佳表現(xiàn)，在仿真環(huán)境任務(wù)完成平均長度達(dá)到 4.33，真機(jī)測(cè)試成功率為 67%，顯著優(yōu)于其他方法。

05.

真實(shí)世界靈巧操作

在真實(shí)世界的測(cè)試中，VPP 模型展現(xiàn)出了驚人的多任務(wù)學(xué)習(xí)能力和泛化能力。在星動(dòng)紀(jì)元單臂 + 仿人五指靈巧手靈巧手 XHAND 平臺(tái)，VPP 能使用一個(gè)網(wǎng)絡(luò)完成 100+ 種復(fù)雜靈巧操作任務(wù)，例如抓取、放置、堆疊、倒水、工具使用等，在雙臂人形機(jī)器人平臺(tái)能完成 50+ 種復(fù)雜靈巧操作任務(wù)。

06.

可解釋性與調(diào)試優(yōu)化

VPP 的預(yù)測(cè)視覺表示在一定程度上是可解釋的，開發(fā)者在不通過 real-world 測(cè)試情況下，通過預(yù)測(cè)的視頻來提前發(fā)現(xiàn)失敗的場(chǎng)景和任務(wù)，進(jìn)行針對(duì)性的調(diào)試和優(yōu)化。

而 VLA 模型是完全端到端的模型，開發(fā)者在調(diào)試優(yōu)化中需要大量真實(shí)世界的測(cè)試來找到模型漏洞，需要花費(fèi)大量的時(shí)間。

07.

然而，就像在大模型領(lǐng)域 LLM 和生成式模型并存且互相借鑒融合的現(xiàn)狀一樣，VPP 作為首個(gè) AIGC 生成式機(jī)器人大模型與 PI 等 VLA 大模型也會(huì)相互促進(jìn)和借鑒。

相信在行業(yè)不斷開源優(yōu)質(zhì)模型與技術(shù)的有力推動(dòng)下，機(jī)器人技術(shù)將會(huì)邁向一個(gè)嶄新的階段，而具身 AGI 也將沿著這條創(chuàng)新之路大步走來，與我們的距離越來越近，一個(gè)充滿無限可能的智能未來正在朝我們招手。

以下是 VPP 項(xiàng)目開源部署 Tips，供各位開發(fā)者參考：

1. 所有實(shí)驗(yàn)均使用一個(gè)節(jié)點(diǎn)（8 卡 A800/H100）完成；

2. 詳細(xì)操作說明可在開源 GitHub 中找到；

3. 實(shí)驗(yàn)仿真平臺(tái)是標(biāo)準(zhǔn) Calvin abc-d Benchmark；

4. 實(shí)驗(yàn)真機(jī)平臺(tái)為星動(dòng)紀(jì)元仿人五指靈巧手星動(dòng) XHAND1 以及全尺寸人形機(jī)器人星動(dòng) STAR1。

----- END -----

wisemodel相關(guān)：

系統(tǒng)升級(jí)：

大賽報(bào)名：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開源社區(qū)建設(shè)需要長期堅(jiān)持和投入，更需要廣大用戶的積極參與、貢獻(xiàn)和維護(hù)，歡迎大家加入wisemodel開源社區(qū)的志愿者計(jì)劃和開源共創(chuàng)計(jì)劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請(qǐng)加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開源社區(qū)動(dòng)態(tài)。

2

歡迎加盟wisemodel開源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來，逐漸成為影響力日益擴(kuò)大的中立開放的AI開源社區(qū)，為了加快公司發(fā)展，我們長期需要技術(shù)、運(yùn)營等人才加盟，技術(shù)側(cè)重在AI infra、后端開發(fā)，熟悉K8S、模型訓(xùn)練和推理等技術(shù)， 以及熟悉開發(fā)者生態(tài)運(yùn)營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵(lì)高校實(shí)驗(yàn)室、大企業(yè)研究團(tuán)隊(duì)、個(gè)人等，在wisemodel平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開源成果介紹，也可以是關(guān)于AI技術(shù)實(shí)踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開源社區(qū)

始智AI wisemodel.cn開源社區(qū)由清華校友總會(huì)AI大數(shù)據(jù)專委會(huì)副秘書長劉道全創(chuàng)立，旨在打造和建設(shè)中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高校科研院所、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個(gè)人開發(fā)者，以及政府部門、學(xué)會(huì)協(xié)會(huì)、聯(lián)盟、基金會(huì)等，還有投資機(jī)構(gòu)、科技媒體等，共同參與建設(shè)AI開源創(chuàng)新生態(tài)。

向上滑動(dòng)查看