近期,清華大學叉院的ISRLab和星動紀元首個開源AIGC生成式機器人大模型VPP(Video Prediction Policy)橫空出世,被譽為機器人界的「Sora」。
VPP模型正引領機器人從數字世界邁向物理世界,實現跨越性的進步。其核心優勢在于視頻預測策略、高頻執行、跨本體學習以及可靠透明性,為機器人領域的創新提供了強大動力。
其背后企業星動紀元,憑借自主研發的行業首創關節全直驅仿人五指靈巧手平臺——星動XHAND1這個模型訓練和驗證背后的“硬件密碼”,為VPP模型的真機測試與落地提供了核心硬件執行載體,目前已能完成超1000個任務。
未來,星動XHAND1將與更多機器人大模型深度協同,實現硬件-算法聯合迭代升級,不斷拓展應用邊界。
那么,星動XHAND1到底有哪些優勢?又能與VPP模型實現何種融合?
▍解析星動XHAND1在VPP模型訓練和驗證中的關鍵作用
(1)全直驅技術:靈活度更高、速度更快、力量更大
星動XHAND1作為星動紀元首創的關節全直驅仿人五指靈巧手和成人人手大小相仿,在VPP模型的訓練和驗證中展現出了獨特的優勢。其全直驅方案通過齒輪直接驅動,省去了復雜繩驅、連桿的傳動機構,配備12個全主動自由度,使速度響應更快,單指能實現10次點擊/秒,堪比電競選手的“電競手”,從而迅速執行VPP模型發出的操作指令。
在需要快速抓取或釋放物體的任務中,星動XHAND1的快速響應能力為VPP模型的訓練提供了高效的硬件支持,同時為VPP模型在手部動作的控制和執行上提供了豐富的可能性,能夠更精準地實現VPP所規劃的各種復雜動作,如抓取、放置、堆疊、倒水,甚至因為跟人手大小相仿所以還能使用各種形態的工具。
此外,全直驅驅動方式讓靈巧手力量更大,星動XHAND1的最大負載達25kg,最大握力達80N,遠超同尺寸的連桿和繩驅方案。
在涉及重物操作或需要較大握力的任務中,星動XHAND1也能穩定執行,為VPP模型的驗證提供了可靠的高負載操作平臺。
(2)可反驅性:提升模型魯棒性的關鍵
星動XHAND1具備可反驅特性,這在VPP模型的訓練中具有重要意義。可反驅性使得機器人在受到外力時能夠靈活調整姿態,不僅提升了機器人的容錯率,還為VPP模型提供了更豐富的訓練場景。
在訓練過程中,通過拖動示教的方式,可以讓VPP模型學習到更多關于力反饋和姿態調整的知識,從而增強模型在面對復雜環境和突發情況時的魯棒性。
例如,在與人類協作完成任務時,星動XHAND1的可反驅性能夠使其根據人類施加的力及時調整動作,實現更加自然流暢的人機交互。這種特性使得VPP模型能夠更好地適應實際操作中的各種不確定性,提高了模型的泛化能力。
(3)高功率密度與耐用性:長期穩定訓練的保障
星動XHAND1采用了高功率密度空心杯電機和高功率密度驅動器,配合高精度編碼器,確保了其在執行復雜任務時的動力輸出和精度控制。此外,其全自研一體化關節模組設計,不僅提高了整體的集成度和可靠性,還使得星動XHAND1具備了出色的耐用性。
據相關購買人士反饋,星動XHAND1的使用壽命遠長于其他同類產品,能夠經受住高負載和長時間操作的考驗。在VPP模型的長期訓練和驗證過程中,星動XHAND1的穩定性和耐用性為模型的持續優化提供了堅實的硬件基礎,確保了訓練過程的順利進行和驗證結果的可靠性。
(4)全方位全鏈遙操作(支持Apple Vision Pro、Manus手套、Pico、Meta Quest):高效學習人類操作策略
通過這些遙操作設備,星動XHAND1可以實現對人類操作動作的精準捕捉和實時傳輸,為VPP 模型提供了豐富且真實的動作數據。例如,Manus手套能夠詳細記錄手部的各種細微動作和角度變化等數據,Apple Vision Pro等視覺設備則可捕捉操作時的視覺場景,這些多維度的數據輸入,使VPP模型能夠更全面地學習人類在不同情境下的操作方式和策略,從而提升其操作的準確性和適應性。
其次星動XHAND1支持多設備協同工作,能夠模擬出更加復雜和真實的操作環境與任務場景,有助于VPP 模型進行多任務學習和泛化能力的培養,使其在面對不同類型的任務和環境變化時,具備更靈活的應對能力。此外,其還可加速數據的采集和模型的訓練過程,提高訓練效率,進而推動 VPP 機器人大模型的不斷優化和完善,最終實現機器人在各種實際應用場景中的高效、精準操作。
(5)充分解耦:提升數據采集和算法開發效率
星動XHAND1關節的充分解耦,給予AI算法開發“真正的自由”,使VPP模型能夠對每個關節進行獨立控制和優化,大幅提高數據采集和算法開發效率和效果,進而提升VPP對靈巧手的控制性能和任務完成能力。
(6)兼容性高:二次開發友好
此外,星動XHAND1兼容ROS2和ROS1,支持Ubuntu操作系統,適配x86和ARM架構,多接口適配,支持實時性場景EtherCAT/RS485、TwinCAT,可與xARM、Realman、UR等機械臂適配為科研客戶提供便捷算法研究。
▍星動XHAND1高性能拓展未來機器人模型訓練空間
(1)電流力控技術:顯著降低強化學習及sim-to-real算法開發中的現實差距(Gap)
星動XHAND1通過采用先進的電流力控技術,實現了高精度的力矩控制能力。這項技術在強化學習和sim-to-real算法開發過程中通過精確的力控模擬,星動XHAND1能夠有效減小模擬環境與現實環境之間的差距(Gap)。
在實際應用中,這種高精度的力控能力使機器人能夠更好地適應不同物體的物理特性和復雜多變的現實環境,從而顯著提升模型的訓練效果和實際操作性能。
(2)270°環繞指尖高精度觸覺傳感:唯一支持觸覺傳感仿真
星動XHAND1的每個手指指端都配備了270°環繞指尖的高分辨率觸覺陣列傳感器,精度高達0.01N,能夠感知三維力和溫度信息,使其能夠調整抓取力度,避免損壞物體。
這種高精度的觸覺反饋不僅提升了模型在復雜操作任務中的性能,還為模型在處理未知物體時提供了更多的探索能力。
目前,星動XHAND1也是唯一支持觸覺傳感仿真的全驅靈巧手。
電流感知和星動XHAND1的高分辨率3D觸覺傳感相結合,提供了獨特的混合感知能力,也大幅提升智能抓握性能。
▍星動XHAND1的性能在VPP模型中得到驗證
(1)真機測試成功率優異
于Real-World Dexterous Hand任務里,星動XHAND1實現了67%的真機測試成功率,這一成果不僅驗證了其在實際操作中的可靠性,更為VPP模型的落地應用奠定了堅實基礎。
(2)同類靈巧手對比突出
憑借全直驅設計和優秀的魯棒性,星動XHAND1實現了更精準的力控與復雜操作泛化能力,使其在與同類靈巧手的競爭中脫穎而出,成為VPP模型訓練和驗證的更優選擇。
未來,星動XHAND1將與更多機器人大模型深度協同,實現硬件-算法聯合迭代升級,結合VLA與AIGC技術的融合創新,不斷拓展應用邊界。
此外,星動紀元還將積極拓展開源生態,吸引開發者共建多場景應用庫,推動人形機器人技術的快速發展。
▍VPP開源信息回顧
?論文標題:Video Prediction Policy: A Generalist Robot Policy with Predictive Visual Representations, ICML 2025 Spotlight
?論文地址:https://arxiv.org/pdf/2412.14803
?項目地址:https://video-prediction-policy.github.io
?開源代碼:https://github.com/roboterax/video-prediction-policy
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.