你有沒有想過,機器人也能像人類一樣,通過“看”來學習如何完成任務?這項看似科幻的場景,正逐漸變為現實!紐約大學和加州大學伯克利分校的研究人員,近日開發出一種名為“EgoZero”的創新方法,讓機器人能夠通過佩戴智能眼鏡的人類視角視頻,高效學習各種日常操作,大大簡化了機器人訓練的復雜性!
傳統的機器人訓練往往需要復雜的設置和昂貴的硬件,而且數據收集過程耗時耗力。而“EgoZero”方法則將這一過程變得異常簡單和透明:只需讓人類佩戴一副智能眼鏡(例如Meta的Project Aria智能眼鏡),以第一人稱視角錄制視頻,就能輕松收集到高質量、帶有動作標簽的日常任務演示數據。更厲害的是,這些數據甚至可以在人們的日常生活中隨時隨地收集,無需專門的實驗室環境。
Meta的Project Aria智能眼鏡配備了RGB攝像頭和SLAM(同步定位與地圖構建)攝像頭,能夠從佩戴者的視角捕捉視頻。通過這種極簡的設置,佩戴者可以輕松記錄下各種日常任務,比如打開抽屜、把盤子放進水槽、從架子上取下盒子等等。
這項技術的關鍵在于,EgoZero系統能夠將捕捉到的視頻數據,轉換為與形態無關的3D點云表示。這意味著,無論演示者是五根手指的人類,還是兩根手指的機器人,系統都能抽象出行為本身,使其能夠泛化到不同的物理形態。這些緊湊的表示隨后可以用于訓練機器人策略,使其能夠自主執行任務。
在實驗中,研究團隊利用EgoZero數據訓練了一臺配備夾具的Franka Panda機械臂,并在七項操作任務上進行了測試。令人驚嘆的是,每項任務僅需20分鐘的人類演示數據,且無需任何機器人特定的數據,機械臂就達到了70%的平均成功率!這對于物理世界中的“零樣本學習”來說,是一個令人印象深刻的性能水平。
這項突破性技術,有望徹底改變機器人訓練的方式,使其變得更加高效、便捷和可擴展。未來,機器人將能夠更快速地學習和適應各種復雜的任務,從而在更多領域為人類提供幫助,例如在家庭服務、物流倉儲、醫療輔助等。
你對這種通過智能眼鏡訓練機器人的方式感到驚訝嗎?你認為這項技術未來最有可能在哪些領域發揮巨大作用?你期待機器人能通過這種方式學習哪些日常任務?歡迎在評論區分享你的觀點,并將這篇文章分享給更多關注人工智能和機器人技術的朋友們!
參考資料:DOI:10.48550/arxiv.2505.20290
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.