2023年開始,具生智能機器人行業開始急劇升溫,這股熱火一直持續到今年還未見退去的跡象。
據《圓周機器人》不完全統計,2024年全球人形機器人行業共發生87起融資事件,已披露的融資總額超155億元。其中,71起發生在國內,融資總額將近70億元,單筆融資達億級的有26起。有興趣的朋友可以回看我們之前的內容。累計80起!總額超150億!機器人2024融資“殺瘋了”
很多人奇怪的是,機器人其實并不算一個新興行業,甚至說是古老的傳統行業也不為過,為什么這時候突然又火起來了?
最近,《圓周機器人》訪談了NVIDIA 機器人與邊緣計算副總裁 Deepu Talla ,他給出了2點思考:
1、他認為生成式AI(GenAI)對于通用機器人的發展扮演了至關重要的角色。ChatGPT的出現讓大型語言模型(LLMs)顛覆了數字應用領域。現在,這些技術在醫療、自動駕駛等千行百業發揮作用,機器人產業自然也是其中的受益者。
2、仿真環境的改進也對具身智能機器人的發展提供了足夠的開發環境。由于沒有很好的商業化落地場景,機器人很難實現大規模量產,這導致其制造成本非常高昂。
此外,在物理世界中取得進展同樣需要大量時間,因為一切都遵循“真實時間”(即我們所說的“墻鐘時間”)。以前,機器人技術的測試主要依賴于物理環境,這導致進展非常緩慢。過去的一年里,NVIDIA通過 Omniverse技術打破這種物理空間的束縛。簡單點說就是給機器人提供一個虛擬的測試環境,讓它可以脫離現實的物理空間測試。這大大縮短了機器人的開發周期。
然而,即便如此,具身智能機器人的挑戰依然巨大。地平線副總裁蘇菁表示,如果自動駕駛都做不好,有什么資格做機器人。業內人士都知道,機器人比自動駕駛要復雜得多,通用機器人更是皇冠上的明珠,讓人望而卻步。
破局者依然是英偉達,CES 2025上,英偉達發布了針對機器人行業的“三臺計算機”:
1、第一臺計算機用于訓練:這是用于訓練AI模型的系統。訓練通常在云端、數據中心或像NVIDIA DGX這樣的強大系統上進行。這是構建機器人“大腦”的關鍵步驟。
2、第二臺計算機用于仿真:一旦訓練完成,就需要進行測試。以往的標準是物理測試,但這種方式既慢又昂貴,還存在風險。更好的解決方案是引入一個“仿真層”,即“數字孿生”,在虛擬環境中完成測試。仿真允許在大規模、快速且安全的條件下運行數千種場景測試,無需受到真實世界時間或成本的限制。
3、第三臺計算機用于部署:第三種系統安裝在機器人內部,它就是操作物理機器人的“大腦”。對NVIDIA來說,這可以通過像Jetson或AGX這樣的系統來實現。
這三臺機器就是NVIDIA Isaac GR00T、Omniverse 和 Cosmos,主要應用在機器人開發的三個不同階段:訓練、測試和部署。
首先是Isaac GR00T Blueprint。機器人的開發需要大量的訓練。但訓練數據的獲取是個大難題。當前的方法包括使用Apple Vision Pro或動作捕捉套裝來記錄人類動作的示范。但規模、效率、豐富度都非常低。
谷歌和特斯拉的數據顯示,采集數據的成本非常高。花費了17個月、16個工程師以及13臺機器人,僅僅采集了13萬條數據。今天,特斯拉的這套設備,包括內部的系統設備以及整個數據采集的過程,都是高昂的成本,費用高達百萬。
于是,英偉達帶來了Isaac GR00T Blueprint,它的主要作用是合成運動生成,幫助開發者生成海量的合成運動數據,以便通過模仿學習來訓練人形機器人。通過真實數據與合成數據的結合,行業能夠克服機器人技術中數據稀缺的問題。
很多已經開始了實踐探索。銀河通用通過該平臺將各種 3D 固體資產、環境以及各類材質和紋理素材相互融合,模擬機器人的運行場景,探討機器人如何操作物體。
Deepu Talla也坦言,不管合成數據再怎么逼真,也無法和真實數據相比。他們通過算法手段將仿真與現實世界的差異縮小。例如,通過貝爾曼最優性原則,采用預隨機化方式,對接觸面上的摩擦力、材質,以及物體的質量中心、質量大小和分布等問題進行隨機處理。實際上,現實中存在諸多復雜因素,在仿真環境中處理這些因素比在真實環境中更具挑戰性。
Deepu Talla 表示:“Isaac 采用的是混合云架構(hybrid cloud),云上和端側架構一致,這種一致的架構使得相同的軟件能夠在不同環境中工作,極大地簡化了部署和調整的過程。”目的就是為了保證端云一體化,模型的部署和修改更加靈活。
英偉達還帶來了Omniverse,一個基于多GPU技術的實時協作和模擬平臺,被視為3D軟件生態的“連接樞紐”。基于Omniverse,英偉達搭建了數字孿生的“Mega工廠”,通過數字化方式仿真整個場景。每個機器人的動作,比如在空間中的移動,都會改變環境,需要實時地仿真整個環境。
其實就是模擬機器人工作的環境。Mega將機器人、環境和傳感器集成在一個平臺,可以進行大規模的仿真。它是一個參考架構,允許開發者在大規模的場景下進行實驗,并優化機器人系統的性能。
NVIDIA在 CES 上還發布了 Cosmos 平臺。Deepu Talla 表示,“Cosmos 平臺擁有一系列開放的預訓練世界基礎模型,專為生成具有物理感知的視頻和物理 AI 開發所需的世界狀態而設計。”
它包含自回歸模型和擴散模型,有各種模型尺寸并適用于多種輸入數據格式。這些模型基于 1800 萬億個數據單元進行訓練,其中包括 200 萬小時的自動駕駛、機器人、無人機拍攝的視頻以及合成數據。
除了幫助生成大型數據集外,Cosmos 還能通過將圖像從 3D 擴展到真實場景,縮小仿真與現實之間的差距。將 Omniverse(一個用于構建 3D 應用程序和服務的應用程序編程接口和微服務開發平臺)與 Cosmos 相結合至關重要,通過其高度可控、物理精確的仿真提供關鍵保障,有助于最大限度地減少世界模型常見的幻覺問題。
而這個結合貫穿了機器人開發測試驗證的各個環節。Deepu Talla介紹了Omniverse和GR00T在其中發揮的巨大作用。
數據生成:我們使用Omniverse和GR00T相關的工作流,例如GR00T-Mimic,將捕捉到的人類示范擴展成更大的合成運動數據集。最后,基于 NVIDIA Omniverse 和 NVIDIA Cosmos 平臺構建的 GR00T-Gen 工作流,會通過域隨機化和 3D 提升技術,指數級擴增這個數據集。
模型訓練:GR00T提供了高效的技術,幫助企業更快速地完成模型訓練,從而加速收斂并節省成本。與此同時,Cosmos專注于資源優化,進一步提升訓練的速度和效果。
仿真測試:GR00T通過Isaac Labs進行仿真測試來評估機器人策略,而Cosmos也支持在仿真環境中進行測試,確保模型在實際應用中的表現。Cosmos 還能通過將圖像從 3D 擴展到真實場景,縮小仿真與現實之間的差距。
模型部署:在部署階段,GR00T能夠幫助機器人完成任務并適應現實環境。Cosmos同樣支持實時場景下的機器人部署,確保高效運行。
過去,機器人是一個相對傳統的行業,更多的是機械工程的主導。按照Deepu Talla的理解,新技術的突破給機器人帶來了新的發展,使得通用具身智能機器人能夠在5-10年時間里實現巨大突破。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.