2025年4月24-26日日,全球機器人領域的盛會——“智啟未來、鏈動全球-機器人全產業鏈接會(FAIR plus 2025)”在深圳成功舉辦,這場匯聚200+家機器人企業、院士專家及60+個國家、3.5萬專業觀眾參加。
PNP機器人在FAIR plus 2025會議中,展現了豐富多彩的活動。PNP 機器人憑借其在具身智能領域機器人數據集方案的卓越成果,成為了會議的一大亮點。具身智能作為機器人技術的前沿領域,強調機器人通過與環境的交互來獲取知識和技能,使機器人能夠更加自然、靈活地適應復雜多變的現實世界。而數據作為人工智能與機器人技術發展的核心基石,對于具身智能機器人的發展具有至關重要的意義。
一、PNP 機器人展出具身智能領域機器人數據集方案
1.1 當前獲取足夠豐富、真實且有效的機器人數據目前仍然是整個行業面臨的重大挑戰
這不僅僅是簡單的數據收集問題,而是一個復雜且多維度的難題,涉及到數據的多樣性、準確性、可擴展性以及數據收集過程中的成本控制等多個方面。首先,數據的多樣性是構建高效具身智能數據集的關鍵要素之一。現實世界中的場景和任務復雜多變,機器人需要在各種不同的環境下執行各種不同的任務,這就要求數據集必須涵蓋豐富多樣的場景和任務類型。例如,工業生產中,機器人可能需要在高溫、高濕度、充滿灰塵的惡劣環境下進行高精度的零部件裝配;而在家庭服務場景中,機器人則需要在相對較為舒適但布局復雜、物品繁多的環境中完成諸如清潔、整理、搬運等任務。此外,任務的類型也多種多樣,包括但不限于抓取、放置、操作工具、移動物體、與人類協同作業等。只有包含了豐富多樣場景和任務的數據集,才能使機器人在實際應用中具備廣泛的適應性和靈活性。
1.2 PNP 機器人展示了其基于模仿學習的數據集方案
模仿學習通過讓機器人模仿人類的操作行為來學習任務,這種方式能夠直接獲取到真實世界中有效的操作數據,而且這些數據與機器人的實際應用需求高度相關。與基于仿真、視頻流等方向的數據方案相比,模仿學習的數據集方式能夠更好地捕捉到機器人在實際操作中的細微動作和復雜交互,從而為機器人的學習和優化提供更為精準的數據支持。PNP 機器人的數據集方案可以涵蓋了多種不同場景和任務下的人類操作示范數據,通過對這些數據的收集、整理和標注,為機器人的模仿學習提供了豐富的學習資源。例如,在工業裝配任務中,PNP 機器人收集了人類工人在不同裝配任務中的操作動作、力度、速度等多維度的數據,以及相應的視覺圖像和環境感知信息。這些數據不僅能夠幫助機器人學習如何正確地完成裝配任務,還能夠使機器人了解到在不同情況下可能出現的誤差和故障模式,從而提高機器人的魯棒性和適應性。
1.3 PNP 機器人還展示了一種與 Franka 機器人等同構的機器人主從操作方案
PNP機器人提供的這種主從操作方案采用了單臂 / 雙臂的操作模式,其中主操作器由人類操作者控制,從操作器則是機器人。通過優化控制算法,PNP 機器人實現了主從操作之間的高度同步和精準映射,使得操作者在進行模仿學習操作時,能夠更加自然、流暢地將動作傳遞給機器人。特別是其同構 7 軸主從設計,極大地提升了操作的靈活性和自由度,使得機器人的操作更加接近人類仿生的動作方式。這種主從操作方案在多個方面具有顯著的優勢。一方面,它能夠充分利用人類操作者的經驗和技能,快速地將人類的操作知識傳授給機器人,從而加速機器人的學習過程。另一方面,通過主從操作,機器人能夠在人類操作者的監督和指導下,逐步學習和適應不同的任務和環境,提高其自主操作能力。
PNP 機器人的這一數據集方案和主從操作方案,為具身智能領域的發展提供了重要的技術支撐和數據資源。它不僅有助于解決當前機器人數據收集的難題,還為機器人的學習和優化提供了新的思路和方法。通過這種方案,機器人能夠更好地從人類的操作中學習,不斷提升自身的能力和性能,為未來具身智能機器人的廣泛應用奠定了堅實的基礎。
二、PNP 機器人帶來多模態信息融合創新案例
隨著人工智能與機器人技術的不斷發展,多模態信息融合逐漸成為實現高效機器人感知、認知和決策的關鍵技術。在機器人領域,視覺、語言、觸覺等多種模態的信息共同構成了機器人對世界的全面感知與理解。在 FAIR plus 2025 會議中,PNP 機器人通過其在多模態信息融合方面的創新案例,向全球展示了其在這一前沿領域的深厚技術實力和獨特創新思維。
在 VLA(視覺 - 語言 - 動作)模型架構方面,近年來的研究不斷探索多種融合視覺和語言輸入的方法,以實現更加高效、自然的人機交互和機器人自主決策。多模態融合的重要性在于,它能夠使機器人更加全面、準確地理解復雜的現實環境和人類指令,從而更好地完成各種任務。PNP 機器人在 VLA 模型架構方面的研究成果,為實現高效的視覺 - 語言 - 動作交互提供了重要的技術參考。他們的模型架構通過巧妙地設計多模態信息的編碼、融合和解碼過程,使得機器人能夠更加精準地理解和執行各種任務。具體來說,該模型架構首先對視覺信息和語言信息分別進行獨立的編碼,提取出各自的關鍵特征和語義信息。在編碼過程中,采用先進的卷積神經網絡(CNN)和循環神經網絡(RNN)等深度學習技術,對視覺圖像中的物體、場景、空間關系等信息進行高效提取,同時對語言指令中的詞匯、語法、語義等信息進行深度解析。然后,通過融合模塊將這兩種模態的信息進行深度融合,采用注意力機制等技術,使機器人能夠自動學習到不同模態信息之間的關聯和對應關系,從而更加準確地理解任務目標和操作要求。
此外,PNP 機器人結合橡木果觸覺方案,展出的基于視觸覺感知的抓取方案是多模態信息融合的又一創新典范。觸覺作為機器人感知物體表面特性和操作力反饋的重要模態,在機器人抓取和操作任務中具有不可替代的作用。PNP 機器人的視觸覺感知抓取方案通過將視覺信息與觸覺信息相結合,為機器人提供了更加全面、細致的物體感知能力。在該方案中,PNP 機器人利用先進的視覺傳感器獲取物體的外觀、形狀、位置等信息,同時采用觸覺傳感器感知物體表面的紋理、硬度、摩擦系數等觸覺特征。在抓取過程中,機器人首先通過視覺信息快速定位物體并規劃初始抓取路徑,然后在接觸物體的瞬間,觸覺傳感器實時反饋物體表面的觸覺信息,機器人根據這些信息實時調整抓取力度和抓取姿態,以確保物體的穩定抓取。
這種視觸覺融合的抓取方案對于多模態表示學習、融合技術和任務特定適應方法的研究具有重要意義。在多模態表示學習方面,該方案為如何將視覺和觸覺這兩種不同模態的信息映射到一個統一的特征空間提供了實踐案例。通過深度學習算法,能夠學習到視覺和觸覺信息之間的內在關聯和互補特性,從而構建出更加豐富、全面的物體表示模型。這種表示模型不僅包含了物體的外觀和形狀信息,還包括了物體的表面物理特性,為機器人的后續操作提供了更準確的決策依據。在融合技術方面,視觸覺感知抓取方案探索果多種有效的信息融合方法。例如,采用早期融合策略,在特征提取階段將視覺和觸覺信息進行初步融合,提取出融合后的低層特征;同時結合晚期融合策略,在決策階段將視覺和觸覺信息的處理結果進行綜合決策,從而充分發揮兩種模態信息的優勢。此外,設計專門的跨模態注意力機制,可以使機器人能夠根據任務需求自動調整對不同模態信息的關注程度。在抓取易滑動物體時,機器人會更加關注觸覺信息中的摩擦系數和滑動趨勢,而在抓取形狀復雜的物體時,則會更多地依賴視覺信息來確定抓取點和抓取路徑。通過這些多模態信息融合的創新案例,可以提升機器人感知和操作能力方面的巨大潛力。這些技術不僅能夠提高機器人在復雜環境中的任務執行效率和準確性,還為實現更加自然、靈活的人機協作提供了可能,為未來機器人的智能化發展開辟了新的道路。
三、PNP 機器人在 “人工智能與機器人研究開發高校專場” 論壇中發表演講
在 FAIR plus 2025 會議期間,PNP 機器人在 “人工智能與機器人研究開發高校專場” 論壇中發表了精彩演講,分享了其在具身智能數據集和操作策略方面的最新進展。PNP 機器人創始人包文濤先生詳細闡述了當前具身智能領域面臨的關鍵問題和挑戰,并介紹了 PNP 機器人在應對這些挑戰方面所采取的策略和技術成果。
包文濤先生強調了真機實操數據在機器人數據集構建中的重要性。目前,真機實操數據仍然是構建有效的機器人數據集的最有效方式。盡管基于仿真和視頻流的數據方案已經取得了一定的進展,但它們在真實性和復雜性方面仍然無法與真機實操數據相媲美。收集真機實操數據需要在實際環境中進行大量的實驗和操作,這不僅需要投入大量的人力、物力和時間,還需要在不同的環境和任務條件下進行,以確保數據的多樣性和代表性。例如,在工業生產中,收集機器人在不同生產線上的操作數據,需要模擬各種不同的生產場景和任務要求,包括不同的物料、工具、操作流程等。同時,還需要考慮環境因素的影響,如溫度、濕度、光照等,以確保機器人能夠在各種實際條件下正常運行。包文濤先生指出,一些頭部的具身智能公司已經意識到這一點,并投入了大量資源進行真機實操數據的收集和整理,在具身智能數據集領域取得了領先地位。
包文濤先生討論了當前熱點的合適架構設計對于實現高效的視覺 - 語言 - 動作交互的重要性。不同的架構在處理多模態信息時具有各自的優勢和局限性。例如,某些架構在處理長序列信息時表現較好,能夠捕捉到時間序列中的長期依賴關系,這對于機器人在執行長時域任務時的規劃和決策至關重要。而另一些架構則在模型參數效率上更具優勢,能夠在有限的計算資源下實現高效的特征提取和信息融合。PNP 機器人在架構設計方面進行了深入的研究和探索,提出了一種創新的多模態融合架構,該架構能夠根據不同的任務需求,動態地調整各模態信息的權重和處理方式,從而實現更加高效、靈活的視覺 - 語言 - 動作交互。例如,在機器人執行物體抓取任務時,該架構能夠更加注重視覺和觸覺信息的融合,以確保抓取動作的準確性和穩定性;而在執行導航任務時,則更加注重視覺和語言信息的結合,以實現對環境的準確理解和路徑規劃。
包文濤先生也分享了長時域任務規劃方面的研究進展。當前的高層任務規劃器雖然在一定程度上能夠處理復雜的任務序列,但在應對環境變化和實時調整任務計劃方面仍然存在不足。例如,在執行清潔房間任務時,可能會遇到意外情況,如物品位置變動或新物品出現,當前規劃器可能難以實時調整任務計劃,導致任務執行效率低下。為了解決這一問題,開發一種更加高效的長時域任務規劃器較為重要。研究熱點有通過結合深度強化學習和常識知識庫,賦予機器人更強的感知能力和環境適應能力等方法。深度強化學習使機器人能夠在不斷的試錯過程中學習到最優的任務規劃策略,而常識知識庫則為機器人提供了關于物體、環境和任務的先驗知識,使其能夠在面對新情況時快速做出合理的決策。例如,當機器人發現房間中出現了一個新的障礙物時,它可以根據常識知識庫中的信息判斷該障礙物是否會影響清潔任務,并根據深度強化學習得到的策略,實時調整清潔路徑,繞過障礙物繼續完成任務。
PNP 機器人在 “人工智能與機器人研究開發高校專場” 論壇中的演講,不僅展示了其在具身智能領域的最新研究成果,還為學術界和工業界的合作提供了寶貴的思路和經驗。通過不斷探索和創新,PNP 機器人正在推動具身智能技術的發展,為機器人在復雜現實環境中的廣泛應用奠定堅實的基礎。
四、PNP 機器人介紹上海東方衛視采訪
在 FAIR plus 2025 展會現場,PNP 機器人接受了上海東方衛視的采訪,圍繞具身智能機器人操作方法、目標、當前發展現狀、核心瓶頸等相關問題,PNP 機器人包文濤先生進行了詳細而深入的解答。
針對具身智能機器人的操作方法,包文濤先生指出,具身智能的核心在于讓機器人通過身體與環境的交互來學習和執行任務。與傳統的機器人操作方法不同,具身智能強調機器人的自主感知、學習和決策能力。例如,在工業生產中,具身智能機器人不僅能夠按照預設的程序完成零部件的裝配任務,還能夠通過感知環境的變化,如零部件的位置偏差、裝配力度的變化等,實時調整裝配策略,確保裝配任務的順利完成。這種操作方法要求機器人具備高度的靈活性和適應性,能夠像人類一樣在復雜多變的環境中靈活應對各種情況。包文濤先生強調,實現這一目標需要在機器人的感知系統、決策系統和執行系統等方面進行協同創新。感知系統需要能夠準確地獲取環境信息,包括視覺、觸覺、聽覺等多種模態的信息;決策系統則需要通過先進的算法和模型,對感知到的信息進行快速分析和處理,生成合理的操作指令;執行系統則需要具備高精度、高可靠性的運動控制能力,以確保機器人的操作動作準確無誤。
關于當前具身智能機器人發展現狀,包文濤先生指出,經過多年的發展,具身智能機器人在感知技術、決策算法和執行機構等方面都取得了顯著的進展。在感知技術方面,隨著傳感器技術的不斷進步,機器人能夠獲取到更加豐富、準確的環境信息。例如,高分辨率的視覺傳感器、高精度的觸覺傳感器等,為機器人提供了更加細膩的感知能力。在決策算法方面,深度學習、強化學習等人工智能技術的應用,使機器人能夠更好地理解和處理感知到的信息,生成更加合理的操作策略。在執行機構方面,新型驅動技術和控制算法的研發,提高了機器人的運動精度和靈活性。然而,盡管取得了這些進展,具身智能機器人仍然面臨許多挑戰,如數據集構建的難題、多模態信息融合的復雜性、長時域任務規劃的困難等。
針對具身智能機器人數據集問題,包文濤先生詳細解釋了其與 GPT 等語言模型數據集的不同之處,以及為什么機器人的數據集目前仍然是技術發展的瓶頸問題。與 GPT 模型主要依賴于文本數據進行訓練不同,具身智能機器人需要處理的是來自多個模態的真實世界數據,包括視覺、語言、觸覺等。這些數據的獲取、標注和整合都面臨著巨大的挑戰。例如,收集機器人在不同環境和任務下的操作數據,需要耗費大量的時間和資源;同時,由于數據的多樣性和復雜性,標注工作也變得異常困難。此外,如何將這些多模態數據有效地融合在一起,構建出一個具有高度代表性和適應性的數據集,也是一個亟待解決的問題。包文濤先生強調,解決這些問題需要學術界、工業界和政府部門的共同努力,加強合作與交流,共同推動具身智能機器人技術的發展。
PNP機器人協具身智能解決方案,在FAIR plus 2025亮相,通過具身智能機器人操作展出、多模態視觸覺方案演示、具身技術論壇演講、東方衛視采訪等,展示了PNP機器人在具身智能領域進展,為使用單臂/雙臂等具身操作方向提供了新思路。同時PNP 機器人向公眾展示了其在具身智能領域的深厚技術實力和對行業發展的深刻洞察。同時,也讓更多的人了解到具身智能機器人這一前沿技術的巨大潛力和廣闊應用前景,為推動機器人技術的普及和發展做出了積極貢獻。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.