智東西
作者 陳駿達
編輯 心緣
智東西5月20日報道,今天,多模態AI企業考拉悠然和上海碼極客發布悠然無界大模型。這是一款面向空間智能的多模態世界模型,具備空間感知、空間推理、具身執行、交互反饋等能力,將具身智能的大腦、小腦能力融合至單一模型。
在悠然無界大模型的基礎上,考拉悠然和上海碼極客還發布了空間智能Agent框架MAGXAgent,并使用這一框架打造了具備感知、決策、執行等能力的多款空間智能本體產品(如智能物流機器人)。
在物理常識與具身智能推理任務測評集上,悠然無界大模型超越了OpenAI o1、GPT-4o、Qwen2.5-VL系列、Cosmos-Reason1系列等主流開源及閉源大模型。
悠然無界大模型能夠同時感知和理解數字空間、物理空間與社會空間,并具備跨模態的泛化能力和通用性,支持感知、決策、控制等多種任務的統一處理。
同時,它具備較強的抽象與遷移能力,能夠跨越不同智能體與系統架構之間的差異,實現具身智能本體的協同與共享。
一、算力堆砌不等于真實生產力,需用世界模型鏈接物理世界
日前,考拉悠然首席執行官沈復民向智東西等媒體詳細介紹了悠然無界大模型的技術細節與應用場景。
沈復民認為,空間智能是AI發展的下一個階段。現有大語言模型在數字世界的成功,并不等同于在物理世界的價值,算力堆砌也不等于真實生產力。要彌補大模型能力與生產力之間的鴻溝,就需要打造世界模型,鏈接數字世界與物理世界。
本次發布的悠然無界大模型基于2023年推出的悠然大模型,后者是一款多模態的產業通用大模型,已在數十個行業落地。
悠然無界大模型在悠然大模型基礎上,強化感知、推理、決策、交互四方面能力。在訓練時,考拉悠然采用了多元異質數據聯合建模的方式,將真實數據、仿真數據與互聯網數據結合,并融入了跨領域知識,使模型的通用性更強。
悠然無界大模型在一個模型內部實現了感知-規劃-執行閉環控制,既能理解自然語言形式的物理世界任務,也能感知具身智能本體的狀態,驅動人形機器人、無人機、機器狗等終端智能體完成任務。
這一模型采用了考拉悠然提出的跨模態融合-自適應感知框架,解決了三維空間感知中的自由空間檢測、小樣本點云分類和開放世界目標識別等問題,提升了智能系統對復雜空間環境的理解與建模能力。
在空間規劃與推理層,考拉悠然打造了多模態空間語義分解推理框架與分層子目標擴散規劃算法,解決了復雜空間關系邏輯鏈建模與非結構化環境中長程路徑規劃問題。這是智能系統實現人類級空間推理與動態決策的關鍵。
涉及決策與執行時,悠然無界大模型采用的幻覺誘導優化算法,可解決多模態空間語義錯位的難題。
二、打造空間智能Agent框架,聽語音指令就能完成搬運任務
基礎模型之外,考拉悠然和上海碼極客打造了執行物理世界通用任務、驅動MAGX硬件運行的空間智能Agent框架MAGXAgent,并發布了一批智能體硬件本體產品。
MAGXAgent基于悠然無界大模型底座賦予的世界知識與空間理解能力,具備空間探知、自主決策、動態執行、交互反饋能力。未來可通過搭載于物流卸貨機器人、無人機、機器狗等任務本體,執行完成應急救援、裝卸運貨、智能巡檢等物理世界任務。
考拉悠然即將推出包括物流機器人MAGX Loader、智能巡檢設備MAGX Patrol在內的一系列智能體硬件本體產品。
MAGX Loader展現了智能卸貨機器人與悠然無界大模型能力結合后的應用場景,可完成復雜環境下的精準目標識別、自適應位姿估計、實時障礙物評估、動態任務調度、卸貨路徑優化、實時調整等一系列流程。它無需人工編程,只需輸入一段語音指令,即可全程自主實現貨品搬運。
結語:AI需要理解物理世界,多模態世界模型成熱門方向
具備對物理世界的理解和推理能力的世界模型,正逐漸成為當前AI研究與應用的前沿方向。與傳統依賴單一模態輸入的模型不同,世界模型融合視覺、語言、動作、時間等多模態信息,讓AI不僅能“看見”世界,更能“理解”和“預測”世界的變化。
有不少企業正加速布局這一賽道。谷歌已發布多款Genie系列世界模型,而英偉達在機器人與仿真領域有深度投入。與此同時,一批專注于世界模型的新興創業公司如World Labs、Decart等,也在探索訓練效率更高、泛化能力更強的世界模型架構。
考拉悠然是國內較早探索多模態AI與世界模型技術落地的企業之一,已在智慧城市、工業制造等場景積累了實際應用經驗。其聯合創始人、董事長申恒濤院士認為:“AI的真正落地,一定要讓數字世界和物理世界融合。”
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.