新智元報道

編輯：定慧 好困

【新智元導讀】一個融合真實地理空間與AI生成技術的開放世界模擬平臺，由Genesis物理引擎驅動，支持人類與機器人在社區中共同互動、成長與演化。

現實版「黑客帝國」來了！

剛剛，一個融合未來人機共生藍圖的虛擬平臺悄然上線，它或將徹底改變我們理解人類和未來AI、機器人共生的方式！

這個平臺名為虛擬社區（Virtual Community），由通用物理引擎Genesis驅動，基于真實三維世界構建，是一個開放給人類、機器人與整個社會的沉浸式實驗場。

背后的目標，直指一個關鍵命題：在未來的真實世界中，人類和AI如何共存？

這個世界模擬器將顛覆你的想象——人類、機器人及其鮮活的社會形態，正在全球三維真實地理空間場景中，栩栩展開！

在這里，人類角色與機器人智能體可以在從倫敦到紐約、乃至更廣闊的開放世界里互動、成長、共同演進！

不久的將來，人類與機器人將共存于世。

「虛擬社區」項目亮點令人振奮，這是未來的一次提前預演——

1. 它是一個開源的多智能體物理模擬器，不僅能真實模擬人與機器人之間的互動，還覆蓋了室外城市街區、室內復雜空間、甚至完整社區結構。

2. 平臺中智能體角色豐富，外觀各異，為研究帶來極大多樣性。

3. 首次引入兩個前沿任務：

• 多智能體活動任務：衡量如何建立聯系、影響他人；

• 多智能體社區助手任務：測試機器人在協作推理與規劃中的實際能力。

來自馬薩諸塞大學阿默斯特分校、約翰霍普金斯大學和卡內基梅隆大學的研究者共同探討了未來世界中，人、機器人以及整體社會是如何協作共生的。

論文地址：https://virtual-community-ai.github.io/paper.pdf

開源地址：https://github.com/UMass-Embodied-AGI/Virtual-Community

項目主頁：https://virtual-community-ai.github.io/

下面這張圖，揭開了「虛擬社區」背后真正的秘密武器——它的生成流程框架。

這個框架不僅重構了現實世界的數字映射，更將AI與地理信息系統、生成模型和大語言模型（LLMs）無縫融合，打造出一個前所未有的社會智能實驗場。

該框架核心模塊有三個：

1. 場景生成組件：從真實地理信息數據出發，通過生成模型在線增強紋理、簡化幾何結構，讓粗糙的3D數據煥然一新。更妙的是，它還能創造出交互式對象和高度還原的室內細節。

2. 智能體生成組件：基于LLM，從場景描述中自動構建出豐富的角色設定及其社會關系網絡，每一個智能體都不是「孤島」，而是社區關系鏈的一環。

3. Genesis引擎模擬：最終，這些生成的場景和角色被統一接入Genesis引擎，在開放世界中實現真實社區和機器人互動模擬。

一句話：這不是簡單的虛擬建模，而是一個由AI賦能、可不斷自我演化的「數字社會孵化器」。

未來的人機共居社會，或許就從這里悄然長出第一片綠芽。

Virtual Community虛擬社區

虛擬社區將地理空間數據與生成模型相結合，以創建具有社交基礎的智能體社區的交互式、可擴展的開放世界場景。

可擴展的仿真就緒場景

盡管現有3D地理空間數據API數量眾多、類型豐富，卻因噪聲太多、街道視覺質量不足而難以直接用于具身AI模擬。

原因在于：原始數據中混雜著行人、車輛等臨時物體，還有不真實的地形起伏；而且這些場景大多由航拍圖像重建而成，缺乏從地面視角所需的紋理與幾何細節。

為解決這些痛點，研究團隊提出了一條全新的在線流水線，專為具身AI模擬打造。

該流程包括四大步驟——網格簡化、紋理優化、對象放置與自動標注，旨在徹底清理并增強原始數據，使其既真實又適配AI交互。

目前，團隊已通過這一流水線構建了涵蓋全球多個城市的35個帶標注高質量場景。

這一次，真實世界的復雜性與AI模擬的嚴謹性，終于找到了理想的連接方式。

一個完全自動化的在線流程，利用真實世界地理空間數據和生成模型創建3D場景。

基于真實世界的地理空間場景，地理空間數據確保了戶外3D場景的多樣性和規模。

· 實現自動語義標注，場景中自動標注的位置和物體。

· 交互式室內場景與物體根據位置標注創建的室內場景和物體。

智能體社區

研究團隊成功借助大語言模型，實現了基于場景的智能體角色與社交網絡自動生成系統。

只需輸入場景信息與角色外觀細節，LLM就能生成包含姓名、年齡、職業、個性與愛好的完整角色檔案，并自動構建他們之間的社交群組。

每個群組都對應特定活動場所，模擬真實社區互動，打造出一個有機社交生態。

更厲害的是，為確保生成角色的準確性，系統還引入了「關聯驗證器」機制，一旦發現地點引用有誤，LLM會根據反饋自動修復！

角色視覺形象也同樣不含糊：通過整合Mixamo的20款通用皮膚與AvatarSDK的高保真現實建模，系統已支持跨五大領域的62位名人形象生成，連真人照片都能轉為虛擬角色！

· 利用基礎模型和真實世界標注生成社區，使用Genesis物理引擎進行模擬

· 智能體社區生成，由LLM驅動的個性化社交檔案

· 自動駕駛交通系統，行人流量、車流、公共交通系統

人機交互，虛擬社區依托Genesis實現了物理上逼真的機器人交互，還能實現機器人模擬與可視化接觸。

豐富的機器人智能體

除真實的仿真場景和智能體以外，還有豐富的機器人智能體。

· Bitcraze Crazyflie 2

· UniTree H1

· UniTree Go2

· Husky Robot

· Boston Dynamics Spot

· Google Robot

社交與物理交互

在這個數字世界，人與人、人與機器、機器與機器的社交同樣遵循真實物理世界規律。

有時，你會看到三三兩兩的人站在在街頭聊天。

或者，一起在廣場上跳舞。

人們可以在街上「遛」機器狗。

甚至還可以和機器人做互動。

場景化智能體社區

模擬器支持輸入經緯度創建對應的多樣化世界，包括大規模3D環境和基于場景的智能體社區，比如：

· 佛羅倫薩

· 馬德里

· 丹佛

· 倫敦

· 紐約

· 阿姆斯特丹

基于真實世界的地理空間場景

以下空間場景完全基于真實世界構建。

作者介紹

Virtual Community是首個基于真實三維世界構建的開放給人類、機器人與整個社會的沉浸式實驗場。

由UMass研究者基于通用物理引擎Genesis重磅打造，重新定義具身智能社會化研究。

作者希望虛擬社區能推動具身AI研究朝著具備處理現實世界復雜性并與人類社區共存的具身通用智能發展。

虛擬社區中提出的開放世界模擬框架為研究具身智能體的社會智能開辟了多個有意義但具有挑戰性的研究方向。

Qinhong Zhou（周沁泓）

周沁泓是麻省大學阿默斯特分校（UMass Amherst）的博士生，師從 淦創 教授。

他的研究方向是AI智能體與人類及其他智能體之間的對齊、合作與決策能力。研究領域涵蓋具身AI模擬、多智能體/模型協作、LLM對齊和知識蒸餾等。

目標是使人工智能系統能夠在物理世界中與人類價值觀保持一致，促進人機之間以及各人工智能智能體之間的更有效協作。

Hongxin Zhang (張洪鑫)

張洪鑫是麻省大學阿默斯特分校計算機科學專業的二 年級博士生，師從 淦創 教授。

目前正在從事AI方面的研究， 嘗試通過構建與人類相似的智能系統來加深對人本身的理解。

研究興趣在于具身智能，尤其是如何利用基礎模型構建更優秀的智能體，以增強它們的推理與規劃能力、社交互動能力，并使其更接近人類。

Chuang Gan（淦創）

淦創 現任教于麻省大學阿默斯特分校，同時擔任MIT-IBM沃森人工智能實驗室的研究經理。

此前，他曾在麻省理工學院從事博士后研究，合作導師為Antonio Torralba教授、Daniela Rus教授及Josh Tenenbaum教授。

他博士畢業于清華大學，師從姚期智院士，并榮獲博士畢業生最高榮譽。

他的研究方向為計算機視覺、人工智能、認知科學與機器人學的交叉領域，最終目標是構建能夠在物理世界中感知、推理與行動的類人自主智能體。

他的研究成果曾獲微軟學者獎，百度學者獎。

參考資料：

https://virtual-community-ai.github.io/

https://github.com/UMass-Embodied-AGI/Virtual-Community