新智元報道
編輯:LRST
【新智元導讀】天津大學聯合清華和卡迪夫大學推出RESCUE系統,把「大腦感知-決策-行動」循環搬進電腦,讓數百個虛擬人同時在線逃生:他們能實時看見地形、同伴和出口,自動繞開障礙,年輕人快跑、老人慢走、殘疾人蹣跚;系統還能把身體24個部位的碰撞力用顏色實時標出來,幫助設計師提前找出潛在風險區域,也能用來演練地鐵火災、演唱會疏散等公共安全場景。
人群疏散模擬對于提高公共安全至關重要,也是構建逼真虛擬動態環境所需要的技術,其發展面臨著復雜人類行為建模難的挑戰。
現有的疏散模擬方法常以2D點表示人群,關注人群位置和軌跡,但忽略了復雜人類行為,如碰撞、交互、摔倒等,以及三維環境、個體行為能力的影響,導致模擬結果不真實。
而現有的三維運動生成方法和角色控制方法也無法同時保證實時性、合理性、個性化、動態感知、以及適用于任意場景和地形,如表1所示。
針對以上問題,天津大學李坤教授團隊聯合英國卡迪夫大學、清華大學,在發表于ICCV2025的工作中,依據人類大腦的「感知-決策-控制」(SDM,Sensory-Decision-Motor)循環機制,提出了首個實時的三維人群疏散模擬框架RESCUE。該框架支持多個智能體并行移動,具有動態的人群感知能力,同時適用于各種場景。
論文鏈接:
https://cic.tju.edu.cn/faculty/likun/projects/RESCUE/imgs/LXL_RESCUE.pdf
項目主頁:http://cic.tju.edu.cn/faculty/likun/projects/RESCUE
代碼鏈接:https://github.com/xiaolin0314/RESCUE
在感知層,研究人員建立了多模態環境信息的分析機制,包括地形特征、障礙物分布及鄰近個體狀態;
在決策層,研究人員提出了三維自適應社會力模型,基于環境動態變化在線計算運動趨勢;
在運動控制層,研究人員設計了個性化步態生成器,結合物理引擎實現了具備物理合理性和個性化的動作輸出。
同時,研究人員設計了部位級接觸力感知與可視化模塊,可幫助疏散過程中關鍵風險的量化分析。
實驗表明,該框架支持在線路徑規劃,可兼容多樣場景和地形,生成的動作物理合理、具有個性化,疏散逃生成功率高、跌倒率低,部位級受力感知準確。
總的來說,該研究可以為公共安全領域的應急預案制定、人群疏散分析提供仿真和參考。同時,此框架具備通用性和擴展性,可以模擬一般的人群運動,如行人。
圖1 RESCUE實現個性化、物理合理、三維自適應的在線人群疏散模擬
RESCUE方法
研究人員的目標是構建一個自適應的多智能體三維疏散模擬框架。神經科學研究表明,人類在復雜環境中會通過分布式神經網絡整合環境信息([1]),運用「感知-決策-運動控制(SDM)」循環來評估并動態調整行為。
以此為啟發,研究人員提出了一個基于SDM循環機制的在線三維疏散模擬框架,將個性化決策與基于物理引擎的角色控制結合,使每個智能體能夠感知周圍動態環境并在線調整行為。
為應對擁堵,研究人員設計了適用于三維環境的自適應社會力模型,用其進行決策與避障。
為了實現行為多樣性,研究人員提出了個性化步態控制器和優化的三維社會力模型,通過年齡、身體狀況等屬性,為每個智能體生成差異化的逃生行為。
此外,研究人員還設計了部位級的受力感知與可視化幫助進行疏散分析。
RESCUE框架總覽
RESCUE旨在生成具有多樣化個體特征的真實感三維疏散仿真,給定場景網格、出口位置和初始位置,在線生成個性化的群體疏散動畫。
框架將在線決策與基于物理的運動生成相結合,如圖2所示,核心包括以下部分:
(1)提出了在線的聯合SDM三維疏散模擬框架:結合在線決策與基于物理的運動生成,該框架支持群體間的相互感知,可適應任意新場景,支持百人級多智能體仿真。
(2)設計了三維自適應的社會力模型,包括繞行力和改進的驅動力、排斥力,及對應的個性化系數,增強了三維環境下的決策制定和動態障礙物避讓能力。
(3)提出了個性化步態控制器,使智能體能夠根據年齡與身體狀況等屬性生成個性化運動。該方法也提供部位級受力感知與可視化,以供疏散分析。
圖2 RESCUE框架總覽
三維自適應的社會力模型決策機制
在三維仿真中,由于使用物理引擎,交互動力學與基于二維點的模型有顯著差異,在擁堵情況下智能體可能絆倒或跌倒,而非僅僅減速,因此高效的尋路需要采取繞行而非等待或碰撞。
研究人員提出了為三維仿真設計的自適應社會力模型。首先,研究人員在經典社會力模型([1])的基礎上增強了驅動力和排斥力,保證智能體正確前往終點并避開障礙物。
為應對因擁堵導致的等待或跌倒的狀況,研究人員提出了繞行力,在智能體前方扇形感知區域內有障礙物時,沿期望行進方向的垂直向量作用,幫助智能體繞行障礙物。
針對青年、中年、老年、病患和殘疾人五大類個體,研究人員在物理引擎中進行了直線路徑測試,通過優化輸入引擎的設定速度,使仿真速度精確匹配文獻中真實逃生速度(精度 0.005 m/s),實現了 SFM 系數的個性化。
三種力合成,保證了在復雜三維環境中既平滑無碰撞,又個性化的疏散運動。
個性化步態控制器
研究人員提出了一種個性化步態控制器,生成符合智能體屬性的逃生步態。
首先,使用Pacer基于策略
根據期望速度在二維平面上采樣軌跡,在給定狀態S(包括位置、姿態狀態、環境狀態)時輸出動作
針對不同屬性的人群,研究人員將其典型步態映射至100 style數據集([4])中的個性化標簽,并采用擴散式生成模型,將步態標簽、無個性化動作幀和隨機高斯噪聲為輸入,輸出與標簽對應的個性化動作幀。
為實現精確匹配,研究人員受([5])啟發將一個步態周期劃分為初次著地、支撐中期、對側著地和雙腳并攏四個關鍵事件,分別賦予步態值0、0.3、0.5 和 0.75,其他幀通過線性插值填充,再將具有相同步態值的無個性化幀與個性化幀配對。
轉換網絡將CAMDM([6])網絡作為backbone,實現從無個性化動作幀到個性化動作幀的轉換,結構如圖3所示。
在每次去噪步驟中,接受帶噪動作樣本、擴散步數t及個性化步態標簽c,學習預測原始無噪聲幀,表示為
以幀級均方誤差損失與三維關節位置損失
進行優化,權重由
和
控制。
完整的損失函數是:
在物理引擎仿真中,將無個性化動作幀的上肢動作
替換為對應的個性化上肢動作,并將仿真產生的整幀動作反饋給感知模塊,用于下一時刻的決策與運動控制循環。
圖3 個性化步態轉換器
部位級受力感知與可視化
研究人員為每個智能體的24個身體部位配備力傳感器,實時記錄與環境或其他智能體接觸時產生的力,并通過顏色深淺漸變直觀展示部位級別的受力強度,部分結果如圖4所示。
這為分析疏散過程中的關鍵受力、預判擁擠環境潛在風險提供了支持。
圖4 多種碰撞情況的力可視化
實驗結果
由于目前尚無個性化的三維疏散仿真方法,研究人員將所提方法與三種相關方法進行了對比:社會力模型([3])、運動生成方法OmniControl([7])和角色控制方法MaskedMimic([8])。
為保證公平比較,研究人員對對比方法進行了適配,先劃分場景中的可行區域,通過A*算法規劃每個初始位置到終點的軌跡,依次將每段軌跡作為輸入引導對比方法的動作生成與控制,使其能夠完成群體疏散任務。
研究人員在四個實驗場景下分別計算50人在1000幀內的平均疏散成功率和平均跌倒次數,每個場景各運行10 次。
由于OmniControl不具備物理真實感,不會產生跌倒現象,其跌倒次數不予計算。結果如表2所示,論文提出的方法在所有場景中均為最優。
表2 定量對比結果
論文還展示了在經典疏散和大規模建筑兩個場景中,三種對比方法與論文方法的疏散過程及運動效果(見圖5)。
社會力模型僅為二維方法,無法表現三維人體運動。
OmniControl無法正確生成受長距離軌跡約束的動作,導致運動畸變、軌跡混亂和過早停止;MaskedMimic缺乏碰撞規避機制,易發生碰撞造成擁堵,也難以體現個體差異。
相比之下,論文方法能夠產生更合理的疏散過程,并針對不同屬性個體模擬個性化的疏散動作。具體可以詳見該工作的demo視頻。
圖5 定性對比結果
研究人員進行了消融實驗(見圖6)和不同類別人群的速度分布統計(見圖7)。
結果證明,設計的三維自適應的社會力決策機制和個性化步態控制器,能夠正確實現相互避讓的動態路徑調整,生成的動作步態具有個性化,使不同類別的群體可以表現出對應的速度和行為模式。
圖6 消融實驗結果
圖7 不同類別人群速度分布箱線圖
研究人員還進行了詳細的說明性實驗,驗證框架是否能夠在多種場景中,還原真實的疏散過程,對疏散分析提供幫助。圖8和圖9展示了不同疏散密度和通道寬度下,瓶頸區域踩踏發生的模擬結果。圖10展示了模型對于不同地形條件的疏散模擬能力。
圖8 疏散密度相同但走廊寬度不同的疏散模擬結果
圖9 走廊寬度相同但疏散密度不同的疏散模擬結果
圖10 各種地形中的疏散模擬結果
總結
論文提出了一種新的人群疏散模擬框架,能夠實現在線決策、交互合理、動態感知、行為個性化的人群運動模擬。
此外,研究人員還設計了部位級的力感知和可視化,增強了疏散分析。實驗證明,該方法可以實時模擬疏散過程中,具有不同屬性個體的個性化準確和物理合理的疏散動態,產生的逃生動作和交互優于現有方法。
通過此框架可以測試疏散場景中觀察到的多種現象,為人群疏散和公共安全提供新的技術手段。同時,該框架也具備通用性和擴展性,可以模擬一般的人群運動,如行人。
參考資料:
[1]Andrei Khilkevich, Michael Lohse, Ryan Low, Ivana Orsolic, Tadej Bozic, Paige Windmill, and Thomas D Mrsic Flogel. Brain-wide dynamics linking sensation to action during decision-making. Nature, pages 1–11, 2024. 1
[2]Davis Rempe, Zhengyi Luo, Xue Bin Peng, Ye Yuan, Kris Kitani, Karsten Kreis, Sanja Fidler, and Or Litany. Trace and Pace: Controllable pedestrian animation via guided trajectory diffusion. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 13756-13766, 2023. 1, 2, 3, 4, 7
[3]Dirk Helbing and Peter Molnar. Social force model for pedestrian dynamics. Physical review E, 51(5):4282, 1995. 2, 3, 4
[4]Ian Mason, Sebastian Starke, and Taku Komura. Real-time style modelling of human locomotion via feature-wise trans formations and local motion phases. Proceedings of the ACM on Computer Graphics and Interactive Techniques, 5(1):1–18, 2022. 4, 5
[5]Donald A. Neumann. Kinesiology of the musculoskeletal system: foundations for physical rehabilitation. 2002. 4
[6]Rui Chen, Mingyi Shi, Shaoli Huang, Ping Tan, Taku Komura, and Xuelin Chen. Taming diffusion probabilistic models for character control. In ACM SIGGRAPH 2024 Conference Papers, pages 1–10, 2024. 3, 5
[7]Yiming Xie, Varun Jampani, Lei Zhong, Deqing Sun, and Huaizu Jiang. Omnicontrol: Control any joint at any time for human motion generation. arXiv preprint arXiv:2310.08580, 2023. 1, 2, 3, 5
[8]Chen Tessler, Yunrong Guo, Ofir Nabati, Gal Chechik, and Xue Bin Peng. Maskedmimic: Unified physics-based character control through masked motion inpainting. ACM Transactions on Graphics (TOG), 43(6):1–21, 2024. 1, 2, 5
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.