MultiGO團隊 投稿量子位 | 公眾號 QbitAI

從人體單圖變身高保真3D模型，不知道傷害了多少程序猿頭發的行業難題，竟然被港科廣團隊一招破解了！

團隊最新提出的MultiGO創新方案，借助分層建模思路——將人體分解為不同精度層級，從基礎體型到衣物褶皺逐級細化。

這有點像在搭樂高積木：先大模塊構建整體輪廓，再用小零件補充細節，最后再處理材質紋理。

相關研究成果目前已入選CVPR 2025，項目代碼也在加緊開源的路上。

更多詳情，讓我們接著繼續看～

技術改進路在何方？

傳統方法的瓶頸

基于單目圖像的三維人體重建存在固有深度歧義性，現有方法通常依賴SMPL-X等人體輪廓的預訓練模板提供幾何先驗，但依然難以捕捉細節特征和特定解剖學結構。

這些方法往往聚焦于人體整體幾何建模，而忽視了多層次結構（如骨骼、關節，以及手指、面部等部位的細密皺紋）。這種過度簡化的建模方式導致骨骼重建不準確、關節位置偏差，以及衣物皺紋等細節模糊不清。

MultiGO創新框架

該研究提出三級幾何學習框架實現突破：

1. 骨架增強模塊：通過將3D傅里葉特征投影到2D空間，結合SMPL-X人體網格作為幾何先驗，增強人體骨架建模。傅里葉空間位置編碼提升了3D模型與2D圖像的語義對齊能力。
2. 關節增強策略：在訓練時對關節點位置施加擾動，提升模型對深度估計誤差的魯棒性。通過重點調整影響深度感知的參數，使模型能更好適應實際觀測中的結構偏差。
3. 皺紋優化模塊：采用類似擴散模型去噪的方法，將表面皺紋視為可優化的噪聲模式。從粗糙的人體網格中，恢復出更精細化的高頻細節。

MultiGO技術解剖

MultiGO方法的核心在于通過多層次幾何學習框架全面提升單目紋理3D人體重建的質量。該方法基于現有物體高斯重建預訓練模型，針對人體幾何的不同粒度層級（骨骼、關節、皺紋）設計了協同優化的三重機制：

• 骨骼層級：骨架增強模塊通過將3D傅里葉特征投影到輸入圖像一致的2D空間，使高斯重建模型能夠充分融合先驗的人體形態知識，從而精準捕捉人體姿態特征。這種特征投影機制有效解決了單目視角下3D結構信息缺失的問題。

• 關節層級：關節增強策略在訓練階段對真實的SMPL(X)模型的關節參數進行擾動。通過模擬深度不確定性，增強模型對推理過程中關節深度誤差的魯棒性。這種數據增強方式使模型能夠學習更穩定的關節空間關系，避免因深度歧義導致的肢體位置重建不準。

• 微觀幾何細節層面：皺紋優化模塊創新性地借鑒擴散理論思想。該模塊將粗糙網格視為高斯噪聲，而以重建的高質量高斯紋理作為條件輸入，通過類似擴散模型去噪的過程逐步優化皺紋等細微幾何特征。這種紋理引導的細化機制實現了亞毫米級表面細節的生成，彌補了傳統方法在衣物褶皺等高頻細節上的不足。

三個層級模塊并非孤立運作，而是形成從宏觀姿態到微觀特征的遞進式優化鏈條：骨架增強模塊建立的準確骨骼框架為關節定位提供基礎，關節增強策略穩定的關節預測又為皺紋細化創造了低噪聲的幾何環境。整個框架通過端到端訓練實現多層次幾何信號的聯合優化，最終輸出兼具準確拓撲結構和豐富表面細節的高保真3D人體模型。

效果show time

所提出的多層級幾何學習框架在CustomHumanTHuman3.0兩個測試集上實現了最先進的性能表現，在人體幾何重建任務中顯著優于其他現有技術：

在CustomHuman數據集上，倒角距離(CD)提升0.180/0.406，法向一致性(NC)提高0.034，f-score增加6.277；在THuman3.0數據集上，CD指標提升0.355/0.369，NC提高0.047，f-score大幅提升9.861。

這種性能突破源于我們提出的創新性解決方案——通過三級分層建模策略（而非傳統單一層次建模）精細化處理人體幾何特征，從多層次協同優化人體重建效果，從而實現了更精準的幾何細節復原。

多場景應用

MultiGO的分層高斯建模技術通過將人體分解為不同精度層級（從基礎體型到衣物褶皺和材質紋理逐級細化），并利用高斯濺射點作為3D基元實現高效、高保真的單圖重建，使其在虛擬試衣與時尚電商（實時生成可動態調整的3D人體與服裝模型）游戲與元宇宙（快速創建個性化虛擬角色并支持細節編輯）以及影視特效（高精度動態人體重建與后期分層調整）等領域具有突出優勢，尤其適合需要快速生成且對真實感和多尺度細節還原要求高的應用場景。

虛擬試衣與時尚電商

消費者上傳一張全身照片即可生成高保真3D人體模型，系統能自動模擬不同服裝的穿著效果（包括衣物褶皺和材質細節），支持360度查看，提升在線購物體驗。結合分層建模能力，可區分用戶體型（基礎層）與服裝細節（精細層），實現動態布料仿真。

游戲與元宇宙角色生成

通過單張照片快速創建個性化的3D虛擬形象，分層結構支持靈活調整（如更換發型、配飾等）。高斯濺射點的特性可保留皮膚紋理和光影細節，增強虛擬角色的真實感。適用于社交元宇宙、NPC批量生成等場景，顯著降低美術資源生產成本。

影視特效與虛擬制作

在特效制作中，僅需演員的單視角照片即可重建高精度3D模型，用于動作捕捉或替身合成。分層設計允許后期單獨編輯特定層級（如調整肌肉線條或添加傷痕特效）。結合動態高斯濺射點技術，可進一步實現毛發、濕潤皮膚等細微效果的實時渲染。

論文鏈接：https://arxiv.org/pdf/2412.03103
項目鏈接：https://multigohuman.github.io/