無論是AI生成還是傳統制作,隨著3D內容創作飛速發展,業內對于自動化角色綁定工具的需求也越來越大。
目前,傳統的手工綁定仍然是動畫流程中依賴專業知識且十分耗時的瓶頸環節。盡管骨骼動畫長期以來都是3D動畫的核心技術之一,但傳統的綁定技術通常需要專業知識為基石,并且完成一個模型的綁定通常需要耗費數小時甚至更多的時間。
深度學習的發展,催生了自動綁定方法,大幅加速了這一流程。現有的自動綁定方法大致可以分為兩類:基于模板的綁定和無模板的綁定。
然而,前者僅適用于特定的骨架結構,在處理與模板不符的模型時表現較差;后者雖然提供了更大靈活性,但生成結果常常不夠穩定,甚至可能生成拓撲結構不合理的骨骼,且運動重定向困難。
另外一類探索無骨骼的網格變形方法,雖然提供了新的可能性,但通常嚴重依賴已有的動作數據,難以泛化到新動作,且與行業內互留的骨骼動畫管線兼容性差。
盡管在不斷迭代進步,當前的自動綁定技術仍難以滿足日益增長的多樣化3D模型綁定需求。于是踩在這個時間點上,一款面向多樣化3D模型的綁骨黑科技UniRig,應運而生了。
針對現有的技術局限性,UniRig團隊提出了一種全新的,基于自回歸模型與骨點交叉注意力機制 (Bone-Point Cross Attention) 的統一框架,將兩個學習模型高效整合為單一流程,用于對各種3D模型進行自動綁定。
UniRig利用自回歸模型擅長捕捉序列依賴關系、并能生成結構化輸出的強大能力,按“拓撲排序”生成骨骼樹,確保結構合理、層次清晰。而這一切得益于團隊提出的一種新型骨骼樹標記化方法 (Skeleton Tree Tokenization),能夠高效地將骨架的層級結構編碼為一串標記(tokens),明確表達骨骼樹中的父子關系,指導模型生成合理輸出。
此外,標記化方案還包含彈簧骨、模板骨等特定類型信息,支持運動重定向等下游任務。同時,UniRig還引入了一種骨骼-點交叉注意力機制(Bone-Point Cross Attention),精準預測蒙皮權重,捕捉生成的骨骼與輸入網格之間的復雜關系。
為了訓練UniRig,團隊整理了一個名為Rig-XL的全新大規模數據集,包含超過14,000個具有多樣骨架結構和對應蒙皮權重的3D模型;同時利用VRoid數據集(一組動漫風格角色),來進一步優化模型對細節豐富的角色模型的處理能力。
數據集
1.VRoid數據集整理為了推動精細且富有表現力的骨骼綁定方法發展,特別是針對類人角色模型,團隊從VRoidHub中精選了2,061個動漫風格3D模型。 首先根據骨骼數量對VRoidHub上的模型進行了刪選,隨后通過人工挑選進一步優化數據質量,確保骨骼結構的一致性,剔除骨骼綁定不完整或定義不規范的模型,構建了名為VRoid的高質量數據集。 VRoid數據集中的模型均采用VRW格式(專為虛擬現實應用中的3D虛擬角色設計的標準化文件格式),其標準化的類人骨骼定義與廣泛使用的Mixamo骨骼系統兼容;同時支持特殊骨骼類型彈簧骨,通過在VRoid數據集中引入彈簧骨,UniRig模型能夠學習生成支持這類動態效果的骨骼綁定方案,從而創造出更生動、更富有表現力的動畫效果。
有無彈簧骨骼的模型動畫對比:左邊使用彈簧骨骼,頭發和裙子更加自然流暢;右邊未使用,導致整體顯得僵硬、不真實。2. Rig-XL數據集整理
為了訓練出一個真正有泛化能力的自動骨骼綁定模型,必須依賴包含豐富骨骼結構和完整蒙皮權重的大規模數據集。為此,團隊基于Objaverse-XL數據集,構建了一個全新的Rig-XL數據集。
雖然Objaverse-XL資源豐富,但其主要內容為靜態物體,缺乏統一骨骼結構和蒙皮權重信息。為此團隊通過經驗規則與視覺語言模型VLMs,對數據進行了預處理:僅保留骨骼數量在10,256范圍內的3D資產,確保每個資產具有單一、連通的骨骼樹,提出了過于簡單/復雜的模型以及多物體場景,保證了骨骼結構的完整性;在統一的紋理和光照條件下渲染每個模型,通過計算渲染圖像的感知哈希值去重,然后使用ChatGPT-4o為每個模型生成描述性標簽,將其分為8類。
在完成人工驗證與修正,經過嚴格預處理后,Rig-XL數據集最終包含14,611個獨特的3D模型,每個模型都具有良好的骨骼結構和完整的蒙皮權重。
骨骼數量分布特征
自回歸骨骼樹生成
給3D模型“裝骨骼”是一大挑戰,由于關節間存在復雜的相互依賴關系,既要符合模型的幾何特征,又要遵循合理的拓撲結構。
與依賴固定模版或在處理多樣化拓撲結構時表現不佳的傳統方法不同,UniRig提出了一種自回歸方法,能夠按順序生成骨骼樹,每個關節的生成都是基于之前已經確定的關節位置來實現,既保證骨骼結構的合理性,又能適應各種復雜形狀。
骨骼樹標記化方法
在使用自回歸模型預測骨骼樹結構時,核心挑戰是如何將骨骼的層級結構轉換成適合 Transformer模型的序列格式。這需要同時編碼每根骨骼的空間坐標和骨骼間的層級關系。最簡單的方法是按照深度優先或廣度優先順序簡單地鏈接各骨骼坐標,然而這種方法會導致難以實施結構約束、產生冗余標記以及訓練和推理效率低下等問題。
為了解決上述問題,團隊提出了一種新穎的骨骼樹標記化方法,受到近期3D生成模型進展啟發,將標準化后的連續骨骼坐標離散化,并采用特殊標記表示不同類型的骨骼結構;對于非模板骨骼,則使用DFS算法提取線性骨鏈,標記新分支,確保結構清晰有序。
基于骨點交叉注意力的蒙皮權重測試
在完成骨骼樹預測后,下一步就是要重點解決蒙皮權重(skinning weights)與骨骼屬性(bone attributes)的預測問題。
為此,團隊提出了一種創新的預測框架,利用骨點交叉注意力機制,高效地建模預測骨骼與輸入網格之間的復雜關系?;陬A訓練的Point Transformer V3提取網格特征,通過骨點交叉注意力機制建模頂點-骨骼關聯。創新性地引入:
1.骨骼等效訓練策略:隨機凍結骨骼子集并標準化損失權重,解決稀疏區域訓練不平衡問題。
2.物理模擬監督:通過Verlet積分模擬彈簧骨骼動力學,以運動重建損失優化權重預測。
實驗表明,這一方法能夠高效、準確地預測大規模皮膚權重矩陣,并生成符合物理規律的動畫效果,尤其提升了如頭發、手指等稀疏影響區域的表現。
應用場景
1.人工輔助自動綁定相比以往的自動綁定技術,UniRig的核心優勢在于支持人機交互式調整。用戶可以直接編輯預測生成的骨骼樹,出發局部重新生成,快速修正錯誤或定制化需求。 編輯后的骨骼樹可重新輸入UniRig流程,生成優化后的綁定方案。
用戶可以添加新分支或刪除冗余結構
2.角色動畫制作
得益于在VRoid和Rig-XL數據集上訓練的彈簧骨參數預測能力,UniRig尤其適合用于創建動畫角色。
可以從簡單的網格輸入中生成兼容VRM格式的模型,讓用戶能夠輕松地將創作導出到Unity、UE等主流動畫平臺;彈簧骨物理系統可生成流暢自然的運動效果,特別適合于需要表情與肢體同步的應用場景。
UniRig作為基于統一學習框架的3D模型自動綁定系統,在骨骼預測和蒙皮權重預測方面取得了最先進成果;依托于兩大數據集,訓練出的模型能夠處理各種對象類別和骨骼結構。
盡管UniRig具有諸多優勢,但仍存在一定的局限性。
與其他基于學習的方法一樣,UniRig本質上依賴于訓練數據的質量和多樣性。因此,當遇到與訓練數據差異顯著的對象時,UniRig的表現可能會受到影響。
未來團隊可能會探索使用不同模態作為綁定過程的輸入,或引入更復雜的物理模擬技術增強生成動畫的真實性。
這么看來還是挺值得期待的。好了,今天的分享到這里就告一段落,想要了解更多的小伙伴可以點擊閱讀原文,查看完整論文內容,咱們下期再見啦~
THE
CG
世界
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.