始智AI wisemodel.cn開源社區

始智AI wisemodel.cn社區是源自中國的中立開放的AI開源社區。正在，歡迎加入共同成長。wisemodel社區上線，H800/H20等資源上線，價格實惠，靈活方便，支持在線微調訓練模型，及和，并。

在人工智能與動作生成技術深度融合的當下，動作生成領域始終在追求更具通用性和高精度的模型。在此背景下，首個支持多種動作生成任務的動作大模型Large Motion Model (LMM)誕生了。

LMM的獨特之處在于，它能夠支持多種類型的控制信號，并以此生成統一協調的3D動作。從數據設施搭建、模型結構設計，到訓練策略制定，全方位攻克了邁向動作大模型之路上的重重挑戰，使得LMM在多個主流動作生成任務中，達到與單一專家模型相近甚至更高的精度水平。LMM 模型和代碼已經上線始智AI-wisemodel開源社區，歡迎下載和使用。

模型和代碼地址

https://www.wisemodel.cn/codes/Mingyuan/LMM

https://www.wisemodel.cn/models/Mingyuan/LMM_pretrained

01.

背景介紹

隨著生成技術和 3D 視覺技術的發展，動作生成技術在近幾年受到了很多研究者的關注。動作生成任務的輸出往往是可以驅動 3D 人物模型的控制序列，一般以 3D 關鍵點序列、骨骼旋轉角序列為主。其控制信號的類型各異，從而衍生出了不同的動作生成任務。

例如文本驅動動作生成任務，音樂驅動舞蹈生成，動作預測任務等。這些任務具有相似的輸出類型，但是有著不同的控制信號。這啟發著我們構建統一的動作生成大模型是一個很有吸引力的技術方向，也是很有希望達成的目標。然而在通往這個技術目標的路上有三個重要的挑戰：

1、數據設施：現有數據集往往只有單一控制信號，并且這些在學術界公開的數據往往規模都很小。更嚴峻的是，不同數據集對動作數據的刻畫方法是不一樣的，這意味著我們很難同時在不同數據集上進行訓練。

2、結構設計：我們需要設計一個能夠支持多種不同模態信號的統一生成框架，其中多模態的對齊，以及對于不同動作數據格式的支持都是結構設計部分繞不開的難題。

3、訓練策略：如何讓模型在不同幀率、不同數據格式上能夠學到統一通用的動作先驗，并且將其在各個子任務上充分地發揮出來，是構建高效動作大模型的重要課題。

本文依次提出了這三個挑戰的解決方案，從而構建了首個統一多模態的動作生成大模型 LMM。

02.

數據設施

我們首先構建了一個數據基礎設施 MotionVerse，用于支持后續多模態動作大模型的訓練。我們依次解決了不同生成任務形式的統一，和不同數據格式的統一。

為了統一這些任務的輸入形式，我們提出一種通用的描述形式。每個生成任務的控制信號都是由條件特征，和輸入掩碼構成。條件特征可以是文本、音樂、語音、視頻、動作類別等，對應不同的命令類型。

輸入掩碼描述了哪些部分的動作序列是給定的。例如動作預測是給定前面一些幀，動作中間補全則是給定前面和后面的一些動作數據要求補全中間的內容。

通過這種格式，我們可以將不同類型的任務以統一的形式存儲下來。表 1 左邊展示了不同主流動作生成任務在統一格式下的具體形式，右邊展示了 MotionVerse 的數據構成。

表1：統一任務框架和MotionVerse 的數據構成

圖1：MotionVerse的數據處理流程

針對動作數據格式不一致的問題，我們設計了如圖2 所示的管線。我們以 SMPL-X[1] 的骨骼標注為標準，將不同數據的關鍵點格式變成 SMPL-X 的格式，并在之后進一步處理成 TOMATO[2] 動作表征。

然而這里還有一個挑戰是，不同數據集的關鍵點標注可能會有很大程度的缺失。例如 TED Gesture++ 數據沒有下半身、手部動作等。

為了解決這個問題，我們將人體數據劃分成十個部分，并對整體缺失的部分進行標注，要求后續模型在訓練時能夠知道哪些身體部位是缺失的。

對于條件特征，我們使用 ImageBind[3] 模型來將所有類型的條件轉換成統一的特征序列，從而可以將這些控制信號盡量先映射到相同的特征空間下，有利于模型后續的學習。

03.

結構設計

模型結構設計部分我們以 FineMoGen[4] 為基礎，其中生成算法采用了擴散模型，并且以 Transformer為模型底座。我們對里面的注意力模塊進行了進一步升級，提出了新的 ArtAttention，用于支持多模態輸入和針對數據有缺失情況的支持。

圖2：ArtAttention 網絡結構

整體的注意力結構也是分成了兩支：空間注意力和時間注意力。在空間注意力的部分，我們模型能夠利用不同身體部位的特征進行相互之間的優化，讓身體各個部位更加協調。

時間注意力部分我們升級了 FineMoGen 里的建模方案，引入真實世界的時間，用于針對不同幀率的動作數據學出更統一的動作先驗。

04.

訓練策略

圖3：訓練策略與推理策略

我們的訓練過程分為兩個階段。在預訓練階段中，我們去掉所有條件特征，讓模型關注于動作先驗的提取。我們也引入了數據增強策略，包括對動作序列幀率的降采樣和對不同時刻、不同部位的隨機掩碼。在這樣的增強策略下，之前有缺失的動作數據也能夠更好地融入整個學習過程。

在第二個微調階段，我們讓模型接受條件特征，從中學會條件特征與動作特征的映射關系。測試時，我們給定多種不同的條件特征，以及針對動作預測、動作中間補全等任務的上下文條件，從而實現對各種動作生成任務的支持。

05.

未來計劃

我們在九個數據集上評估了LMM 的效果，本文展示其中的一部分。實驗結果（表2、3）展示LMM 框架在各個任務上都能達到很出色的效果。

表 2. 不同方法在HumanML3D 測試集上的表現

表 3. 不同方法在AMASS-BMLrub 和 3DPW 測試集上的表現

圖4：多條件動作生成

圖5：更多可視化例子

圖6：3D 動作生成引導視頻生成

我們所構建的多模態動作生成大模型也促進了更多的動作生成任務應用形式。如圖 5 所示，我們可以在傳統動作預測，動作補全中我們也可以額外指定文本描述，從而定制化動作預測、動作補全的結果。

此外，我們也可以將文本描述與音頻結合起來，讓數字人隨著音樂的律動來完成給定的文本描述（圖 6）。另一種應用的方向是結合現在人物視頻生成的范式。用戶可以先利用我們的動作生成大模型來定制化自己想要的人物動作，在用相機參數投影后用于引導 2D 視頻生成，從而提升人物視頻生成的可控性。

----- END -----

wisemodel相關：

系統升級：

系列模型：

關于wisemodel更多

1

歡迎持續關注和支持

開源社區建設需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻和維護，歡迎大家加入wisemodel開源社區的志愿者計劃和開源共創計劃。期待更多開發者將開源成果，包括模型、數據集和代碼等發布到 wisemodel.cn 社區，共建中立、開放的AI開源社區生態。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續關注wisemodel.cn開源社區動態。

2

歡迎加盟wisemodel開源社區

始智AI wisemodel社區自2023年9月上線以來，逐漸成為影響力日益擴大的中立開放的AI開源社區，為了加快公司發展，我們長期需要技術、運營等人才加盟，技術側重在AI infra、后端開發，熟悉K8S、模型訓練和推理等技術， 以及熟悉開發者生態運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優質內容

歡迎投稿分享人工智能領域相關的優秀研究成果，鼓勵高校實驗室、大企業研究團隊、個人等，在wisemodel平臺上分享各類優質內容，可以是AI領域最新論文解讀、最新開源成果介紹，也可以是關于AI技術實踐、應用和總結等。投稿可以發郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關于wisemodel開源社區

始智AI wisemodel.cn開源社區由清華校友總會AI大數據專委會副秘書長劉道全創立，旨在打造和建設中立開放的AI開源創新社區，將打造成“HuggingFace”之外最活躍的AI開源社區，匯聚主要AI開源模型、數據集和代碼等，歡迎高校科研院所、大型互聯網公司、創新創業企業、廣大個人開發者，以及政府部門、學會協會、聯盟、基金會等，還有投資機構、科技媒體等，共同參與建設AI開源創新生態。

向上滑動查看