始智AI wisemodel.cn開源社區(qū)

始智AI wisemodel.cn社區(qū)是源自中國的中立開放的AI開源社區(qū)。正在，歡迎加入共同成長。wisemodel社區(qū)上線，最新上線4090資源不限量，價格實惠，靈活方便，支持在線微調(diào)訓練模型，及和，并。

擴散模型近年來在圖像和視頻生成方面取得了顯著成功，極大地激發(fā)了圖像動畫領(lǐng)域的研究。尤其是人像圖像動畫利用生成模型根據(jù)一系列姿態(tài)序列動畫化參考圖像，從而合成可控的人體動畫視頻，這在娛樂內(nèi)容創(chuàng)作和虛擬現(xiàn)實體驗等應(yīng)用中具有廣泛前景，具體應(yīng)用場景包括：

（1）娛樂與影視：幫助動畫師輕松制作高質(zhì)量虛擬角色動畫，顯著提升工作效率。

（2）游戲與元宇宙：為游戲角色和虛擬形象提供逼真的動作生成，讓玩家體驗更沉浸。

（3）個性化內(nèi)容創(chuàng)作：為短視頻創(chuàng)作者、數(shù)字藝術(shù)家提供新的創(chuàng)意工具，實現(xiàn)精準的動態(tài)形象設(shè)計。

人像動畫生成的核心在于：在參考圖像的基礎(chǔ)上，根據(jù)輸入的動作序列生成動態(tài)視頻，同時保持人物的身份信息（尤其是面部特征）。然而，現(xiàn)有方法在復雜動作變化場景下，常出現(xiàn)以下問題：

（1）身份（ID）一致性差。面部區(qū)域容易因動作變化出現(xiàn)失真。

（2）視頻質(zhì)量下降。最新的人像圖像動畫生成模型（MimicMotion和ControlneXt）依賴于第三方換臉工具（FaceFusion）對生成的視頻進行后處理，導致視頻整體質(zhì)量下降。

（3）空間與時序建模沖突。即使當前有很多針對ID一致性的圖片生成模型，但是將這些來自圖像生成的模型直接插入到視頻生成模型中容易導致空間與時序建模沖突。

根本原因是現(xiàn)有視頻擴散模型在加入時間建模層后，空間特征的分布發(fā)生變化，而這些ID一致性的圖片生成模型依賴于穩(wěn)定的空間特征分布，時序建模導致的空間特征分布擾動會影響圖片生成模型的性能急劇下降，從而造成ID保留與視頻保真度之間的沖突。

研究團隊提出StableAnimator框架 解決上述問題， 以實現(xiàn)高質(zhì)量和高保真的ID一致性人類視頻生成，目前 已 上線始智AI-wisemodel開源社區(qū)，歡迎體驗。

模型地址

https://wisemodel.cn/models/StableAnimator/StableAnimator

01.

核心技術(shù)點簡介

StableAnimator 基于先前工作的常用骨干模型 Stable Video Diffusion (SVD) 構(gòu)建。用戶輸入的參考圖像通過擴散模型經(jīng)過三條路徑處理：

（1）通過凍結(jié)的VAE編碼器轉(zhuǎn)換為潛變量特征，潛變量特征被復制以匹配視頻幀數(shù)，并與主要潛變量進行拼接。

（2）通過CLIP圖像編碼器編碼以獲得圖像嵌入，這些嵌入分別輸入到去噪 U-Net 的每個交叉注意力塊和StableAnimator的面部編碼器中，用于調(diào)控生成的外觀。

（3）輸入到ArcFace以獲得面部嵌入，ArcFace是一種人臉特征提取模型，這些嵌入隨后通過StableAnimator的面部編碼器進一步優(yōu)化以實現(xiàn)更高的對齊度。優(yōu)化后的面部嵌入隨后被輸入到去噪 U-Net 中。PoseNet 類似于AnimateAnyone中的結(jié)構(gòu)，負責提取姿態(tài)序列的特征，這些特征隨后被添加到噪聲潛變量特征中。

在推理階段，StableAnimator將原始輸入視頻幀替換為隨機噪聲，同時保持其他輸入不變。StableAnimator引入了一種新穎的基于 Hamilton-Jacobi-Bellman（HJB）方程的面部優(yōu)化方法，用于提升身份一致性并徹底擺脫對第三方后處理工具的依賴。

該方法將 HJB 方程的求解過程整合到去噪過程中，HJB 方程的最優(yōu)解會更新U-Net中的潛變量特征，迫使它在去噪過程中往能實現(xiàn)更高的ID一致性的方向進行分布移動。

StableAnimator具有三個核心技術(shù)點：

（1）全局內(nèi)容感知面部編碼（Global Content-aware Face Encoder）：引入一種新型的面部編碼器，使面部嵌入特征與圖像整體布局進行深度交互，面部特征通過多層交叉注意力模塊，與參考圖像的全局上下文特征對齊，有效減少與身份無關(guān)的背景噪聲，提升面部建模質(zhì)量。

（2）分布感知的身份適配器（Distribution-aware ID Adapter）：針對擴散模型時序?qū)訉臻g特征分布的擾動，提出一種分布對齊策略。

通過計算面部特征和圖像特征的均值與方差，確保兩者在每個去噪步驟中逐步對齊，從而避免特征失真，適配器的設(shè)計允許面部特征與時序?qū)拥臒o縫結(jié)合，同時不損失視頻的整體保真度。

（3）基于Hamilton-Jacobi-Bellman (HJB) 方程的面部優(yōu)化：該優(yōu)化過程只在模型推理階段觸發(fā)，并且不會訓練更新U-Net的任何模塊。

StableAnimator將HJB優(yōu)化方程引入擴散模型的推理過程中，以增強面部質(zhì)量，HJB方程通過動態(tài)系統(tǒng)中的最優(yōu)變量選擇原則，將面部特征優(yōu)化與去噪過程并行進行，優(yōu)化后的變量能夠約束去噪路徑，引導模型生成與參考圖像一致的身份特征，顯著減少細節(jié)失真。

生成結(jié)果示例：

02.

實驗對比分析

1、與SOTA方法的定性對比實驗

Disco、MagicAnimate、AnimateAnyone和Champ在面部/身體變形以及服裝變化方面存在明顯問題，而Unianimate準確地修改了參考圖像的動作，MimicMotion和ControlNeXt有效保留了服裝細節(jié)。然而，所有對比的模型均難以保持參考圖像的身份一致性。

相比之下，我們的StableAnimator能夠基于給定的姿勢序列精確地動畫化圖像，同時保持參考身份信息的完整性，突顯了我們模型在身份保持和生成精確、生動動畫方面的優(yōu)勢。

2、與SOTA方法的定量對比實驗

StableAnimator與當前的SOTA人像圖像動畫模型在TikTok數(shù)據(jù)集和Unseen100數(shù)據(jù)集進行定量對比，其中Unseen100數(shù)據(jù)集是作者額外在主流視頻網(wǎng)站收集的100個視頻，相比于以前的主流數(shù)據(jù)集TikTok數(shù)據(jù)集，Unseen100數(shù)據(jù)集含相對復雜的動作信息以及精細的主體外觀。

此外，Unseen100 數(shù)據(jù)集中的一些視頻中，位置和面部表情動態(tài)變化，例如搖頭動作，使得保持身份一致性更具挑戰(zhàn)性。值得注意的是所有模型均在StableAnimator的訓練集上訓練后再對Unseen100進行評估，以確保公平性。

對比實驗結(jié)果如上表所示，CSIM衡量兩個圖像的面部嵌入的余弦相似度，可以發(fā)現(xiàn)StableAnimator在面部質(zhì)量（CSIM）和視頻保真度（FVD）方面均超過了所有對比模型，同時保持了較高的單幀質(zhì)量。

具體而言，StableAnimator相比于最領(lǐng)先的對比模型Unianimate，在兩個數(shù)據(jù)集上的CSIM分別提高了36.9%和45.8%，而未犧牲視頻保真度和單幀質(zhì)量。

3、與SOTA方法在長視頻生成的對比實驗

基于上述對比實驗結(jié)果，StableAnimator相比于以前的SOTA方法可以生成更加高質(zhì)量逼真的ID一致視頻，StableAnimator在娛樂內(nèi)容創(chuàng)作和虛擬現(xiàn)實體驗方面可以給用戶帶來全新的高保真的人類形象動畫體驗。

編輯丨趙雅鑫

----- END -----

wisemodel相關(guān)：

系統(tǒng)升級：

大賽報名：

系列模型：

關(guān)于wisemodel更多

1

歡迎持續(xù)關(guān)注和支持

開源社區(qū)建設(shè)需要長期堅持和投入，更需要廣大用戶的積極參與、貢獻和維護，歡迎大家加入wisemodel開源社區(qū)的志愿者計劃和開源共創(chuàng)計劃。期待更多開發(fā)者將開源成果，包括模型、數(shù)據(jù)集和代碼等發(fā)布到 wisemodel.cn 社區(qū)，共建中立、開放的AI開源社區(qū)生態(tài)。歡迎掃碼添加wisemodel微信，申請加入wisemodel社群，持續(xù)關(guān)注wisemodel.cn開源社區(qū)動態(tài)。

2

歡迎加盟wisemodel開源社區(qū)

始智AI wisemodel社區(qū)自2023年9月上線以來，逐漸成為影響力日益擴大的中立開放的AI開源社區(qū)，為了加快公司發(fā)展，我們長期需要技術(shù)、運營等人才加盟，技術(shù)側(cè)重在AI infra、后端開發(fā)，熟悉K8S、模型訓練和推理等技術(shù)， 以及熟悉開發(fā)者生態(tài)運營的成員，歡迎感興趣的朋友加盟，可以通過添加wisemodel微信，或者將簡歷投遞到郵箱：liudaoquan@wisemodel.cn

3

歡迎投稿優(yōu)質(zhì)內(nèi)容

歡迎投稿分享人工智能領(lǐng)域相關(guān)的優(yōu)秀研究成果，鼓勵高校實驗室、大企業(yè)研究團隊、個人等，在wisemodel平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是AI領(lǐng)域最新論文解讀、最新開源成果介紹，也可以是關(guān)于AI技術(shù)實踐、應(yīng)用和總結(jié)等。投稿可以發(fā)郵件到liudaoquan@wisemodel.cn，也可以掃碼添加wisemodel微信。

4

關(guān)于wisemodel開源社區(qū)

始智AI wisemodel.cn開源社區(qū)由清華校友總會AI大數(shù)據(jù)專委會副秘書長劉道全創(chuàng)立，旨在打造和建設(shè)中立開放的AI開源創(chuàng)新社區(qū)，將打造成“HuggingFace”之外最活躍的AI開源社區(qū)，匯聚主要AI開源模型、數(shù)據(jù)集和代碼等，歡迎高校科研院所、大型互聯(lián)網(wǎng)公司、創(chuàng)新創(chuàng)業(yè)企業(yè)、廣大個人開發(fā)者，以及政府部門、學會協(xié)會、聯(lián)盟、基金會等，還有投資機構(gòu)、科技媒體等，共同參與建設(shè)AI開源創(chuàng)新生態(tài)。

向上滑動查看