2025年5月，騰訊混元團隊發布了一項重要研究成果——"HunyuanCustom: A Multimodal-Driven Architecture for Customized Video Generation"（混元定制：一種多模態驅動的定制化視頻生成架構）。這項研究發表于arXiv預印本平臺（arXiv:2505.04512v2），代表了視頻生成領域的一次重要突破，所有代碼和模型均已在官方網站https://hunyuancustom.github.io上公開。

一、為什么我們需要"定制化"視頻生成？

想象你是一名廣告制作人，急需為新產品拍攝一段廣告片。傳統方式需要花費大量時間和金錢聘請演員、租用攝影棚、購買昂貴的設備。而如今的AI視頻生成技術雖然已經取得了長足進步，卻仍然面臨著一個關鍵問題：如何讓生成的視頻更精準地滿足我們的需求？

這就像是一位廚師，他可以做出美味的菜肴，但卻無法精確控制菜肴的每個細節——比如咸淡、辣度、口感等。現有的視頻生成模型就像這樣的廚師，雖然能制作出視頻，卻難以精確控制視頻中的細節，特別是當你希望視頻中出現特定人物或物體時。

騰訊混元團隊的這項研究正是致力于解決這一難題。他們開發的HunyuanCustom系統，就像是一位能夠根據你的精確要求調整每個細節的大廚，可以根據你提供的圖片、音頻、視頻片段和文字描述，生成一個既符合你要求又保持角色一致性的定制化視頻。

二、HunyuanCustom模型的"魔力"是什么？

HunyuanCustom的核心魔力在于它能夠同時處理多種不同類型的信息，并將它們融合在一起，生成高質量且主體一致的視頻。這有點像一個多才多藝的導演，他能夠同時理解劇本、演員特點、音樂情緒和背景場景，并將它們和諧地融合在一起，拍攝出一部完美的電影。

具體來說，這個"多才多藝的導演"有以下幾個過人之處：

首先，HunyuanCustom能夠通過一種基于LLaVA的文本-圖像融合模塊，實現文字和圖像之間的互動理解。想象一下，當你向一個普通人展示一張貓的照片，并告訴他"制作一個這只貓在海灘上玩耍的視頻"，這個人需要同時理解照片中貓的特征（毛色、體型等）以及文字描述中的場景要求（海灘、玩耍動作）。HunyuanCustom就是通過這個模塊實現類似的理解能力。

其次，研究團隊設計了一個圖像ID增強模塊，它能夠將圖像信息沿著時間軸進行連接，利用視頻模型在時間序列信息傳輸方面的效率，有效加強視頻中ID的一致性。這就好比導演確保整部電影中同一個演員的妝容、服飾和表演風格保持一致，不會突然改變。

第三，為了實現音頻驅動的視頻定制，團隊提出了AudioNet模塊，它通過空間交叉注意力機制實現分層對齊，使生成的視頻能夠與輸入的音頻完美同步。這就像是確保演員的口型和動作與配音完美匹配，使整個表演看起來自然流暢。

最后，對于視頻驅動的視頻定制，HunyuanCustom設計了一個視頻條件注入模塊，通過基于塊分割的特征對齊網絡，集成經過潛在壓縮的條件視頻。這就像是將一段現有的視頻重新演繹，保留其動作和場景，但替換其中的主角或物體。

三、創新性的數據處理：做好"原料"準備

在烹飪中，原料的質量決定了最終菜肴的味道。同樣，在AI模型訓練中，數據的質量也直接影響模型的表現。HunyuanCustom團隊非常重視數據處理，設計了一套嚴格的數據處理流程。

他們的數據來源多種多樣，包括自己收集的數據和開源數據集（如OpenHumanvid）。為了確保數據質量，團隊進行了多重篩選和處理：

首先，他們使用PySceneDetect工具將原始視頻分割成單個鏡頭片段，避免視頻中出現鏡頭轉換，就像廚師會仔細挑選每一種食材，確保沒有任何瑕疵。

接著，他們運用textbpn-plus-plus技術過濾掉含有大量文字的視頻片段，并裁剪含有字幕、水印和標志的視頻，就像廚師會去除食材中不需要的部分，只保留最精華的部分。

考慮到視頻大小和時長的不均勻分布，團隊進行了裁剪和對齊處理，將短邊標準化為512或720像素，視頻長度限制為5秒（129幀），這就像是將食材切成統一大小，以便烹飪時受熱均勻。

為了確保美學質量、運動幅度和場景亮度，團隊使用koala-36M模型進行進一步精細篩選，設定了特定于其數據集的閾值為0.06，就像廚師會對食材進行最后一輪檢查，確保只有最優質的食材才能用于烹飪。

在提取主體方面，團隊設計了專門的算法：對于人物主體，他們使用Qwen7B模型標記視頻中的所有主體并提取其ID，然后采用YOLO11X進行人體分割獲取邊界框，同時使用InsightFace檢測面部位置。對于非人物主體，他們利用QwenVL從視頻中提取主體關鍵詞，并使用GroundingSAM2生成掩碼和邊界框。

對于音頻數據處理，團隊使用LatentSync評估音頻和視頻之間的同步性，丟棄同步置信度低于3分的視頻，并將音視頻偏移調整為零。同時，他們計算hyperIQA質量分數，移除得分低于40的視頻，以確保數據的高質量。

這一系列精心設計的數據處理步驟，就像廚師在烹飪前的詳細準備工作，為后續的模型訓練奠定了堅實基礎。

四、HunyuanCustom如何實現圖像驅動的視頻定制？

圖像驅動的視頻定制是HunyuanCustom的核心功能，就像是根據一張照片將靜態人物"帶入生活"，讓他們在視頻中活動起來。這個過程可以比作一位畫家將靜態的肖像畫轉變為一部生動的動畫電影。

在這個過程中，HunyuanCustom需要解決兩個關鍵問題：一是如何理解圖像中人物或物體的特征和身份信息；二是如何將這些特征保持一致地呈現在生成的視頻中。

為了解決第一個問題，HunyuanCustom采用了基于LLaVA的文本-圖像交互模塊。這個模塊就像是一個能同時理解視覺和語言的翻譯官，可以將圖像中的視覺信息與文本描述進行有效融合。

具體來說，當給定一段文本輸入T和一個圖像輸入I（圖像對應文本中的某個描述詞TI），HunyuanCustom設計了一個模板來促進文本和圖像之間的交互。研究團隊探索了兩種模板：一種是圖像嵌入模板，將文本中的描述詞TI替換為圖像標記（例如，對于文本提示"A man is playing guitar"，如果我們輸入"man"的身份圖像，結果模板就是"A is playing guitar"）；另一種是圖像附加模板，通過添加身份提示"The TI looks like "將圖像標記放在文本提示之后（例如，對于文本提示"A man is playing guitar"，結果模板是"A man is playing guitar. The man looks like "）。

處理后，圖像標記被LLaVA提取的24×24圖像隱藏特征所替代。由于圖像特征標記明顯長于文本特征標記，為了防止圖像特征過度影響文本理解，研究團隊在文本提示和圖像提示之間插入了一個特殊標記

，這有助于LLaVA模型保留文本提示中的信息，同時建立起文本提示和圖像身份之間的聯系。

然而，LLaVA模型作為多模態理解框架，主要捕捉文本和圖像之間的相關性，提取類別、顏色和形狀等高級語義信息，往往忽略文本和紋理等更細微的細節。在視頻定制中，身份很大程度上由這些圖像細節決定，因此僅依靠LLaVA分支不足以保持身份一致性。

為了解決這個問題，研究團隊提出了一個身份增強模塊。通過將視頻潛在表示與目標圖像沿時間軸連接，并利用視頻模型在時間維度上高效的信息傳輸能力，可以有效增強視頻的身份一致性。

具體來說，他們首先將圖像調整為與視頻幀大小相匹配，然后使用預訓練的因果3DVAE將圖像I從圖像空間映射到潛在空間。有了圖像潛在表示zI和噪聲視頻潛在表示zt，他們沿第一個序列維度連接它們，得到一個新的潛在表示z = {zI, zt}。利用預訓練的Hunyuan視頻在時間序列建模方面的強大先驗，身份可以沿著時間軸高效傳播。

對于多主體定制，HunyuanCustom基于訓練好的單主體定制模型，進一步微調以適應多主體定制任務。當有多個條件圖像{I1, I2, ..., Im}，每個圖像都有對應的文本描述{TI,1, TI,2, ..., TI,m}時，對于每個圖像，它們會被模板化為"the TI,k looks like "，并使用LLaVA模型建模文本-圖像相關性。此外，為了增強圖像身份，所有圖像都被編碼到潛在空間以獲得圖像潛在表示{zI,1, zI,2, ..., zI,m}，然后與視頻潛在表示連接。為了區分不同的身份圖像，第k個圖像被分配一個時間索引-k，這與3D-RoPE相關聯。

通過這種方法，HunyuanCustom能夠生成既符合文本描述又保持圖像身份一致性的視頻，就像是一位能夠根據照片和劇本精確還原人物特征和故事情節的導演。

五、多模態視頻生成：音頻與視頻的魔力融合

除了基于圖像的視頻定制外，HunyuanCustom還可以接受音頻和視頻作為輸入條件，實現更豐富的創作可能性。這就像是一位不僅能看懂劇本和照片，還能根據音樂和視頻片段創作的全能導演。

在音頻驅動的視頻定制方面，傳統的音頻驅動人類動畫方法通常使用人物圖像和音頻作為輸入，使圖像中的角色說出相應的語音。然而，這種圖像到視頻的范式會導致生成的視頻中人物的姿勢、服裝和環境與輸入圖像保持一致，限制了在不同姿勢、服裝和環境中生成目標角色視頻的能力。

HunyuanCustom通過有效捕捉和維護角色身份信息，進一步整合音頻輸入，實現了更靈活和可控的語音驅動數字人生成。具體來說，給定一個人物圖像、一段文本提示和相應的音頻，系統可以生成一個視頻，其中角色在文本描述的場景中與音頻同步說話、演奏或唱歌。

為了有效解耦音頻信號和身份信息，HunyuanCustom提出了身份解耦AudioNet。考慮到身份信息主要通過文本模態（通過LLaVA）和沿潛在時間維度的標記連接注入，AudioNet采用了一種替代條件機制，避免與身份線索糾纏。

具體而言，給定一個f'幀的音視頻序列，首先為每個音頻幀提取音頻特征，得到大小為f'×4×c的張量，其中4表示每個音頻幀的標記數量。由于視頻潛在表示通過VAE在時間上被壓縮為f幀（f = ?f'/4? + 1，其中1對應未壓縮的初始幀，4是時間壓縮率），包含身份圖像的ID增強視頻潛在表示包含f+1幀。為了在時間上對齊音頻特征與壓縮的視頻潛在表示，首先在初始幀之前填充音頻特征以匹配(f+1)×4幀，然后將每4個連續的音頻幀聚合為單個幀，形成一個在時間上與視頻潛在表示對齊的新音頻特征張量fA。

有了時間對齊的音頻特征fA，HunyuanCustom使用交叉注意力模塊將音頻信息注入視頻潛在表示zt。為了防止不同幀的音頻和視頻之間的幀間干擾，它采用了一種空間交叉注意力機制，在逐幀的基礎上執行音頻注入。

在視頻驅動的視頻定制方面，視頻編輯是一項基本任務，通常涉及修改視頻中主體的外觀和動作。HunyuanCustom利用其強大的主體一致性，支持主體級編輯，如替換和插入。

視頻包含豐富的時空信息，這在有效內容提取和高效集成到生成模型方面都帶來了挑戰。現有方法，如VACE，通過適配器模塊注入視頻條件，這會使計算成本加倍，嚴重限制效率。其他方法將條件視頻和生成視頻的潛在表示沿時間軸連接，導致序列長度加倍，注意力計算呈二次增長。

為克服這些限制，HunyuanCustom采用了更高效的視頻條件注入策略，解耦視頻信息與圖像和音頻模態。具體而言，它首先使用預訓練的因果3D-VAE壓縮條件視頻，通過特征對齊將結果特征與噪聲視頻潛在表示對齊，然后直接將對齊的特征添加到視頻潛在表示中，實現高效、有效的視頻條件整合，而不會產生顯著的計算開銷。

這些創新使HunyuanCustom能夠生成既符合音頻或視頻條件，又保持圖像身份一致性的視頻，擴展了視頻定制的應用范圍和靈活性。

六、實驗結果：HunyuanCustom表現如何？

為了評估HunyuanCustom的性能，研究團隊進行了廣泛的實驗，比較了它與現有的最先進視頻定制方法。這些實驗就像是一場大型廚藝比賽，各路大廚（不同的模型）需要根據相同的要求（輸入條件）制作美味佳肴（生成視頻），然后由專業評委（評估指標）評判成果。

在單主體視頻定制方面，HunyuanCustom與商業產品（Vidu 2.0、Keling 1.6、Pika和Hailuo）以及開源方法（Skyreels-A2和VACE）進行了比較。實驗結果表明，HunyuanCustom在ID一致性（Face-Sim）和主體相似性（DINO-Sim）方面均取得最佳成績，同時在提示遵循和時間一致性方面取得了可比的結果。

具體來說，在Face-Sim指標上，HunyuanCustom得分為0.627，遠高于第二名Hailuo的0.526；在DINO-Sim指標上，HunyuanCustom得分為0.593，也明顯優于其他方法。這表明HunyuanCustom在保持視頻中人物或物體的身份一致性方面表現出色。

在多主體視頻定制實驗中，研究團隊將HunyuanCustom與領先的多主體視頻定制方法進行了比較。結果顯示，Pika可以生成指定的主體，但視頻幀不穩定，有時男性會消失或女性無法按提示打開門；Vidu和VACE部分捕捉人類身份但丟失了非人類物體的細節；SkyReels A2在右側場景中經歷了嚴重的幀不穩定性，薯片有明顯變化且存在許多偽影。相比之下，HunyuanCustom有效捕捉了人類和非人類主體身份，生成的視頻遵循給定提示，并保持了高視覺質量和穩定性。

基于其強大的身份保持和多模態控制能力，HunyuanCustom在虛擬人類廣告、虛擬試穿和精細視頻編輯等實際應用中表現出巨大潛力。例如，在虛擬人類廣告應用中，HunyuanCustom可以接受人物圖像和產品圖像作為輸入，生成相應的廣告視頻，其中人物的身份得到有效維護，同時保留了目標產品的細節，包括其上的文字。此外，人物與產品之間的互動看起來自然，視頻緊密遵循給定的提示，表明HunyuanCustom在生成廣告視頻方面具有顯著潛力。

在音頻驅動的視頻定制實驗中，HunyuanCustom展示了生成符合音頻和文本條件的視頻的能力，同時保持角色身份一致性。生成的視頻緊密遵循給定的提示，同時保持角色身份不變。它能夠與其他主體（如物品或人物）進行有效互動，這可以顯著增強其在直播和廣告方面的應用。此外，它可以生成具有多樣場景和姿勢的視頻，例如設定在明朝的視頻，角色自動穿著符合時期的服裝，無需明確提示，以及展示與輸入圖像不同的生動、逼真表情的女性。這表明HunyuanCustom具有強大的世界建模和泛化能力。

綜合來看，這些實驗結果證明了HunyuanCustom在生成高質量、身份一致的視頻方面的卓越性能，無論是單主體還是多主體場景，以及在音頻和視頻驅動的視頻定制任務中。

七、模型結構的秘密：設計選擇的智慧

HunyuanCustom的卓越性能不僅僅來自于其使用的數據和訓練方法，還源于其精心設計的模型結構。通過消融研究，研究團隊深入探究了HunyuanCustom各組件的作用，就像是拆解一臺精密機器以了解其內部運作原理。

研究團隊進行了多項消融實驗，比較了三個簡化版本的模型：（1）沒有LLaVA的模型；（2）沒有身份增強的模型；（3）使用通道級連接而非時間連接進行身份增強的模型。

結果表明，沒有LLaVA的模型表現出較差的身份保持能力，這表明LLaVA不僅傳遞提示信息，還提取關鍵的身份特征。沒有LLaVA的模型無法捕捉目標圖像中的任何顯著細節。此外，有LLaVA但缺乏身份增強的模型能夠捕捉全局身份信息，但錯過了詳細的身份特征，表明身份增強模塊在細化身份細節方面的有效性。

最后，使用通道連接代替時間連接的模型展示了較差的生成質量。雖然它能很好地捕捉身份，但在初始幀中存在嚴重的模糊效果，類似于Vidu的結果。這表明時間連接有助于通過強大的時間建模先驗有效捕捉目標信息，同時最小化對生成質量的影響。

總的來說，HunyuanCustom成功捕捉了全局和局部身份細節，同時確保了高生成質量，這突顯了設計選擇的有效性。

八、結語：邁向更廣闊的視頻定制未來

在這項研究中，騰訊混元團隊提出了HunyuanCustom，一種新穎的多模態定制視頻生成模型，解決了主體一致性視頻生成的關鍵挑戰，并支持多模態身份中心的視頻定制。通過結合圖像、音頻和視頻模態與文本驅動的條件機制，HunyuanCustom提供了一個強大的框架，可以生成具有精確身份一致性的高質量視頻。

HunyuanCustom的集成文本-圖像融合模塊、圖像ID增強模塊，以及高效的音頻和視頻特征注入過程，確保生成的視頻符合用戶的特定要求，實現了高保真度和靈活性的雙重目標。通過廣泛的實驗，研究團隊證明了HunyuanCustom在各種任務中的卓越性能，包括單主體和多主體生成、音頻驅動和視頻驅動的視頻定制。

結果顯示HunyuanCustom在ID一致性、真實性和視頻-文本對齊方面優于現有方法，為可控視頻定制提供了領先解決方案。這項工作為可控視頻生成領域的未來研究鋪平了道路，進一步擴展了人工智能生成內容在創意產業和其他領域的潛在應用。

隨著技術的不斷進步，我們可以期待更多令人興奮的應用場景：從個性化廣告制作、虛擬角色創建到電影制作中的特效生成，HunyuanCustom這類技術將極大地改變創意內容生產的方式，讓更多創意不再受限于技術和成本的束縛。

對于那些對HunyuanCustom技術細節感興趣的讀者，可以訪問項目官方網站https://hunyuancustom.github.io，獲取完整的代碼和模型資源，親自體驗這一突破性技術的魅力。