機器之心報道

編輯：杜偉、何欣東

游戲直播等實時渲染門檻要被擊穿了？Adobe 的一項新研究帶來新的可能。

近年來，視頻合成技術已經取得了顯著突破。其中，基于雙向注意力機制的擴散 Transformer（DiT）可以生成具有復雜時序動態的逼真內容，但其非因果性設計導致無法滿足實時流媒體等場景需求。

相比之下，另一類自回歸（AR）模型雖然具有天然時序因果性優勢，卻因依賴有損向量量化技術而難以達到頂尖畫質。

當前，融合兩者優勢的「教師強制」（Teacher Forcing，TF）和擴散強制（ Diffusion Forcing ，DF）方法仍存在誤差累積和曝光偏差等核心問題：前者因訓練與推理的條件分布差異導致質量衰減，后者雖引入噪聲上下文卻犧牲了時序一致性。

這些局限性深刻制約著視頻生成模型在實時交互應用中的性能邊界。近日，Adobe 聯合聯合德克薩斯大學奧斯汀分校的研究者，在一項新研究中提出了名為 Self Forcing 的新穎算法，旨在解決自回歸視頻生成中的暴露偏差問題

該方法受到早期 RNN 時代序列建模技術的啟發，通過在訓練期間顯式地展開自回歸生成過程，來彌合訓練與測試分布之間的差距。具體而言，每一幀的生成都以先前自生成的幀為條件，而不是依賴于真實的幀。

• 論文標題：Self Forcing: Bridging the Train-Test Gap in Autoregressive Video Diffusion
• 論文地址：https://self-forcing.github.io/static/self_forcing.pdf
• 項目主頁：https://self-forcing.github.io/

這種機制使得模型能夠運用整體分布匹配損失函數（holistic distribution-matching losses）對完整的生成視頻序列進行監督。通過迫使模型在訓練中面對并從其自身的預測錯誤中學習，Self Forcing 算法能有效減輕暴露偏差并減少誤差的累積。

盡管由于 Self Forcing 的序列特性會阻礙并行訓練，乍看之下似乎在計算上代價高昂，但該研究證明，它可以高效地作為訓練后階段的一種算法來實現，此時模型在該階段并不需要大量的梯度更新即可收斂。

通過采用少量步數的擴散主干網絡以及精心設計的梯度截斷策略，Self Forcing 算法的效率出乎意料地優于其他并行策略，在相同的實際訓練時間內實現了更優的性能。此外，該研究還引入了一種滾動 KV 緩存機制，進一步提升了視頻外推的效率。

該模型能夠在單個 H100 GPU 上以 17 FPS 的幀率實現實時視頻生成，延遲低于一秒，同時在生成質量上與近期較慢的雙向和自回歸視頻擴散模型相比具有競爭力或更優。

這些進步為真正的交互式視頻生成用例 —— 如直播、游戲和世界模擬 —— 打開了大門，在這些場景中，延遲預算以毫秒而非分鐘為單位進行衡量。

研究者表示，采用 Self Forcing 的模型可以生成 480p 的準高清視頻，首幀延遲約為 0.8 秒。在持續生成速率方面，單塊 H100 GPU 約為 17 幀每秒，單塊 RTX 4090 在優化后約為 10 幀每秒。目前可以生成基礎的 5 秒視頻以及外推延展后更長的 10 秒視頻。

我們來看一些動態展示視頻：

Prompt：這是一個奇幻劇風格的電影場景，描繪了一個人走過一片寧靜的田野，到處都是漂浮的燈籠。每走一步，燈籠就會亮起來，散發出溫暖、飄渺的光芒。這個人穿著飄逸的東方傳統服裝，動作優雅，表情安詳而又略帶沉思。背景是寧靜的夜空，點綴著幾顆星星和一輪新月，營造出夢幻般的氛圍。相機的角度從背后，從中鏡頭的角度捕捉人物，突出他們的自然動作和發光的燈。

Prompt：一個老人穿著飄逸的綠色連衣裙，戴著一頂寬邊太陽帽，在令人驚嘆的日落中悠閑地漫步在南極洲冰冷的地形上。他飽經風霜的臉和慈祥的眼睛映照出夕陽的暖色調，夕陽投下長長的影子，使大地沐浴在金色的光芒中。這個男人的姿勢直立，自信，雙手放在背后。背景是崎嶇的冰層和遙遠的山脈，天空被涂成橙色、粉紅色和紫色。這張照片有一種懷舊和夢幻的感覺，捕捉到了極地的寧靜之美。

Prompt：災難電影風格的戲劇性和動態場景，描繪了一場強大的海嘯席卷保加利亞的一條狹窄小巷。河水洶涌而混亂，海浪猛烈地撞擊著兩岸的墻壁和建筑物。這條小巷兩旁是飽經風吹雨打的老房子，它們的外墻部分被淹沒和破碎。鏡頭角度較低，捕捉到海嘯向前涌動的全部力量，營造出一種緊迫感和危機感。可以看到人們瘋狂地奔跑，加劇了混亂。背景以遙遠的地平線為特征，暗示著廣闊的世界。

Self Forcing

利用整體后訓練彌合訓練 - 測試差距

Self Forcing 的核心思想是：在訓練階段就采用與推理時相同的自回歸展開方式生成視頻。具體實現包含兩個關鍵技術突破：

一是，動態條件生成機制。

然而，即便采用少步擴散模型，若直接對整個自回歸擴散過程執行反向傳播，仍會導致內存消耗過大。為解決這一難題，研究者提出以下創新策略：

首先進行梯度截斷。僅對每幀的最終去噪步驟進行反向傳播，將梯度計算范圍限制在關鍵環節。

然后是動態步數采樣。突破推理階段固定使用 T 步去噪的約束，在訓練時對每個樣本序列隨機采樣 1 至 T 步去噪步驟，并以第 s 步的去噪結果作為最終輸出。這種隨機采樣機制確保所有中間去噪步驟都能獲得監督信號。

最后是梯度流隔離。通過限制梯度向 KV 緩存嵌入的傳播，在訓練過程中切斷當前幀與先前幀的梯度關聯。

完整訓練流程詳見算法 1。

利用滾動 KV 緩存的長視頻生成

受大語言模型研究的啟發，研究者為自回歸擴散模型提出了一種滾動 KV 緩存機制，可以實現無限長視頻生成且無需重新計算 KV 緩存。

如圖 3 (c) 所示，研究者維護固定大小的 KV 緩存區，僅保留最近 L 幀的 token 嵌入。當生成新幀時，首先檢測緩存是否已滿，若達到容量上限則移除最舊的緩存條目后再存入新數據。在保持 O (TL) 時間復雜度的同時，確保生成每一新幀時都能獲得足夠的上下文信息。

這種設計既實現了無限幀生成能力，又維持了穩定的計算效率。

算法 2 詳細描述了基于滾動 KV 緩存的自回歸長視頻生成算法。

實驗及結果

研究者采用 Wan2.1-T2V-1.3B 模型實現 Self Forcing，這是一個基于流匹配的模型，可以生成時長 5 秒、16 幀、分辨率為 832×480 的視頻。

配合 VBench 和用戶偏好研究，研究者同步評估了生成視頻的視覺質量與語義對齊度。同時，嚴格測試了 Self Forcing 在實時應用中的效率表現。在單個 NVIDIA H100 GPU 上，研究者綜合評估了吞吐量和首幀延遲兩項指標，全面衡量實時生成能力。

研究者將采用 Self Forcing 算法的模型與規模相近的開源視頻生成模型進行比較，包括兩個擴散模型（作為初始化權重的 Wan2.1-1.3B 和以高效著稱的 LTXVideo）以及多個自回歸模型（Pyramid Flow、NOVA、SkyReels-V2、MAGI-1 和同樣基于 Wan-1.3B 初始化的 CausVid）。

如下表 1 所示，研究者提出的分塊自回歸方案在 VBench 評估中全面超越所有基線模型，同時在人類偏好度測試中取得最優成績。該方案還能實現 17 幀 / 秒的實時吞吐量，配合亞秒級首幀延遲，足以支持直播等實時視頻流應用場景。

下圖 4 展示了用戶調研結果，將分塊 Self Forcing 模型與多個重要基線模型進行了比較。

結果顯示，本文方法在所有對比中持續獲得最高偏好度，包括作為模型初始化基礎的 Wan2.1 多步擴散模型。其中，幀級變體版本在保持強勁生成質量的同時，實現了最低延遲（0.45 秒），特別適合對延遲敏感的實時應用場景。這些實驗結果均采用 DMD 損失函數作為優化目標。

采用 SiD 和 GAN 目標函數訓練的模型在消融實驗中表現出了類似的性能。如下圖 5 所示，CausVid 存在誤差累積問題，導致飽和度隨時間推移不斷增加。本文方法在畫質上略優于 Wan2.1 或 SkyReels-V2，同時延遲時間縮短約 150 倍。

更多實驗細節請參閱原論文。