視頻處理的世界中，有一個惱人的問題困擾著技術人員多年——當我們將圖像處理技術簡單地應用到視頻上時，常常會產生令人不適的時間閃爍。想象一下，你拍攝的風景視頻經過風格化處理后，每一幀都美輪美奐，但播放起來卻像是在閃爍的燈光下觀看，這種不連貫感會大大削弱視覺體驗。以往的解決方案都需要原始未處理的視頻作為參考，這顯然限制了其實用性。而今，一種不依賴原始視頻，直接從帶有閃爍的視頻中學習恢復自然動態的方法應運而生，它如何突破傳統限制、實現更加自然流暢的視頻體驗？這正是本文要探討的核心問題。

閃爍之源

視頻與圖像的本質區別在于時間維度。當我們把針對靜態圖像設計的處理方法簡單地應用到視頻的每一幀上時，就忽視了視頻幀之間的時間連接，這種做法往往會導致嚴重的時間不一致性，也就是我們常說的＂閃爍＂現象。

這種閃爍可能來自多種原因。比如，對于相鄰的兩幀畫面，盡管內容幾乎相同，但由于全局或局部統計數據的輕微變化，圖像處理方法可能會產生截然不同的結果。以視頻著色為例，一輛車在某段視頻中出現，消失后再次出現，幀間處理可能會在第一次出現時將其著成藍色，第二次出現時又變成紅色。這種不一致性會給觀眾帶來明顯的視覺干擾。

另一個導致閃爍的因素是應用程序的多模態性。對于內容相似的圖像，可能存在多個有效的處理方案。例如在藝術風格遷移中，同一場景可能會有多種風格化表現形式。當這些不同的解決方案被應用到連續的視頻幀時，就會產生明顯的時間閃爍。

目前，有幾種針對特定任務的時間一致性修正方法，如針對風格遷移、上色、去噪等具體應用場景的專門技術。但由于這些應用的復雜性，真正能解決盲目時間一致性修正問題的方法屈指可數。

Bonneel等人在2015年首次研究了盲目時間一致性修正問題，提出了一種基于梯度域最小化的方法，將逐幀處理的視頻與未處理的視頻進行比較，以最小化幀之間的扭曲誤差。Lai等人在2018年擴展了這一方法，利用循環卷積神經網絡并引入了感知懲罰，限制恢復視頻與逐幀處理視頻之間的感知內容偏差。Lei等人提出的深度視頻先驗（DVP）將深度圖像先驗擴展到時間維度，提出通過訓練CNN生成處理后的視頻，而不使用光流。

這些方法都依賴于未處理視頻的可用性，以隱式提取一致的運動動態作為恢復指南。雖然這種方法有效，但這種隱式定義限制了以前提出的方法只能應用于那些原始對應視頻可用的視頻，并且會引入對原始視頻的固有偏見，可能會損害翻譯效果和處理視頻的質量。

例如，在某些情況下，修正后的視頻可能會過度向原始視頻靠攏，導致處理效果被削弱。比如在風格化視頻中，修正過程可能會減少藝術風格的強度，使得畫面更接近原始內容。這種偏向原始視頻的固有偏差在當前可用的方法中非常常見。

自學自用

為了克服上述限制，我們的目標是僅從時間不一致的視頻中學習并推斷一致的運動表示。這樣做不僅消除了在測試階段對原始視頻的需求，還減輕了當前可用方法中常見的對原始視頻的固有偏見。

基于此思路，我們提出了一種雙分支網絡架構，將內容處理和運動處理分離開來。這種架構的核心思想是，通過精心設計的網絡結構，我們可以從不一致的視頻中直接學習到一致的運動表示，而不需要原始視頻作為參考。

具體來說，我們的方法在網絡中集成了光流估計網絡，并通過端到端的方式進行微調。與以往將小型光流估計網絡整合到特定任務中的方法不同，我們采用了一種兩次傳遞機制，并添加了一個編碼器，鼓勵生成一致的動態。

這種雙通道策略允許我們的模型從時間不一致的幀中回歸出一致的運動動態。通過這種設計，我們的網絡能夠有效地利用推斷出的一致運動表示，僅通過考慮測試時的時間不一致視頻就能恢復視頻中的自然時間動態。

我們的網絡包含一個類似UNet的結構，有多個編碼器流和單個解碼器流。解碼器包含來自內容流的跳連接，以鼓勵更好的重建。網絡的瓶頸部分包含一個循環瓶頸塊，用于傳輸和操作生成幀的信息到時間上相距較遠的幀。

運動分支由兩次通過PWCNet（共享權重）組成，隨后是一個常規的類編碼器架構。這種兩通道策略與附加的編碼器一起，使所提出的模型能夠從時間不一致的幀中回歸一致的運動動態。

值得注意的是，通過我們的方法，從時間一致和不一致視頻中估計出的＂修改＂流是非常相似的，這表明網絡可以有效地利用推斷出的一致運動表示來恢復視頻中的自然時間動態，而不需要在測試時考慮原始視頻。

另一個好處是，這種分離的表示允許用戶通過迭代安排進一步提高恢復的時間一致性水平。這種靈活性使我們的方法能夠適應各種不同的應用場景，從風格遷移到上色，再到圖像增強等多種視頻處理任務。

綜上所述，我們提出的方法通過從不一致視頻中學習一致運動表示，成功解決了視頻處理中的時間一致性問題，同時避免了對原始視頻的依賴。這種方法不僅擴大了應用范圍，還保留了處理效果的完整性，為視頻處理技術提供了一個新的思路。

巧設目標

要讓機器學會恢復視頻的自然流動感，我們需要設計特殊的目標函數，就像教會孩子做事需要給他明確的規則和獎勵一樣。在這項研究中，所設計的目標函數可以分為兩大類：局部鄰域損失和長期時間損失。

局部鄰域損失主要關注相鄰幀之間的連貫性。當我們處理像風格轉換這樣的應用時，處理前后的視頻內容可能差異巨大，簡單的內容匹配重建損失并不適用。因此，研究者提出了一種流梯度損失，它利用光流的空間梯度來監督運動邊界的重建，這恰恰是閃爍現象最明顯的區域。

這種流梯度損失不直接比較原始光流，而是比較光流的梯度信息。這樣做減少了高維光流中的冗余信息，只保留了消除時間閃爍所需的局部時空信息。具體而言，流梯度損失的計算公式為：

Lfg = ∑（t=2到T） ||?（of（Ot， Ot-1））， ?（of（It， It-1））||1

其中，Lfg表示流梯度損失，of表示光流估計網絡，?表示空間梯度操作，T是序列中的總幀數。

不過，單靠光流損失還不足以完全糾正時間一致性，因為光流方程可能有多個解決方案。為了解決這個問題，研究者添加了一個非局部光流重建損失：

Lrecon = ∑（t=2到T） Ct||Ot - t||1

這里，t表示通過光流扭曲前一幀Ot-1得到的估計，Ct是一個遮擋掩碼，用于排除遮擋區域的影響。這個損失函數確保生成的幀與前一幀具有相似的內容，并且合成幀之間的運動動態與時間一致的對應幀相似。

除此之外，研究者還引入了常規的短期感知相似性損失，以最小化合成幀與原始處理幀之間的偏差：

Lp = ∑t∑l||φl（Ot） - φl（Pt）||1

這里，φl（.）表示VGG-16網絡中直到relu_4_3層的層，該網絡在ImageNet數據集上訓練。

前面提到的損失函數擅長處理相鄰幀，但對于遠距離幀的一致性卻無能為力。想象一輛車在視頻中出現，消失，然后再次出現的場景。幀間處理方法可能在第一次賦予它藍色，第二次卻變成紅色。局部損失函數只能確保每段中的顏色一致，但不能保證兩段之間的顏色一致。

為了解決這個問題，研究者在模型中引入了一個遞歸模塊，并添加了強制模型生成時間上連貫的幀的顯式約束。與之前的方法不同，它們簡單地試圖最小化當前幀與序列第一幀的偏差，對于包含大量變化幀的視頻來說是不夠的。因此，研究者引入了一種雙向懲罰，通過局部鄰域損失在后向方向上強制時間平滑，通過提出的長期損失在前向方向上強制時間平滑。

這個被稱為常數損失的長期損失定義為：

Lconstancy = ∑（p=1到T-2）∑（t=p+2到T） Ct?p||Ot - w（Op， of（It-1， Ip））||1

不同于簡單的長期時間約束，這個損失項考慮了序列中所有幀的幀間閃爍，并提供了一個能夠懲罰整個序列中時間差異的強有力的監督信號。

最終的損失函數是這些損失的加權和：

Ltotal = λ1Lfg + λ2Lrecon + λ3Lp + λ4Lconstancy

這里，λs定義了每個損失在優化階段的貢獻。通過這種強時間懲罰和提出的流梯度損失的結合，提出的網絡學會生成更平滑的視頻，盡管在測試時只能訪問逐幀處理的視頻。

實績卓著

經過嚴格的實驗評估，這種不依賴原始視頻的時間一致性恢復方法取得了令人印象深刻的結果。研究者在兩個基準數據集上進行了測試：DAVIS視頻分割數據集和從Videovo.net收集的視頻。這些視頻經過了多種應用處理，包括藝術風格遷移、上色、圖像增強、內在圖像分解和圖像到圖像的翻譯任務。

在實驗階段，研究者測試了各種光流估計網絡。最終選擇了中等大小的PWC-Net網絡和更多的優化迭代，并設計了一個迭代安排，在每次迭代中持續減少扭曲誤差。

對于量化評估，研究者使用了時間扭曲誤差作為主要指標。較低的時間扭曲誤差表示較好的時間一致性。在DAVIS和VIDEVO數據集上，該方法在所有測試的應用中都產生了最低的平均時間扭曲誤差，超過了之前的方法，包括Bonneel等人、Lai等人和DVP的方法。

例如，在DAVIS數據集上，對于WCT（antimono）應用，該方法的扭曲誤差為0.0026，而Bonneel的方法為0.0029，Lai的方法為0.0031，DVP的方法為0.0022。在VIDEVO數據集上，對于相同的應用，該方法的扭曲誤差為0.0015，與Bonneel的方法相當，但低于Lai的方法（0.0021）。

需要注意的是，時間扭曲誤差并不考慮生成幀的感知質量，會給模糊的視頻分配較低的值。為了驗證該方法的有效性，研究者還使用了一種專門用于評估視頻中運動平滑度的指標，并在由DVP處理的評估數據集的一部分上進行了測試。

針對感知質量，研究者還使用了LPIPS指標。在DAVIS數據集上，該方法的平均LPIPS為0.0524，接近Lai方法的0.0445，但明顯優于Bonneel方法的0.1369和DVP方法的0.2414。在VIDEVO數據集上，結果也類似：該方法為0.0556，Lai方法為0.0521，Bonneel方法為0.1523，DVP方法為0.2167。

不過，僅僅依靠這些指標并不能全面評估結果的質量和一致性，因此研究者還進行了用戶研究作為評估的主要標準。

在第一個全面用戶研究中，36名參與者被要求判斷150個不同場景的視頻，這些視頻由各種方法處理。平均而言，41%的用戶更喜歡由該方法恢復的視頻。

在第二個因素化用戶研究中，用戶被要求判斷隨機選擇的15個視頻，并記錄他們選擇的理由。大約86%的參與者表示，他們選擇視頻的依據是較少的閃爍和更好的質量保持。在這些極具挑戰性的任務中，平均約47%的用戶更喜歡通過該方法處理的視頻。

在質性比較中，由Bonneel等人的方法產生的結果在發生遮擋和去遮擋的視頻序列中未能保持感知質量。由DVP處理的幀明顯模糊，并失去了翻譯效果。與Lai等人的方法相比，該方法能夠更忠實地保留恢復幀中的感知質量，不會根據原始視頻翻轉對象的顏色/外觀。

所提出的方法在處理非常低幀率的視頻時確實存在一些困難，在風格轉換視頻的情況下，一些更細微的不一致性（如更細的筆觸）會丟失，這使得結果視頻看起來有點單調。

總的來說，通過從時間不一致的視頻中推斷和利用一致的運動表示，研究者提出了一種任務無關的時間一致性校正框架，可以恢復自然的視頻動態，而不需要在測試時從未處理的視頻中提取視頻動態。這種方法不僅擴大了其在更廣泛的應用中的適用性，還避免了在當前為此任務提出的方法中明顯的翻譯效果的妥協。

參考資料

1. Ali， M. K.， Kim， D.， &； Kim， T. H. （2025）. Task Agnostic Restoration of Natural Video Dynamics. ICCV.

2. Bonneel， N.， et al. （2015）. Blind Video Temporal Consistency.

3. Lai， W. S.， et al. （2018）. Learning Blind Video Temporal Consistency.

4. Lei， C.， et al. （2020）. Deep Video Prior.