本文刊發(fā)于《現(xiàn)代電影技術(shù)》2024年第1期

專家點評

陰影智能去除不僅關(guān)乎藝術(shù)創(chuàng)作和觀賞體驗，還對廣告、商業(yè)推廣等領(lǐng)域產(chǎn)生積極影響。這一技術(shù)的應(yīng)用有望為電影制作帶來更高的質(zhì)量和效率，進一步推動影像處理領(lǐng)域的創(chuàng)新和發(fā)展。然而，陰影智能去除也面臨著一系列挑戰(zhàn)，不同場景下的光照條件、復(fù)雜的陰影形態(tài)、計算效率等問題都需要綜合考慮；為了訓(xùn)練魯棒的模型，需要大量且具有多樣性的數(shù)據(jù)集；解決這些挑戰(zhàn)將為陰影智能去除的研究和應(yīng)用提供更為可靠和高效的方案。《基于深度學(xué)習(xí)的陰影智能去除方法研究》一文基于深度卷積網(wǎng)絡(luò)模型進行了陰影去除的實驗驗證，為后續(xù)研究材質(zhì)紋理陰影去除提供重要的參考價值。隨著AI大模型的興起，多模態(tài)大模型在陰影智能去除領(lǐng)域的應(yīng)用展望是一個令人期待的研究方向。在數(shù)據(jù)多樣性的綜合利用方面，多模態(tài)大模型可以更全面地綜合利用不同數(shù)據(jù)源提供的視覺、深度等信息，有效解決數(shù)據(jù)集單一和陰影類型有限的問題，提高模型的魯棒性。在語義理解與上下文感知方面，多模態(tài)大模型有望實現(xiàn)對圖像中語義信息的更深入理解，并根據(jù)上下文信息更精準(zhǔn)地去除陰影，使處理結(jié)果更加自然和逼真。相信多模態(tài)大模型將推動陰影智能去除技術(shù)的發(fā)展，在實際應(yīng)用中取得更廣泛的成功。

——馬龍龍

副研究員

中國科學(xué)院軟件研究所碩士生導(dǎo)師

作 者 簡 介

馬曉晴

北京電影學(xué)院中國電影高新技術(shù)研究院2021級碩士研究生，主要研究方向：數(shù)字電影技術(shù)。

北京電影學(xué)院中國電影高新技術(shù)研究院副研究員，主要研究方向：數(shù)字電影技術(shù)。

常 樂

摘要

基于圖像的材質(zhì)重建技術(shù)是獲取貼圖資產(chǎn)的方式之一，為構(gòu)建逼真材質(zhì)外觀，針對材質(zhì)圖像去除原始陰影十分必要。現(xiàn)有去除陰影方法普遍存在數(shù)據(jù)集單一、處理陰影類型少等問題。本文依據(jù)材質(zhì)紋理陰影處理的難點和現(xiàn)狀，篩選重制出具備表面和場景多樣性的高分辨率圖像數(shù)據(jù)集，使用深度卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練與分析，嘗試為材質(zhì)紋理陰影去除提供一定經(jīng)驗。實驗結(jié)果表明，本文方法能夠有效去除復(fù)雜場景陰影，一定程度上擴展了去除陰影的范圍，并保留了相關(guān)紋理信息。

關(guān)鍵詞

視效制作；深度學(xué)習(xí)；陰影去除；材質(zhì)紋理

1背景與現(xiàn)狀

電影的視效制作是電影生產(chǎn)中的重要環(huán)節(jié)。材質(zhì)貼圖（Texture Map）作為后期視效制作中的重要資產(chǎn)，直接決定了模型的質(zhì)感與逼真程度，在實現(xiàn)高度真實感的虛擬場景方面起到了關(guān)鍵作用 [1] 。

材質(zhì)貼圖數(shù)據(jù)主要指高分辨率的紋理圖像，一般通過三維繪制軟件制作，例如Mari和Substance 3D Designer，或者直接從現(xiàn)有素材庫中挑選。材質(zhì)重建也是獲取紋理貼圖的方式之一，通常采用架設(shè)多角度的掃描或拍攝設(shè)備對材質(zhì)進行捕捉，而后數(shù)字化重建，也可直接使用深度神經(jīng)網(wǎng)絡(luò)進行材質(zhì)推斷獲取貼圖數(shù)據(jù)。材質(zhì)重建內(nèi)容主要可分為幾何形狀和表面紋理兩方面，前者對應(yīng)于法線貼圖等幾何結(jié)構(gòu)的推斷，后者主要涉及漫反射貼圖中表面基本色彩與紋理等信息的恢復(fù)。為了獲得逼真的材質(zhì)外觀，以確保精確模擬不同環(huán)境光下的表面特性，需要對獲取圖像進行預(yù)處理并去除陰影。

材質(zhì)表面與環(huán)境光相互作用，形成陰影等效應(yīng)，在帶來真實感的同時，也會給圖像帶來相關(guān)任務(wù)如模糊表面細(xì)節(jié)等負(fù)面影響，從而導(dǎo)致圖像應(yīng)用無法正確判斷紋理及顏色等信息。因此，陰影去除效果的好壞直接決定拓展應(yīng)用的準(zhǔn)確度與效率[2]。陰影是數(shù)字圖像處理領(lǐng)域中常見的挑戰(zhàn)之一，它被定義為光遮擋的直接效應(yīng)，受到光源類型和強度、距離、遮擋物本身形狀等多方面因素影響。根據(jù)產(chǎn)生原因不同，陰影可分為投射陰影與自陰影；根據(jù)投射強度不同，其又可分為硬陰影與軟陰影。

目前，已有軟件針對材質(zhì)或模型表面的陰影問題進行處理，但由于操作門檻較高且處理效果因人而異，因此開發(fā)具有簡易性的陰影智能去除工具顯得十分必要。近年來，深度學(xué)習(xí)（Deep Learning）技術(shù)取得了非凡的進步，在圖像處理方面取得顯著成就，其卓越的特征學(xué)習(xí)（Feature Learning）和模型預(yù)測（Model Prediction）能力在圖像分割（Segmentation）、去噪（Denoising）、增強（Enhancement）等領(lǐng)域發(fā)揮了重要作用。然而，如何在保證輸出質(zhì)量的前提下提升效率依然是該領(lǐng)域面臨的核心與熱點問題之一。數(shù)據(jù)驅(qū)動的深度學(xué)習(xí)方法開辟了一種新的研究思路，將針對圖像的高真實感繪制方法映射為機器學(xué)習(xí)問題，從而大大降低計算成本[3]。在此背景下，本文專注于深度學(xué)習(xí)技術(shù)在圖像陰影去除領(lǐng)域的應(yīng)用研究，旨在找到一種去除普遍存在陰影的方法，特別關(guān)注材質(zhì)紋理陰影處理的現(xiàn)狀。同時，篩選重制出具備表面和場景多樣性的圖像數(shù)據(jù)集，通過模型訓(xùn)練和結(jié)果分析，為材質(zhì)紋理陰影去除提供一定經(jīng)驗。

2陰影去除方法

2.1 一般陰影去除方法

2.1.1 基于偏振片的陰影去除方法

此方法利用偏振濾光片抑制反射光，能在采集階段消除部分高光和反射陰影。偏振片僅過濾反射形成的線偏振光，而無法影響非偏振散射光。因此，該方法必須與額外技術(shù)配合，才能達(dá)到有效的去除結(jié)果。

2.1.2 基于手動光照采集的陰影去除方法

此方法常見于攝影建模的照片拍攝過程中，同時利用金屬球與灰度球進行三維場景光照的采集，前者反射顯示光源位置與高動態(tài)范圍（High Dynamic Range，HDR）信息，后者顯示光強與色溫，為后期處理中實現(xiàn)照明還原與匹配提供重要信息。

該方法需為每個場景專門采集光照數(shù)據(jù)，過程復(fù)雜冗長，且對采集設(shè)備與虛擬場景重建的質(zhì)量要求極高，否則無法準(zhǔn)確匹配實際光照效果。

2.1.3 基于后期軟件工具的陰影去除方法

（1）Adobe Lightroom等圖像處理軟件大多都可實現(xiàn)去除陰影功能。通過手動調(diào)整顏色、亮度或?qū)Ρ榷鹊葘傩裕淖兠靼店P(guān)系，填補相應(yīng)像素，實現(xiàn)用戶所需視覺效果。該方法操作要求高，其效果優(yōu)劣取決于使用者的經(jīng)驗，不適用于大批量數(shù)據(jù)處理與去除細(xì)節(jié)陰影的情況。

（2） Unity De?lighting Tool應(yīng)用于二維材質(zhì)貼圖。它針對環(huán)境光與全局光照信息的去除，主要原理是采集環(huán)境光照色彩查找表（Lookup Table，LUT），通過多次采樣，使整體顏色和亮度都更接近平均值。由于算法設(shè)定，該工具對于投射陰影無法處理，并且在復(fù)雜材質(zhì)組合的場景中需用戶交互操作，例如多次使用遮罩手動分離不同材質(zhì)區(qū)域、不同光照區(qū)域等。

（3） Agisoft是數(shù)字?jǐn)z影測量領(lǐng)域的先驅(qū)，其去除陰影相關(guān)工具為Agisoft Metashape與Agisoft Texture De?Lighter，兩者處理對象均為三維模型。

①Agisoft Metashape

Agisoft Metashape軟件中與去除陰影相關(guān)的功能為“Remove Lighting”，它依靠計算生成環(huán)境光遮蔽（Ambient Occlusion，AO）貼圖，自動去除環(huán)境光照，使三維模型亮度更加合理。

②Agisoft Texture De?Lighter

該工具主要去除投射陰影與環(huán)境光遮蔽。AO去除與Agisoft Metashape中 “Remove Lighting”原理基本相同。投射陰影的去除基于顏色，需要用戶標(biāo)記陰影與照明區(qū)域。算法假設(shè)陰影邊緣不與不同材料邊緣重合，因此當(dāng)情況不滿足假設(shè)時會產(chǎn)生顏色溢出。

綜上所述，現(xiàn)有工具特點如表1所示。不難發(fā)現(xiàn)，軟件去除陰影基本都需要較為繁瑣的操作，且最終效果取決于用戶經(jīng)驗。若想實現(xiàn)針對圖像陰影的智能化去除，仍需開展相關(guān)研究工作。

表1　各類去除陰影軟件對比

2.2 智能陰影去除方法

深度學(xué)習(xí)圖像處理一直是計算機視覺（Computer Vision）領(lǐng)域的重要研究任務(wù)，陰影去除主要利用的深度學(xué)習(xí)基準(zhǔn)模型有卷積神經(jīng)網(wǎng)絡(luò) （Convolution Neural Network，CNN）、生成式對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）及基于注意力機制的Transformer等。

2.2.1 基于CNN的圖像陰影去除

CNN主要由卷積層、池化層和全連接層組成。在陰影去除任務(wù)中，深層CNN結(jié)構(gòu)首先學(xué)習(xí)局部簡單特征，例如邊緣和紋理等；隨著網(wǎng)絡(luò)層數(shù)的加深，進而學(xué)習(xí)更高級的語義特征，以識別不同對象；同時捕捉全局內(nèi)容和風(fēng)格特征，實現(xiàn)陰影區(qū)域的色彩與細(xì)節(jié)重建。

2014年，Khan[4]等人首次將CNN引入陰影區(qū)域與邊界特征的自動學(xué)習(xí)中，結(jié)果明顯優(yōu)于之前最好方法。后續(xù)相關(guān)研究不斷發(fā)展，大部分方法均通過端對端的訓(xùn)練，學(xué)習(xí)成對的陰影和無陰影圖像之間的映射。

DeshadowNet方法[5]利用多種上下文信息，預(yù)測陰影遮罩以消除陰影；Hu[6]等人以方向感知的角度分析圖像信息，實現(xiàn)陰影檢測與去除；Le[7]等人使用不同網(wǎng)絡(luò)分別預(yù)測陰影參數(shù)和遮罩，同時，他們還對該任務(wù)通用數(shù)據(jù)集ISTD（Dataset with Image Shadow Triplets）進行數(shù)據(jù)增強與地面色調(diào)調(diào)整，提出ISTD+數(shù)據(jù)集。

2.2.2 基于GAN的圖像陰影去除

2014年，GAN由Goodfellow[8]等人首次提出。作為在卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上拓展的一種深度學(xué)習(xí)模型，GAN通過生成器和判別器兩個基礎(chǔ)模型，實現(xiàn)正向傳播和反向判別的相互博弈，輸出最接近于真實的運算結(jié)果。

2017年，Wang[9]等人首次使用基于GAN的方法檢測并去除陰影。為全面評估框架性能，研究者同時構(gòu)建了第一個大規(guī)模陰影去除基準(zhǔn)，其中包含ISTD數(shù)據(jù)庫。后續(xù)Mask-ShadowGAN[10]，DC-ShadowNet[11]等研究均利用GAN從圖像生成的角度進行陰影去除。

2.2.3 基于Transformer的圖像陰影去除

Transformer是一種基于自注意力機制的神經(jīng)網(wǎng)絡(luò)，最初為自然語言處理（NLP）任務(wù)而提出。由于它能夠很好整合遠(yuǎn)距離上下文信息，近來已被擴展并應(yīng)用于多個圖像和視頻任務(wù)。2022年，Zhang[12]等人提出SpA?Former，首次將Transformer引入圖像陰影處理任務(wù)中。2023年，Guo[13]等人提出ShadowFormer方法，聚焦于陰影邊界偽影以及陰影區(qū)域內(nèi)外照明不一致問題，實驗結(jié)果表明該方法有效增強了陰影區(qū)域內(nèi)外相關(guān)性。

總得來說，現(xiàn)有模型側(cè)重于去除圖像中顯著的投射陰影特征，很好地完成了初級任務(wù)中硬陰影去除與基本信息保留，為處理材質(zhì)紋理陰影問題奠定了基礎(chǔ)。后續(xù)應(yīng)結(jié)合材質(zhì)外觀特有屬性，重點關(guān)注軟陰影去除與紋理色彩等細(xì)節(jié)的恢復(fù)重建，以及處理高分辨率輸入的相關(guān)問題。

3材質(zhì)紋理陰影的去除

3.1 任務(wù)難點

一般來說，后期視效流程中的材質(zhì)分辨率越高，最終渲染效果就越細(xì)致真實，提供的視覺體驗更出色。高度真實感的畫面呈現(xiàn)對于影視、游戲等領(lǐng)域尤為重要。然而，即使使用大量計算資源，神經(jīng)網(wǎng)絡(luò)的容量也很難直接處理高分辨率的輸入，它的處理算力應(yīng)集中在陰影去除和細(xì)節(jié)恢復(fù)方面。為此，針對高分辨率輸入，考慮使用可擴展的數(shù)值方法，例如圖像分塊（Image Patching）或下采樣（Down Sampling）等。此外還需驗證預(yù)處理方法對最終結(jié)果的影響。在模型訓(xùn)練的實際過程中，需要在分辨率、預(yù)處理方式、網(wǎng)絡(luò)參數(shù)和硬件條件等諸多方面進行權(quán)衡，尋找平衡點。通過不斷的實驗探索，在確保輸出質(zhì)量的同時，實現(xiàn)高效計算與訓(xùn)練。

相關(guān)數(shù)據(jù)集的制作同樣為該研究面臨的挑戰(zhàn)之一。首先，可采用真實拍攝的方式，獲取同一材質(zhì)表面的兩張照片，一張使用特定光照設(shè)置以產(chǎn)生陰影，另一張使用散射光以避免陰影，并使用偏振濾鏡以避免任何鏡面高光反射，但后續(xù)仍需處理來自不規(guī)則表面中遮擋區(qū)域的自陰影，且理論上無法獲得真正無陰影的圖像。此外，為獲取具有代表性的數(shù)據(jù)集，需要捕獲足夠的材質(zhì)類型和光照條件變化，這將耗費大量時間。因此，真實拍攝的方式并不適合構(gòu)建數(shù)據(jù)集。其次，可以考慮從現(xiàn)有一般數(shù)據(jù)集中進行篩選，例如ISTD。然而其圖像內(nèi)容單一，光源和物體之間交互有限，并不符合目標(biāo)中對于陰影種類多樣的要求。目前，使用合成數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)已被證明是高效且可靠的[14][15]，因而本研究考慮創(chuàng)建虛擬材質(zhì)圖像數(shù)據(jù)庫，使用軟件模擬并合成材質(zhì)，設(shè)計不同光照環(huán)境下多樣化陰影類型表現(xiàn)，以漫反射貼圖為真實無陰影圖像，進行學(xué)習(xí)訓(xùn)練。

除了前述觀點，還需關(guān)注最終還原材質(zhì)表面的微觀結(jié)構(gòu)和顏色特征的準(zhǔn)確性。如何在去除局部陰影的同時，保持紋理的連續(xù)性和一致性，不產(chǎn)生模糊或偽影，整合局部與全局信息，是網(wǎng)絡(luò)設(shè)計與訓(xùn)練中的關(guān)鍵挑戰(zhàn)。

3.2 現(xiàn)有研究

一般使用神經(jīng)網(wǎng)絡(luò)實現(xiàn)材質(zhì)重建的研究中，通常忽略對于捕獲圖像的預(yù)處理，使得最終輸出貼圖仍殘余明顯陰影[15][16]，這將對貼圖資產(chǎn)的后續(xù)使用造成極大影響。在特別處理紋理陰影或漫反射貼圖恢復(fù)的研究中[17]，通常采用CNN中U?Net [18]作為基本范式。U?Net網(wǎng)絡(luò)架構(gòu)形似字母“U”，包括編解碼塊以及之間的跳躍連接，能夠有效融合淺層與深層信息，更好地恢復(fù)原始圖像中的細(xì)節(jié)信息，且該網(wǎng)絡(luò)已被證明廣泛適用于大多數(shù)的圖像轉(zhuǎn)換任務(wù)[19]。另外，相關(guān)研究劃分了不同類型材質(zhì)種類，進行分類學(xué)習(xí)與訓(xùn)練。最終結(jié)果成功保留了大部分紋理細(xì)節(jié)，有效去除投射陰影和高光，但對于較為細(xì)微的軟陰影處理仍需進一步探索。

4使用混合數(shù)據(jù)集的基于U?Net去除陰影實驗

在使用深度學(xué)習(xí)模型處理一般圖像陰影取得較好效果之后，結(jié)合特定數(shù)據(jù)集進行自監(jiān)督學(xué)習(xí)（Self?Supervised Learning）與模型微調(diào)（Fine Tuning），被認(rèn)為是提高模型在特定領(lǐng)域泛化能力的一種有效策略。因此，本文采用該研究策略，使用材質(zhì)處理中常見的U?Net模型，摒棄常見的均為投射硬陰影的圖像數(shù)據(jù)庫，依照分辨率與陰影多樣性要求，進行大量調(diào)研，最終選擇WSRD數(shù)據(jù)集 [20] 作為數(shù)據(jù)來源。以表面多樣性與紋理豐富性為指標(biāo)，篩選并構(gòu)建出包含大量場景和陰影表征的特定訓(xùn)練數(shù)據(jù)集，完成模型訓(xùn)練和結(jié)果分析，嘗試為后續(xù)研究材質(zhì)紋理陰影問題提供有價值的參考。

WSRD數(shù)據(jù)集捕捉場景豐富，具備充足的顏色和紋理表征。最終構(gòu)建600對分辨率為1920×1440的陰影與無陰影圖像，其中400對用于訓(xùn)練，100對用于驗證，100對用作測試（圖1）。其中，驗證集與測試集均有70%的圖像未出現(xiàn)在訓(xùn)練集當(dāng)中。

圖1　部分?jǐn)?shù)據(jù)集圖像對

4.1 網(wǎng)絡(luò)結(jié)構(gòu)

該網(wǎng)絡(luò)是基于U?Net的深度卷積網(wǎng)絡(luò)，能夠預(yù)測每個像素的陰影映射關(guān)系。本研究采用下采樣的方式，對輸入進行了預(yù)處理。由于輸入的高分辨率，因此在其特征空間進行下采樣具有一定優(yōu)勢。

模型的編解碼塊各5層，各層之間通過跳躍連接（Skip Connection）相連。每個編碼塊（Encoder Block）中，利用多個卷積層提取圖像特征，使用跨步卷積（Strided Convolution）進行下采樣操作，同時使用歸一化（Normalization）處理和激活函數(shù)（ReLU），防止因逐層累積而造成梯度消失，并加快網(wǎng)絡(luò)收斂速度。每個解碼塊（Decoder Block）中，對從編碼塊傳輸?shù)奶卣鲌D進行轉(zhuǎn)置卷積（Transposed Convolution）運算，同時將跳躍連接捕獲的低級特征傳輸?shù)浇獯a器高層，從而減少低層特征丟失，盡量保留圖像內(nèi)容，最后通過輸出模塊得到結(jié)果。

在傳統(tǒng)U?Net基礎(chǔ)上，模型增加了一個提煉塊（Distill Block），通過設(shè)置兩個學(xué)習(xí)參數(shù)α和ω來調(diào)整陰影和非陰影區(qū)域的曝光，從而更準(zhǔn)確地學(xué)習(xí)兩者之間的特征差異，生成更加有效的特征表示。Fu[21]等人的研究中首次將曝光調(diào)節(jié)引入陰影處理，并取得當(dāng)時最好結(jié)果。從編碼塊傳輸?shù)奶卣鲌D經(jīng)過動態(tài)卷積（Dynamic Convolution）與層歸一化（Layer Normalization）處理后，疊加到經(jīng)過通道注意力機制模塊（Channel Attention）的加權(quán)特征圖上，再與曝光調(diào)整后的圖像進行整合輸出（圖2）。

圖2 網(wǎng)絡(luò)結(jié)構(gòu)

本文使用像素?fù)p失、遮罩損失與感知損失的組合計算預(yù)測與基準(zhǔn)真實值的差距，前兩種損失計算對應(yīng)圖像之間的均方誤差，而感知損失比較的是圖像之間的高級語義差異。

4.2 實驗結(jié)果與分析

本實驗硬件采用NVIDIA A100顯卡，軟件環(huán)境采用64位Ubuntu系統(tǒng)，應(yīng)用Python 3.10、CUDA 11.0、PyTorch 2.1.0等相關(guān)工具包。選擇Adam優(yōu)化器，采用按需調(diào)整學(xué)習(xí)率，一共迭代訓(xùn)練300次。

4.2.1 結(jié)果對比

輸入圖像表示原始陰影圖像，輸出圖像為模型預(yù)測輸出的結(jié)果，真實遮罩由原始圖與無陰影圖計算得到，輸出遮罩由原始圖與預(yù)測圖計算得到。圖3和圖4展示了一些模型訓(xùn)練時的輸出樣本和計算得到的陰影遮罩，結(jié)果表明，該網(wǎng)絡(luò)成功去除了均勻強度的強陰影與自陰影，同時完整保留了原始圖像內(nèi)容（圖3第一、三行）。當(dāng)陰影與復(fù)雜紋理或背景交織時，去除效果受到影響。如果背景紋理中色彩差異明顯，且與陰影顏色差距大，模型可實現(xiàn)良好的去除效果，且較為完整地保留原始紋理信息（圖3第二行）。但是當(dāng)背景紋理細(xì)節(jié)豐富，顏色飽和度高，尤其是與陰影顏色不易區(qū)分時，輸出中常會伴有一定的邊界偽影，且丟失部分紋理信息（圖3第一、四行，圖4第一行）。針對此類陰影與背景色度差異較小的情況，可將模型在對應(yīng)特定數(shù)據(jù)領(lǐng)域進行微調(diào)，與主要功能的實現(xiàn)進行結(jié)合。

圖3　模型訓(xùn)練部分結(jié)果

圖4　真實遮罩與輸出陰影遮罩對比

4.2.2 定量評估

本文使用三種誤差指標(biāo)，量化并比較模型在測試集上的陰影去除效果。均方根誤差（Root Mean Squared Error，RMSE）計算預(yù)測值與真值誤差平方的算術(shù)平方根，其值越小表示預(yù)測越準(zhǔn)確。峰值信噪比（Peak Signal?to?Noise Ratio，PSNR）衡量對應(yīng)圖像之間的相似度，其值越高表明圖像噪聲占比越小。結(jié)構(gòu)相似性（Structural Similarity, SSIM）指數(shù)考慮人眼對圖像的感知特性，通過亮度比較、對比度比較與結(jié)構(gòu)比較三方面來評估圖像相似度，取值范圍是[-1,1]，數(shù)值越高表明圖像差異越小。觀察表2可知，使用模型處理前后，誤差指標(biāo)均發(fā)生顯著改變。相較于原始陰影圖像，本文方法得到的輸出圖像實現(xiàn)了陰影的有效去除，輸出結(jié)果與真實無陰影照片相似度顯著增加。

表2　測試集平均誤差數(shù)據(jù)表

5總結(jié)與展望

本文分別針對一般圖像陰影去除任務(wù)和材質(zhì)紋理陰影去除問題展開了深入探究。對于前者，研究基于WSRD數(shù)據(jù)集篩選并構(gòu)建了具備豐富表征性的特定訓(xùn)練數(shù)據(jù)集，完成模型訓(xùn)練與結(jié)果評估。實驗表明模型在多種場景下均取得了令人滿意的效果，在較好地去除投射陰影、自陰影與軟陰影的同時，完整恢復(fù)了原始圖像中的顏色紋理等細(xì)節(jié)。然而，在某些復(fù)雜場景下，該模型效果仍需進一步優(yōu)化完善。復(fù)雜場景主要包含以下三種情況：陰影邊緣模糊且形狀較小、背景顏色與陰影相似、陰影完全遮擋主體部分。針對以上情況，可分別制定對應(yīng)數(shù)據(jù)集，例如收集并制作軟陰影數(shù)據(jù)集或深色背景陰影數(shù)據(jù)集等，將模型在指定數(shù)據(jù)領(lǐng)域上進行微調(diào)，與主體模型相結(jié)合，構(gòu)成框架應(yīng)用。該方式相較于訓(xùn)練出能夠推廣至每個領(lǐng)域的大型網(wǎng)絡(luò)來說，更為節(jié)省算力且具備較高擴展性。

針對材質(zhì)紋理的陰影去除問題，本文分析其面臨的挑戰(zhàn)，總結(jié)了現(xiàn)有模型和處理水平。未來研究將著重制作特定數(shù)據(jù)集，特別關(guān)注紋理中難以處理的軟陰影或自陰影部分，以全新數(shù)據(jù)庫喂養(yǎng)模型，通過參數(shù)優(yōu)化，實現(xiàn)參考算法的遷移學(xué)習(xí)（Transfer Learning），并嘗試提高紋理恢復(fù)的準(zhǔn)確性。同時進行高分辨率輸入的預(yù)處理實驗，以實現(xiàn)在固定類型下材質(zhì)陰影的智能去除，同時滿足后期制作中對于材質(zhì)貼圖的規(guī)格要求。

參考文獻

（向下滑動閱讀）

[1] 孫見昕. 淺談電影特效攝制生產(chǎn)流程 [J]. 現(xiàn)代電影技術(shù), 2021, (02): 54?57,37.

[2] 史澤奇.Research on GAN?based Material Reconstruction and Highlight Removal from a Single Image[D].浙江理工大學(xué),2022.

[3] 趙燁梓,王璐,徐延寧,等.基于機器學(xué)習(xí)的三維場景高度真實感繪制方法綜述[J].軟件學(xué)報,2022,33(01).

[4] Khan S H, Bennamoun M, Sohel F, et al. Automatic feature learning for robust shadow detection[C]//2014 IEEE conference on computer vision and pattern recognition. IEEE, 2014: 1939?1946.

[5] Qu L, Tian J, He S, et al. Deshadownet: A multi?context embedding deep network for shadow removal[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 4067?4075.

[6] Hu X, Zhu L, Fu C W, et al. Direction?aware spatial context features for shadow detection[C]//Proceedings of the IEEE conference on computer vision and pattern recognition, 2018: 7454?7462.

[7] Le H, Samaras D. Shadow removal via shadow image decomposition[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2019: 8578?8587.

[8] Goodfellow I, Pouget?Abadie J, Mirza M, et al. Generative adversarial networks[J]. Communications of the ACM, 2020, 63(11): 139?144.

[9] Wang J, Li X, Yang J. Stacked conditional generative adversarial networks for jointly learning shadow detection and shadow removal[C]//Proceedings of the IEEE conference on computer vision and pattern recognition, 2018: 1788?1797.

[10] Hu X, Jiang Y, Fu C W, et al. Mask?shadowgan: Learning to remove shadows from unpaired data[C]//Proceedings of the IEEE/CVF international conference on computer vision, 2019: 2472?2481.

[11] Jin Y, Sharma A, Tan R T. Dc?shadownet: Single?image hard and soft shadow removal using unsupervised domain?classifier guided network[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 5027?5036.

[12] Zhang X, Zhao Y, Gu C, et al. SpA?Former: An Effective and lightweight Transformer for image shadow removal[C]//2023 International Joint Conference on Neural Networks (IJCNN). IEEE, 2023: 1?8.

[13] Guo L, Huang S, Liu D, et al. Shadowformer: Global context helps image shadow removal[J]. arXiv preprint arXiv:2302.01650, 2023.

[14] Li Z, Sunkavalli K, Chandraker M. Materials for masses: SVBRDF acquisition with a single mobile phone image[C]//Proceedings of the European conference on computer vision (ECCV), 2018: 72?87.

[15] Deschaintre V, Aittala M, Durand F, et al. Single?image svbrdf capture with a rendering?aware deep network[J]. ACM Transactions on Graphics (ToG), 2018, 37(4): 1?15.

[16] Deschaintre V, Aittala M, Durand F, et al. Flexible svbrdf capture with a multi‐image deep network[C]//Computer graphics forum, 2019, 38(4): 1?13.

[17] Narihira T, Maire M, Yu S X. Direct intrinsics: Learning albedo?shading decomposition by convolutional regression[C]//Proceedings of the IEEE international conference on computer vision, 2015: 2992?2992.

[18] Ronneberger O, Fischer P, Brox T. U?net: Convolutional networks for biomedical image segmentation[C]//Medical Image Computing and Computer?Assisted Intervention–MICCAI 2015: 18th International Conference, Munich, Germany, October 5?9, 2015, Proceedings, Part III 18. Springer International Publishing, 2015: 234?241.

[19] Isola P, Zhu J Y, Zhou T, et al. Image?to?image translation with conditional adversarial networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition, 2017: 1125?1134.

[20] Vasluianu F A, Seizinger T, Timofte R. WSRD A novel benchmark for high resolution image shadow removal[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023: 1825?1834.

[21] Fu L, Zhou C, Guo Q, et al. Auto?exposure fusion for single?image shadow removal[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, 2021: 10571?10580.

主管單位：國家電影局

主辦單位：電影技術(shù)質(zhì)量檢測所

標(biāo)準(zhǔn)國際刊號：ISSN 1673-3215

國內(nèi)統(tǒng)一刊號：CN 11-5336/TB

投稿系統(tǒng)：ampt.crifst.ac.cn

官方網(wǎng)站：www.crifst.ac.cn

期刊發(fā)行：010-63245081