本文刊發(fā)于《現(xiàn)代電影技術(shù)》2024年第2期

專(zhuān)家點(diǎn)評(píng)

神經(jīng)輻射場(chǎng)（Neural Radiance Fields, NeRF）最早由Ben Mildenhall等研究者在2020年歐洲計(jì)算機(jī)視覺(jué)大會(huì)（ECCV）上提出并獲得當(dāng)年的最佳論文獎(jiǎng)。該技術(shù)通過(guò)使用稀疏的輸入視圖集來(lái)優(yōu)化底層連續(xù)體積場(chǎng)景函數(shù)以實(shí)現(xiàn)復(fù)雜場(chǎng)景新視圖的合成，其豐富和拓展了傳統(tǒng)的隱式表達(dá)方法，僅僅通過(guò)二維圖像作為監(jiān)督即可實(shí)現(xiàn)對(duì)復(fù)雜三維場(chǎng)景的表達(dá)。NeRF通過(guò)優(yōu)化訓(xùn)練得到的神經(jīng)輻射場(chǎng)模型，可以渲染出任意視角、具有復(fù)雜幾何和外觀場(chǎng)景的照片級(jí)真實(shí)感新視圖。得益于其超強(qiáng)的隱式表達(dá)能力，近年來(lái)NeRF技術(shù)得到迅速發(fā)展，在新視點(diǎn)合成、三維重建等領(lǐng)域得到成功應(yīng)用。《基于NeRF的3D場(chǎng)景動(dòng)畫(huà)風(fēng)格遷移及其技術(shù)美學(xué)價(jià)值研究》一文將NeRF引入三維場(chǎng)景動(dòng)畫(huà)制作中，提出了一種改進(jìn)的神經(jīng)輻射場(chǎng)技術(shù)，對(duì)拍攝影像進(jìn)行三維重構(gòu)，進(jìn)而完成動(dòng)畫(huà)風(fēng)格遷移，借此形成獨(dú)特的三維動(dòng)畫(huà)場(chǎng)景藝術(shù)效果的解決方案。實(shí)驗(yàn)表明，NeRF能夠針對(duì)三維場(chǎng)景實(shí)現(xiàn)更好的動(dòng)畫(huà)風(fēng)格遷移效果，較為快速地生成不同風(fēng)格的動(dòng)畫(huà)影片，有望提高影視動(dòng)畫(huà)等創(chuàng)作效率，并在一定程度上節(jié)約制作成本。該方法為影視動(dòng)畫(huà)創(chuàng)作者提供了藝術(shù)創(chuàng)作的新思路和新方法，有望進(jìn)一步拓展視覺(jué)藝術(shù)創(chuàng)作形式，對(duì)相關(guān)研究者和從業(yè)人員具有較強(qiáng)的參考價(jià)值。

——?jiǎng)⑹拦?/p>

教授

天津大學(xué)智能與計(jì)算學(xué)部博士生導(dǎo)師

作 者 簡(jiǎn) 介

王騰飛

上海政法學(xué)院上海紀(jì)錄片學(xué)院講師，上海電影特效工程技術(shù)研究中心特聘研究員，主要研究方向：電影高新技術(shù)、電影敘事學(xué)等。

上海大學(xué)上海電影學(xué)院講師、碩士生導(dǎo)師，主要研究方向：圖形圖像處理、數(shù)字影視技術(shù)等。

于　冰

黃東晉

上海大學(xué)上海電影學(xué)院副教授，影視工程系主任，博士生導(dǎo)師，主要研究方向：人工智能、影視技術(shù)、計(jì)算機(jī)圖形學(xué)等。

上海大學(xué)上海電影學(xué)院碩士研究生在讀，主要研究方向：電影修復(fù)技術(shù)、深度學(xué)習(xí)。

范正輝

摘要

針對(duì)傳統(tǒng)3D動(dòng)畫(huà)場(chǎng)景建模技術(shù)存在操作困難，相關(guān)行業(yè)對(duì)3D模型需求量大、計(jì)算機(jī)硬件要求較高等諸多問(wèn)題，本文提出一種改進(jìn)的神經(jīng)輻射場(chǎng)（NeRF）技術(shù)，通過(guò)對(duì)拍攝影像進(jìn)行3D重構(gòu)，進(jìn)而完成動(dòng)畫(huà)風(fēng)格遷移，借此形成獨(dú)特3D動(dòng)畫(huà)場(chǎng)景藝術(shù)效果的解決方案。作為一種新穎的3D重建方法，NeRF受到計(jì)算機(jī)圖像合成領(lǐng)域廣泛關(guān)注。本文將NeRF引入3D場(chǎng)景動(dòng)畫(huà)制作中，在驗(yàn)證本方案可行性與科學(xué)性的同時(shí)，也為3D動(dòng)畫(huà)場(chǎng)景創(chuàng)建提供新思路，充實(shí)技術(shù)美學(xué)價(jià)值。

關(guān)鍵詞

NeRF；風(fēng)格遷移；人工智能；3D動(dòng)畫(huà)場(chǎng)景

3D動(dòng)畫(huà)制作流程往往采用3ds Max、Maya、Blender等軟件進(jìn)行建模并添加模型材質(zhì)，渲染輸出3D動(dòng)畫(huà)影像。即便是3D動(dòng)畫(huà)場(chǎng)景也依然遵循這樣的基本制作流程，因此在制作過(guò)程中需要大量人力物力才得以維持，工作繁雜且制作過(guò)程辛苦。而在虛擬現(xiàn)實(shí)（VR）、游戲場(chǎng)景設(shè)計(jì)等諸多領(lǐng)域中，對(duì)3D場(chǎng)景以及其中相關(guān)事物的建模需求量不斷攀升，需求與制作形成嚴(yán)重不平衡的局面。因此，本文提出基于改進(jìn)的神經(jīng)輻射場(chǎng)（Neural Radiance Fields, NeRF）技術(shù)對(duì)拍攝影像進(jìn)行3D重構(gòu)，進(jìn)而完成動(dòng)畫(huà)風(fēng)格遷移（AnimeGAN），借此形成獨(dú)特3D動(dòng)畫(huà)場(chǎng)景藝術(shù)效果，從而嘗試改變傳統(tǒng)3D場(chǎng)景動(dòng)畫(huà)制作方式，以期為3D藝術(shù)創(chuàng)作提供解決相關(guān)問(wèn)題的新途徑新方法。

2020年，Midenhall等人[1]首次提出NeRF并將其運(yùn)用于新視圖合成。在實(shí)現(xiàn)復(fù)雜場(chǎng)景高度真實(shí)視覺(jué)的合成方面，NeRF是一種新穎的視覺(jué)合成與3D創(chuàng)建方法[2]，其模型采用多層感知器[3]（Multi?layer Perceptrons, MLPs）進(jìn)行隱式神經(jīng)場(chǎng)景體繪制[4]（Volume Rendering of Neural Implicit）并實(shí)現(xiàn)視覺(jué)圖像合成[5]，且可以只使用單一場(chǎng)景的多視圖圖像進(jìn)行訓(xùn)練。目前國(guó)內(nèi)外相關(guān)研究主要集中在3D場(chǎng)景創(chuàng)建領(lǐng)域，只需拍攝較少影像畫(huà)面，運(yùn)用NeRF就可以實(shí)現(xiàn)創(chuàng)建3D影像場(chǎng)景這一目的。

基于NeRF可以有效解決3D場(chǎng)景動(dòng)畫(huà)風(fēng)格遷移，相較于傳統(tǒng)基于VGG?19[6]神經(jīng)學(xué)習(xí)網(wǎng)絡(luò)，其不只是局限于二維平面中圖像紋理等元素的處理。作為人工智能算法的模型之一，NeRF在3D場(chǎng)景風(fēng)格遷移運(yùn)用中具有較強(qiáng)優(yōu)勢(shì)。本文將改進(jìn)NeRF基本算法模型，借助神經(jīng)網(wǎng)絡(luò)（Neural Network）學(xué)習(xí)系列劇集《中國(guó)奇譚》的動(dòng)畫(huà)風(fēng)格，并針對(duì)其3D場(chǎng)景進(jìn)行風(fēng)格化遷移，以期為3D場(chǎng)景藝術(shù)化創(chuàng)作提供思路與參考，并進(jìn)一步充實(shí)技術(shù)美學(xué)價(jià)值。

1NeRF研究現(xiàn)狀

作為近年來(lái)出現(xiàn)的一種新穎的視覺(jué)圖像合成方式，NeRF通過(guò)多層感知場(chǎng)景進(jìn)行體積表達(dá)，能夠?qū)崿F(xiàn)較好的視覺(jué)效果呈現(xiàn)，可以有效將單張圖像制作成較好的3D影像。此外，NeRF能夠?qū)崿F(xiàn)高質(zhì)量圖像轉(zhuǎn)換，并展現(xiàn)出較好的實(shí)驗(yàn)效果，單個(gè)圖像的影像空間表達(dá)等得到較大提升。

傳統(tǒng)創(chuàng)作過(guò)程中，將二維圖像轉(zhuǎn)成3D影像時(shí)，專(zhuān)業(yè)人士大多參照二維圖像并將其創(chuàng)建成3D模型，通過(guò)模擬二維圖像中的紋理，映射到 3D 紋理中從而完成目標(biāo)物的建模。基于當(dāng)下生成式人工智能（Generated AI）的方式創(chuàng)建模型，又極具挑戰(zhàn)性，無(wú)法較好地完成目標(biāo)任務(wù)。同時(shí)在3D風(fēng)格化方面，也存在其結(jié)果與目標(biāo)樣式的相似一致性等諸多問(wèn)題。

自Midenhall提出NeRF相關(guān)研究之后，通過(guò)新穎的視角將任意二維轉(zhuǎn)換成3D，并較好地完成風(fēng)格遷移與表達(dá)，這種方法利用體積渲染（Volume Rendering），達(dá)到保持跨視圖的一致性，自此陸續(xù)出現(xiàn)NeRF相關(guān)研究成果。2021年Zhan[7]等人發(fā)表關(guān)于多模態(tài)圖像合成與編輯的調(diào)查報(bào)告；2022年Tewari[8]等人發(fā)表有關(guān)于神經(jīng)渲染的報(bào)告，同年，Chiang[9]等人將NeRF應(yīng)用于場(chǎng)景表達(dá)；依賴于預(yù)訓(xùn)練樣式，實(shí)現(xiàn)超網(wǎng)格的格式化外觀。Kolkin[10]等人提出3D風(fēng)格化問(wèn)題，運(yùn)用NeRF可以更加有效地實(shí)現(xiàn)圖像多樣化的問(wèn)題；Zhang[11]等人提出基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)，進(jìn)一步提升NeRF計(jì)算能力。目前相關(guān)研究主要集中在提高NeRF體積渲染，通過(guò)訓(xùn)練，將現(xiàn)有的NeRF轉(zhuǎn)化為具有不同風(fēng)格的場(chǎng)景。訓(xùn)練主要分為兩大階段：第一階段基于圖像中的色彩變換信息進(jìn)行遷移訓(xùn)練藝術(shù)輻射場(chǎng)（Artistic Radiance Fields，ARF），第二階段則是采用基于匹配的VGG風(fēng)格化損失，即最近鄰特征匹配損失[10]（Nearest Neighbour Feature Matching，NNFM）進(jìn)一步訓(xùn)練ARF，主要從觀測(cè)方向的局部向量反射、相機(jī)姿勢(shì)、漫反射顏色、高光色調(diào)、表面法線方向等進(jìn)行突破，并對(duì)稀疏輸入視圖等方面進(jìn)行訓(xùn)練，采用變形場(chǎng)、深度監(jiān)督與點(diǎn)云等多種方法提高NeRF的渲染精度，如Zhang等[11]提出基于亮度場(chǎng)景的可控制3D場(chǎng)景風(fēng)格化解決方案，較為有效地解決體積渲染中存在的樣式化問(wèn)題；Sucar等[12]則提示可從相機(jī)姿態(tài)與隱式場(chǎng)景的表示著手，對(duì)圖像集中的場(chǎng)景進(jìn)行優(yōu)化，間接提高體積渲染技術(shù)等。

2NeRF基本原理

作為新型的影像合成技術(shù)，NeRF基于五維向量、空間中點(diǎn)位置、攝影機(jī)觀察的角度與方向等獲得物體深度，此外還可基于觀察角度下物體在空間中點(diǎn)的色彩信息完成體素渲染，借此得到預(yù)測(cè)像素值。

四維空間是在傳統(tǒng)3D空間基礎(chǔ)之上加上時(shí)間共同構(gòu)成。自愛(ài)因斯坦相對(duì)論誕生以來(lái)，空間與時(shí)間成為一個(gè)不可分割的整體，同時(shí)空間和時(shí)間可以相互轉(zhuǎn)化。對(duì)系統(tǒng)論而言，任何系統(tǒng)都是有層次的，從狹義角度，即隨著時(shí)間推移，事物不同深度的本質(zhì)不斷演變成事物在發(fā)展過(guò)程中的不同階段。層次統(tǒng)一的空間理論與時(shí)間、傳統(tǒng)空間構(gòu)成五維空間的理論基礎(chǔ)，同時(shí)事物正是通過(guò)五維空間相關(guān)要素之間的相互轉(zhuǎn)化實(shí)現(xiàn)發(fā)展。在五維空間基礎(chǔ)之上加上向量，共同構(gòu)成五維向量。本文基于對(duì)五維空間及其向量的認(rèn)知，借助計(jì)算機(jī)有效計(jì)算在3D空間中某一點(diǎn)以及在這個(gè)點(diǎn)觀察方向上所視該點(diǎn)的色彩信息等，記錄該點(diǎn)某一特定時(shí)期在系統(tǒng)中的狀態(tài)。

基于上述原理形成NeRF模型下對(duì)3D場(chǎng)景的認(rèn)知基礎(chǔ)。NeRF模型則是將3D場(chǎng)景表示為由神經(jīng)網(wǎng)絡(luò)相似的輻射場(chǎng)，在這個(gè)場(chǎng)中，每一個(gè)點(diǎn)都有相關(guān)顏色，每個(gè)方向都有一個(gè)較好的觀測(cè)視角，點(diǎn)和視角可以較好地構(gòu)成體積密度，對(duì)于NeRF中的五維空間而言，圖1中x、y、z代表3D空間中點(diǎn)所處的位置信息，θ代表方位角，φ代表軸視角。在不同方位角度、不同軸視角下，看到3D空間中的物體其色彩有所不同，點(diǎn)的顏色會(huì)隨著場(chǎng)中的觀察方向以及場(chǎng)景內(nèi)坐標(biāo)的變化而變化。通過(guò)跟蹤光線等，就可以合成出圖像中每個(gè)點(diǎn)的新穎視圖﹝圖1（a）﹞；對(duì)于空間中的任意一點(diǎn)，都可以得出這個(gè)點(diǎn)的RGB三基色中所含信息以及該點(diǎn)的深度﹝圖1（b）﹞。在同一系統(tǒng)中的不同攝影機(jī)視角下，使用體積渲染生成這個(gè)點(diǎn)的色彩信息以及密度﹝圖1（c）﹞，這意味著NeRF可以實(shí)現(xiàn)復(fù)雜場(chǎng)景中高真實(shí)感視圖合成的可能。本文在充分掌握并吸收Midenhall等提出的NeRF原理基礎(chǔ)上，對(duì)其算法等進(jìn)行改進(jìn)，并嘗試將相關(guān)技術(shù)運(yùn)用于動(dòng)畫(huà)風(fēng)格遷移之中，即充分學(xué)習(xí)二維場(chǎng)景的風(fēng)格并以其作為參考，借助NeRF將風(fēng)格投射到3D場(chǎng)景之中，以驗(yàn)證其可行性。

圖1　NeRF原理[2]

3NeRF基礎(chǔ)模型風(fēng)格遷移算法優(yōu)化

3.1 NeRF進(jìn)行3D風(fēng)格效果遷移的步驟

NeRF進(jìn)行3D風(fēng)格效果遷移主要包括以下基本步驟：

（1）通過(guò)神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)圖片進(jìn)行風(fēng)格化學(xué)習(xí)，如VGG?16、VGG?19[14]。運(yùn)用預(yù)先訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)[15]（CNN），有效學(xué)習(xí)目標(biāo)圖像中的色相、紋理等相關(guān)重要信息，為創(chuàng)造高質(zhì)量的藝術(shù)輻射場(chǎng)奠定基礎(chǔ)。

（2）對(duì)所拍攝的影像中目標(biāo)場(chǎng)景進(jìn)行3D空間重建，從不同視點(diǎn)來(lái)表達(dá)影像世界中的場(chǎng)景，并形成場(chǎng)景云。這種方式可以有效模擬并“還原”真實(shí)世界場(chǎng)景，包含場(chǎng)景中的光影等。

（3）經(jīng)過(guò)3D場(chǎng)景重建以及目標(biāo)圖像學(xué)習(xí)之后，可以有效將圖片風(fēng)格遷移至3D場(chǎng)景中，從而完成對(duì)3D目標(biāo)的藝術(shù)化創(chuàng)作。NeRF即可完成3D場(chǎng)景風(fēng)格遷移，具體流程如圖2所示。

圖2　NeRF風(fēng)格遷移實(shí)驗(yàn)步驟[13]

3.2 基于優(yōu)化后的NeRF進(jìn)行風(fēng)格遷移的算法

本文在原有風(fēng)格遷移基礎(chǔ)步驟之上，增加針對(duì)動(dòng)畫(huà)風(fēng)格中的相關(guān)算法。

（1）對(duì)拍攝影像中的目標(biāo)場(chǎng)景，使用COLMAP[6]進(jìn)行稀疏重建。COLMAP是一種結(jié)合了通用運(yùn)動(dòng)結(jié)構(gòu)和多視圖立體的3D重建管線,可以根據(jù)不同視角的照片得到目標(biāo)場(chǎng)景的稀疏重建結(jié)果，其輸出包括相機(jī)內(nèi)外參數(shù)以及3D點(diǎn)信息的文件。將上述位姿信息轉(zhuǎn)換格式后送入NeRF進(jìn)行新視角合成，得到重建后的3D模型。

（2）使用ARF算法[5]對(duì)重建后的3D模型進(jìn)行風(fēng)格化。由于常用于圖像風(fēng)格化的VGG風(fēng)格損失難以將高頻細(xì)節(jié)遷移到3D場(chǎng)景，ARF算法使用了NNFM，在將風(fēng)格圖像遷移到3D場(chǎng)景的同時(shí)保證了多視點(diǎn)一致性。具體而言，對(duì)風(fēng)格圖像Is和給定視角的NeRF渲染圖像Ir分別提取出VGG特征圖Fs和Fr。Fs(i, j)表示特征圖Fr第i行第j列像素的特征向量。NNFM如式（1）所示。

其中，N表示Fr的像素總數(shù)，D(Fr（i,j）,Fs（i', j'）)表示兩個(gè)向量之間的余弦距離。即最小化Fr的每個(gè)特征與其在Fs特征空間中最近鄰的余弦距離。

（3）為了避免最鄰近特征匹配損失導(dǎo)致過(guò)度風(fēng)格化，ARF采用了一個(gè)內(nèi)容保持損失函數(shù)來(lái)度量?jī)?nèi)容圖與特征圖之間的l2距離。

式（2）中，λ是控制風(fēng)格化強(qiáng)度的權(quán)重。ARF通過(guò)VGG提取特征圖，使用以上損失函數(shù)不斷優(yōu)化風(fēng)格化，以期獲得具有多視點(diǎn)一致性、藝術(shù)性強(qiáng)的風(fēng)格化結(jié)果。

4優(yōu)化后NeRF對(duì)3D場(chǎng)景動(dòng)畫(huà)風(fēng)格遷移實(shí)踐

我們以上海美術(shù)電影制片廠系列劇集《中國(guó)奇譚》為例，使用優(yōu)化后NeRF對(duì)攝影作品進(jìn)行風(fēng)格遷移，并驗(yàn)證NeRF的有效性與可行性。在進(jìn)行相關(guān)實(shí)驗(yàn)、收集相關(guān)數(shù)據(jù)時(shí)，既有使用大疆無(wú)人機(jī)拍攝的大型建筑物場(chǎng)景，也有利用普通攝影機(jī)記錄的小型建筑物場(chǎng)景，確保實(shí)驗(yàn)過(guò)程中數(shù)據(jù)的多樣性，共同用于3D風(fēng)格化遷移實(shí)驗(yàn)；同時(shí)，也設(shè)有同一場(chǎng)景進(jìn)行不同風(fēng)格遷移實(shí)驗(yàn)，采用多實(shí)驗(yàn)選型與多風(fēng)格遷移共同增強(qiáng)本實(shí)驗(yàn)的科學(xué)性。

基于NeRF的風(fēng)格遷移開(kāi)展實(shí)踐。本文截取《中國(guó)奇譚》之《小妖怪的夏天》中影像畫(huà)面（圖3）進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)優(yōu)先選擇小型場(chǎng)景進(jìn)行風(fēng)格遷移測(cè)試研究，且視點(diǎn)集中在一側(cè)，運(yùn)用VGG?19神經(jīng)網(wǎng)絡(luò)對(duì)圖3進(jìn)行相關(guān)要素學(xué)習(xí)，以獲得目標(biāo)圖像特征。在獲取到相應(yīng)特征后，將所拍到的影像轉(zhuǎn)換成圖像序列幀。本實(shí)驗(yàn)對(duì)相關(guān)圖像序列每間隔四幀選出特定關(guān)鍵幀（圖4），用于對(duì)相關(guān)場(chǎng)景進(jìn)行3D重建。以獲取在計(jì)算機(jī)可視范圍內(nèi)對(duì)應(yīng)像素點(diǎn)，借此形成每一像素點(diǎn)的體積云用于生成3D影像空間，即完成3D重建，經(jīng)過(guò)相關(guān)算法處理完成之后截取部分具有代表性的圖片，整體效果如圖5所示。圖5較為完整地展示了計(jì)算機(jī)重建3D空間的過(guò)程。在此基礎(chǔ)之上，實(shí)驗(yàn)借助VGG?19神經(jīng)網(wǎng)絡(luò)進(jìn)行特征學(xué)習(xí)，并遷移至3D重建空間中形成影像（圖6）。借助NeRF可以較為有效地將單一圖片中的動(dòng)畫(huà)風(fēng)格遷移至3D場(chǎng)景中，本文截取此次實(shí)驗(yàn)中的三張圖片（圖7）進(jìn)行效果分析。經(jīng)分析，三幅圖像中所標(biāo)注的紅色區(qū)域部分，其前景中的水泥制噴泉可以較好地與背景建筑物體區(qū)分。風(fēng)格遷移完成后，有關(guān)像素點(diǎn)色彩信息在3D空間中未發(fā)生閃爍，且有關(guān)色相等并無(wú)明顯變化，能夠較好地與前后景區(qū)分，較為成功地完成3D動(dòng)畫(huà)風(fēng)格遷移實(shí)驗(yàn)。

圖3　《小妖怪的夏天》圖片

圖4　建筑物序列

圖5　建筑物三維重建

圖6　建筑物3D風(fēng)格遷移

圖7　建筑物風(fēng)格遷移效果

為增強(qiáng)本實(shí)驗(yàn)各類(lèi)方法的有效性驗(yàn)證，本文截取《中國(guó)奇譚》之《鄉(xiāng)村巴士帶走了王孩兒和神仙》中圖像﹝圖8（A）﹞，經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)遷移至其他多種不同建筑物體的大型場(chǎng)景，對(duì)選用的三組場(chǎng)景﹝圖8（B）（C）（D）﹞進(jìn)行360°旋轉(zhuǎn)掃描實(shí)驗(yàn)，將圖8（A）的動(dòng)畫(huà)影像風(fēng)格遷移至（B）（C）（D）這三組不同的場(chǎng)景影像其建筑物整體輪廓部分，最終效果與圖8（A）的風(fēng)格較為相似，整體實(shí)驗(yàn)結(jié)果尚可。與此同時(shí)，在本實(shí)驗(yàn)過(guò)程中，為進(jìn)一步驗(yàn)證實(shí)驗(yàn)的可靠性與可行性，我們將水墨、油畫(huà)等不同風(fēng)格動(dòng)畫(huà)影像遷移至同一場(chǎng)景之中，進(jìn)行效果分析（圖9），借助圖9（A）場(chǎng)景進(jìn)行三維重建，采用三種不同影像風(fēng)格進(jìn)行三維效果遷移，最終呈現(xiàn)效果如圖9（B）（C）（D）所示，整體風(fēng)格遷移較為完善，且不存在色彩閃爍等現(xiàn)象，同時(shí)畫(huà)面的明暗交接等效果較好。因此，基于神經(jīng)網(wǎng)絡(luò)所習(xí)得的動(dòng)畫(huà)影像風(fēng)格，借助NeRF能夠?qū)⑵漭^好地進(jìn)行3D場(chǎng)景遷移，且生成的場(chǎng)景可以接受不同風(fēng)格動(dòng)畫(huà)影像。

圖8　同種風(fēng)格遷移到不同場(chǎng)景效果圖

圖9　多種風(fēng)格遷移效果圖

經(jīng)過(guò)不同的動(dòng)畫(huà)風(fēng)格學(xué)習(xí)，改進(jìn)后的NeRF可以較為有效地對(duì)3D場(chǎng)景進(jìn)行風(fēng)格化遷移，既可將同一動(dòng)畫(huà)風(fēng)格遷移至不同建筑場(chǎng)景之中，也能實(shí)現(xiàn)不同動(dòng)畫(huà)風(fēng)格遷移至同一場(chǎng)景之中。在原有的神經(jīng)學(xué)習(xí)網(wǎng)絡(luò)基礎(chǔ)上，通過(guò)解析影像畫(huà)面，借助NeRF將單一圖片中的動(dòng)畫(huà)風(fēng)格遷移至三維影像空間之中。從實(shí)驗(yàn)結(jié)果可知，該方法具備可行性，可以為動(dòng)畫(huà)藝術(shù)創(chuàng)作提供全新的思路與方法。

5基于NeRF進(jìn)行動(dòng)畫(huà)風(fēng)格遷移的價(jià)值思考

作為在計(jì)算機(jī)技術(shù)支持下的人工智能算法之一，經(jīng)過(guò)相關(guān)實(shí)驗(yàn)，NeRF能夠較好運(yùn)用于3D場(chǎng)景動(dòng)畫(huà)風(fēng)格遷移中。這種方式將催生出新的藝術(shù)創(chuàng)作手法，促使影像畫(huà)面具有新的藝術(shù)形態(tài)，如“動(dòng)畫(huà)藝術(shù)”，并不斷促使“技術(shù)美學(xué)”走上新臺(tái)階。通過(guò)對(duì)圖像進(jìn)行特征學(xué)習(xí)，NeRF能夠有效地將風(fēng)格遷移到其他圖片序列中，且保持3D效果特征，可以視為“技術(shù)”通過(guò)學(xué)習(xí)藝術(shù)，進(jìn)而“自行”創(chuàng)造藝術(shù)之美的過(guò)程。作為計(jì)算機(jī)技術(shù)之一的數(shù)字技術(shù)，脫離部分物質(zhì)實(shí)體，其藝術(shù)材質(zhì)更多展現(xiàn)為數(shù)字化的，形成介入技術(shù)美學(xué)[16]的典型特征，并為現(xiàn)代技術(shù)美學(xué)開(kāi)拓疆域。科技促使哲學(xué)美感、倫理美感、文化美感融為一體成為現(xiàn)實(shí)可能[17]。

此外，NeRF表現(xiàn)出突破二維平面風(fēng)格遷移，帶來(lái)多元化創(chuàng)作方式的特征。通過(guò)處理3D圖像，使得藝術(shù)創(chuàng)作獲得巨大解放，促使“藝術(shù)復(fù)制”的快速發(fā)展，從而取代“藝術(shù)唯一”。在傳統(tǒng)藝術(shù)創(chuàng)作之中，藝術(shù)作品往往具有唯一性和不可復(fù)制性，否則只會(huì)淪為贗品；但基于數(shù)字技術(shù)，尤其是在NeRF支持下，藝術(shù)創(chuàng)作突破單一平面，促使對(duì)影像畫(huà)面中的3D目標(biāo)物形成風(fēng)格遷移，此時(shí)藝術(shù)的“復(fù)制”不只是單純的“照搬”，而是經(jīng)過(guò)人工智能學(xué)習(xí)之后，對(duì)影像進(jìn)行風(fēng)格遷移，“藝術(shù)永恒”逐漸被沖擊。

在NeRF等技術(shù)支持下，形成的新型藝術(shù)創(chuàng)作方式促使“制作”輔助“創(chuàng)作”，形成新型的技術(shù)美學(xué)話語(yǔ)。通過(guò)機(jī)器學(xué)習(xí)[11]（Machine Learning）制作更多的藝術(shù)作品，而藝術(shù)創(chuàng)作可以留給藝術(shù)家進(jìn)行思考。技術(shù)只需將藝術(shù)符號(hào)等進(jìn)行組裝，便可形成新的藝術(shù)作品，并給藝術(shù)審美文化帶來(lái)沖擊。在計(jì)算機(jī)技術(shù)支持下，影視作品中的相關(guān)元素呈現(xiàn)多元化發(fā)展趨勢(shì)，NeRF作為人工智能技術(shù)的一種，可以對(duì)藝術(shù)作品等進(jìn)行“復(fù)制”，從一種“現(xiàn)實(shí)”轉(zhuǎn)換為另一種“現(xiàn)實(shí)”，促使影像藝術(shù)等不再只是對(duì)“現(xiàn)實(shí)模仿”，而是借助數(shù)字技術(shù)重新對(duì)空間進(jìn)行改造，制作出更具“幻影”的空間。

隨著計(jì)算機(jī)處理能力以及各類(lèi)算法的提升，機(jī)器學(xué)習(xí)能夠更為高效地整合資源，尤其是未來(lái)量子計(jì)算將大大滿足智能算法的算力要求，計(jì)算機(jī)將不斷參與現(xiàn)代藝術(shù)創(chuàng)作，將技術(shù)美學(xué)推上新的臺(tái)階。作為智能算法之一，NeRF參與影像畫(huà)面的藝術(shù)創(chuàng)作，成為后現(xiàn)代主義美學(xué)的新秀。技術(shù)美學(xué)將直接參與藝術(shù)創(chuàng)作并推動(dòng)藝術(shù)發(fā)展，這也將導(dǎo)致技術(shù)必須直接介入美學(xué)，在現(xiàn)代社會(huì)文化中，不斷形成技術(shù)、藝術(shù)、美學(xué)之間的密切聯(lián)系。同時(shí)，人工智能技術(shù)也創(chuàng)造全新的現(xiàn)代審美文化，其能夠參與藝術(shù)化創(chuàng)作，以技術(shù)建構(gòu)的美促進(jìn)傳統(tǒng)藝術(shù)觀念發(fā)生改變，從原有的“個(gè)體創(chuàng)作”“全體創(chuàng)作”不斷升級(jí)為“機(jī)器創(chuàng)作”，借助各類(lèi)學(xué)習(xí)算法等促使藝術(shù)創(chuàng)作觀念發(fā)生改變。

6結(jié)論

通過(guò)對(duì)COLMAP以及本論文提出的相關(guān)算法進(jìn)行優(yōu)化改進(jìn)，并對(duì)相關(guān)數(shù)據(jù)進(jìn)行驗(yàn)證性實(shí)驗(yàn)等可知，NeRF能夠針對(duì)3D場(chǎng)景實(shí)現(xiàn)效果更佳的動(dòng)畫(huà)風(fēng)格遷移，較為快速生成不同風(fēng)格的動(dòng)畫(huà)影片，提高影視、動(dòng)畫(huà)等創(chuàng)作效率，在一定程度上節(jié)約成本，為影視動(dòng)畫(huà)創(chuàng)作提供藝術(shù)創(chuàng)作新思路新方法，進(jìn)一步拓展視覺(jué)藝術(shù)創(chuàng)作的深度與廣度，也期待未來(lái)出現(xiàn)更好的3D動(dòng)畫(huà)效果解決方案。

與此同時(shí)，隨著人工智能等各類(lèi)技術(shù)不斷發(fā)展，未來(lái)計(jì)算機(jī)技術(shù)、美學(xué)、藝術(shù)三者將不斷融合。這將促使后現(xiàn)代美學(xué)不斷發(fā)展壯大，并沖擊傳統(tǒng)媒體文化及相關(guān)理論研究，改變?nèi)藗儗?duì)藝術(shù)的認(rèn)知，藝術(shù)創(chuàng)作方式也將發(fā)生改變。

注釋、參考文獻(xiàn)

（向下滑動(dòng)閱讀）

①本文所使用《中國(guó)奇譚》等圖片來(lái)源于互聯(lián)網(wǎng)且僅用于學(xué)術(shù)研究，感謝上海美術(shù)電影制片廠，最終版權(quán)仍屬于上海美術(shù)電影制片廠。

[1] Mildenhall B, Srinivasan P P, Tancik M, et al. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis[C]//European Conference on Computer Vision. Cham: Springer International Publishing, 2020: 405?421.

[2] Gao K, Gao Y N, He H J, et al. NeRF: Neural Radiance Field in 3D Vision, Introduction and Review[EB/OL]. (2023?11?30)[2024?01?05]. https://arxiv.org/pdf/2210.00379.pdf.

[3] Tolstikhin I, Houlsby N, Kolesnikov A, et al. MLP?Mixer: An all?MLP Architecture for Vision[EB/OL].(2021?06?11)[2024?01?05].https://arxiv.org/pdf/2105.01601.pdf.

[4] Yariv L, Gu J, Kasten Y, et al. Volume Rendering of Neural Implicit Surfaces[EB/OL].(2021?12?01)[2024?01?05].https://arxiv.org/pdf/2106.12052.pdf.

[5] Sch?nberger J L, Zheng E, Frahm J M, et al. Pixelwise view selection for unstructured multi?view stereo[C]//Computer Vision–ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, October 11?14, 2016, Proceedings, Part III 14. Springer International Publishing, 2016: 501?518.

[6] 董蓀,丁友東,錢(qián)昀.基于人工智能的風(fēng)格遷移算法在動(dòng)畫(huà)特效設(shè)計(jì)中的應(yīng)用[J].裝飾,2018(01):104?107.

[7] Zhan F, Yu Y, Wu R, et al. Multimodal image synthesis and editing:A survey[EB/OL].(2023?08?24)[2024?01?21].https://arxiv.org/pdf/2112.13592.pdf.

[8] Tewari A, Thies J, Mildenhall B, et al. Advances in neural rendering[J]. Computer Graphics Forum, 2022, 41(2): 703?735.

[9] Chiang P Z, Tsai M S, Tseng H Y, et al. Stylizing 3d scene via implicit representation and hypernetwork[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision, 2022: 1475?1484.

[10] Kolkin N, Kucera M, Paris S, et al. Neural neighbor style transfer[EB/OL]. (2023?03?24)[2024?01?21]. https://arxiv.org/pdf/2203.13215.pdf.

[11] Zhang Y, He Z, Xing J, et al. Ref?NPR: Reference?Based Non?Photorealistic Radiance Fields for Controllable Scene Stylization[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023: 4242?4251.

[12] Sucar E , Liu S , Ortiz J ,et al.iMAP: Implicit Mapping and Positioning in Real?Time[EB/OL].(2021?03?21)[2024?01?05]. https://arxiv.org/pdf/2103.12352v1.pdf.

[13] Zhang K, Kolkin N, Bi S, et al. Arf: Artistic radiance fields[C]//European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2022: 717?733.

[14] Simonyan K, Zisserman A. Very deep convolutional networks for large?scale image recognition[EB/OL]. (2015?04?10)[2024?01?21]. https://arxiv.org/pdf/1409.1556.pdf.

[15] Gu J, Wang Z, Kuen J, et al. Recent advances in convolutional neural networks[J]. Pattern recognition, 2018, 77: 354?377.

[16] 高鑫. 技術(shù)美學(xué)研究(上) [J]. 現(xiàn)代傳播(中國(guó)傳媒大學(xué)學(xué)報(bào)), 2011(02): 63?70.

[17] Jordan M I, Mitchell T M. Machine learning: Trends, perspectives, and prospects[J].Science, 2015.

[18] 高鑫. 技術(shù)美學(xué)研究(下) [J]. 現(xiàn)代傳播(中國(guó)傳媒大學(xué)學(xué)報(bào)), 2011(03): 69?75.

【本文項(xiàng)目信息】2022年度上海政法學(xué)院青年基金項(xiàng)目“虛擬技術(shù)在電影敘事中的運(yùn)用”（2022XQN18）。

主管單位：國(guó)家電影局

主辦單位：電影技術(shù)質(zhì)量檢測(cè)所

標(biāo)準(zhǔn)國(guó)際刊號(hào)：ISSN 1673-3215

國(guó)內(nèi)統(tǒng)一刊號(hào)：CN 11-5336/TB

投稿系統(tǒng)：ampt.crifst.ac.cn

官方網(wǎng)站：www.crifst.ac.cn

期刊發(fā)行：010-63245081