本文刊發(fā)于《現(xiàn)代電影技術(shù)》2024年第7期

專家點(diǎn)評

《元宇宙技術(shù)在電影制作中的應(yīng)用與展望》一文深入分析了元宇宙相關(guān)技術(shù)對電影產(chǎn)業(yè)的深遠(yuǎn)影響，從視覺效果到觀眾體驗(yàn)，均帶來了新的變化。通過《玩具總動(dòng)員》《阿凡達(dá)》等電影案例，展示了元宇宙關(guān)鍵技術(shù)在提升視覺質(zhì)量和創(chuàng)造沉浸式體驗(yàn)方面的應(yīng)用。特別地，基于計(jì)算機(jī)圖形學(xué)的視覺效果和人工智能在自動(dòng)化故事創(chuàng)作與視頻生成中的應(yīng)用潛力，為電影制作帶來了新的途徑；虛擬現(xiàn)實(shí)（VR）和多模態(tài)交互技術(shù)的發(fā)展，為傳統(tǒng)電影向沉浸式互動(dòng)電影的轉(zhuǎn)型提供了可能，使觀眾享有全新的觀影模式。論文以平實(shí)的語言介紹了元宇宙相關(guān)技術(shù)，使非專業(yè)讀者也能輕松理解其在電影制作中的應(yīng)用及未來發(fā)展趨勢，不僅涵蓋了技術(shù)前沿，還結(jié)合實(shí)際案例，為電影工作者提供了寶貴的參考，幫助他們掌握如何利用元宇宙技術(shù)提升電影畫質(zhì)和敘事手法。隨著這些技術(shù)的發(fā)展與應(yīng)用，電影產(chǎn)業(yè)將迎來創(chuàng)新技術(shù)手段，為觀眾帶來更加豐富的電影作品和震撼的觀影體驗(yàn)。

——金小剛

教授

浙江大學(xué)-騰訊游戲智能圖形創(chuàng)新技術(shù)聯(lián)合實(shí)驗(yàn)室主任

浙江省虛擬現(xiàn)實(shí)產(chǎn)業(yè)聯(lián)盟理事長

作 者 簡 介

戴瑞

浙江同濟(jì)科技職業(yè)學(xué)院講師，南京信息工程大學(xué)元宇宙研究院訪問學(xué)者，主要研究方向：數(shù)字媒體藝術(shù)、虛擬現(xiàn)實(shí)。

南京信息工程大學(xué)元宇宙研究院院長，主要研究方向：虛擬現(xiàn)實(shí)、多模態(tài)交互。

潘志庚

范子珍

浙江同濟(jì)科技職業(yè)學(xué)校副教授，主要研究方向：數(shù)字媒體藝術(shù)、虛擬現(xiàn)實(shí)。

摘要

本文探討了元宇宙技術(shù)如何革新電影制作過程，從早期的三維動(dòng)畫、動(dòng)作捕捉，到利用虛擬攝制、虛擬資產(chǎn)、虛擬現(xiàn)實(shí)、實(shí)時(shí)引擎和人工智能等技術(shù)實(shí)現(xiàn)電影技術(shù)的飛躍。本文通過分析電影中元宇宙相關(guān)技術(shù)的應(yīng)用案例，展望未來電影制作和觀影體驗(yàn)的可能轉(zhuǎn)變。研究表明，基于計(jì)算機(jī)圖形學(xué)（CG）的高級視覺效果和復(fù)雜場景渲染已初步展示了元宇宙概念的應(yīng)用潛力，而基于人工智能的ChatGPT和Sora的故事創(chuàng)作和視頻生成能力，將更進(jìn)一步促進(jìn)電影制作的自動(dòng)化和智能化。此外，元宇宙中的虛擬現(xiàn)實(shí)和多模態(tài)交互將持續(xù)推動(dòng)傳統(tǒng)電影向沉浸式互動(dòng)電影發(fā)展。

關(guān)鍵詞

元宇宙；電影制作；虛擬現(xiàn)實(shí)；人工智能；多模態(tài)交互

1引言

在現(xiàn)代電影創(chuàng)作生產(chǎn)中，技術(shù)創(chuàng)新始終是推動(dòng)行業(yè)發(fā)展的核心動(dòng)力之一。隨著元宇宙概念的興起及其對數(shù)字交互平臺(tái)的深遠(yuǎn)影響，探索這一概念在電影的應(yīng)用成為一個(gè)新興而重要的研究領(lǐng)域。

元宇宙作為一個(gè)技術(shù)集合包含六大支撐技術(shù)，分別是人工智能（AI）、游戲引擎、人機(jī)交互（HCI)、區(qū)塊鏈、物聯(lián)網(wǎng)、網(wǎng)絡(luò)及運(yùn)算[1-2]。元宇宙是一個(gè)集成的虛擬共享空間，通過模擬現(xiàn)實(shí)世界來提供沉浸式用戶體驗(yàn)。元宇宙相關(guān)技術(shù)不僅為電影提供了前所未有的視覺效果，還開辟了觀眾交互和體驗(yàn)的新途徑。當(dāng)前，利用虛擬現(xiàn)實(shí)（VR）、實(shí)時(shí)渲染引擎、人工智能等實(shí)現(xiàn)的高級視覺效果和復(fù)雜場景渲染已初步展示了元宇宙概念在電影行業(yè)深度應(yīng)用的潛力，各種電影場景、人物、自然景觀等虛擬物像均可通過精美的設(shè)計(jì)和渲染生成，并提供沉浸式體驗(yàn)。虛擬現(xiàn)實(shí)（VR）、增強(qiáng)現(xiàn)實(shí)（AR）、混合現(xiàn)實(shí)（MR）技術(shù)的發(fā)展[3]，讓電影制作人可以在更加廣闊的數(shù)字空間中盡情發(fā)揮創(chuàng)意，創(chuàng)造出令觀眾震撼的視覺奇觀。而觀眾也不再是被動(dòng)接受故事的一方，而是通過沉浸式體驗(yàn)，成為故事的一部分。

元宇宙相關(guān)技術(shù)在電影行業(yè)的發(fā)展與應(yīng)用，增強(qiáng)了電影的感染力和吸引力，為電影藝術(shù)的發(fā)展開辟了新可能，為電影技術(shù)發(fā)展提供了新方向和新思路。元宇宙技術(shù)為作品觀看提供了全新的平臺(tái)，創(chuàng)作者可以前所未有的方式與觀眾交互并塑造故事世界。隨著元宇宙概念的發(fā)展，AI技術(shù)（如自動(dòng)識(shí)別動(dòng)作[4]）以及交互技術(shù)的進(jìn)步[5-10]，虛擬世界的各種細(xì)節(jié)也會(huì)越來越逼近真實(shí)，同時(shí)人們可以通過先進(jìn)的顯示和交互設(shè)備沉浸式地觀看電影[11-13]。

2開辟新紀(jì)元：電影制作的視覺范式革命

2.1 《玩具總動(dòng)員》利用三維動(dòng)畫構(gòu)建虛擬世界

在電影發(fā)展的歷史長河中，技術(shù)革新是推動(dòng)藝術(shù)和商業(yè)價(jià)值飛躍的關(guān)鍵。從早期無聲黑白轉(zhuǎn)描動(dòng)畫電影到彩色有聲動(dòng)畫電影，再到如今各類視覺特效豐富的影片，技術(shù)革命不僅帶來視聽體驗(yàn)的革新，也重塑了觀影文化。這一進(jìn)程中，皮克斯動(dòng)畫工作室在1995年推出的首部全計(jì)算機(jī)生成動(dòng)畫影片《玩具總動(dòng)員》開創(chuàng)了三維動(dòng)畫新紀(jì)元，該片也是營造元宇宙體驗(yàn)中最重要的全方位虛擬環(huán)境構(gòu)建的典型案例。《玩具總動(dòng)員》給觀眾帶來了全新的視覺體驗(yàn)，展示了數(shù)字技術(shù)在電影制作中的無限可能，成功跨越技術(shù)鴻溝，以出色的故事敘述和深刻的主題寓意，以及技術(shù)上的革命性創(chuàng)新，為三維動(dòng)畫影視的制作和發(fā)展開辟了新道路[1]。

《玩具總動(dòng)員》利用當(dāng)時(shí)先進(jìn)的三維動(dòng)畫技術(shù)，讓虛擬角色和場景通過數(shù)學(xué)模型和算法躍然銀幕，其技術(shù)不僅使動(dòng)畫更流暢、場景更豐富，還提高了制作效率和質(zhì)量，為觀眾帶來前所未有的視聽體驗(yàn)，角色從二維卡通形象變?yōu)槿S立體、表情豐富的實(shí)體。這種技術(shù)融合了動(dòng)畫故事敘述和視覺表現(xiàn)，極大豐富了動(dòng)畫的表現(xiàn)力和感染力。之后，三維動(dòng)畫漸成主流，皮克斯動(dòng)畫工作室也不斷創(chuàng)新，推出《怪物公司》《海底總動(dòng)員》等佳作，推動(dòng)動(dòng)畫藝術(shù)和技術(shù)發(fā)展。《玩具總動(dòng)員》中的口號“超越極限”，不僅是電影中角色的呼聲，也是每一位電影制作人對技術(shù)創(chuàng)新和藝術(shù)探索的永恒追求。

2.2 《阿凡達(dá)》利用3D和虛擬攝制技術(shù)締造逼近真實(shí)的虛擬空間

如果說《玩具總動(dòng)員》構(gòu)畫了三維的“玩具”空間，2009年上映的《阿凡達(dá)》則徹底改變了業(yè)界和觀眾對電影世界的想象和期待，應(yīng)用3D技術(shù)和虛擬攝制技術(shù)締造了絢麗、逼近真實(shí)卻又超乎想象的納美星球，引發(fā)了我們對元宇宙的想象。

《阿凡達(dá)》制作過程廣泛應(yīng)用了動(dòng)作捕捉技術(shù)和三維渲染技術(shù)，實(shí)現(xiàn)了真正意義上的虛擬攝制，為電影制作樹立了新技術(shù)標(biāo)桿。演員們穿戴特制動(dòng)作捕捉服，在特設(shè)的拍攝場地中進(jìn)行表演，其動(dòng)作和表情被精準(zhǔn)捕捉并記錄下來，隨后被轉(zhuǎn)換為三維模型，在電腦中進(jìn)行進(jìn)一步的處理和渲染[15]，最終呈現(xiàn)出電影中令人嘆為觀止的虛擬角色動(dòng)畫。從技術(shù)層面深入剖析，動(dòng)作捕捉技術(shù)的核心在于借助精密傳感器捕捉演員的身體動(dòng)態(tài)與面部表情，隨后將這些詳盡的數(shù)據(jù)轉(zhuǎn)化為計(jì)算機(jī)圖形，進(jìn)而在電影制作中塑造出栩栩如生的虛擬角色。

動(dòng)作捕捉技術(shù)的運(yùn)用范疇并不僅限于電影產(chǎn)業(yè)，其原理與實(shí)踐在視頻游戲和VR等領(lǐng)域同樣得到了廣泛應(yīng)用，成為構(gòu)建元宇宙這一綜合性虛擬共享空間不可或缺的基石。通過這一技術(shù)，用戶可在元宇宙中操控其虛擬化身進(jìn)行各種形式的交互、工作或娛樂。用戶的動(dòng)作與表情能夠得到精確復(fù)制與呈現(xiàn)，極大增強(qiáng)了用戶的沉浸感與交互體驗(yàn)。《阿凡達(dá)》中所采用的技術(shù)不僅推動(dòng)了電影制作技術(shù)的革新，更為元宇宙的實(shí)現(xiàn)提供了堅(jiān)實(shí)的技術(shù)支撐與啟示。

2.3 《頭號玩家》引發(fā)業(yè)界和觀眾對元宇宙的思考

2018年上映的電影《頭號玩家》，其故事本身即與元宇宙密切相關(guān)，讓觀眾以最直觀的方式接觸并思考元宇宙概念。電影在新技術(shù)的加持下，始終致力于營造真實(shí)的沉浸感體驗(yàn)，而影片中人類在“綠洲”VR游戲場景中沉浸于交互體驗(yàn)甚至為未來奮戰(zhàn)，其對主題的探討已沖破了電影的“造夢”藩籬，超越了游戲的“消遣”束縛，走向更深層次的現(xiàn)實(shí)擬真和自我實(shí)現(xiàn)。

隨著元宇宙技術(shù)的應(yīng)用，電影不再是簡單的視聽作品，而是成為可交互、可體驗(yàn)甚至適宜生活的虛擬世界。VR互動(dòng)影片不僅滿足了觀眾對沉浸式、新奇感和個(gè)性化觀影體驗(yàn)的需求，也為電影故事的講述打開了全新視角和空間，讓電影能夠超越傳統(tǒng)線性敘事，探索更加復(fù)雜、多維的敘事結(jié)構(gòu)和表現(xiàn)形式。這不僅挑戰(zhàn)了我們對于“現(xiàn)實(shí)”的傳統(tǒng)認(rèn)知，也促使我們重新思考在虛擬與現(xiàn)實(shí)交融的新時(shí)代中，人類如何定義自我、認(rèn)知世界以及與他人建立聯(lián)系。同樣，元宇宙技術(shù)在電影制作中的應(yīng)用，不僅能夠?yàn)殡娪八囆g(shù)的發(fā)展注入新的活力和創(chuàng)新，也為我們提供了一個(gè)獨(dú)特視角，來審視和思考人類文化和社會(huì)在高度數(shù)字化和虛擬化的未來世界中將何去何從。

2.4 《獅子王》開啟元宇宙在電影中的深度應(yīng)用

2019年上映的真人版《獅子王》是元宇宙技術(shù)在電影制作中深度應(yīng)用的一個(gè)里程碑。影片并非真正的實(shí)景拍攝，而是完全在計(jì)算機(jī)中完成的數(shù)字化制作。主創(chuàng)團(tuán)隊(duì)通過先進(jìn)的實(shí)時(shí)渲染引擎和虛擬現(xiàn)實(shí)技術(shù)，結(jié)合動(dòng)作捕捉和傳統(tǒng)動(dòng)畫技術(shù)，創(chuàng)造出了一個(gè)栩栩如生的數(shù)字自然世界。

在制作過程中，團(tuán)隊(duì)充分利用了Unity實(shí)時(shí)渲染引擎的強(qiáng)大功能，結(jié)合VR頭戴式設(shè)備，創(chuàng)造出了電影中所需的復(fù)雜虛擬環(huán)境，并實(shí)現(xiàn)場景的虛擬勘景（Virtual Scouting）和數(shù)字分鏡制作，提升了電影的擬真效果，展現(xiàn)了VR技術(shù)對電影制作的重要影響[14]。通過VR這一通往元宇宙的媒介工具，主創(chuàng)團(tuán)隊(duì)實(shí)現(xiàn)了電影制作的虛擬世界與真實(shí)世界的聯(lián)通，并預(yù)示著電影創(chuàng)作新時(shí)代的開啟。

實(shí)時(shí)渲染引擎不僅允許制作人員在VR環(huán)境中實(shí)時(shí)預(yù)覽CG環(huán)境和角色，還極大地提高了制作效率和靈活性。傳統(tǒng)實(shí)景拍攝中，光線控制困難，尤其在后期特效加工時(shí)更為復(fù)雜，因此光線自然效果對畫面效果至關(guān)重要。借助VR虛擬制作技術(shù)，攝影師進(jìn)入虛擬場景，可控制光線并模擬更契合場景和劇情的效果。

色彩是另一重要因素。傳統(tǒng)動(dòng)畫電影運(yùn)用高對比度建立角色認(rèn)知，展現(xiàn)獨(dú)特魅力；而《獅子王》為達(dá)到真實(shí)的、模擬實(shí)拍的效果，色彩需貼近觀眾對實(shí)景的理解。影片基于非洲大草原構(gòu)建逼真數(shù)字場景，虛擬動(dòng)物角色的制作參考真實(shí)色彩，并允許攝影師微調(diào)以突出角色特點(diǎn)。在動(dòng)態(tài)鏡頭方面，由于運(yùn)動(dòng)鏡頭在VR場景中更易實(shí)現(xiàn)，《獅子王》中出現(xiàn)了更多運(yùn)動(dòng)鏡頭和場景，同時(shí)借助VR虛擬制作，影片的復(fù)雜場面調(diào)度變得靈活可控 [18]。

2.5 《曼達(dá)洛人》致力于虛實(shí)環(huán)境的一致表達(dá)

近年來在電影制作領(lǐng)域，LED虛擬攝制技術(shù)通過結(jié)合實(shí)時(shí)渲染引擎、動(dòng)作捕捉等先進(jìn)技術(shù)，不僅極大豐富了電影的視覺效果，也顯著提高了制作效率。LED虛擬攝制技術(shù)和元宇宙技術(shù)不僅基于相同技術(shù)點(diǎn)，其功能和目的也極為近似，均包含了虛擬環(huán)境、虛實(shí)結(jié)合、交互式體驗(yàn)等。LED虛擬攝制技術(shù)在眾多電影中得到應(yīng)用，其中最具代表性的莫過于劇集《曼達(dá)洛人》。《曼達(dá)洛人》的監(jiān)制是曾執(zhí)導(dǎo)《奇幻森林》《獅子王》的喬恩·費(fèi)儒。費(fèi)儒是虛擬攝制技術(shù)創(chuàng)新領(lǐng)域的又一開拓者，其團(tuán)隊(duì)對虛擬攝制技術(shù)的升級是革命性的[15]。

《曼達(dá)洛人》有大量需要三維元素填充制作的場景和大量打斗、快節(jié)奏的鏡頭。如果采用基于綠幕的虛擬攝制方式，演員穿戴的強(qiáng)反射金屬盔甲會(huì)產(chǎn)生嚴(yán)重的綠幕溢色現(xiàn)象[16]，因此劇組運(yùn)用沉浸式LED高分辨率顯示屏并結(jié)合實(shí)時(shí)渲染、虛擬場景和實(shí)景拍攝的方法，實(shí)現(xiàn)在虛擬環(huán)境中實(shí)時(shí)預(yù)覽、拍攝和編輯場景。這項(xiàng)技術(shù)的核心是所謂的“體積成像”（Volumetric Imaging）或“實(shí)時(shí)渲染技術(shù)”，利用了計(jì)算機(jī)圖形學(xué)（CG）技術(shù)和實(shí)時(shí)渲染引擎，將虛擬環(huán)境顯示到一個(gè)大型LED顯示屏上。這個(gè)屏幕通常圍繞著拍攝舞臺(tái)，創(chuàng)造出一個(gè)環(huán)繞式虛擬背景。這意味著導(dǎo)演和攝影師可實(shí)時(shí)看到最終效果并根據(jù)需求進(jìn)行調(diào)整和修改，大大縮短了后期制作時(shí)間。

《曼達(dá)洛人》所展示的技術(shù)效果為我們勾勒出一個(gè)充滿可能性的未來景觀，電影級沉浸式LED顯示屏或?qū)⒊蔀殡娪爸谱骰氐臉?biāo)配。LED屏幕具有出色的性能表現(xiàn)，包括高像素密度、廣色域以及高亮度和對比度，不僅可解決傳統(tǒng)綠幕帶來的溢色問題，而且大幅提升了現(xiàn)場創(chuàng)作效率和虛擬背景的真實(shí)感。盡管目前仍需解決摩爾紋等技術(shù)難題，但隨著攝影機(jī)和LED顯示屏的協(xié)同工作及刷新率同步，這些問題將逐漸得到解決[17]。

其次，實(shí)時(shí)渲染技術(shù)將進(jìn)一步革新影視制作行業(yè)工作方式。虛幻引擎（Unreal Engine,UE）的實(shí)時(shí)渲染能力已能滿足高端劇集和大銀幕電影內(nèi)容的攝制需求，提高了攝制過程虛實(shí)交互的實(shí)時(shí)性。內(nèi)視錐技術(shù)的應(yīng)用進(jìn)一步提高了實(shí)時(shí)渲染效率，為影視制作提供了更多可能性，同時(shí)也促進(jìn)了實(shí)時(shí)電影攝影的創(chuàng)新發(fā)展。未來，隨著UE 5.0的光線追蹤功能與動(dòng)態(tài)全局光照技術(shù)的集成，影視作品將獲得更高的真實(shí)感和表現(xiàn)力。用戶可自由移動(dòng)虛擬光源，并利用插件工具集實(shí)現(xiàn)虛實(shí)空間光照氛圍的匹配，為影視作品增添更多的想象空間和視覺震撼。在元宇宙概念不斷發(fā)展的背景下，實(shí)時(shí)電影攝制將帶來更多創(chuàng)新機(jī)遇，開啟影視制作的全新篇章。

3AIGC技術(shù)為電影發(fā)展注入強(qiáng)大動(dòng)能

人工智能生成內(nèi)容（AIGC）的發(fā)展，為元宇宙提供了重要的底層技術(shù)。以AIGC為支撐的元宇宙，被高德納咨詢公司（Gartner Consulting）列為近兩年戰(zhàn)略性技術(shù)之首。AIGC為電影制作提供了多方面的輔助與革新。在創(chuàng)意階段，AIGC能夠迅速生成大量視頻內(nèi)容，有助于制作團(tuán)隊(duì)驗(yàn)證不同的創(chuàng)意和敘事方案，從而提高創(chuàng)作效率和多樣性。在后期制作中，AIGC可用于特效生成和場景渲染，自動(dòng)生成復(fù)雜背景場景或特效，降低人力投入的同時(shí)提升視覺效果。此外，AIGC還能應(yīng)用于個(gè)性化內(nèi)容創(chuàng)作，根據(jù)觀眾偏好和反饋定制生成符合特定群體喜好的電影片段或故事線，為觀眾提供更個(gè)性化和多樣化的觀影體驗(yàn)。

3.1 文本生成、概念圖生成助力電影前期設(shè)計(jì)

在劇本創(chuàng)作階段，AI可以充當(dāng)編劇的強(qiáng)大助手。通過對大量電影劇本、觀眾評論和市場趨勢的數(shù)據(jù)分析，AI能夠幫助編劇捕捉到受歡迎的故事元素和潛在創(chuàng)意方向。例如，使用AI技術(shù)的劇本創(chuàng)作工具，可以基于給定情節(jié)提示自動(dòng)生成故事梗概或?qū)υ挘瑸榫巹√峁╈`感和素材[18]。

在電影前期制作中，美術(shù)造型是構(gòu)建電影視覺風(fēng)格和故事氛圍的關(guān)鍵環(huán)節(jié)。隨著AI技術(shù)的發(fā)展和以Midjourney、Stable Diffusion等為代表的AI圖像生成工具的應(yīng)用，電影美術(shù)造型領(lǐng)域正在經(jīng)歷一場革命，AI不僅為美術(shù)設(shè)計(jì)帶來了新工具和新方法，還極大地?cái)U(kuò)展了創(chuàng)意可能性。

（1）場景設(shè)計(jì)：AI技術(shù)可通過學(xué)習(xí)大量藝術(shù)作品和真實(shí)世界圖片，自動(dòng)生成具有特定風(fēng)格的虛擬場景，為電影的場景設(shè)計(jì)提供了無限靈感和選擇。例如，AI可根據(jù)導(dǎo)演和美術(shù)指導(dǎo)的要求，快速生成古典、未來或奇幻等不同風(fēng)格的場景概念圖，有效縮短設(shè)計(jì)周期，提高工作效率。

（2）角色造型：利用AI技術(shù)，電影制作團(tuán)隊(duì)可更精細(xì)化、多樣化地設(shè)計(jì)電影角色外觀。根據(jù)角色性格、場景氛圍和劇情需要，AI大模型能提出多種造型建議。此外，AI還能在保證角色造型一致的同時(shí)，對其進(jìn)行微調(diào)，以適應(yīng)電影中不同的情境和情感表達(dá)。

（3）特效化妝：AI技術(shù)在特效化妝設(shè)計(jì)中也顯示出巨大潛力。通過分析和學(xué)習(xí)大量的特效化妝案例，AI不僅能夠提出創(chuàng)新的妝容設(shè)計(jì)方案，還能通過模擬預(yù)測妝容在不同光照和表情下的效果，幫助化妝師做出更加精確的決策。

3.2 視頻生成大模型為電影攝制帶來無限可能

在電影拍攝過程中，AI技術(shù)也開始發(fā)揮作用。通過動(dòng)作捕捉技術(shù)結(jié)合AI算法，可更精準(zhǔn)地捕捉演員的表演，并將其轉(zhuǎn)化為虛擬角色的動(dòng)作，使虛擬角色的表現(xiàn)更加自然流暢。在《復(fù)仇者聯(lián)盟3：無限戰(zhàn)爭》中，技術(shù)人員通過動(dòng)作捕捉技術(shù)捕獲演員的表演，再利用AI技術(shù)優(yōu)化并轉(zhuǎn)化為角色動(dòng)畫，尤其是反派角色滅霸的表情和動(dòng)作，展現(xiàn)了AI在提升虛擬角色表演真實(shí)性方面的能力。此外，AI還能輔助導(dǎo)演進(jìn)行場景布局和光線調(diào)整，實(shí)時(shí)預(yù)覽不同拍攝角度和效果，提高拍攝效率和效果。

在后期制作中，AI還可進(jìn)行場景識(shí)別、色彩調(diào)整和特效生成，極大地提升制作效率和視覺效果的質(zhì)量。特別是在視覺效果繁重的大制作電影中，AI技術(shù)能夠自動(dòng)完成部分繁瑣的后期處理工作，如自動(dòng)剪輯、色彩校正等，讓視效團(tuán)隊(duì)能夠?qū)⒏嗑性趧?chuàng)意和細(xì)節(jié)打磨上。在視覺效果和場景設(shè)計(jì)方面，AI技術(shù)的集成使電影制作人員可快速生成復(fù)雜的三維環(huán)境和詳細(xì)的場景布局。通過使用先進(jìn)算法，AI可以模擬自然光線、氣象條件和物理交互，創(chuàng)建出令人信服和震撼的視覺效果。例如，AI可以自動(dòng)生成出一個(gè)完整的虛擬城市，其建筑風(fēng)格、街道布局和環(huán)境動(dòng)態(tài)等無需人工逐一設(shè)計(jì)。AI還能自動(dòng)分析拍攝的原始素材，根據(jù)預(yù)設(shè)的編輯邏輯進(jìn)行初剪，甚至能夠根據(jù)審片者的實(shí)時(shí)反饋進(jìn)行剪輯調(diào)整。

Sora視頻生成大模型的出現(xiàn)，標(biāo)志著AI技術(shù)在電影領(lǐng)域取得了重要進(jìn)步。其不僅預(yù)示著制作過程的變革，也為電影內(nèi)容的創(chuàng)作帶來新的可能性。Sora視頻生成大模型是一種基于深度學(xué)習(xí)的AI大模型，能夠通過分析大量的視頻數(shù)據(jù)，學(xué)習(xí)和理解視頻中的視覺元素、敘事結(jié)構(gòu)和情感波動(dòng)等多維度信息，從而實(shí)現(xiàn)視頻內(nèi)容生成。盡管Sora視頻大模型尚未開源，具體應(yīng)用案例在電影領(lǐng)域還處于探索階段，但可以預(yù)見的是，AI大模型在未來電影制作和內(nèi)容創(chuàng)作中將扮演重要角色。例如，在科幻電影的制作中，AI大模型用于生成外星世界的場景，或者根據(jù)拍攝腳本內(nèi)容自動(dòng)生成未來城市的樣貌。AI的發(fā)展過程使電影與元宇宙之間的關(guān)聯(lián)比以往更緊密、更復(fù)雜。

4觀影新模式：高質(zhì)量、沉浸式、交互式觀影

4.1 更高品質(zhì)視覺效果

在實(shí)時(shí)渲染引擎和強(qiáng)大的圖形處理技術(shù)的推動(dòng)下，虛擬攝制畫面精細(xì)程度和實(shí)時(shí)顯示效果將不斷提升，現(xiàn)場攝制將成為電影制作的重要環(huán)節(jié)，后期制作的工作將持續(xù)前置。在前期精細(xì)畫面和后期完善加工的基礎(chǔ)上，未來電影將展現(xiàn)出更為精細(xì)、逼真的視覺效果和更為動(dòng)態(tài)、沉浸式的觀影體驗(yàn)，將帶給觀眾全新的視覺體驗(yàn)，并推動(dòng)整個(gè)行業(yè)不斷向前發(fā)展。另外，隨著網(wǎng)絡(luò)和算力的發(fā)展，更高分辨率和幀速率的內(nèi)容有望被處理、傳輸和播映，高新技術(shù)格式將不斷刷新電影的視覺效果。

4.2 沉浸式和交互式觀影體驗(yàn)

元宇宙技術(shù)的應(yīng)用將重新定義觀眾與電影之間的交互關(guān)系。目前已有許多電影展示了人類迄今為止對元宇宙概念的實(shí)踐，電影中呈現(xiàn)的一些尚未達(dá)到元宇宙想象的現(xiàn)實(shí)也將繼續(xù)啟發(fā)人們?nèi)ヌ剿骱蛯?shí)踐。隨著技術(shù)的不斷進(jìn)步，未來的電影觀眾可能會(huì)看到更多利用混合現(xiàn)實(shí)（MR）技術(shù)展現(xiàn)的作品，結(jié)合了VR/AR的特點(diǎn)，提供更加無縫的現(xiàn)實(shí)與虛擬世界融合體驗(yàn)。借助VR/AR技術(shù)，電影作品將抽象概念生動(dòng)地呈現(xiàn)出來，在潛移默化中塑造和引導(dǎo)著人們把對元宇宙的構(gòu)想逐步轉(zhuǎn)化為現(xiàn)實(shí)。

此外，隨著AI技術(shù)在元宇宙中的應(yīng)用成熟，未來電影可實(shí)時(shí)根據(jù)觀眾的反應(yīng)調(diào)整劇情發(fā)展，提供真正動(dòng)態(tài)和響應(yīng)式的故事體驗(yàn)。觀眾不再是外部觀察者，而是成為故事的一部分。電影制作人可以設(shè)計(jì)多條敘事路徑，讓觀眾通過選擇不同的交互選項(xiàng)來影響故事的走向。例如奈飛（Netflix）出品的實(shí)驗(yàn)性電影《黑鏡：潘達(dá)斯奈基》就采用了這種模式，觀眾的選擇直接影響劇情發(fā)展和結(jié)局。

通過元宇宙中的AR技術(shù)，電影的角色和場景可以在觀眾的現(xiàn)實(shí)環(huán)境中以增強(qiáng)現(xiàn)實(shí)的形式出現(xiàn)，從而提供一種創(chuàng)新的敘事方式，電影中的角色可以“脫離”屏幕，進(jìn)入觀眾的現(xiàn)實(shí)世界中，與觀眾進(jìn)行交互。例如可以在兒童電影中被用來教育和娛樂，使角色在孩子的房間中“活”起來，讓孩子得以參與解決問題或講故事。正如《我的世界》《羅布樂思》《創(chuàng)世紀(jì)城》和國產(chǎn)的“希壤”等蓬勃發(fā)展的元宇宙平臺(tái)，用戶可以在其中進(jìn)行各種活動(dòng)，包括上課、參加演唱會(huì)、游覽美術(shù)展、觀影、社交、建造虛擬資產(chǎn)等。未來元宇宙技術(shù)下的電影也會(huì)提供一個(gè)高度模仿現(xiàn)實(shí)社會(huì)的虛擬環(huán)境，使用戶的視聽體驗(yàn)與現(xiàn)實(shí)相差無幾。

4.3 電影與元宇宙：內(nèi)容產(chǎn)業(yè)與高新技術(shù)的雙向協(xié)同

如果我們只是借助設(shè)備沉浸式觀看電影，不算真正體驗(yàn)元宇宙電影，但如果我們置身虛實(shí)融合的情境，與主人公一起探索故事內(nèi)容，那才算真正進(jìn)入了元宇宙世界。

從內(nèi)容角度來講，元宇宙需要電影產(chǎn)業(yè)持續(xù)提供優(yōu)質(zhì)故事和IP。電影作為一種視聽娛樂形式，其對觀眾的吸引力源于好的故事、好內(nèi)容的積淀和創(chuàng)新。對于元宇宙而言，只有充足的內(nèi)容才能促進(jìn)其產(chǎn)業(yè)化和高速發(fā)展應(yīng)用。電影等內(nèi)容產(chǎn)業(yè)為元宇宙提供了豐富的資源和創(chuàng)意，為其應(yīng)用提供了可探索的豐富素材。從技術(shù)角度來講，電影產(chǎn)業(yè)也需要元宇宙這一新技術(shù)。觀眾對視聽體驗(yàn)和故事的不斷追求，促使電影制作使用更先進(jìn)的技術(shù)和軟件工具來實(shí)現(xiàn)，元宇宙技術(shù)在電影領(lǐng)域的應(yīng)用是效率提升和技術(shù)發(fā)展的必然選擇，促進(jìn)了電影產(chǎn)業(yè)的創(chuàng)新發(fā)展和良性循環(huán)。總而言之，電影產(chǎn)業(yè)應(yīng)當(dāng)充分利用內(nèi)容產(chǎn)業(yè)的積極影響，推動(dòng)元宇宙等高新技術(shù)在電影領(lǐng)域的應(yīng)用和發(fā)展，為觀眾提供更加豐富、多樣的觀影體驗(yàn)，而元宇宙也應(yīng)深度擁抱電影等內(nèi)容產(chǎn)業(yè)，從而獲得源源不斷的高質(zhì)量支撐內(nèi)容。

5總結(jié)與展望

隨著元宇宙技術(shù)在電影制作中的不斷應(yīng)用，我們見證了電影視覺效果、敘事手法以及觀影體驗(yàn)的革命性變革。從《玩具總動(dòng)員》開創(chuàng)的三維動(dòng)畫時(shí)代，到《阿凡達(dá)》采用的虛擬攝制技術(shù)，再到真人版《獅子王》《曼達(dá)洛人》全面應(yīng)用VR和虛擬攝制技術(shù)，元宇宙技術(shù)不僅推動(dòng)了電影視覺藝術(shù)的進(jìn)步，還為敘事提供了更多維度的空間，創(chuàng)造了更加沉浸和交互的觀影體驗(yàn)。

就元宇宙和智能技術(shù)在電影和其他教育娛樂內(nèi)容領(lǐng)域的應(yīng)用趨勢而言，筆者認(rèn)為具備以下特點(diǎn)：

（1）AI技術(shù)能為主創(chuàng)團(tuán)隊(duì)提供分鏡和視覺預(yù)演參考方案，并以VR形式為制作者展現(xiàn)。VR/AR、人機(jī)交互（HCI）技術(shù)和AI技術(shù)的融合，將進(jìn)一步促進(jìn)電影制作的沉浸式、自動(dòng)化和智能化，從劇本創(chuàng)作、場景構(gòu)建到后期制作，將實(shí)現(xiàn)更直觀、更高效、更高品質(zhì)的呈現(xiàn)。

（2）VR/AR和交互技術(shù)的應(yīng)用，使人們可以沉浸式觀影并與場景中的角色實(shí)時(shí)交互，同時(shí)也支持個(gè)性化故事線觀影，避免千人一面。更多VR交互電影的出現(xiàn)，將給用戶帶來全方位體驗(yàn)和個(gè)性化選擇，并逐步成為人們文化生活的重要工具。通過利用元宇宙技術(shù)制作的視頻或電影可以寓教于樂，增強(qiáng)受教育者的學(xué)習(xí)興趣和參與度。

（3）數(shù)字資產(chǎn)（電影或其中素材）將成為影視制作的重要生產(chǎn)資料，其重復(fù)利用和版權(quán)保護(hù)將成為重點(diǎn)關(guān)注問題。應(yīng)用元宇宙中的區(qū)塊鏈技術(shù)[19-21]可以維護(hù)創(chuàng)作者權(quán)益，保護(hù)數(shù)字資產(chǎn)版權(quán)交易的唯一性和可追溯性。

（4）中國電影科技隨著元宇宙技術(shù)革新將持續(xù)升級，支撐電影行業(yè)“講好中國故事”、不斷發(fā)展壯大并迎來前所未有的發(fā)展機(jī)遇。中國是一個(gè)擁有悠久歷史和豐富文化底蘊(yùn)的國家，古老的傳統(tǒng)神話、民間傳說以及現(xiàn)代社會(huì)的獨(dú)特景觀，為中國電影提供了豐富的題材和背景，成為創(chuàng)作者們無盡的創(chuàng)作源泉。我國電影工作者正以其獨(dú)特的視角和創(chuàng)意，積極探索如何將元宇宙技術(shù)與本土文化相融合，通過內(nèi)容創(chuàng)作、技術(shù)創(chuàng)新打造更多具有全球影響力的代表性作品，從而展現(xiàn)中國獨(dú)特的文化魅力。

綜上所述，元宇宙技術(shù)正引領(lǐng)電影制作和觀影體驗(yàn)進(jìn)入新的時(shí)代。在當(dāng)今日新月異的科技時(shí)代，元宇宙技術(shù)在電影制作中的應(yīng)用研究不僅是對新興科技邊界的一次勇敢探索，也是對電影藝術(shù)未來走向的一次深刻思考，其意義遠(yuǎn)超出技術(shù)層面討論，更觸及了作為一種文化現(xiàn)象的電影與觀眾交互方式的根本變革。在電影制作技術(shù)的每一次革新中，都可以看到電影人對完美視聽體驗(yàn)的不懈追求，以及對電影藝術(shù)無限可能的探索和想象。元宇宙技術(shù)將進(jìn)一步推動(dòng)電影藝術(shù)和產(chǎn)業(yè)的繁榮發(fā)展，為全世界觀眾帶來更多震撼心靈的優(yōu)秀作品和前所未有的觀影體驗(yàn)。

參考文獻(xiàn)

（向下滑動(dòng)閱讀）

[1] Robertson A, Peters J. What is the metaverse, and do I have to care?[EB/OL]. (2021 ‐ 10 ‐ 04) [2024 ‐ 04 ‐ 20]. https://www.theverge.com/22701104/metaverse-explained-fortnite-roblox-facebook-horizon.

[2] Lee L H, Braud T, Zhou P, et al. All one needs to know about metaverse: a complete survey on technological singularity, virtual ecosystem, and research agenda[EB/OL].(2021?10?04)[2024?04?20].https://arxiv.org/pdf/2110.05352.

[3] Rauschnabel P A, Felix R, Hinsch C, et al. What is XR? Towards a Framework for Augmented and Virtual Reality[J]. Computers in Human Behavior, 2022, 133:107289.

[4] Dai C, Huang Y, Chien W C. A sparse attack method on skeleton?based human action recognition for intelligent metaverse application[J]. Future Generation Computer Systems, 2023, 143: 51?60.

[5] 姚爭為,楊琦,潘志庚,等.具身交互與全身交互的比較[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2018, 030(012):2366?2376.

[6] Feick M, Bateman S, Tang A, et al. Tangi: Tangible proxies for embodied object exploration and manipulation in virtual reality[C]//2020 IEEE international symposium on mixed and augmented reality (ISMAR), 2020: 195?206.

[7] Baruah M, Banerjee B, Nagar A K. Intent prediction in human–human interactions[J]. IEEE Transactions on Human?Machine Systems, 2023, 53(2):458?463.

[8] Pan Z G, Cheok A D, Yang H, et al. Virtual reality and mixed reality for virtual learning environments[J]. Computers & Graphics, 2006, 30(1): 20‐28.

[9] Yukang Y A N, Xin Y I, Chun Y U, et al. Gesture?based target acquisition in virtual and augmented reality[J]. Virtual Reality & Intelligent Hardware, 2019, 1(3): 276?289.

[10] Wang Z, Philion J, Fidler S, et al. Learning indoor inverse rendering with 3d spatially?varying lighting[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 12538?12547.

[11] VIVE Team. Tracking in Virtual Reality and Beyond – VR 101: Part III[EB/OL]. (2023 ‐ 12 ‐ 08) [2024 ‐ 04 ‐ 20]. https://blog.vive.com/us/tracking-in-virtual-reality-and-beyond-vr-101-part-iii/.

[12] El Jamiy F, Marsh R. Survey on depth perception in head mounted displays:distance estimation in virtual reality, augmented reality, and mixed reality[J].IET Image Processing, 2019, 13(5): 707?712.

[13] 陳菲儀. 三維數(shù)字動(dòng)畫電影的視覺范式革命 ——從《玩具總動(dòng)員》到《蜘蛛俠:平行宇宙》[J]. 電影文學(xué),2020(19):135?138. DOI:10.3969/j.issn.0495-5692.2020.19.033.

[14] 趙琳,徐熳. 《阿凡達(dá)》:電影特效制作的新紀(jì)元[J]. 電影文學(xué),2010(11):69?70. DOI:10.3969/j.issn.0495-5692.2010.11.032.

[15] 武澤華.VR虛擬拍攝對電影行業(yè)的驅(qū)動(dòng)展望——以2019新版《獅子王》為例[J].傳媒論壇,2021,4(02):105?106.

[16] 夏圳鍇.2019版《獅子王》中的VR虛擬鏡頭設(shè)計(jì)[J].裝飾,2021,(02):136?137.DOI:10.16272/j.cnki.cn11-1392/j.2021.02.032.

[17] 孫虎,楊可.自“主從聯(lián)動(dòng)”至“映射交融”——虛擬攝制技術(shù)變遷與攝影創(chuàng)作內(nèi)在需求的關(guān)聯(lián)[J].影視制作,2024,30(01):44?48.

[18] 易鑫,喻純,史元春.普適計(jì)算環(huán)境中用戶意圖推理的Bayes方法[J].中國科學(xué):信息科學(xué),2018,48(04):419?432.

[19] Wu T, He S, Liu J, et al. A Brief Overview of ChatGPT: The History, Status Quo and Potential Future Development[J].IEEE/CAA Journal of Automatica Sinica, 2023,10(5): 1122?1136.

[20] Ersoy M, Gürfidan R. Blockchain‐based asset storage and service mechanism to metaverse universe: Metarepo[J]. Transactions on Emerging Telecommunications Technologies, 2023, 34(1): 1?17.

[21] Hocao?lu M, Habbal A. NFT based model to manage educational assets in Metaverse[J]. Avrupa Bilim ve Teknoloji Dergisi, 2022(42): 20?25.

[22] Gai K, Wang S, Zhao H, et al. Blockchain?based multisignature lock for uac in metaverse[J]. IEEE Transactions on Computational Social Systems, 2022, 10(5): 2201?2213.

主管單位：國家電影局

主辦單位：電影技術(shù)質(zhì)量檢測所

標(biāo)準(zhǔn)國際刊號：ISSN 1673-3215

國內(nèi)統(tǒng)一刊號：CN 11-5336/TB

投稿系統(tǒng)：ampt.crifst.ac.cn

官方網(wǎng)站：www.crifst.ac.cn

期刊發(fā)行：010-63245081