本文刊發于《現代電影技術》2025年第1期

專家點評

近年來，虛擬攝制技術在電影工業化、現代化制作體系中的發展與應用持續深化，其具有攝制工藝流程高度并行化、前期拍攝與后期制作深度融合化、視覺效果所見即所得等技術特點。數字資產的前期制作和現場重構是虛擬攝制技術的核心關鍵環節，對于加快虛擬攝制技術在數字視聽行業推廣應用具有直接和重要影響，其不僅要求前期制作的數字資產技術品質高，而且追求真實拍攝內容與重構數字資產的無縫虛實融合。當前，我國電影行業正在積極推進國家電影數字資產平臺建設和全產業鏈智能化升級，伴隨大語言模型和多模態模型的發展進步，人工智能生成內容（AIGC）技術愈加成熟，其具有高效優質、即時交互、發展迭代快等優勢，可創新升級電影虛擬攝制技術流程，促進提質優化和降本增效，并有效克服虛擬攝制中數字資產制作難度大、成本高、資產利用率低、技術團隊專業性交互性要求高等困難，因而非常適合服務電影數字資產制作。《AIGC在電影虛擬攝制中的應用探索與實踐》一文以概念設計、場景生成、角色創建、動畫生成、現場交互等為切入點，探索實踐AIGC在電影虛擬攝制中的應用模式、技術適配與流程方案，對于推動AIGC技術服務電影虛擬攝制以及二者實現優勢互補與融合并進具有重要的指導意義和應用價值。智能化是大勢所趨，伴隨算力、算法、模型、數據集、行業領域知識等不斷發展完善，AIGC技術將不斷逼近電影級技術品質，其在電影數字資產制作生產和電影虛擬攝制中的應用將日益成熟完善，進而有力支撐和服務國家電影數字資產平臺建設與精品電影創作生產。

——劉達

正高級工程師

中國電影科學技術研究所（中央宣傳部電影技術質量檢測所）總工程師

《現代電影技術》主編

作 者 簡 介

陳　軍

北京電影學院影視技術系研究員，主要研究方向：數字電影技術、電影虛擬攝制、電影智能制作。

北京電影學院影視技術系碩士研究生在讀，主要研究方向：電影虛擬攝制、人工智能技術應用。

王徐爾

趙建軍

北京電影學院影視技術系副教授，主要研究方向：電影虛擬攝制、電影數字人、電影智能制作。

摘要

電影虛擬攝制憑借所見即所得的優勢已在全球電影工業體系中得到廣泛應用，但其后期前置的特點，導致前期高質量資產制作成本投入高，資產有效利用率較低，現場即時調整專業性要求高。人工智能生成內容（AIGC）技術以其高效生成和即時響應的能力可以有效彌補虛擬攝制的上述應用短板。本文通過AIGC技術在概念設計、場景生成、角色創建、動畫生成、現場交互調整等各階段的具體應用，探索人工智能（AI）如何在電影虛擬攝制各環節發揮效能，分析總結AI技術的優勢、劣勢及其與電影虛擬攝制的適配性，形成一套電影虛擬攝制的智能制作流程和實踐方案。

關鍵詞

電影虛擬攝制；人工智能；生成式人工智能；電影智能制作

1 引言

電影虛擬攝制是電影行業最新的技術變革之一，其將前期拍攝與后期視效有機融合，降低了電影的制作成本，縮短了制作周期，豐富了創作手段，提升了畫面視覺效果[1]。盡管電影虛擬攝制具備諸多優勢，但仍面臨技術復雜、對設備高度依賴以及高額成本投入等挑戰[2,3]。如何通過創新的技術優化流程以降低成本成為當前研究的關鍵問題[4]。在此背景下，新興的AIGC技術成為解決問題的首選。

當前，AI技術發展迅速，尤其是以ChatGPT和Sora為代表的AIGC技術，對諸多行業產生了深遠影響。憑借其強大的學習力、生成力和創造力，AIGC技術已成為促進行業升級和迭代的關鍵驅動力。在電影制作領域，尤其是電影虛擬攝制中，AIGC技術展現出巨大應用潛力，幫助虛擬攝制快速創建數字資產、提升現場交互能力、降低操作復雜性，為解決虛擬攝制當前面臨的挑戰提供了新技術方案。

2 電影虛擬攝制與AIGC技術的融合創新

近年來，電影LED虛擬攝制在全球市場大放異彩，在國外，該技術已陸續被應用于《曼達洛人》第一至三季[5]、《黑客帝國：矩陣重啟》、《星球大戰：骨干小隊》、《西部世界》第四季、《毒液：最后一舞》等大型影視制作中。2023年榮獲多項國際獎項的《瞬息全宇宙》以及2024年奧斯卡獲獎作品《可憐的東西》也采用了這一技術[6]。在國內，從熱播電視劇《繁花》《云之羽》《大夢歸離》到短劇《柒兩人生》《太古至尊》，從京劇電影《安國夫人》、舞臺劇《麥克白》到即將上映的劇情長片《流浪者號》，虛擬攝制技術也逐漸為行業所采用，成為影視制作的必要手段[7-9]。

然而，虛擬攝制技術推廣應用的同時也暴露出一系列共性問題：創作者在前期構建數字資產，尤其是涉及高質量三維建模以及復雜視覺效果的制作時，常面臨高昂的成本，前期投入壓力巨大；拍攝現場的即時變更調整需要專業的技術團隊；生產出的高精度數字資產有部分未采用，導致資源浪費[10,11]。這些問題讓部分影視制作項目不得不重新權衡采用這一技術的利弊。顯而易見，電影虛擬攝制技術未來要走得長遠，必須要解決這些問題。

2.1 AIGC與電影虛擬攝制的技術互補

當前，AI在視聽領域的應用取得了突破性進展，包括高清修復、無標記點動作捕捉、數字虛擬角色構建及智能建模和渲染等技術，均在推動電影制作流程向智能化演進升級。與此同時，各類智能影像生成工具不斷涌現，尤其是Sora的出現，對影視行業產生了重大影響，諸多國內外電影作品已開始將AIGC技術應用于數字特效制作。

盡管AIGC技術具備生成速度快，易于使用等優勢，但現階段其生成的圖像質量不高，無法直接用于電影畫面。但由AIGC形成數字資產，作為電影虛擬攝制環節中的主體畫面元素，仍具備廣闊的發展與應用前景。

由于目前LED虛擬攝制現場的摩爾紋問題，攝影機鏡頭不會聚焦于LED背景墻上，因此對于三維實時渲染引擎渲染的數字資產精度要求有限；LED顯示內容多為距離較遠的背景，很多可以用二維場景替代高質量三維場景。此外，AIGC提供的自然語言等簡易交互方式也解決了電影虛擬攝制現場交互技術專業性強的問題。因此，AIGC技術的引入成為均衡制作速度和制作精度的最佳方案，雖然AI生成的視覺內容在質量和精度上尚不能完全滿足影視級畫面的嚴格標準，但已能夠在一定程度上滿足LED虛擬攝制的基本需求（圖1）。

圖1　LED虛擬攝制和AI技術的融合互補特性

因此，融合以快速生成和即時響應為特征的AIGC技術[12,13]，降低對高成本投入和設備的依賴，拓展創作自由度，不僅契合了電影虛擬攝制目前面臨的技術局限，同時也完美彌補了后期前置導致的問題。此外，AIGC技術的引入為創意表達注入了新的可能性，賦予創作更大的想象空間和更小的執行成本。

2.2 AIGC在電影虛擬攝制中的應用可能與解決方案

針對LED電影虛擬攝制的相關難點，AIGC技術可以進行對應的多方位應用（圖2），不僅提升了制作技術的前沿性，也在生產效能、內容創作、交互優化等關鍵維度彌補虛擬攝制現有的問題，為創意表現方式提供了更為廣闊的空間。

圖2　電影虛擬攝制短板與AI應用解決方案

在前期內容生產環節，AI主要通過高效生成與即時預覽的整合，實現生產流程的智能化升級。基于文生圖技術，AI讓2D景觀被實時構建，并通過計算深度信息模擬3D動態視差，這對勞動密集型3D環境搭建團隊而言，是一種快速且經濟高效的替代方案。2023年上映的《雷霆沙贊！眾神之怒》以及電視劇《海盜旗升起》等通過由AIGC生成的圖像作為數字資產，通過2.5D方法，將AI生成的圖像進行分層，為每張分層后的圖像賦予深度信息，以便在攝影機追蹤時為背景提供運動感。AI技術的引入，使這部電影的虛擬攝制流程得以實現更快的原型設計和迭代，制作團隊能夠更快速地試驗和修改創意。此外，隨著3D高斯濺射（3D Gaussian Splatting, 3DGS）、神經輻射場（Neural Radiance Fields, NeRF）等技術的出現，三維場景的重建和渲染只需使用一個視頻或一組多視角照片。如梵蒂岡、微軟和Iconem合作通過3DGS技術創建了圣彼得大教堂的數字孿生體，供觀眾以沉浸式的方式參觀，基于多視角的高分辨率圖像結合AI技術，3D版的圣彼得大教堂能夠達到毫米級精度。AI技術的應用，在前期制作虛擬資產階段顯著降低了對計算機生成圖像（CGI）團隊的依賴。通過處理文本提示詞、圖像或視頻，AI能快速生成數字環境內容，實現即時生成、即時使用的3D效果，消除了創造高質量三維資產的成本障礙。

在現場拍攝環節，結合圖像編輯AIGC工具，如邊緣摳像、智能填充、蒙版、筆刷等工具配合文本提示詞，使AI能夠在學習和理解場景的基礎上，根據創作者的需求進行快速反應與調整，同時確保視覺內容的連貫性與質量的一致性，實現對資產內容的智能調整，增加了現場修改、場景交互的可行性。如Quantus開發的AI場景擴展流程通過智能拓展拍攝畫面中的全景部分，顯著降低拍攝對LED背景墻面積的需求和前景置景的成本。此外，隨著當前多模態AI的爆發式增長，可使用語音指令、聲音提示、手勢動作、實時視頻流等多種交互方式，使創作者可在不依賴硬件設備的情況下專注于拍攝細節。Verizon創新實驗室結合AIGC和擴展現實（XR）技術，通過語音指令控制虛擬背景的生成和切換；CoPilot團隊結合ChatGPT，通過對接Cesium開源地理空間平臺和谷歌地圖API，使用一句提示詞即可在虛幻引擎（UE）內跳轉至任何地理位置的三維地圖場景。這種多模態人機交互方式將視覺、聽覺和觸覺結合，顯著降低了技術要求，提升了操作效率，使創作者能更加流暢地完成復雜任務。

因此，充分利用AI減少工作量，同時最大化創意空間，能有效降低虛擬攝制的前期執行壓力，擴大拍攝現場的實時修改空間，提升人機交互效果。

3 融合AIGC的電影虛擬攝制流程探索

3.1 融合AIGC的電影虛擬攝制流程設計

當前的LED虛擬攝制流程分為幾個階段。在前期籌備階段，需完成劇本分鏡創作、美術概念設計、制片計劃制定等工作；在前期制作階段，需完成虛擬預演工作，包括創建數字資產、搭建虛擬場景等工作；在現場制作階段，主要完成制作環境配置和攝影機內視效拍攝任務，這一流程極大地減少了后期制作階段中視效制作的工作量[14,15]。

由于LED虛擬攝制的技術復雜度高，制作過程需要一支專業技術團隊提供服務[16]。技術團隊需與創作團隊保持密切溝通，在前期制作階段，制作數字資產和完成數字場景工程等；在現場制作階段，進行場景調整和環境匹配，隨時解決突發技術問題。該過程的高耦合性和間接創作方式制約了LED虛擬攝制的應用推廣。

AI技術的引入為復雜的虛擬攝制工作流程提供了一個嶄新的維度，使創制流程得以重塑。在這一體系中，資源配置、AIGC以及實時交互作為核心組成部分（圖3），相互間的協同作業順暢、高效、便捷。主創人員可借助基于AIGC的全流程虛擬攝制平臺，快速實現劇本分鏡和概念設計，便捷調用和調整數字資產，實時與虛擬內容交互，這為電影創作提供了更為廣闊的創意空間。

圖3　 融合AIGC的電影虛擬攝制流程

3.2 前期籌備與前期制作階段：加快概念設計速度，提供廣闊創意空間

傳統的電影虛擬攝制流程中，創意的產生與實現常常涉及多步操作，需要跨平臺、跨設備地進行切換[17]。而AI技術為虛擬攝制提供了統一簡易的操作平臺，使所有創作工具和資源都能在同一環境中被調用，同時減少了虛擬攝制對實體硬件的依賴，降低了制作成本。

如Vū One將多樣化的虛擬攝制套件整合為一體化的工具平臺，包含了生成式AI、2D與3D資產庫、SceneForge預演可視化工具、Remote VP遠程控制等內置工具，以及與UE、Volinga、Frame.io、Shutterstock、Unsplash等平臺的內部集成，構建了一個高度融合AIGC的簡易高效虛擬攝制工作流程。通過接入外部自然語言大模型，Vū One將多模態AI大模型無縫融合至虛擬攝制的各個階段，如生成平面圖像發送至LED背景墻并立即顯示；即時調用AI生成的豐富的數字環境資產庫；通過深度信息計算，將2D平面圖像轉化為具有透視視差的3D模型，以匹配攝影機運動變化等。

此外，結合三維實時引擎的燈光照明、地形編輯、時間軸動畫、攝影機追蹤等功能[18,19]，配合接入AIGC生成的數字背景，可顯示在虛擬LED背景墻上進行視覺預演（PreViz），以生成故事板和鏡頭列表（圖4）。與生成式AI合作的工作流程將允許創作者在拍攝前大量試驗視覺效果和拍攝手法，通過可視化的場景預覽，創作團隊可更直觀地交流和討論創作意圖，順利銜接到正式的拍攝中。

圖4　實時接入AI生成的虛擬資產進行可視化預演并構建故事板

3.3 現場制作階段：實時交互創作，動態調整虛擬資產

將多模態人機交互方式與AI、AIGC以及圖像算法進行結合，能夠大大降低LED虛擬攝制中交互控制的專業要求，虛擬資產可依據創作者的實時指令進行動態調整，確保創作者即時掌控視覺效果。如Cuebric將傳統的圖像編輯工具與AI生成功能結合，如畫筆、橡皮擦、選區、蒙版、顏色編輯等，允許用戶在虛擬畫布上自由創作和修改細節，同時精準地選擇特定區域進行編輯（如圖5中通過筆刷繪制選定區域，結合新的文本提示詞修改畫面主體元素）。AI的引入極大增強了這些傳統工具的功能，如通過深度學習算法智能識別選區，精準捕捉復雜的對象邊緣，結合文本提示詞同步生成內容等。此外，通過實時通信協議結合圖像控制接口，能實現移動設備與控制系統間的低延遲通信。創作者能在移動設備上實時調整虛擬資產的顯示比例、光照、顏色、視差深度等，無需復雜的硬件連接和專業的技術能力。

圖5　AIGC結合筆刷工具局部調整場景元素

修改提示詞（中）：Cozy hunter's cabin with rustic wooden structure and a stone chimney；（右）：Luxurious villa: A modern, glass?fronted structure with expensive views of mountains

生成式AI模型與各類虛擬攝制套件結合，使復雜的虛擬攝制流程得以在精簡的技術堆棧上運行，創作者無需大量的預算和技術經驗也能具備實現創意和講述故事的可能性。其高效的實時調整能力使拍攝過程中的即時修改和交互都較為靈活和流暢，極大提高了現場的人機協同效率。

雖然現階段AIGC生成的內容存在質量不穩定，需要額外的人工干預和調整，生成的虛擬資產可容納的攝影機運動范圍也極為有限，與三維實時引擎的集成度較低，難以做到無縫實時交互的體驗等問題，但已有的AI大模型能夠結合虛擬攝制的場景流程得出不同的應用方案，通過開放式的人機協作流程，組合出合適的場景預設，將復雜且成本極高的虛擬攝制流程簡化并嵌入易操作的系統中，讓創作人員有更加友好的應用體驗。這不失為虛擬攝制升級迭代的有效方法。

4 基于AIGC技術的數字資產制作研究與實踐

如今，電影虛擬攝制技術正不斷完善，許多技術問題得以克服[20-22]，但缺乏豐富且適用的數字資產問題始終未得到有效解決。高成本的傳統三維資產制作方式極大提高了虛擬攝制成本，且存在部分完成的三維資產不被采用的浪費情況。AIGC技術的發展為數字資產的生成和使用提供了全新的方式。

4.1 AI生成2.5D/2.75D深度圖像

2.5D圖像通常由一系列帶有透明背景的分層平面圖像組成，2.75D圖像則由具有多邊形網格的分層深度圖像組成（圖6）。2.5D/2.75D圖像能提供比2D圖像更豐富的深度信息，但相較3D模型可大幅減少計算機的處理和計算。其核心在于獲得相對目標場景或物體的深度信息，這通常通過深度傳感器（如激光雷達或結構光相機）、立體視覺（通過兩個攝像頭模擬人眼視差）或單目深度估計算法（通過卷積神經網絡從單一圖像中推斷深度）來實現。深度信息用深度圖表示，提供每個像素到攝影機的距離數據，一旦獲取深度信息，該信息可與傳統的2D圖像相結合，以生成2.5D或2.75D效果。相較于2.5D圖像，2.75D圖像能提供更多的深度信息，可容納更大的視角變化，提供更真實的三維效果。

圖6　2D圖像（左）、2.5D圖像（中）與2.75D圖像（右）

利用AI生成平面圖像并將其轉化為2.5D/2.75D深度圖像（圖7），可應用于電影虛擬攝制中。在2.5D/2.75D圖像視差中，不同的圖層會以不同的速度移動。通常距離攝影機更遠的圖層和物體移動得更慢，而近處的物體移動得更快，以此在攝影機移動時產生場景的深度感。AIGC可通過文本提示詞快速生成圖像內容并即時修改，并基于圖像智能識別完成場景分層并賦予各圖層深度信息，最終完成2.5D/2.75D場景的搭建。將深度圖與平面圖像結合，生成多視角可調整2.5D/2.75D圖像。

圖7　AI生成2.5D/2.75D虛擬場景流程圖

使用AI模型生成2.5D/2.75D圖像可分為以下步驟：

（1）生成圖像：使用生成式AI從文本描述生成高分辨率的場景平面圖像。通過正向提示詞、負面提示詞、生成模型、生成風格等對生成內容進行控制。使用局部蒙版結合文本提示詞，進一步移除或修改圖像中的局部區域或物體。

（2）圖像分割：將生成的2D圖像分解為多個圖層，包括背景、中景、前景等。通過AI圖像識別和深度估計算法，可實現以物體邊界分割或通過計算深度值進行分割。

（3）分層輸出：分層的圖像為原始圖片中割裂獨立的各個部分，由 AI擴展分層圖像的缺失部分，使每一層圖像的內容都完整成立，以免在攝影機運動中產生撕裂（圖8）。

圖8　圖層疊加

（4）深度信息整合：對生成的平面圖像進行深度信息計算，或手動設置各圖層的Z深度值。將深度圖與平面圖像結合，轉化為多視角可調整的2.5D/2.75D圖像，同步攝影機追蹤數據后，即可作為虛擬場景應用于虛擬攝制。

AIGC生成2.5D/2.75D圖像的虛擬場景搭建流程，以當前較為成熟且高效的文生圖技術為核心，極大地降低了虛擬攝制中創建復雜場景等數字資產的工作量，使短期和中小型成本的虛擬攝制流程提速降本。

然而，2.5D/2.75D圖像生成的主要挑戰涉及深度數據的準確性和完整性，噪聲、遮擋物處理和分辨率限制都需要優化。這套流程在實際創制過程中，最大的使用障礙在于圖片生成的不可控性，在對分層的圖片進行填充時，由于AI對物體邊界理解的不準確，填充生成的畫面容易出現偽影、模糊區域或不自然細節。當圖像處理、蒙版情況變得復雜，以及在處理高分辨率和大規模數據時則會遇到性能瓶頸，使場景創建的過程卡頓和不流暢。此外，由2.5D/2.75D圖像構成的數字環境，能支撐和滿足的虛擬攝制應用場景較為有限，但其能快速執行微調、修復和深度分割，并將這些功能無縫集成到實時工作流程中，仍是極大降低LED背景環境創建成本、減輕創意執行壓力的有效方案。

4.2 AI生成全景圖

得益于大型預訓練的文本到圖像（Text?to?Image）模型在多視角圖像生成中的應用，AI可基于擴散模型生成沉浸式場景，特別是全景圖像，作為HDRI貼圖應用于虛擬攝制中。傳統全景圖像的獲取成本較高，而AIGC可通過文本或圖像生成全景圖（圖9）。

圖9　AI生成全景圖作為虛擬場景流程圖

如SD?T2I?360PanoImage、PanoDiffusion等開源模型通過圖像外擴（Outpainting）技術提供了一種將單視角圖片擴展為全景圖像的方法。ZeroNVS模型結合3D感知編碼器和NeRF技術，能夠從單張真實圖片中生成360度全景模型，Skybox AI推出了Sketch?a?Skybox功能，支持直接在球體、立方體等不同輔助網格下繪制立體空間草圖，并結合文本提示詞生成或進一步修改全景畫面內容。

AI生成全景圖像作為虛擬場景，相較于2.5D/2.75D方法，無需專業的圖像編輯技能和軟件后處理流程，即使是沒有任何圖像編輯經驗的創作者也可輕松上手。此外，全景圖的可擴展性較高，可導出應對多種需求的文件格式供后端工作流繼續使用，與主流3D開發平臺無縫集成。

全景圖具備真實環境的光照和色彩信息，可容納更大范圍的攝影機移動，且在AIGC技術輔助下，圖像的生成和處理都非常方便快捷。但相應地，要對其中的光照條件和物體位置、大小等具體細節進行修改和控制則相對困難。此外，全景圖本質上仍是二維的平面圖像，缺乏場景內的動態深度信息，而在攝影機運動過程中，觀眾對于空間深度的感受主要來自前景、中景和背景之間的視差變化，全景圖無法提供這種動態的深度體驗，仍需要結合具體需求和場景特點考慮是否使用全景圖作為虛擬場景進行拍攝。

4.3 AI三維實景重建技術

使用攝影測量法進行三維重建的場景可支持在虛擬環境中自由移動，但需前期大量的數據采集及專業技術人員的手動調整。NeRF提供了一種用于合成新視角圖像的深度學習方法，可從多個已知視角的2D圖像中學習并預測，以從任意視點渲染場景，生成具有高度細節的三維表示，呈現出具有準確透視和真實反射的3D場景（圖10）。與傳統的攝影測量法相比，NeRF根據少量的 2D 圖像即可對 3D 場景的幾何形狀和外觀進行建模。

圖10　基于NeRF的三維實景重建流程圖

如Volinga Exporter組件克服了無法實時渲染NeRF和缺乏與實時渲染引擎的集成所帶來的障礙，為虛擬攝制中的環境拍攝(使用Volinga Creator)和渲染(使用Volinga Renderer)提供了一個快速流程。此外，Volinga的工作流也與當前廣泛使用的虛擬攝制解決方案兼容，如Disguise RenderStream和Pixotope。Luma AI支持僅使用具有深度攝像頭的iPhone手機實時創建全體積格式Luma AI NeRF（.luma）和基于高斯濺射的交互式場景（.ply）。使用手機緩慢圍繞物體或場景進行拍攝，以自動生成用于構建三維場景的一系列連續圖片，發送至Luma AI 在本地進行渲染，無需對網格格式、幾何、材質進行任何調整，即可嵌入到虛擬攝制、VR制作等后續工作流中。

基于NeRF的三維重建技術能夠極大減少數字資產制作過程中所需的勞動成本，建模、紋理、優化、照明等瑣碎的工作環節都將變得智能且高效。NeRF模型基于機器學習的體渲染技術，通過使用大量圖像數據訓練深度神經網絡，能夠從任意視角重建出高度真實的3D場景，不需要預先定義的視圖或攝影機設置，視角依賴性小。然而，體渲染技術目前缺乏成熟的建模、渲染、優化工具等生態系統，阻礙其在下游任務中的應用。此外，由于NeRF是在神經網絡中進行隱式重建，在涉及到表面、紋理等顯式結構時難以實現物理仿真，其計算量巨大的渲染過程也限制了其在對動態環境和實時渲染有較高要求的虛擬攝制中的應用。同時，NeRF在真實度還原上能多大程度滿足電影制作需求，仍需在實踐中檢驗。

4.4 AI直接生成3D模型與材質紋理

AI直接生成3D模型技術正逐漸成熟，可從二維圖像、視頻或文本描述中直接生成三維模型。如DALL·E 3D基于擴展的神經網絡架構，可以接受復雜的文本輸入，輸出相應的3D模型；NVIDIA Omniverse支持從圖像到3D模型的智能生成和調整；Luma Labs推出的Genie 1.0提供對生成的模型更改材質，包括金屬、反射、粗糙度等選項，或重新拓撲，也可根據需要導出更高分辨率的模型。

AI能大幅加快3D模型生成過程，減少了傳統建模手動操作所需時間。然而，創作者對生成過程的控制相較圖片生成更為有限，特定細節的手動調整比較困難。目前，AI生成的3D模型普遍難以達到可直接使用的質量，其主要原因之一是生成的模型貼圖往往自帶明暗信息，無法生成真實的漫反射貼圖和成套的物理基礎渲染（PBR）貼圖，限制了其在場景中的光照，未來結合AI重定向光照技術，除了輔助AI生成三維模型的真實性效果外，在虛擬攝制的畫面后期調整操作性上也存在更多可能性。

此外，結合特定數據集的訓練，AI可基于簡單的文本或圖像提示生成三維紋理和材質貼圖，并附帶法線、置換、模糊反射、環境光遮蔽等通道貼圖，大大提高其在三維制作流程中的可用性。如Adobe Substance Alchemist可從單個圖片生成復雜材質，或進行素材混合和風格轉換。Poly提供了不同的渲染選項和照明選項，能夠在生成時調整紋理屬性、地圖可見性、光照效果。AI基于文生圖技術，結合三維材質圖像的需求和特點進行特定的功能整合，為數字藝術創作提供了實用的生產工具。

在電影虛擬攝制中，AI生成的3D紋理與材質已得到多樣化應用。如創建虛擬場景時，AI可根據輸入的圖像或視頻信息，自動生成與真實環境模型高度匹配的紋理和材質，并針對同一環境快速輸出大量背景材質、地板材質、主體材質的不同搭配，為虛擬環境設計方案提供多樣化選擇。雖然目前由AI創建的材質質量效果和Substance Designer這類程序化貼圖制作軟件相比仍有一段距離，但其為快速構建真實可信、自定義性高的虛擬環境提供了一種輔助創意高效執行的解決方案。

4.5 AI無標記點動作捕捉與動畫生成

無標記點動作捕捉（Markerless Motion Capture, MMC）是一種不依賴傳統動作捕捉系統中的物理標記點、服裝或設備的技術。基于圖像識別，AI能實時進行無標記點動作捕捉和離線視頻向三維動畫的轉換，分析人體運動并創建逼真的3D模型和三維動作數據（圖11）。Rokoko Studio、DeepMotion、Move AI等工具提供了一種極其自然和直觀的方式來開發、訓練、建模和制作3D 角色動畫，無需特殊硬件、記錄設備或大型軟件應用程序，能夠實現物理過濾、運動平滑、腳部鎖定、面部捕捉、手部捕捉、多人捕捉等功能。其基于圖像的動作識別技術，也為控制虛擬元素提供了手勢、動作等新的交互方式。

圖11　AI無標記點動作捕捉并生成角色動畫流程圖

無需穿戴任何傳感器或設備，通過圖像分析實現對人體姿態和運動的精確捕捉，如捕捉舞者或演員的表演。針對不同角色模型進行骨骼重定向后，可實時映射到如MetaHuman等其他綁定骨骼結構的虛擬角色和數字人中，驅動角色運動（圖12）。通過組合多個攝像頭，能夠很容易地搭建實現多人虛擬互動、虛實互動等以往難以實現的互動效果。

圖12　DeepMotion根據二維視頻獲取三維動作數據

AI無標記點動作捕捉允許創作者通過消費級攝像頭捕捉高質量的動作數據，不受特定場地或設備限制，無需特殊的紅外反光點或傳感器，僅依靠在線錄制或離線視頻畫面，大大降低了傳統虛擬攝制流程中由動作捕捉生成角色動畫的成本和技術門檻，但其基于AI算法的純視覺無標記點動作捕捉系統，在動作細節上仍然具有精細度不足的問題，腳部和地面的關系處理、演員站立不動時的數據穩定程度仍然無法媲美專業穿戴式設備。光照條件、拍攝角度和背景復雜度等因素都可能影響視頻分析的準確性，從而限制其使用環境的靈活性。在電影制作項目中，往往需要處理時間較長、人數較多、與場景物體交互復雜的任務動作，AI的處理能力和處理質量仍是需要考量的因素。

5 總結和展望

AIGC在虛擬攝制中可快速生成3D模型、紋理、動畫等，并且高效生成三維虛擬場景，深刻地影響了電影虛擬攝制各階段的工作內容。 智能化的內容生成和交互避免了創作者重復勞動，而且顯著降低了制作成本，減輕了電影虛擬攝制中后期前置的工作量。

同時，盡管AI技術在生成模型、紋理和場景等方面存在一定的質量局限性，但這些限制在虛擬攝制和現場拍攝中通常是可接受的。這種互補匹配的科技融合創新模式，能夠有效地將AIGC技術與電影虛擬攝制深度融合起來，為該技術的進一步推廣提供有力支撐。

展望未來，隨著AI技術和虛擬攝制的不斷發展進步，AIGC在電影虛擬攝制中的應用將更加廣泛和深入，AI將為整個電影制作行業帶來更多的可能，促進電影產業的穩步發展與優化升級。

參考文獻

（向下滑動閱讀）

[1] Chanpum P. Virtual production: Interactive and real?time technology for filmmakers[J]. Humanities, Arts and Social Sciences Studies, 2023: 9?17.

[2] 趙建軍,陳軍,肖翱.基于LED背景墻的電影虛擬化制作實踐探索與未來展望[J].現代電影技術,2021(12):6?12.

[3] 馬金秀. 基于藍圖控制技術的LED虛擬攝制虛實交互研究[J]. 現代電影技術,2024(7):34?39. DOI:10.3969/j.issn.1673-3215.2024.07.005.

[4] Brillhart K. Camille—Virtual Production Case Studies Considerations for Working With LED Walls for Independent Filmmakers[J]. SMPTE Motion Imaging Journal, 2023, 132(4): 33?49.

[5] 羅夢舟,曾志剛. LED數字背景拍攝技術及其視覺效果解析——以《曼達洛人》StageCraft系統為例[J]. 北京電影學院學報,2020(11):121?128.

[6] 中國電影科學技術研究所等.中國電影數字制作規范[M].中國電影出版社，2023.

[7] Bodini A, Manohar A, Colecchia F, et al. Envisioning the future of virtual production in filmmaking: A remote co?design study[J]. Multimedia Tools and Applications, 2024, 83(7): 19015?19039.

[8] Cremona C, Kavakli M. The Evolution of the Virtual Production Studio as a Game Changer in Filmmaking[M]//Creating Digitally: Shifting Boundaries: Arts and Technologies—Contemporary Applications and Concepts. Cham: Springer International Publishing, 2023: 403?429.

[9] Huang Y F, Lv S J, Tseng K K, et al. Recent advances in artificial intelligence for video production system[J]. Enterprise Information Systems, 2023, 17(11): 2246188.

[10] Medellin N M. Reinventing the Silver Screen... Again: The Copyright Licensing Implications of Using Video Game Technology for Virtual Production on Film and TV Sets[J]. UC L. SF Commc'n and Ent. J., 2023, 46: 153.

[11] Clark C, Goi M, Holben J, et al. American Society of Cinematographers Motion Imaging Technology Council Progress Report 2023[J]. SMPTE Motion Imaging Journal, 2023, 132(8): 40?52

[12] Goswami S. Chapter?5 From Script to Screen: AI is Shaping the Future of Film Making[J]. Virtual Reality and Artificial Intelligence Technologies, 2024: 55.

[13] Hitchen G, Ekmekcioglu E, Ozcinar C. Mapping the virtual production eco?system[J]. 2022.

[14] Swords J, Willment N. The emergence of virtual production–a research agenda[R]. Convergence, 2024, 30（5）: 1557?1574.

[15] Ewis K A, Rashad M A A M. The Evolution of One?Shot Films in the Era of Virtual Production[J]. International Design Journal, 2024, 14(4): 409?419.

[16] Silva Jasaui D, Martí-Testón A, Mu?oz A, et al. Virtual Production: Real?Time Rendering Pipelines for Indie Studios and the Potential in Different Scenarios[J]. Applied Sciences, 2024, 14(6): 2530.

[17] Rigney E. Improvements to On?Set Virtual Production Acoustics for Production Dialog[J]. SMPTE Motion Imaging Journal, 2024, 133(1): 78?88.

[18] Penghui L, Gaohe Z. Development of Virtual Production Camera Control System based on Arduino[J]. ???????????????, 2023, 9(2): 457?466.

[19] 米春林,王梓鋒.基于LED背景墻虛擬拍攝中的光線匹配技術研究[J].現代電影技術,2022(09):26?32.

[20] 解沛,周令非,劉知一,et al. LED虛擬攝制中基于激光雷達的攝影機實時追蹤技術研究[J].現代電影技術,2023(08):4?11.

[21] 盧柏宏,陳軍,趙建軍.基于LED背景墻的電影虛擬化制作中的照明技術研究[J].現代電影技術,2022(07):10?19.

[22] 陳奕.《長空之王》虛擬攝制中光影運動的創作探索[J].電影藝術,2023(03):142?146.

【項目信息】北京電影學院人才隊伍建設資助計劃——領軍人才項目“基于LED背景墻的電影虛擬化制作”（3040025002）；2023年度國家社會科學基金藝術學重大項目“創建人類文明新形態視野下的國家戰略性影像創作與傳播研究”（23ZD06）。