本文刊發(fā)于《現代電影技術》2024年第3期

專家點評

虛擬數字人是計算機圖形圖像領域的研究熱點，伴隨智慧時代和元宇宙時代來臨，在新一代信息技術和現代智能科技迅猛發(fā)展與廣泛應用的背景下，虛擬數字人已成為影視傳媒領域的應用熱點。虛擬數字人的研究與實現關鍵在于對其幾何造型、材質紋理、語義信息等進行精準描述和有效表征，其制作生成涉及掃描、建模、驅動、渲染等關鍵核心技術。從技術品質上看，電影級虛擬數字人既要在人物真實感方面突破恐怖谷效應，達到超寫實水準，又要支持與真人和場景的智能實時交互與無縫虛實融合。伴隨人類社會智能化升級的持續(xù)推進和不斷深化，向AI類人智能體（Agent）發(fā)展演進成為虛擬數字人迭代升級的重要趨勢和必然要求。《虛擬數字人新范式：SIGGRAPH ASIA 2023電影制作相關研究綜述》一文結合電影制作發(fā)展需求分析總結了SIGGRAPH ASIA 2023會議虛擬數字人的最新研究成果和技術發(fā)展趨勢，從幾何造型、運動控制、動作捕捉等方面細致闡述了虛擬數字人技術應用及其實現方法，并對虛擬數字人服務電影創(chuàng)作生產提出了有價值的深層次思考。虛擬數字人是數字經濟時代的發(fā)展新動能，具有極其廣闊的發(fā)展與應用前景。未來，虛擬數字人技術應充分汲取計算機圖形圖像和人工智能領域的融合創(chuàng)新成果，統(tǒng)籌提升真實感、智能化、交互性、魯棒性、穩(wěn)定性等技術性能，為服務電影制作創(chuàng)新升級和產業(yè)提質優(yōu)化發(fā)揮積極作用。

——劉達

正高級工程師

中國電影科學技術研究所（中央宣傳部電影技術質量檢測所）總工程師

《現代電影技術》主編

作 者 簡 介

劉紹龍

劉紹龍（1989-），男，博士，北京師范大學藝術與傳媒學院博士后，主要研究方向：數字藝術、計算機圖形學、虛擬現實、人工智能生成藝術等。

趙曉雨（1984-），女，博士，北京師范大學藝術與傳媒學院數字媒體系講師、碩士生導師，主要研究方向：智能交互音樂、新媒體音樂藝術等。

趙曉雨

摘要

本文綜述了2023年SIGGRAPH ASIA會議中虛擬數字人領域前沿技術成果，探討了最新技術在電影攝制和產業(yè)發(fā)展方面的作用與影響，旨在為電影從業(yè)者提供虛擬數字人相關技術的前沿動態(tài)，促進計算機圖形學（CG）與電影藝術跨學科的融合與應用。本文從計算機圖形學與電影制作角度出發(fā)，沿著幾何造型、運動控制和動作捕捉三個技術路線梳理分析了會議相關成果的技術內核及其在電影行業(yè)的應用潛力，隨后以宏觀視野評估了上述技術路線的發(fā)展特點，歸納出虛擬數字人技術整體發(fā)展趨勢，分析思考了虛擬數字人技術與電影制作之間的耦合關系。

關鍵詞

人工智能；計算機圖形學；交互技術；虛擬數字人；電影制作

1引言

由國際圖形圖像協(xié)會（ACM SIGGRAPH）舉辦的國際計算機圖形學與交互技術國際會議（SIGGRAPH）是計算機領域的專業(yè)會議，自1974年首次舉辦以來，逐步成為涵蓋計算機圖形學（CG）、電影和動畫、虛擬現實（VR）、人機交互（HCI）、機器學習（ML）等多領域的綜合性國際會議。歷年來，會議在推動計算機圖形學與交互技術前沿發(fā)展的同時，也不斷為電影行業(yè)引入新的技術與思想，為電影制作提供了更多的創(chuàng)作可能性，包括但不限于數字特效技術、虛擬角色與數字人技術、影片制作工具、實時渲染技術、虛擬現實與交互體驗等方面。SIGGRAPH ASIA是該會議的亞洲地區(qū)會議，自2008年起在亞太地區(qū)城市舉辦。

2023年12月，SIGGRAPH ASIA 2023在澳大利亞悉尼舉辦，本次大會收到了自創(chuàng)辦以來最高數量的論文投稿，這一增長也表明計算機圖形學與交互技術等領域在生成式人工智能（Generative AI）技術加持下已形成新技術、新算法與新實踐。經過筆者對電影制作技術相關應用文章進行梳理總結，本次大會呈現出三個重要趨勢：一是深度學習（DL）成為當前計算機圖形學技術的核心，并已經被應用到計算機圖形學的絕大部分任務領域；二是當前電影制作技術發(fā)展趨勢仍然以更逼真效果、更高效率、更低成本、更具表現力為重點，隨之產生的則是更高的算力需求；三是生成式模型與神經輻射場技術（Neural Radiance Fields, NeRF）成為當前計算機圖形學發(fā)展的熱點。

尤其是從虛擬數字人的角度來看，本次大會有大量關于該細分議題的技術論文出現，從模擬、成像、幾何、建模、渲染、人機交互、觸覺、制造、機器人、可視化、音頻、光學、編程語言、沉浸式體驗、視覺計算、機器學習等多個角度對虛擬數字人技術應用進行解讀，同時也為電影制作技術的未來發(fā)展提供了深刻的洞察，為人機協(xié)同創(chuàng)作理念在電影制作中的應用打開了嶄新視野。

2虛擬數字人的研究轉向：從“替身”到“多模態(tài)”

所謂的虛擬數字人，是通過多種計算機技術對人類的幾何結構、表情形態(tài)和動作行為進行復制及模擬的虛擬化實體，具有數字外形的虛擬角色。張麗錦等[1]基于模因論（Memetics）的角度，從生物學隱喻階段、文化研究階段、多模態(tài)智能化階段對虛擬數字人進行了概念界定與特征分析，這一概念實體也在技術發(fā)展的背景下不斷迭代。

從傳統(tǒng)電影制作思維來看，虛擬數字人及其相關建構技術被較早運用于電影后期特效，并主要運用于替代演員執(zhí)行危險動作或特技表演，在降低拍攝風險的同時，使故事情節(jié)中的驚險動作更為生動逼真。而在動畫電影中，虛擬數字人的制作技術對電影技術產業(yè)的影響則是多維度的，如虛擬數字人的外觀真實感會影響角色塑造，虛擬數字人的動作流暢度和觀看沉浸感會影響視覺表現力，也會通過影響制作管線從而影響制作成本等。當然，傳統(tǒng)的電影制作技術層面都涵蓋著對于虛擬數字人外觀真實感的追求。

伴隨虛擬現實、虛擬影像制作等應用技術的迭代式發(fā)展，影視行業(yè)對于虛擬數字人的運用實際上正在逐漸超越傳統(tǒng)的電影制作范疇。按照宋雷雨[2]的觀點，電影中虛擬數字人的類型與美學轉向主要從“替身”走向“獨化”，即隨著虛擬數字人具備的交互性逐漸增強，虛擬數字人與真人的關系發(fā)生場域會更具張力，也會逐漸向真人之間日常化的交流場域靠攏。這里的“獨化”是從美學及類型學角度的觀點，對應到技術角度，應該被理解為一種“多模態(tài)”，即虛擬數字人技術不僅限于大銀幕，還可以在互動電影、游戲環(huán)境及其他多元影像內容中進行呈現，以多模態(tài)的邏輯實現多元跨界，從而體現出影游融合的協(xié)同思維。當多模態(tài)屬性在人工智能生成內容（AIGC）技術的加持下，呈現出更高的自動化程度，那么電影中的虛擬數字人可以不再是被規(guī)定的狀態(tài)，而成為具備一定自我意識的生物體，即成為一個智能體角色（AI Agent）[3]。這也是SIGGRAPH ASIA 2023會議中關于虛擬數字人細分議題所呈現出的虛擬數字人新范式，為電影制作技術的未來發(fā)展帶來了新的可能。

3SIGGRAPH ASIA 2023中虛擬數字人的應用綜述

3.1 幾何造型：高保真、快速化、風格化

虛擬數字人的外觀造型一直是電影特效技術關注的焦點，精細造型的虛擬數字人能夠幫助電影更生動地刻畫奇幻生物、歷史人物或傳統(tǒng)拍攝技術無法呈現的虛構角色等。根據恐怖谷（Uncanny Valley）理論可知，虛擬數字人造型的真實程度影響用戶的觀影效果，真實逼真的外形能夠增強視覺沖擊力，刻畫角色種族、年齡、風格等角色屬性，配合虛擬數字人的運動動畫，從而實現擴大表演空間、提升情緒傳遞能力等。因此關于幾何造型的研究主要沿著高保真、豐富細節(jié)、快速構建的方向發(fā)展。定制化和多樣性也是重要的發(fā)展方向，包括虛擬數字人的風格遷移、角色融合等。此外，生產效率是電影工業(yè)的永恒話題，虛擬數字人的快速造型、高效編輯一直是技術研發(fā)的核心。在本次會議中虛擬數字人外觀造型相關技術大量引入深度學習方法，用以實現自動化和優(yōu)化虛擬數字人的創(chuàng)建過程。

在虛擬數字人幾何快速構建方面，Bharadwaj等[4]的方法能夠在短時間內從幾何高保真、可重新照明的視頻中高效學習并構建個性化、可運動的三維網格頭像。區(qū)別于基于隱式神經表達（Implicit Neural Representation）的快速構建方法，該方法能夠直接輸出兼容當前動畫渲染管線的數據類型，從而提高電影后期特效制作效率。Wu等[5]提出一種可生成肖像動畫且具有三維感知的生成式對抗網絡（GAN），該方法可以根據一張二維圖像生成具有可控面部表情、頭部姿勢和肩膀運動的三維肖像，同時由于網絡框架中添加了姿勢變形處理模塊，該方法還可增強更多細節(jié)，能合理根據人體姿勢驅動，平滑實現頭發(fā)形變。此外，該方法能夠應用于電影拍攝近景鏡頭的人物肖像鏡頭，如模擬正反打鏡頭的人物對話場景、模擬人物近景鏡頭的鏡頭運動等，從而使該類鏡頭運動空間更加自由，同樣可應用在電影前期虛擬預演（PreViz）工作流中。Duan等[6]則提出真實感4D（高度、寬度、深度、時間）虛擬人物頭像表達方法BakedAvatar。該方法可以通過參照頭像驅動目標頭像，也能夠實現交互式表情和姿勢編輯以及面部重演。BakedAvatar可通過學習樣本的連續(xù)變形、流形和輻射場，將神經場烘焙成可變形的分層網格和相應的紋理。除了頭像編輯和控制，該方法適用于電影后期特效渲染管線中的柵格化模塊，可用于提升渲染管線效率。

對于虛擬數字人全身塑造，AlBahar等[7]提出一種從單個輸入圖像生成具有一致紋理、高分辨率外觀的360 °人物視圖方法。該方法創(chuàng)新地將二維圖像擴散模型（Diffusion Model）應用于三維紋理虛擬人物的數字化，并將合成的多視圖圖像融合到UV紋理映射中實現3D虛擬數字人的紋理一致性重建。

在虛擬數字人造型風格化和編輯方面，Mendiratta等[8]的 AvatarStudio方法通過輸入文本語義，驅動對全頭頭像外觀的動態(tài)編輯。該方法將神經輻射場的表達和生成式擴散模型融入方法框架中，將虛擬數字人頭部作為輸入，利用人類頭部多視圖進行模型訓練，可實現電影虛擬數字人快速風格化編輯，通過微調訓練批量生成自定義風格化的頭像模型。類似于Mendiratta的方法，Manu等[9]提出基于文本驅動的3D頭部模型生成方法，該方法采用自然語言（NL）的簡單文本提示，描述外觀和面部表情，并生成具有精確幾何形狀和高質量紋理圖的頭部 3D 神經化身。這一方法的特點在于能夠自動對齊網格的UV紋理坐標并實現可文本引導的高精度紋理合成過程，應用于動畫電影中，能夠提升角色頭像的UV對齊及編輯過程的效率。

在虛擬數字人衣物造型方面，主流方法采用人工幾何建模和布料模擬解算的工作流程，需要大量算力和人工成本。在本次會議上，最新研究將服裝幾何造型融入虛擬數字人幾何構建過程中。Xiang等[10]的方法能夠構建穿著動態(tài)移動寬松衣服的虛擬數字人，該方法可以由稀疏 RGB?D 數據以及身體和面部運動驅動，能夠在一定程度上降低電影特效中角色和服裝數字化的工作量。與之類似的方法還有Tang等[11]的方法。

對于虛擬數字人的毛發(fā)快速構建，Zhou等[12]提出針對頭發(fā)發(fā)型幾何形狀設計的生成式模型，他所提出的框架由有發(fā)絲變分自編碼器（Variational AutoEncoder, VAE）和發(fā)型變分自編碼器組成，該方法不僅能夠實現新穎發(fā)型采樣和合理發(fā)型插值，還支持復雜發(fā)型的交互式編輯，甚至可以從圖像中重建發(fā)型，加快虛擬數字人的毛發(fā)構建和編輯過程，進而提高電影后期制作效率。Mohan等[13]提出一種使用離散微分幾何思想參數化頭發(fā)網格的方法，可定義頭發(fā)外部形狀的網格從而允許藝術家更好地控制虛擬數字人的發(fā)型風格，為頭發(fā)造型提供更大靈活性。虛擬數字人的眉毛構建對面部造型和表情動畫至關重要，在影視特效制作中傳統(tǒng)方法通常將眉毛嵌入貼圖中，或通過毛發(fā)系統(tǒng)進行渲染，在真實度和工作效率上都有待提高。Li等[14]在本次會議上提出基于學習的單視圖 3D 眉毛重建框架，可輔助眉毛的毛發(fā)模擬，通過模型推理給定毛發(fā)生長位置、生長時間等參數，根據參數進行眉毛生長的模擬。該方法能夠有效輔助電影虛擬數字人眉毛的構建，輔助提升角色真實感。

此外，高保真數字頭像捕捉技術早已應用于電影產業(yè)中，傳統(tǒng)方法大多依賴于龐大昂貴的設備重建顯式網格幾何和外觀貼圖，盡管近期基于體積的方法，如NeRF的方法優(yōu)化了捕捉過程，但是仍然存在偽影問題。為了解決這些問題，Sarkar等[15]使用包含15個相機和15個光源的稀疏緊湊捕捉裝置來實現高質量人臉捕捉，在算法方面結合了神經體積表示和多視圖立體重建的傳統(tǒng)網格，使捕捉的頭像可重新計算照明。該方法的提出降低了對人像三維捕捉的成本，適合在電影行業(yè)進行推廣應用。在上述方法提到的照明問題上，Jiang等[16]在3D感知肖像生成的基礎上提出基于預訓練三平面（Tri?plane）表示的肖像照明控制方法，該方法可以對三維感知真實肖像進行重新照明，適用于背景與虛擬人的快速合成以及虛擬攝制流程。

3.2 運動控制：多模態(tài)、強仿真、高泛化

電影是一門具有時序性的藝術，且主要通過畫面運動來推動故事發(fā)展，因此角色動作、鏡頭移動會直接影響電影的情節(jié)變化和角色的情感發(fā)展。在電影中虛擬數字人運動模擬的效果同樣影響視覺沖擊力與沉浸感。本次會議成果中虛擬數字人運動控制技術，包括角色肢體運動控制、角色局部特寫控制、非人類生物角色控制。

（1）角色肢體運動控制

對于虛擬數字人的動作表達與控制在技術上可分為肢體控制和局部特寫控制兩部分。針對虛擬數字人的肢體控制方面，最為先進的一類方法為物理模擬角色（Physically Simulated Characters）技術。這類技術結合了物理學原理和計算機圖形學，以創(chuàng)建更為逼真的動態(tài)虛擬數字人。其核心在于利用物理仿真模擬來控制角色的動作和交互，通過物理模擬，這些角色能以真實世界的物理規(guī)則來反應和移動，比如受重力、碰撞等其他外力作用下的運動。這類技術可以讓虛擬數字人在虛擬環(huán)境中的行為更加符合現實世界的物理規(guī)律，特別是在處理復雜的環(huán)境交互運動，比如刮風、下雨等情況時，實現更為流暢和自然的動作變化。但該類技術在精確控制復雜物理行為以及管理計算資源等方面仍然有待提高，在本次會議中，多數方法通過深度學習框架訓練與推測相關動作。

Dou等[17]提出的條件對抗式技能框架（Conditional Adversarial Skill Embeddings, C·ASE）可以高效學習角色的動作技能，并可將交互信息加入條件模型動作推理過程中，使用戶在控制虛擬數字人行走路線的同時，讓角色做出基于物理模擬的逼真動作。Qing等[18]的方法可以讓虛擬數字人根據輸入的故事長文本執(zhí)行與故事內容吻合的運動（包括移動、肢體動作等），即故事生成動作（Story?to?Motion）。該方法首先利用大語言模型（LLM）從長文本中提取文本、位置、持續(xù)時間等系列內容，之后通過提出基于運動匹配、運動語義和軌跡約束的文本驅動運動檢索方法搜索相關動作，最后用神經網絡模型融合兩組運動間的中間動作，使運動自然過渡。該方法可以直接根據電影劇本信息模擬虛擬數字人的運動，非常適合電影制作前期非高保真的虛擬預演流程。Feng等[19]的成果主要基于肌肉驅動的角色推測和生成符合生物力學的運動過程。該方法將升級的疲憊動力學模型（3CC?r）嵌入基于變分自編碼器的肌肉模擬控制框架（MuscleVAE）中，不僅可以對運動特征編碼，還可編碼肌肉動力學信息和疲勞屬性，從而使呈現的運動效果更加高保真。該方法可以處理電影特效或游戲中角色因長時間疲勞積累所導致的運動風格自然演變。在模擬運動疲勞方面，Cheema等[20]提出一種基于深度強化學習的方法，用來模擬仿真基于物理的虛擬人物疲勞運動，可以有效地用于電影人物特寫和動畫電影中。基于強化學習的運動模擬方法還包括Kwon等[21]、Xu等[22]的方法。

Zhu等[23]提出基于強化學習框架的數據驅動方法用來提高物理模擬角色的行為真實性和多樣性。Jiang等[24]將運動學的先驗知識與牛頓動力學結合，提出基于物理的人類動態(tài)響應框架，這使虛擬數字人對虛擬環(huán)境有了動態(tài)交互能力，從而更真實地模擬電影中帶有虛擬數字人的復雜場景。Agrawal等[25]針對虛擬數字人的骨骼動畫控制，在神經反向動力學系統(tǒng)（Neural Inverse Kinematics, Neural IK）的基礎上提出SKEL?IK訓練方法，即以基本姿勢為條件，將信息直接流送到骨架圖結構上，因此可以通過在某些關節(jié)處阻止信息流來強制執(zhí)行硬約束。該方法允許骨骼動畫師較少使用手柄就可進行虛擬數字人的運動編輯，且真實性更強。Ramón等[26]提出虛擬數字人軟組織模型表示方法，該方法將軟組織動力學模型建立在參數化表達的虛擬數字人上，使虛擬數字人能夠表現出運動過程中的身體柔軟變形。在電影視覺特效中，該方法能夠有效模擬虛擬數字人脂肪等軟組織的運動變化。Tao等[27]設計了一種用于運動合成的神經網絡底層結構，叫做神經運動圖（Neural Motion Graph）。該網絡圖的神經節(jié)點表示運動類型，比如蒙古舞蹈，節(jié)點之間的邊表示兩個運動動作的轉換。將該結構用于深度學習方法中可以合成各種類型的運動并具有泛化能力，所合成的運動可以結合用戶指定的路徑或實時交互控制，此外該方法可以生成兩個動作之間的中間幀動作。

（2）角色局部特寫控制

虛擬數字人肢體控制專注于骨骼的運動和剛性變化，而局部特寫控制更注重網格（Mesh）表面的細節(jié)變形，如面部表情變化、發(fā)絲運動、布料模擬、手部運動等。為了使動畫或形變更加逼真，該部分同樣使用基于物理仿真的方法。Yang等[28]提出一種基于數據驅動的隱式神經物理面部表示模型，該模型由面部表情表達和風格共同驅動。該方法可以控制動畫風格，實現從一個角色到另一個角色的風格遷移或混合不同角色風格。作為基于物理特征的模型，該模型能夠充分考慮物理效果，例如碰撞處理等。

語音驅動虛擬人物口型的技術發(fā)展已久，但在口型同步過程中往往容易忽略整個面部的情緒表達。為突破該限制，Daně?ek等[29]提出針對情感交談而優(yōu)化的表達模型（Expressive Model Optinized for Talking with Emotion, EMOTE），該模型對口型同步和情感分別設計損失函數，并利用時間變分自編碼器（Temporal VAE）作為運動先驗來優(yōu)化動畫。在電影制作尤其是動畫電影制作中，該方法幫助電影制作人在處理對白與口型的同時自動調節(jié)臉部表情，縮短了工作流程，提升唇音同步（Lip?sync）環(huán)節(jié)效果，從而提升電影生產效率。

為了更好地模擬虛擬數字人臉部動畫，Li等[30]提出一種基于投影動力學 （Projective Dynamics, PD）的有限元模擬方法。該方法能夠在控制面部運動的同時感知碰撞，高效地處理軟體動力學模擬與面部變形引起的交叉（即碰撞）問題，提升了電影虛擬數字人由肌肉驅動的面部模擬真實性和效率。

（3）非人類角色控制

在科幻電影或恐怖電影中經常會出現非人類外形的虛擬數字人，包括但不限于動物、卡通人物、神話生物、機器人或其他超現實生物。在視效后期制作中，藝術家需要針對非人類角色進行創(chuàng)建與運動控制。該類角色在行為和運動模擬過程中仍然要求符合生物力學原理并帶有情感藝術性表達，以提高電影敘事的質量與深度。非人類角色控制的傳統(tǒng)方法利用藝術家的先驗知識進行人工控制，這需要藝術家具有較高的制作技能和經驗。為了更好地輔助藝術家控制非人類角色，本次會議提出運動重定向等多種解決方案。

Li等[31]提出基于學習的運動重定向框架，將人體運動重新定位到具有不同身體尺寸和結構的目標角色上，比如帶有操縱器的四足機器人、螃蟹和輪式操縱器等。該方法允許藝術家通過自身控制操縱不同結構的虛擬數字人。為了解決重定向和角色交互控制問題，Lee等[32]提出能夠以與骨架無關的方式解決各種動畫任務的框架，該框架通過學習一個嵌入空間從運動數據中分離出與骨架相關的信息，同時保留語義，使真實人物的運動更好地映射到卡通人物角色中，高效地解決了卡通動畫電影中的角色控制問題。

Takashita等[33]設計了名為AvatarForge的虛擬數字人編輯系統(tǒng)，通過實時編輯身體結構，構建身體結構與運動的映射關系，進而設計與控制非人形虛擬數字人。該系統(tǒng)旨在降低設計非人形化身（Avatar）的難度，加快帶有骨骼動畫的虛擬數字人原型的自定義創(chuàng)建。將該交互系統(tǒng)應用在電影制作中，可以降低角色建模藝術家與動畫師的技能要求，提升虛擬數字人前期設計與后期編輯處理效率。

3.3 動作捕捉：高精度、強合成、低延時

動作捕捉改變了電影的制作方式，尤其是在視覺效果、動畫和特效領域。在動畫電影制作中，動作捕捉技術提供了一種更為高效和逼真的方法來創(chuàng)建復雜的動畫序列，特別是針對角色的動態(tài)和交互場景。動作捕捉技術可以在某些情況下降低制作成本和時間，尤其適合復雜的特效和動畫場景；然而，高質量的動作捕捉系統(tǒng)和專業(yè)團隊也可能帶來顯著的成本增加。

單目視頻內容捕捉和重建運動數據是當前該領域研究熱點之一，但仍然存有技術難點和挑戰(zhàn)，如腳部滑動和抖動等偽影等。Cong等[34]提出一種基于梯度的方法，用于在物理約束下重建復雜的人體運動（包括高度動態(tài)和雜技運動）。該方法可根據視頻中內容在幾分鐘內重建復雜的人體運動，物理真實感也更強。Pan等[35]提出RGB 圖像信號與慣性信號融合算法用于動作捕捉任務中，該方法既能夠用于遮擋、極端照明/紋理、視覺動作捕捉視野小等情況，也能解決慣性動作捕捉全局漂移問題。Kang等[36]利用高精雙目（Binocular）信息估計人體三維姿態(tài)，其方法彌補了身體因遮擋而無法正確估計關節(jié)點的缺陷。從單目視頻中重建并跟蹤角色面部或手部的技術發(fā)展已久，但先前的方法由于遮擋問題無法捕捉臉部和手在進行交互時的形狀變化。為解決該問題，Shimada等[37]提出基于學習的運動捕捉方法用于面部和手部的重建，再通過交互面部變形模型實現合理的臉部與手部交互。該方法能夠在控制臉部和手運動的同時真實表現手部擠壓臉部時形成的臉部表面變形，在拍攝虛擬人物特寫鏡頭時臉部變形會增加鏡頭的沉浸感。

此外， Pan等[38]提出一種基于局部性的學習方法，用于清理和解決光學運動捕捉數據，對動作捕捉標記點有遮擋或缺失的情況尤為有效。Qing等[39]提出針對多個個體密集遮擋情況下的多人物姿態(tài)估計組件，并發(fā)布了訓練與推理策略。該方法適用于大型電影場景中同時捕捉多個人物或人群動作的情況，從而快速對動態(tài)大型電影場景進行數字化。Jang等[40]提出動作風格化方法和實時線上框架MOCHA（Motion Characterization），即將沒有明顯風格特征的動作轉換為實時體現顯著角色風格動作的框架，比如將普通行走動作風格化為僵尸行走動作。該方法可以將用戶給出的目標角色運動風格和身體比例轉移至輸入的源動作中。在電影特效制作中，藝術家可以利用該方法高效編輯生成能夠表現情緒、人物性格的動作，有利于多角色場景的批量化處理，從而提高電影工業(yè)化生產效率。

4總結與展望

縱觀整體技術發(fā)展，SIGGRAPH ASIA 2023虛擬數字人趨勢可概括為：虛擬數字人技術正全面擁抱基于深度神經網絡的人工智能技術，從而實現高保真、高控制性、高效率虛擬數字人制作。高保真度體現在基于物理模擬和大數據驅動的虛擬數字人幾何與運動構建方法上，技術逐漸從幾何靜態(tài)3D重建向4D（高度、寬度、深度、時間）重建過渡，在神經網絡的幫助下能夠允許考慮更多環(huán)境參數和物理條件，在更大空間中尋找最優(yōu)解，從而提高數字人幾何造型與動作模擬的逼真度、合理性和觀看沉浸感。高控制性體現在使用多模態(tài)手段對虛擬數字人進行局部與全局的構建和運動控制，通過對人類控制指令更準確的理解，實現表情和手勢等細節(jié)的精細控制。高效率指借助神經網絡可以加快物理模擬解算速度，處理動作捕捉數據更具魯棒性，同時多模態(tài)技術特性加強了復雜應用場景虛擬數字人的處理能力，讓交互制作和編輯流程更為簡化。

在使用方法上，傳統(tǒng)圖形學方法與深度學習技術方法不斷融合，旨在發(fā)揮兩者的綜合優(yōu)勢，例如使用神經輻射場（NeRF）、神經反向動力學（Neural IK）與生成式模型等，相關方法既能體現傳統(tǒng)圖形學對幾何表達、幾何處理與物理模擬的認識，又能發(fā)揮深度學習方法基于大數據驅動的幾何理解能力和計算效率。

會議成果將有助于提升電影級虛擬數字人的制作與編輯水平，進而優(yōu)化相關工作流。在筆者看來，電影級虛擬數字人要求同時具有適用于真實紋理渲染和物理模擬的幾何和拓撲表達結構、基于生理學的動作驅動系統(tǒng)以及基于動力學的運動控制方法，這正符合會議成果高保真、高控制性、高效率的發(fā)展趨勢。會議成果可提升電影攝制流程中包括虛擬預演、動作捕捉驅動合成、后期視效等環(huán)節(jié)的制作效果和工作效率，如三維幾何造型快速構建方法能夠應用于虛擬預演的批量模型處理任務中，骨骼重定向方法和動作風格遷移方法應用于角色動畫快速編輯等。另外借助最新的靜態(tài)場景和動態(tài)場景的快速構建方法、物理和空間感知的運動生成與編輯方法，虛擬數字人技術和工作方式將會向低成本和低延時方向進一步發(fā)展。

從電影藝術本體的發(fā)展角度來看，新技術正加速虛擬數字人從“替身”向“獨化”角色的轉變，為電影藝術表現開辟新的維度。未來，虛擬數字人技術將更加注重多模態(tài)、實時渲染和交互方面的進步，圖形學領域也將吸納更多創(chuàng)新視角，例如融合大語言模型等新興技術。

參考文獻

（向下滑動閱讀）

[1] 張麗錦,呂欣.虛擬數字人：模因論的新“錨點”——模因論視域下的虛擬數字人：概念、特征和應用[EB/OL].(2024?01?26)[2024?02?01].http://kns.cnki.net/kcms/detail/53.1148.C.20240124.1447.002.html.

[2] 宋雷雨.從“替身”到“獨化”——元宇宙電影中數字人的類型與美學轉向[J].當代電影,2023(02):151?157.

[3] 陳焱松.AIGC技術在人工智能電影創(chuàng)作中的應用策略研究[J].現代電影技術,2023(09):39?45.

[4] BHARADWAJ S, ZHENG Y, HILLIGES O, et al. FLARE: Fast Learning of Animatable and Relightable Mesh Avatars[EB/OL]. (2023?10?27)[2024?02?01].https://arxiv.org/abs/2310.17519.

[5] WU Y, XU S, XIANG J, et al. AniPortraitGAN: Animatable 3D Portrait Generation from 2D Image Collections[EB/OL]. (2023?12?11)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610548.3618164.

[6] DUAN H B, WANG M, SHI J C, et al. BakedAvatar: Baking Neural Fields for Real?Time Head Avatar Synthesis[EB/OL]. (2023?12?05)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3618399.

[7] AlBAHAR B, SAITO S, TSENG H Y, et al. Single?Image 3D Human Digitization with Shape?Guided Diffusion[EB/OL]. (2023?12?11)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610548.3618153.

[8] MENDIRATTA M, PAN X, ELGHARIB M, et al. AvatarStudio: Text?Driven Editing of 3D Dynamic Human Head Avatars[J]. ACM Transactions on Graphics (TOG), 2023, 42(6): 1?18.

[9] MANU P, SRIVASTAVA A, SHARMA A. CLIP?Head: Text?Guided Generation of Textured Neural Parametric 3D Head Models[EB/OL]. (2023?11?28)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610543.3626169.

[10] XIANG D, PRADA F, CAO Z, et al. Drivable Avatar Clothing: Faithful Full?Body Telepresence with Dynamic Clothing Driven by Sparse RGB?D Input[EB/OL]. (2023?12?11)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610548.3618136.

[11] TANG S, WANG G, RAN Q, et al. High?Resolution Volumetric Reconstruction for Clothed Humans[J]. ACM Transactions on Graphics, 2023, 42(5): 1?15.

[12] ZHOU Y, CHAI M, PEPE A, et al. GroomGen: A High?Quality Generative Hair Model Using Hierarchical Latent Representations[J]. ACM Transactions on Graphics (TOG), 2023, 42(6): 1?16.

[13] JAYARAMAN MOHAN S N. Hair Tubes: Stylized Hair from Polygonal Meshes of Arbitrary Topology[EB/OL]. (2023?11?28)[2024?02?01]. https://dl.acm.org/doi/abs/10.1145/3610543.3626157.

[14] LI C, JIN L, ZHENG Y, et al. EMS: 3D Eyebrow Modeling from Single?View Images[J]. ACM Transactions on Graphics (TOG), 2023, 42(6): 1?19.

[15] SARKAR K, BüHLER M C, LI G, et al. LitNeRF: Intrinsic Radiance Decomposition for High?Quality View Synthesis and Relighting of Faces[EB/OL]. (2023?12?11)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610548.3618210.

[16] JIANG K, CHEN S Y, FU H, et al. NeRFFaceLighting: Implicit and Disentangled Face Lighting Representation Leveraging Generative Prior in Neural Radiance Fields[J]. ACM Transactions on Graphics, 2023, 42(3): 1?18.

[17] DOU Z, CHEN X, FAN Q, et al. C?ASE: Learning Conditional Adversarial Skill Embeddings for Physics?Based Character[EB/OL]. (2023?12?11)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610548.3618205.

[18] QING Z, CAI Z, YANG Z, et al. Story?to?Motion: Synthesizing Infinite and Controllable Character Animation from Long Text[EB/OL]. (2023?11?28)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610543.3626176.

[19] FENG Y, XU X, LIU L. MuscleVAE: Model?Based Controllers of Muscle?Actuated Characters[EB/OL]. (2023?12?11)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610548.3618137.

[20] CHEEMA N, XU R, KIM N H, et al. Discovering Fatigued Movements for Virtual Character Animation[EB/OL]. (2023?12?11)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610548.3618176.

[21] KWON T, GU T, AHN J, et al. Adaptive Tracking of a Single?Rigid?Body Character in Various Environments[EB/OL]. (2023?12?11)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610548.3618187.

[22] XU P, XIE K, ANDREWS S, et al. AdaptNet: Policy Adaptation for Physics?Based Character Control[J]. ACM Transactions on Graphics (TOG), 2023, 42(6): 1?17.

[23] ZHU Q, ZHANG H, LAN M, et al. Neural Categorical Priors for Physics?Based Character Control[J]. ACM Transactions on Graphics (TOG), 2023, 42(6): 1?16.

[24] JIANG Y, WON J, YE Y, et al. DROP: Dynamics Responses from Human Motion Prior and Projective Dynamics[EB/OL]. (2023?12?11)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610548.3618175.

[25] AGRAWAL D, GUAY M, BUHMANN J, et al. Pose and Skeleton?Aware Neural IK for Pose and Motion Editing[EB/OL]. (2023?12?11)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610548.3618217.

[26] RAMóN P, ROMERO C, TAPIA J, et al. SFLSH: Shape?Dependent Soft?Flesh Avatars[EB/OL]. (2023?12?11)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610548.3618242.

[27] TAO H, HOU S, ZOU C, et al. Neural Motion Graph[EB/OL]. (2023?12?11)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610548.3618181.

[28] YANG L, ZOSS G, CHANDRAN P, et al. An Implicit Physical Face Model Driven by Expression and Style[EB/OL]. (2023?12?11)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610548.3618156.

[29] DANě?EK R, CHHATRE K, TRIPATHI S, et al. Emotional Speech?Driven Animation with Content?Emotion Disentanglement[EB/OL]. (2023?12?11)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610548.3618183.

[30] LI B, YANG L, SOLENTHALER B. Efficient Incremental Potential Contact for Actuated Face Simulation[EB/OL]. (2023?11?28)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610543.3626161.

[31] LI T, WON J, CLEGG A, et al. ACE: Adversarial Correspondence Embedding for Cross Morphology Motion Retargeting from Human to Nonhuman Characters[EB/OL]. (2023?05?24)[2024?02?01].https://arxiv.org/abs/2305.14792.

[32] LEE S, KANG T, PARK J, et al. SAME: Skeleton?Agnostic Motion Embedding for Character Animation[EB/OL]. (2023?12?11)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610548.3618206.

[33] TAKASHITA S, YAMAGUCHI A, NARUMI T, et al. AvatarForge: A Real?Time and Node?Based Body Editing System[EB/OL]. (2023?11?28)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610541.3614569.

[34] CONG L, RUPPEL P, WANG Y, et al. Efficient Human Motion Reconstruction from Monocular Videos with Physical Consistency Loss[EB/OL]. (2023?12?11)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610548.3618169.

[35] PAN S, MA Q, YI X, et al. Fusing Monocular Images and Sparse IMU Signals for Real?Time Human Motion Capture[EB/OL]. (2023?12?11)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610548.3618145.

[36] KANG T, LEE K, ZHANG J, et al. Ego3DPose: Capturing 3D Cues from Binocular Egocentric Views[EB/OL]. (2023?12?11)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610548.3618147.

[37] SHIMADA S, GOLYANIK V, PéREZ P, et al. Decaf: Monocular Deformation Capture for Face and Hand Interactions[J]. ACM Transactions on Graphics (TOG), 2023, 42(6): 1?16.

[38] PAN X, ZHENG B, JIANG X, et al. A Locality?Based Neural Solver for Optical Motion Capture[EB/OL]. (2023?12?11)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610548.3618148.

[39] SHUAI Q, YU Z, ZHOU Z, et al. Reconstructing Close Human Interactions from Multiple Views[J]. ACM Transactions on Graphics (TOG), 2023, 42(6): 1?14.

[40] JANG D K, YE Y, WON J, et al. MOCHA: Real?Time Motion Characterization via Context Matching[EB/OL]. (2023?12?11)[2024?02?01].https://dl.acm.org/doi/abs/10.1145/3610548.3618252.

【基金項目】2021年度教育部人文社會科學研究青年基金項目“交互式多媒體環(huán)境中聲音的藝術表現研究”（21YJC760114）。

主管單位：國家電影局

主辦單位：電影技術質量檢測所

標準國際刊號：ISSN 1673-3215

國內統(tǒng)一刊號：CN 11-5336/TB

投稿系統(tǒng)：ampt.crifst.ac.cn

官方網站：www.crifst.ac.cn

期刊發(fā)行：010-63245081