本文刊發于《現代電影技術》2024年第12期
專家點評
當前,全球電影行業已進入大科學、大視聽、大融合時代,多學科多業務交叉滲透明顯,生產流程持續優化升級,數字技術與實體經濟、網絡空間與現實社會融合發展趨勢日益明顯,進程不斷深化。以人工智能(AI)、大數據、云計算等新一代信息技術為核心的技術創新進入前所未有的密集活躍期,工程科技成為推動電影科技進步和產業升級的重要引擎。面向2035年電影強國建設目標,電影行業需聚焦AI技術自主研發與大模型行業定制、新型放映模式拓展、影院多業務融合等新領域新賽道,加快推動電影創新技術研發落地,統籌推進“十五五”電影科技發展預測分析、電影國際標準突破躍升、放映裝備國產化、電影重點實驗室創建等重點科技工作。隨著人工智能技術的持續演進,影像技術品質、視覺體驗、場景設計質量、制作效能持續提升,同時也給影像創作生產、傳輸分發、解碼播映等產業節點帶來風險和挑戰。構建既促進技術創新和產業升級,又確保安全可控并符合技術倫理的AI發展環境,是當前行業關注熱點和難點。《基于人工智能技術的未來影像研究與思考》一文,從電影創制、計算機圖形學、三維視覺等多維度出發,分析探討了AI在計算機模擬、虛擬攝制、模型驅動、影像呈現、電影內容創制等領域的應用實踐,提出了AI創制內容的審美策略和多樣化技術落地思考,為構建我國新一代影像創制解決方案提供了技術思路。本文觀點準確、內容詳實,將帶給從業者和讀者深層次的思考啟示,具有很好的行業指導意義和借鑒參考價值。
——龔波
正高級工程師
中國電影科學技術研究所
(中央宣傳部電影技術質量檢測所)黨委書記、所長
作 者 簡 介
陳寶權
北京大學博雅特聘教授、智能學院副院長,IEEE Fellow,長江學者特聘教授,主要研究方向:計算機圖形學、三維視覺與可視化。
北京大學藝術學院副院長,長江學者特聘教授,澳門科技大學博士生導師,主要研究方向:中國電影史、影視文化批評、數字人文與電影研究、中國電影知識體系。
李道新
孫立軍
北京電影學院副院長、北京電影學院中國動畫研究院院長,主要研究方向:中國動畫史研究、動畫電影創作、當代藝術創作等。
《異人之下》聯合導演,主要研究方向:電影語言創新。
夏 鵬
摘要
作為一種現代表達媒介和藝術形式,電影將視覺、聽覺等多種感官與記錄、敘事、抒情等元素融為一體,創造出令人難以忘懷的體驗。電影與計算機技術的緊密聯系,使其在過去幾十年中不斷進化,產生了如數字視效(VFX)、虛擬現實(VR)等諸多革新。近年來,隨著人工智能(AI)技術的快速發展,特別是OpenAI Sora等文生視頻工具的出現,使其在電影制作中的潛力備受矚目,并被認為可能顛覆電影創制全過程。本文基于2024中國計算機大會(CNCC2024)“AI與未來影像”論壇,回顧了計算機圖形圖像技術在數字影像發展過程中的重要支撐作用,探討了AI時代電影工業所面臨的機遇與挑戰,展望了AI技術在電影行業乃至未來影像領域的發展趨勢,對進一步推動電影與AI技術的深度融合進行了探索。
關鍵詞
人工智能;電影技術;數字影像;圖形圖像;數字化
1 引言
影視行業與計算機技術的緊密聯系,使其在過去幾十年持續實現技術演進,數字3D、數字視效、虛擬攝制、動作捕捉、虛擬現實、實時渲染等創新技術為電影制作帶來了諸多革新。20世紀70年代末開始,好萊塢電影導演喬治·盧卡斯(George Lucas)在拍攝《星球大戰》時首次運用計算機合成技術,標志著數字技術在電影中的首次應用,使電影進入了數字影像時代。1986年,史蒂夫·喬布斯(Steve Jobs)收購盧卡斯影業的計算機動畫部門,成立皮克斯動畫工作室(Pixar Animation Studio),推動了三維模型轉化為逼真數字圖像的技術發展。1995年,《玩具總動員》作為世界上第一部長篇計算機動畫電影上映,展示了最新計算機渲染系統的應用。2009年,《阿凡達》的公映給觀眾和業界帶來了新的視角,該影片全面應用虛擬攝制技術,使導演可在第一時間看到實拍演員、真實場景和虛擬場景的實時合成效果,并實現了動作捕捉和表演捕捉。《猩球崛起》系列從側面呈現了動作捕捉技術的發展,其攝制過程克服了戶外動作捕捉復雜的環境干擾,實現了多人動作捕捉?!丢{子王》則將元宇宙技術全面引入電影攝制過程中,創新應用虛擬資產、虛擬現實、虛擬勘景等手段,實現了全CG打造3D“真人版”電影。《曼達洛人》的問世標志著虛擬攝制技術的新發展,該劇使用StageCraft平臺,以LED背景墻的形式將實時引擎渲染生成畫面與演員表演及現場置景結合,打造真實的現場動態照明和環境光效果,使本已被虛擬攝制模糊的電影前后期環節實現深度融合。
人工智能(AI)作為計算機領域熱門且重要的分支,近年來得到飛速發展,從模式識別、圖像處理、自然語言處理(NLP)到自動駕駛、醫療診斷,AI技術正逐漸改變我們的生活和工作方式。電影作為和圖像、內容密切相關的產業, AI技術在影視創制過程中的應用已愈發廣泛。AI技術被應用于從劇本創作到后期制作的電影創制全流程,全面提升了工藝鏈工作效率并開辟了新的創造可能性。隨著人工智能生成內容(AIGC)技術的快速發展,特別是OpenAI Sora等文生視頻工具的出現,AI在電影制作中的作用越來越受到矚目。
計算機技術與影視行業的深度融合,將進一步促進計算機專業人士與影視制作人間的深入交流和思考。本文將從計算機技術、電影學理論和內容創作等角度出發,論述當下AI技術對電影行業發展演進帶來的新變化,提出跨學科、跨領域的學術思考。
2 AI技術發展對電影行業的沖擊及思考
2.1 AI作為智能體并非簡單工具
工業光魔(ILM)前CEO,數字王國(Digital Domain)創始人、前首席執行官(CEO) 斯科特·羅斯(Scott Ross)既是電影制作專家,也是數字電影行業的先驅者,見證了從模擬到數字時代再到人工智能時代的影視行業技術發展歷程。計算機圖形學(CG)領域是與好萊塢電影技術發展最為息息相關的技術領域之一,羅斯在2024年與北京大學智能學院陳寶權教授就AI與未來影像的思考分享中,貢獻了諸多精彩觀點。
羅斯認為,從印刷術到電視、互聯網和智能手機,幾乎所有的新興媒體技術均旨在幫助人類實現信息傳遞、故事講述和現實復刻目的。當今AI技術應用帶來的影響同以往新技術所帶來的變化有著本質區別——以往新技術帶來的是新工具,而當前新技術帶來的是智能體(Agent)。早期的AI技術大多僅是人類用來創造事物的工具。這類工具在某種程度上替代人類完成了部分工作,人類使用工具后可將時間和精力投入到創意度更高的工作中。而現在智能體直接取代了人類完成創造,這是根本上的不同。如皮克斯影片《玩具總動員》中玩具變成了有生命的角色并能自主行動一樣,AI技術就如同工具從工具箱里“跳”出來,變得像人類一樣解決問題,使其完全同之前所有的工具區分開來。
理解作為智能體的AI,首先要了解AI技術的發展階段。AI技術發展的第一階段,開發者們創造一系列軟件工具,使工作流程更具創意、更加便捷。第二階段的AI技術發展使諸多工種被逐漸取代,其中受沖擊最嚴重的將是那些相對創意簡單且藝術性較低的領域。此階段的典型例子可參考印度影視制作行業由于AI技術的誕生與不斷發展,其龐大的視覺特效和動畫人員隊伍正在被AI智能體所取代,大批從業人員面臨失去工作的危險。AI技術飛速發展的新能力造成諸多單調、重復性工作被取代,但就創造力而言,這種新的智能體有望激發本就具有創意的從業者獲得更多靈感。
作為熱衷引入新興技術的導演,詹姆斯·卡梅?。↗ames Cameron)的目標即是盡可能優質高效地按照設想制作電影,他將AI視為一種能幫助其實現這一目標的工具,諸多工作環節可通過AI實現簡化。如引入AI技術后的生產管線將不再需要一個藝術部門來完成概念創意或者外觀設計,僅需一個懂得如何編寫提示詞(Prompt)且能在人工智能環境中熟練工作的從業人員。AI可生成50種不同的圖像讓導演直接從中篩選,僅回答“是”或“否”即可。此外,AI還能創建LED虛擬攝制所需虛擬場景。但部分專業人士認為,當前熱門的LED虛擬攝制或將很快被新技術取代,相關技術公司正在創造出更為逼真的虛擬人類,未來機器學習(ML)和深度學習(DL)的表現會越來越好,對于真人演員的需求將進一步縮減,這也給演員們敲響了警鐘。
2.2 AI帶來的問題應在當代解決
羅斯提出,隨著AI的“指數級”成長,針對AI技術帶來的問題,應盡快著手解決,刻不容緩。
前文所述AI的發展階段可簡要概括為:第一階段為創建AI工具;第二階段則是AI工具的介入改變工作流程,觸發勞動力結構的重大變化,使創作更高效、更實惠甚至有望更好。羅斯提醒要謹慎對待第三階段,即在某一時刻,未來學家雷·庫茲韋爾(Ray Kurzweil)的奇點理論會成為現實,人工智能與人腦智能實現兼容。羅斯相信后天培養勝過先天條件,即認為AI可通過不斷學習獲得成長,甚至表達情感。因此,當奇點發生——庫茲韋爾認為這一時間節點將為2033年左右——彼時AI將真正具有創造力,也就不再需要人類作為AI技術的接口。對于這一假想,羅斯表示,也許人類將會深挖人性,并有能力與這些機器互動。參考以色列著名作家、《人類簡史》作者尤瓦爾·諾亞·赫拉利(Yuval Noah Harari) 的說法,這將是所謂的“新人類”階段。赫拉利同時提出,每個人在使用AI的過程中都處于跟AI交流的信息節點上,肩負著正確引導AI向著一種積極的、有利于人類發展方向的責任。
當奇點到來,AI終將學會人類教授的內容。但人類本身存在諸多問題,我們很可能會看到AI被用于不義之地,若各國政府不設立適當的防護措施,AI可能使人類面臨巨大麻煩。既然人類知道未來AI可能對其生存形成風險,就應在當下充分討論并著手制定應對方案,以妥善解決這些問題。技術人員當前需要拓寬視野,不僅關心正在創造中的技術,同時更要關心相應技術可能帶來的后果。
3 AI技術為電影行業發展帶來新變革
3.1 傳統電影制作流程將發生顛覆性改變
近年來,隨著人工智能(AI)技術的快速發展,其對電影行業的影響愈加深入,甚至可能會顛覆電影創制流程。傳統電影制作遵循創作、設計、拍攝制作、后期特效的流程,而在智能電影時代,AI不僅被用于劇本創作及輔助概念設計,與此同時,攝影與AI影像生成也已緊密結合;隨著后期特效中AI技術的應用,其與電影創作與制作已密不可分(圖1)。
圖1 影視制作傳統流程及AI時代流程對比
自2016年全球第一部AI劇本創作、真人參演的科幻片《陽春》(Sunspring)[1]問世,到2024年2月OpenAI Sora產品發布正式開啟了文生視頻時代,回顧近幾年來AI參與電影制作的發展歷程,從劇本創作到最終影片生成,AI從端到端的介入實現了故事創作和影像制作的效率提升。同時,AI在影像產業發展演進中發揮了重要推動作用(圖2),其可輔助人類完成影像、聲音的制作和任務處理,人類得以將有限的精力投入到高創意性工作中,從而成就更多具備想象力、創新性和藝術性的精品佳作,而影像媒介形式也將向更具沉浸感的方向發展。
圖2 影像產業發展演進趨勢和AI發揮的作用
特別是近年來,快速發展的高維影像手段給影像產業帶來了廣闊的發展空間,多視點、多維度、互動式的觀看內容層出不窮,電影《黑客帝國》開創的“子彈時間”360°拍攝方式已在體育比賽、演藝會展等領域廣泛應用。
3.2 計算機圖形學與電影行業形成深度互動并實現科研成果產出
作為計算機圖形學著名學者和首位入選ACM SIGGRAPH Academy“計算機圖形學名人堂”的中國科學家,陳寶權教授在任北京電影學院未來影像高精尖創新中心(以下簡稱“高精尖創新中心”)首席科學家期間,組織了大量國內國際計算機圖形學和電影行業的深度交流互動活動,緊密聯系的專家包括前文所述的斯科特·羅斯(Scott Ross),美國工程院院士、計算機圖形學和人機交互技術先驅、喬治亞理工大學教授詹姆斯·弗雷(James Foley),美國工程院院士、美國硅圖公司(SGI) 聯合創始人、Lytro CTO、OpenGL之父科特·埃克利(Kurt Akeley),PDI聯合創始人、Cloudpic創始人理查德·莊(Richard Chuang)以及中國工程院院士、北京航空航天大學教授趙沁平等。在國際化交流環境中,陳寶權教授帶領的科研團隊在幾何三維重建、物理仿真模擬、人體動作控制等研究方向均取得重要進展。
圖3 真人表演+數字合成虛擬預演(PreViz)演示短片制作現場
在國家重點研發計劃項目支持下,高精尖創新中心科研團隊研發的虛擬預演系統(圖3)以真人表演+數字合成的形式展現了三維數字技術在影像創制方案實時預演中發揮的有效作用,該系統被應用于《鼠膽英雄》《媽閣是座城》等多部國產電影的虛擬預演。相關技術更是被應用于場館演出和體育賽事等場景,從而實現對場館設計、賽道模擬、拍攝機位模擬、觀眾座位觀賽視角模擬等的智能管理[2]。陳寶權教授團隊針對虛擬預演系統中不可或缺的攝影機軌跡規劃開發了“基于樣例和關鍵幀的虛擬相機控制算法”(圖4),從真實的影片中學習攝影機運鏡的手法,智能化控制虛擬攝影機運動,實現有“電影感”的拍攝,不僅提供了靈活、高效的攝影機控制,更降低了虛擬系統使用的門檻,實現實時的攝影機軌跡編輯;“幾何三維重建”研究基于多機器人協同實現高效場景掃描與重建工作,進一步提高了場景掃描效率,可實現真實世界的數字孿生,從而用于數字資產的采集和重建;“物理仿真模擬”研究則不斷深耕于計算機語言表達和構建更加精準、全面的仿真環境,團隊曾用計算機模擬液體表面張力可達到以假亂真效果,并可在動畫制作中實現應用,系列成果使團隊得以在物理仿真領域持續保持國際領先地位。
圖4 可實現 “電影感”拍攝的虛擬攝影機控制方法
近兩年,團隊“人體動作控制”方面科研成果接連斬獲SIGGRAPH ASIA 2022及SIGGRAPH 2023的最佳論文獎及最佳論文榮譽提名獎,使團隊在具身智能研究領域獲得了國內國際學術界的關注。系列研究可通過動作捕捉技術采集人體運動數據,運用深度學習、強化學習和語音、文字等多模態驅動方法實現運動的生成與控制,進而實現動畫人物風格化手勢動作等效果(圖5)。
圖5 由語音和文字來驅動上半身人體3D模型進行手勢表演的跨模態生成系統
圖6 冰雪項目交互式多維度觀賽體驗技術與系統
在北京2022年冬奧會和冬殘奧會期間,陳寶權教授團隊研發的“冰雪項目交互式多維度觀賽體驗技術與系統” [3](圖6)通過多個相機陣列同步拍攝,實現了多視點影視轉播的“自由視點”效果,使每位觀眾得以自主控制觀看視角,更具沉浸感地觀賞比賽精彩瞬間。團隊還實現了在賽事轉播中引入“子彈時間”特效效果,在直播中實現原本需要長時間計算渲染的特效。這些技術和研發成果起源于電影,應用于其他行業,并將反哺電影攝制技術發展,有望為電影創制過程帶來顯著改變,推動電影向更高維度影像媒介方向發展。
3.3 AI技術在電影學研究領域實現應用
由北京大學藝術學院副院長李道新教授任首席專家的2022年度國家社科基金藝術學重大項目“中國特色電影知識體系研究”,正在“新文科”和交叉學科的視野里,努力整合北京大學人文社科與信息管理、人工智能領域的學術力量和技術優勢。該項目聯合清華大學、北京師范大學、北京電影學院、中國傳媒大學以及1905電影網、中國國際廣播出版社等多方力量,建設基于大數據與AI驅動的中國電影知識體系(CCKS)平臺,并以影人年譜、電影計量為中心,借助平臺建設和紙質出版,探索中國特色電影知識體系建構路徑[4]。該平臺旗下CCKS?Cinemetrics (又名:PyCinemetrics)工具(圖7),是國內第一款專用計量電影研究工具,主要功能包括:利用深度學習和PySide2 解析電影視覺風格;使用TransNet V2將電影分割為鏡頭幀,探索平均鏡頭長度(Average Shot Length)和節奏;利用 K?Means 從鏡頭幀中提取主要顏色;使用EasyOCR提取電影字幕以獲取影片對白;基于VGG?19的目標檢測來識別隱喻性道具和物體;通過 OpenPose檢測骨骼點的比例以及在畫面的占比,間接確定拍攝景別;基于PySide2集成各功能并提供良好的擴展性。目前,研究團隊已使用CCKS?Cinemetrics對經典電影進行計量分析測試,證明了軟件的準確性和效率[5]。計量分析結果不僅可用于電影學研究,也可服務當前及未來的內容創作和人工智能制作,為二者提供指導及訓練所需數據集。
圖7 CCKS?Cinemetrics的景別識別功能
李道新教授認為,在新時代必須結合大數據與人工智能等新興科技,重新審視并構建電影知識體系。在當今快速變化的技術環境中,將傳統電影理論與現代科技結合,實現電影研究與生產的深度融合,是必要而緊迫的。作為一個基于大數據與AI驅動的中國電影知識體系平臺,CCKS平臺得到了跨媒介、跨學科、跨國別、跨領域等的特別關注。研究團隊將以高質量數據與自主性知識體系為目標,力圖將CCKS平臺打造為教、學、研、產、服、命融合的智能體。其中,服指為個體、社會、國家和民族服務;命指稟賦生命經驗與使命意識,構建網絡空間命運共同體[4]。
4 AI技術在中國影視創制過程中實現應用
作為票房全球第二、影院銀幕保有量全球第一的電影大國,目前我國電影產業發展勢頭依然迅猛,各領域影視行業人員都對AI技術在影視行業應用這一話題極為關注。
《流浪地球》系列科幻電影導演郭帆認為,在如今科技應用與藝術創作緊密相連的時代,對于AI應用的討論是非常有意義的話題?!读骼说厍颉返谌康膭撝七^程中也已開始嘗試應用AI技術[6],比如在美術概念設計階段,AI可快速實現創意可視化。不可忽視的是,AI技術正在改變電影創制方式,從而實現影視創作工作流程的逐步優化,為創作者提供了更為廣闊的想象空間。未來,AI技術有望對個體專業化創制實現更廣泛賦能,突破傳統影像邊界,為影視創制帶來更多元的維度。
4.1 從動畫電影發展看AI技術給我國動畫制作帶來的技術突破
動畫電影伴隨著電影技術的發展歷程大致可劃分為三個階段。在電影誕生階段,工業革命催生出膠片電影,膠片放映設備經歷了從手動到自動的轉變;通過放映機與留聲機的結合,電影從無聲變為有聲,感光材料和成像技術又讓電影實現從黑白到彩色。作為膠片時代最具代表性的當屬水墨動畫電影,上海美術電影制片廠1963年攝制的《牧笛》[7]是當時極具代表性且彰顯了中式審美的水墨動畫電影,其問世以獨樹一幟的中華民族美學風格在世界動畫舞臺享有盛譽。從制作成本包括人力成本角度而言,彼時一部10~20分鐘時長水墨動畫影片的制作成本驚人。
第二階段則是第三次科技革命后的數字電影時代,解決了膠片電影在攝制與放映時質量不穩定、成本過高等問題。第三階段則是我們當前正在經歷的智能電影時代,4D電影、8K播映、LED放映系統等均在極大程度上實現了感官體驗的延展,并仍具備無限的發展空間。從電影誕生到智能電影時代到來歷經近百年,而從計算機介入電影制作,到取代膠片僅用了20余年[8]。國產動畫電影作為我國電影產業的重要分支,同樣在技術變革的浪潮中持續探索著符合民族和時代需求的發展路徑。而今,智能電影時代的動畫電影制作在計算機技術輔助下,得以呈現更加驚人的效果[9]。
北京電影學院副院長孫立軍教授自1991年起成為中國第一批接觸計算機技術的純藝術生,至今從業近40年,是我國計算機動畫的先行者。伴隨著AI技術的快速發展,孫立軍教授帶領團隊開始嘗試在創制過程中靈活應用AI技術,并制作了一系列實驗影片。其間,孫立軍教授發現AI技術引入電影制作后,歷經由模擬真實到超真實,再到藝術家們希望的“反真實”過程,即因為過于真實,而出現的從“AI熱”到“AI膩”的現象,且這一過程極為短暫[10,11]。
可以說,智能電影時代的AI成長空間是人類難以精準預判的,而AI技術在電影工業化制作過程中所具備的優勢也逐步得以體現。2024年6月,孫立軍教授創作(著)的世界第一本AI繪畫專著《AI繪畫:當代水墨藝術“正發生”》[12]出版,率先以先鋒性、實驗性的方式,通過將生成式人工智能(Generative AI)水墨繪畫與原創水墨繪畫“重屏”并置,創造性地直觀展現了AI與人類藝術的“對景”與“對弈”。北京電影學院制作的科幻短片《地球大炮》〔圖8(a)〕、動畫電影《愚公移山》〔圖8(b)〕、仿木偶全AI影片《景陽岡》〔圖8(c)〕均因AI技術的應用體現出更高制作效率和更佳視覺效果?!惰F血蒼穹》〔圖8(d)〕則是孫立軍教授牽頭創制的一部院線科幻大片,該影片除海報上的書法外,所有畫面、影片中運動的鏡頭等全流程均通過AI制作完成,極大程度節省了制作成本,影片海報僅需約50元便可完成,遠低于當前行業內傳統設計工藝下所需的2~3萬元設計與制作成本。動畫短片《宇宙牧場》由北京電影學院一名本科學生僅用兩周時間獨立完成,而按照北京電影學院傳統教學規劃要求,相應內容制作在一年內完成即可。由此可見,人工智能時代的影像創制可在成本投入與團隊規模方面實現相當大程度的優化。
圖8 北京電影學院利用全AI流程完成的動畫電影示例
未來已來。自AI技術誕生后,動畫電影與真人電影的界限逐漸模糊,以好萊塢為代表的超豪華、高投資、全明星商業模式,可能在未來的AI時代將不復存在,“如何向AI學習”以及“如何與AI交朋友”是當前值得思考的問題。中國電影行業的年輕從業人員要有把國產電影“做大”的意識,把AI視為和人類思想性、藝術性賽跑的對手。智能電影時代的到來無疑給我國藝術家、技術專家以及電影從業人員帶來了挑戰,但更多的還是機遇,鼓勵我們最大程度地發揮自身原創性,對于講好中國故事、傳播中國聲音、彰顯中式審美而言有著深遠的意義[13]。
4.2 真人電影制作過程中的AI技術應用
我國利用AI技術進行電影制作的最新案例中,影片《異人之下》的創制過程極具代表性。其在制作過程中將真人摹片動畫與人工智能風格遷移(Style Transfer)技術結合[14],取得了重要的技術突破。常規的真人摹片動畫包括兩個工作流程,即實拍及手工摹片。具體而言,真人摹片動畫通常先拍攝真人演員的表演,之后將拍攝的真人片段轉換為24幀/秒的畫面,再逐幀將畫面遷移為漫畫風格,最后重新轉換為動畫的制作方法。
影片《異人之下》在拍攝完成后,創制團隊就一直在探索以新方式制作回憶部分動畫的路徑,例如引入新的風格表達,從而使觀眾明確相關部分是對原畫作的致敬。在AI技術引入前,影片制作團隊已耗時2年嘗試采用傳統摹片動畫方式完成回憶段落。轉折點發生在2024年初,導演烏爾善與聯合導演夏鵬共同討論決定重新啟用AI生成的方式制作回憶場景,即把實拍和二維畫面結合,在原有傳統手工摹片基礎上,通過AI技術對整個動畫部分進行再次生成(圖9)。盡管僅耗時2個月通過AI技術進行生成重制,但真人摹片動畫技術的引入使影片《異人之下》的回憶場景以漫畫風格實現視覺呈現,與影片中存在的其他時間線在風格上拉開距離,從而達到表達回憶的統一視覺效果。
圖9 影片《異人之下》摹片動畫技術制作過程示例
AI技術在電影創制過程中展現出飛快的進步,如鏡頭長度引發的劇烈閃爍、風格遷移后效果不理想等技術問題,由于AI技術的迭代升級,在之后短時間內便得以解決。影片制作最終以編程和其他技術手段來干預AI的產出效果,讓影片呈現出2.5次元風格,既保留了真人演員表演的細膩情感,也兼顧了動漫的繪畫感,在銀幕上實現了創造性呈現。
這一過程中,《異人之下》技術團隊探索出一套全新的電影制作流程和技術,包括真人實拍、關鍵幀摹片、動態摹片、3D視效制作、2K升4K技術等,這些技術的引入讓制作出的畫面實現了大銀幕放映的預期,完成了一種全新影像質感呈現,也是AI參與電影制作的一次有益探索。聯合導演夏鵬認為,盡管該片的技術探索尚有不足,但隨著未來技術的快速進步,電影工業化制作正面臨的實際問題將會逐步解決,例如目前諸多文生視頻(T2V)或圖生視頻(I2V)的畫面精美且細節豐富,但人物神情不夠生動的問題。影片《異人之下》的探索經驗表明,解決這一問題既要結合演員的真實表演,又要積極應用AI進行美術設定,從而創作出一種更新的藝術表達方式。AI技術的應用有望使創作者們不再被資金、資源、時間成本等條件所限,擴展出更大的想象空間,從而更容易實現創意,進而將作品更完整、更有效地呈現給觀眾。
5 中國電影創制面臨的AI發展問題及未來方向探討
5.1 抓住人工智能時代發展機遇實現跨越式發展
當前,AI技術與電影間的關系已密不可分,放眼好萊塢乃至全世界的電影制作團隊,都在嘗試開展電影與人工智能技術的深度融合創新。好萊塢電影工業體系歷經百年發展,具備較為深厚的積累與沉淀。AI技術到來使我國和全世界的電影制作行業站在同一起跑線上。這一變化為我們提供了更好的趕超機會,換言之,新的顛覆性技術的到來為我國電影行業從業者提供了一個有望實現跨越式發展的機會。
5.2 實現AI創制內容審美的中國化和多樣化
AI時代的電影作品,無疑消弭了所謂現實與虛幻、真實與反真實、商業大片和中小成本獨立影片間各方面的邊界。AI為我國電影行業豐富且優秀的故事講述提供了機遇,用電影發出中國聲音,用電影講述中國故事。2020年2月,孫立軍教授執導、運用三維渲染二維視覺效果的水墨動畫短片《秋實》,以極具風格的中國審美入圍第70屆柏林國際電影節[15],讓世界領略了新時期水墨動畫的技術創新和審美意境。對藝術家而言,藝術家自己的風格就是作品的靈魂,目前發布的諸多AI大模型更側重西方審美,而中式審美在AI大模型中的缺失,是值得中國電影從業者關注的重要論題。在某AI大模型生成的內容中,來自中國的大熊貓坐在地中海前拉大提琴,即該模型尚未掌握東方審美核心,側面說明了建立中國自主、中式審美的AI大模型和數據集的重要性。
藝術創作旨在表現立體思維,整體的真實是電影的重要表現,而不能僅是某一點的真實。如何借助AI技術讓內容更加多元化?如何從藝術創新角度解決AI大模型藝術審美偏差與風格多樣化?基于當前AI大模型的學習效率,其可很快掌握某一特定藝術家的風格,然而如何保證藝術家對AI和相關技術的友好態度?如何保護或者鎖定藝術家的作品版權與自身藝術風格?這些問題是我國電影人和技術專家將要共同應對的挑戰。
5.3 訓練中國式審美的影視創制AI大模型
AI技術可能會是一個打開電影人們想象力的“法寶”,對于最前沿的AI大模型,我們可形象化類比其為一個無形的人類——計算機硅人類。如果僅基于好萊塢影片作為學習數據,將陷入重復好萊塢敘事模式、創作風格、消費理念的模式,有悖于當下的技術發展機遇和文化強國時代使命。如何訓練影視創作AI大模型有效輔助中國式審美表達,從而真正意義上實現中國式創新,是我們必須思考的問題。誠然,我國悠久的文化底蘊不是簡單“解碼”可呈現的,需要技術專家與創作者形成合力,共同討論并產生思想碰撞,在形成一定共識的基礎上,以技術推動藝術發展,將電影技術與藝術表達有機結合,更好地運用AI創作出優秀的中國電影及泛影像藝術作品。
6 結語
未來,我國的計算機科學與影視、影像產業有望實現深度同構共生。這種共生關系意味著兩個領域不再孤立發展,而是相互融合、共同進步。而AI技術將在這一過程中扮演至關重要的角色。
電影與AI技術的結合正在重塑我們對世界和未來人類本身的理解。這種同構性不僅體現在技術層面,更在文化和哲學層面展現出深刻聯系。電影作為一種藝術形式,通過視覺和聽覺手段傳遞情感和思想;而AI技術通過算法與數據處理模擬和增強人類的智能行為,兩者在追求創新和突破的過程中,都致力于探索未知、挑戰極限,展現出驚人的相似性。
將AI視為新質生產力的一部分,意味著我們已認識到AI技術在推動社會進步和經濟發展中的重要性。在電影領域,AI技術不僅能提高制作效率和質量,還能為影視創制過程提供新的視角和工具。此外,AI技術可輔助研究者分析鏡頭語言和電影文本,幫助創制人員理解觀眾喜好和需求,進而創作出符合本土化審美需求的作品,為中國乃至全球觀眾帶來前所未有的觀影體驗。AI技術也將助力建立更加靈活、高效的中國制片體系,以快速響應市場變化,并保持高質量的制作標準。
通過計算機科學領域新技術尤其是AI技術的發展和應用,我國有望生產出更多高質量電影作品。這些作品不僅能豐富中國人民的精神文化生活,滿足人們對美好生活的向往,還可在全球范圍內傳播中國價值觀和文化理念,為構建人類命運共同體貢獻中國智慧和力量,通過電影這一載體向世界展示一個真實、立體、全面的中國形象,傳遞和平、發展、合作、共贏的中國理念。
參考文獻
(向下滑動閱讀)
[1] 科技日報. 啟用人工智能當編劇的首部電影,為何有點“雷”[EB/OL].(2016?10?20)[2024?11?13]. https://www.thepaper.cn/newsDetail_forward_1546236.
[2] 未來影像高精尖創新中心. 獨家 | 揭密“北京八分鐘”背后的黑科技——張藝謀導演背后站立著來自母校的科技團隊![EB/OL]. [2024?11?13].https://fve.bfa.edu.cn/info/1015/2720.htm.
[3] 人民網. 《人民冰雪·冰雪科技談》:“自由視角+導播系統”讓觀眾隨心所欲“躺平”觀賽. [EB/OL].(2022?02?18) [2024?11?13]. https://baijiahao.baidu.com/s?id=1725064629315552684&wfr=spider&for=pc.
[4] 李道新,侯光明,饒曙光,等.中國自主電影知識體系建設的挑戰與愿景——對中國電影知識體系平臺CCKS的討論及其延展[J].中國文藝評論,2024(10):55?65.DOI:10.19324/j.cnki.zgwypl.2024.10.006.
[5] 光影綿長李道新. 活動預告| 國內第一款自主研發的AI電影計量軟件CCKS?Cinemetrics發布[EB/OL].(2024?05?20)[2024?11?28].https://mp.weixin.qq.com/s?__biz=MzAxMzc3MzA2NQ==&mid=2649733381&idx=2&sn=6a7dd638980b
0020771c51d7eb487e16&chksm=83866963b4f1e07565e16314e2fc4395735cafd231bad5271f4cae3a5261776c124d7ff43edd&scene=21#wechat_redirect.
[6] 界面新聞. 郭帆在行動:《流浪地球》短片集,藝術與技術的雙重實驗[EB/OL]. (2024?02?03)[2024?11?13]. https://www.jiemian.com/article/10771122.html.
[7] 百度百科.牧笛[EB/OL] . [2024?11?13]. https://baike.baidu.com/item/%E7%89%A7%E7%AC%9B/17765?fr=ge_ala.
[8] 孫立軍,楊亮.人機一體、虛擬表演與技術美學[J].北京電影學院學報,2023(11):100?105.
[9] 楊亮,孫立軍.《阿凡達:水之道》是動畫電影嗎?——兼論數字時代“運動影像”的超真實想象[J].北京電影學院學報,2023(01):46?53.
[10] 孫立軍,霍笑妍.漫談人工智能時代未來電影發展方向——動畫導演孫立軍訪談[J].電影評介,2023(20):1?5.
[11] 孫立軍,楊亮.“元宇宙”時代的未來影像前瞻[J].電影評介,2023(10):1?6.
[12] 凡悲魯. AI繪畫:當代水墨藝術的“正發生”[M].北京:海洋出版社,2024.
[13] 孫立軍,楊亮,張文正.構建人工智能時代的東方審美[J].當代動畫,2023(04):75?80.
[14] 中國電影報道.幕后:結合AI 揭秘《異人之下》真人摹片動畫[EB/OL]. (2024?08?16)[2024?11?13]. https://tv.cctv.cn/2024/08/16/VIDEzDIK6Vmd5lBfcKu3L7ld240816.shtml.
[15] 北京電影學院. 我校副校長孫立軍導演水墨動畫《秋實》入圍柏林國際電影節[EB/OL].( 2020?03?09 )[2024?11?13].https://www.bfa.edu.cn/cgerc/info/1026/1021.htm1.
[16] 楊亮,孫立軍.從化身,替身到原生——元宇宙題材電影中虛擬角色的身份類型與文化反思[J].當代電影, 2023(3):152?158.
[17] 中國計算機學會. 陳寶權、李道新、Scott Ross、孫立軍、郭帆、夏鵬將共議AI與未來影像 | CNCC大會論壇[EB/OL].(2024?10?21)[2024?11?13]. https://mp.weixin.qq.com/s?__biz=MjM5MTY5ODE4OQ==&mid=2651586303&idx=1&sn=94ac5201b22840070980809d5dd161fb&chksm=bcc8e51d1c932914847aad4c8bfea39ff95c8e042a9346246ccc2d74e833f5af31897b570f90&scene=27.
[18] 李道新.《逆行人生》:從“迭代現實”走向“算法現實主義”[J].電影藝術,2024(05):61?64.
[19] 李道新,楊向華,陳剛,等.中國電影數字化的戰略轉型與發展趨勢[J].當代電影,2022(12):4?15.
[20] Ray K. THE SINGULARITY IS NEARER[EB/OL]. [2024?11?13]. https://www.thesingularityisnearer.com/.
[21] Yuval N H. Yuval Noah Harari [EB/OL]. [2024?11?13]. https://www.ynharari.com/.
【基金項目信息】國家重點研發計劃“科技冬奧”重點專項“冰雪項目交互式多維度觀賽體驗技術與系統”(2019YFF0302900);國家社科基金藝術學重大項目“中國特色電影知識體系研究”(22ZD10);國家社科基金藝術學重點項目“中華民族現代文明視野下的動畫電影東方審美研究”(24AC006)。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.