99国产精品欲av蜜臀,可以直接免费观看的AV网站,gogogo高清免费完整版,啊灬啊灬啊灬免费毛片

網易首頁 > 網易號 > 正文 申請入駐

《現代電影技術》|曾志剛等:繼承與變革:探索AI技術賦能影視制作新路徑

0
分享至


本文刊發于《現代電影技術》2025年第3期

專家點評

人工智能(AI)技術發展突飛猛進,創新成果持續涌現。從傳統的淺層機器學習和基于多級神經網絡的深度學習,到大語言模型、多模態大模型和多智能體系統(MAS),AI技術正向通用人工智能(AGI)加速演進。作為智能計算時代的共性支撐技術,AI技術通過與各個行業和領域的業務特點與發展需求緊密結合,形成定制化系統化專業化的整體應用方案,進而有效服務行業領域發展進步和提質增效。影視制作是AI技術應用的重要領域和典型場景。當前AI技術在影視制作領域的發展與應用持續泛化和不斷深化,人工智能生成內容(AIGC)、AI大模型等應用愈加廣泛和深入,AI生成內容質量、技術性能、可用性、有效性持續提升,新模式新路徑新方法不斷涌現,有力推動影視制作提質優化和創新升級。《繼承與變革:探索AI技術賦能影視制作新路徑》一文基于繼承變革邏輯和典型應用案例,細致分析了AI技術在影視創作生產環節的發展應用、作用影響和優勢挑戰,并提出“全棧式AI影視制作平臺”等前瞻性思考與展望,對于推動AI技術與影視制作實現深度融合和創新應用具有較高的指導意義和應用價值。不可否認,當前AIGC、跨模態生成、多智能體協同等技術應用與影視行業需求在技術品質、生成質量、藝術融合、精準度、可控性、適配性等方面尚存差距,需要積極有效應對和加快迭代進化。總之,影視制作向智能化演進是大勢所趨和系統工程,不可能一蹴而就,需要順應趨勢、循序漸進和整體推進,不斷探索實踐新模式新路徑新方法,并結合AI技術發展演進和影視創作生產實踐持續優化完善。

——劉達

正高級工程師

中國電影科學技術研究所

(中央宣傳部電影技術質量檢測所)總工程師,《現代電影技術》主編

作 者 簡 介

曾志剛

北京電影學院影視技術系研究員,主要研究方向:戲劇與影視學、數字電影技術。

北京電影學院影視實驗中心實驗師,主要研究方向:數字電影制作、影視技術。

羅夢舟

劉 星

助理研究員,北京電影學院影視實驗中心副主任,主要研究方向:媒介經營與管理、實踐教學。

北京電影學院影視技術系碩士研究生在讀,主要研究方向:數字電影技術。

張一凡

人工智能(AI)技術飛速發展,其與影視制作的聚合引發了行業變革。AI技術當前正在影視制作各個環節發揮著不同程度的作用,本文通過對AI技術實際應用案例的分析,探討其在提升生產效率、增強制作能力及拓展創作可能性方面的重要作用,總結其在影視制作中的優勢與挑戰,并對其未來應用前景進行展望,旨在為AI技術與影視制作的創新融合提供參考與啟示。研究表明,AI當前可實現劇本生成與分析評估、自動剪輯、智能調色、特效輔助生成等工作,但在可控性、協同性和生成規格等方面與理想應用尚存差距。未來在深度學習(DL)技術革新和多模態融合的推動下,AI將推動實現更高效的創制流程,其技術應用將向更加智能化和全面化演進。

關鍵詞

人工智能;影視制作;剪輯調色;視效;人工智能生成內容(AIGC)

1 引言

人工智能(AI)是指由人類制造出的機器所表現出的智能,其可執行如感知、推理、學習、規劃和解決問題等通常需要人類智能完成的任務。AI旨在提高效率、降低成本、增強決策能力,并在某些情況下,執行人類難以或無法完成的任務。隨著AI技術近年的不斷發展,影視制作領域正經歷著深刻變革,涌現出種類繁多的AI應用。

作為一門由技術革命帶動創新發展的藝術形式,影視藝術經歷了從無聲到有聲,從黑白到彩色,從膠片到數字,再到追求高分辨率(HR)、數字立體(3D)、高亮度(HB)、高動態范圍(HDR)、高幀率(HFR)、廣色域(WCG)和沉浸式音頻(IA)等高新技術格式,每次技術飛躍都極大增強了影視作品的表現力和觀眾的觀影體驗。AI技術的介入使影視制作能力得到提升,其能輔助編劇創作劇本、輔助藝術家優化視覺效果并生成逼真的虛擬生物和場景;更重要的是,AI技術拓寬了藝術創作邊界,提供了更多元的創作手段,縮短了制作周期并促進影視作品形式與內容的多樣化。AI技術將成為影視制作領域發展的核心推動力,逐步兌現其在提升創作效率、優化技術流程、引領藝術創新等方面的巨大潛力。本文著眼于AI技術在影視制作流程中的實際應用和相關案例,研究AI技術對原有影視制作技術的繼承與變革,探索AI技術賦能影視制作的新路徑。

2 AI技術已全面改變影視制作流程

廣義的影視制作流程涵蓋影視作品從創意構思到發行放映前的多個階段,具體分為籌備、拍攝和制作三個環節(圖1)。傳統的影視制作流程離不開大量藝術家和專業技術工作者的通力協作,其協調溝通成本較高,對團隊成員間的默契提出較大考驗;流程中也有諸多需人工完成的基礎性工作,如手繪分鏡頭腳本、挑選素材、鏡頭色彩匹配等,不僅消耗了大量人力物力,也限制了創作的靈活性。虛擬攝制技術的出現促進了傳統影視制作流程的前后期融合,通過計算機圖形學(CG)、動作捕捉和實時渲染等技術的綜合運用,將逼真的虛擬影像和真實人物場景相結合,使整個攝制過程更加高效協同。在現場拍攝階段,虛擬攝制技術可完成場景構建、虛擬預演(PreViz)和實時特效合成,使演員與虛擬元素互動,實現“所見即所得”。制作階段是對拍攝的延續和完善,對拍攝素材和虛擬元素進行更精細的調整和合成,以達到最終視覺效果[1]。


圖 1 傳統影視制作流程

AI技術被引入影視創制流程中各個階段,進一步提升了電影的工業化屬性,其配合虛擬攝制技術使整個流程更為可控,開啟了新時期電影攝制提質升級發展進程。AI可在創作人員的提示主導下生成創意和構思,輔助完成劇本策劃和編寫工作,并按要求生成影片分鏡和場景氣氛圖等;在前期攝制階段可提高綠幕攝制的準確率和效率,自動精準對焦,提高動作捕捉與面部捕捉的真實性等;在剪輯階段可實現識別素材并自動剪輯為短視頻等;在調色階段能智能區分場景并實現校色和一鍵色彩風格化等;在視效制作階段可輔助生成特效畫面、實現智能化數字減齡和生成數字人等。影視制作行業在AI技術引領下已然開拓出一條全新的發展路徑。

3 籌備階段

影視制作的籌備階段對于確立影片的整體基調和框架至關重要,是構建影片敘事呈現和創作風格的核心環節,AI技術在該階段發揮的作用日益增強,在劇本智能生成、劇本分析與評估、分鏡頭腳本與場景概念圖生成和項目智能評估等方面均有所建樹。

3.1 大語言模型(LLM)在劇本生成和分析評估方面的應用

當前,市場對于高質量劇本及高效項目運作模式的需求與日俱增。在此背景下,大語言模型(LLM)和自然語言處理(NLP)技術無疑為劇本的智能生成和分析評估提供了新的驅動力。目前該領域應用情況如表1所示。

表1 大語言模型在劇本生成和分析評估方面的應用及建議匯總


3.1.1 劇本智能生成

AI技術在劇本智能生成方面主要依托大語言模型應用,以ChatGPT為代表,通過深度學習(DL)和大規模數據訓練,掌握語言的多樣性和復雜性,能夠生成連貫且富有故事性的劇本內容,提供創作靈感并且提高創作效率。2022年12月,ChatGPT“自編自導”短片《安全地帶》,創作團隊通過輸入關鍵詞與ChatGPT進行創意探索,生成多個故事構思,團隊選定其中一個并指導其進一步擴展劇情,過程中對不合邏輯或偏離主題的內容進行調整優化[2],高效完成了劇本創作任務。除ChatGPT外,Benjamin、Celtx等工具也在全球電影行業被廣泛應用。

對于國內影視創作而言,國產大語言模型豆包、文心一言和智譜AI等更擅長中文自然語言處理領域,同樣是基于大量數據訓練的深度學習模型,在理解中文語境、成語和俗語方面表現出色,適合應用于中文內容的生成和處理。

3.1.2 劇本分析與評估

在劇本分析方面,AI技術能解析劇本結構、情節進展和人物關系,識別劇本主題、沖突和高潮等核心元素。在質量評估方面,AI技術能對劇本的對話流暢度、情節連貫性和人物刻畫進行量化分析,提供客觀評分和反饋。以上功能均依托NLP技術實現。

中文AI劇本分析工具海馬輕帆應用NLP語義分析和深度學習技術實現劇本智能評估功能,可識別出劇本中故事線、角色關系和場次結構等關鍵元素方面的問題,為《你好,李煥英》《流浪地球》等電影在劇本創作階段提供了優化調整方向。華策影視AIGC應用研究院開發了一系列AI工具,如編劇助手、劇本評估等,經測試,一部120萬字的小說可在30分鐘內完成評估,而傳統人工評估方式則需耗時一周。Filmustage作為一個利用AI大模型簡化電影制作過程的平臺,可快速將劇本分解成場景和元素(如服裝道具和角色),還可自動創建攝制周期表,幫助制作人高效規劃攝制流程。

3.1.3 項目智能評估

AI技術在項目智能評估領域的應用是多維的,通過對以往影視作品案例的深度學習,AI可預測某種類型影片在特定受眾群體中可能獲得成功的程度。此外,AI在演員和攝制場景挑選過程中可提供數據支持,包括通過面部識別和圖像分析技術快速匹配演員與角色形象,根據劇本內容推薦適合的攝制地點和場景。

華納兄弟公司應用Cinelytic項目管理系統來輔助內容方面的決策,根據行業數據提供實時票房預測,預測過程中重點計算演員陣容、發行日期、市場類型和放映方式等因素及一些附加特征,如電影類型、是否為續集或改編等。Cinelytic對電影《好萊塢往事》進行了評估,并測算其在美國的票房將達到1.261億美元,最終其票房收入為1.425億美元,與測算結果較為接近[3]。國內貓眼平臺憑借自研AI模型在電影《消失的她》上映4天票房僅為6億元人民幣時,預測票房收入可達33億元人民幣,該片最終票房為35.23億元人民幣,與預測結果相近。愛奇藝在2018年推出了基于AI的“藝匯”智能選角系統,通過AI大數據分析明星庫進行選角,愛奇藝平臺結合片方提供的選角要求和演員信息,使用該系統完成2023年爆款電視劇《狂飆》智能選角,提高了選角效率,降低了時間成本。

以上案例說明AI在項目智能評估方面,能為影視項目的決策提供科學依據,降低投資風險。同類型的相關應用還有StoryFit、ScriptBook、Merlin AI、安捷秀、燈塔專業版和有風大模型等。

3.2 文生圖大模型在影視制作中的應用

近年AI技術在分鏡頭腳本與場景概念圖生成方面的應用發展迅速,以文生圖(Text?to?Image)模型為代表,其基于深度學習、生成式對抗網絡(GAN)和卷積神經網絡(CNN)等關鍵技術,可根據劇本內容自動生成分鏡頭腳本,還能根據場景描述生成符合劇本情境的概念圖,展示不同光線、色調和環境下的場景氛圍,提供直觀的視覺感受。當前主流的文生圖應用匯總如表2所示。

表2 文生圖AI 應用及建議匯總


在電影短片《安全地帶》的制作過程中,由ChatGPT給出的制作細節被輸入至文生圖應用DALL·E和Midjourney中,生成可用的電影分鏡故事板。電影項目《霞光路28號》使用Midjourney輔助生成了場景氣氛圖和人物形象參考圖,在美術部門尚未加入前填補了空缺。科幻短片《星緒》劇組在虛擬資產設計階段利用生成式AI應用生成了“飛船”外觀設計圖和“荒原”場景氣氛圖,大幅縮短了資產制作周期:手繪方式完成一張場景設計圖需要概念設計師花費幾天時間,而利用生成式AI僅1個小時即可完成數百張。

傳統分鏡頭腳本和場景概念圖流程離不開導演組和美術部門的合作,由美術人員通過手繪將導演對影視作品視覺風格和敘事節奏的設想轉化為具體的視覺圖像,對專業技法要求較高,且存在耗時費力、難以修改及成本相對高昂等問題。文生圖大模型具備將文本創意快速轉化為視覺圖像的能力,能夠為導演和美術部門提供豐富的視覺素材和創意靈感,提高影視制作的效率和質量。

4 拍攝階段

拍攝是影視作品的核心環節,通常包括美術場景和道具準備、燈光和攝影機機位設置、視覺效果設計、現場協調管理和場景攝制等方面。在攝制現場,導演和攝影師往往需要根據現場光線變化和演員表現等因素進行即時判斷,這類決策目前仍是AI難以替代的領域;同時,AI技術所需的強大計算能力與高速網絡,外景地或移動攝制環境往往難以滿足,因此AI技術在拍攝階段還未被廣泛應用,目前主要集中在綠幕攝制、自動對焦和動作面部捕捉方面。

4.1 現場拍攝

4.1.1 綠幕拍攝

傳統的綠幕攝制依賴人工手動摳像,效率低下且易出現摳像不精確、邊緣不自然等問題。通過計算機視覺和深度學習算法,AI技術可更好識別并分離前景與背景,極大提高摳像的效率和準確性。

奈飛(Netflix)公司推出的“品紅綠幕”(Magenta Green Screen, MGS)是一種基于AI的綠幕攝制系統,能更快速、準確地將真人演員素材與不同背景合成。在這項技術中,演員站在明亮的綠色LED屏幕前,同時被紅、藍雙色燈光照亮(圖2),隨后通過不同顏色通道將前后景嚴格區分,再在AI技術幫助下參考演員在正常燈光下的照片,恢復前景真實色彩,從而創建出準確無誤的摳像通道[4]。


圖2 MGS智能綠幕系統[5]

此外,燈光也是決定綠幕攝制質量的關鍵因素,現場布光需精確匹配后期合成場景的光源邏輯,但受制于現場環境復雜性與主觀判斷差異,人工布光常出現光線方向、色溫、強度與虛擬背景不兼容的問題。在虛擬攝制中,LED屏幕雖能部分解決背景光源匹配問題,但仍需反復調試燈光位置和參數,單場景布光耗時可達數小時甚至整日。

ULight智能光場是基于南加州大學創新實驗室研發的自動燈光還原系統,通過球狀空間內上萬個發光點構建動態光場,可模擬超億種光線照射模式并實現實時環境融合。其核心技術在于通過AI算法分析畫面中人物的陰影和光照條件,自動生成實景光照效果。劇集《我們的婚姻》應用該技術后單日拍攝效率提升66%,制作周期縮短40%,實現了制作方面的降本增效。

4.1.2 自動對焦

在電影畫面中,精準的對焦是決定畫面質量的關鍵,AI自動對焦技術提升了攝影機對焦的精確性和響應速度,通過實時面部、眼睛和物體追蹤,實現高效且精準的主體對焦,提高了攝制效率和畫面質量。

索尼(SONY)公司于2024年1月發布的CineAltaB電影攝影機采用了AI智能芯片,能夠精準識別并跟蹤被攝主體,攝影師無需跟焦員幫助即可準確調整焦點,尤其在低光照、淺景深和高速運動攝制場景中該系統表現更為優異。在電影短片《舞·夜》中,主創團隊使用該攝影機在低照度場景中拍攝大幅度運動的現代舞舞者,憑借其AI自動對焦技術獲得了連貫且準確的焦點,規避了因為開大光圈導致的對焦困難問題[6]。

4.2 動作與面部捕捉

AI技術的介入提高了動作捕捉與面部捕捉的準確性,并能幫助藝術家更好地將動作或面部數據轉換為逼真的角色動畫。

數字王國(Digital Domain)和維塔數碼(Wētā FX)開發了Masquerade與Direct Drive兩套系統應用于《復仇者聯盟4:終局之戰》“滅霸”角色的面部表情捕捉和制作。Masquerade系統通過頭戴式攝影系統獲取人物的面部掃描數據并進行學習,獲取150個面部點數據并轉換成約4萬個高分辨率3D演員面部表情數據;隨后Direct Drive系統提取上述數據,關聯演員和虛擬角色的面部表情,從而精確呈現演員的表演和情感,協同創建出栩栩如生的滅霸形象[7](圖3)。


圖3 AI面部捕捉技術輔助生成“滅霸”形象[8]

Wētā FX在SIGGRAPH Asia 2022公布了用于電影《阿凡達:水之道》的解剖學上可信的面部系統(Anatomically Plausible Facial System, APFS)。開發團隊通過對面部肌肉的分布和連接進行研究,基于肌肉纖維曲線的收縮或松弛來捕捉自然的面部動作,為面部建模和動畫提供高精度控制。同時,APFS系統還使用深度神經網絡(DNN)模仿動物神經網絡行為特征,通過大約7萬至10萬次的面部掃描訓練AI模型,實現了電影中納美人面部動畫的精準高效生成[9]。

當前其他主要動作捕捉與面部捕捉AI應用還有RADiCAL Motion、Animate 3D、Kinetix、Invisible、Daz 3D和千面AI等。

5 制作階段

制作是關乎影像呈現效果的關鍵環節,覆蓋從素材整理到成片輸出間的系列工作,與畫面相關的包括剪輯、調色和視效等環節,AI技術在此階段的應用較為廣泛,各環節均有成功的應用實例。

5.1 剪輯

AI技術在剪輯環節的應用主要體現在素材標注整理和智能剪輯兩方面。素材標注整理通過圖像分割模型技術將畫面里的元素進行單獨識別,區分人物、物體和空間(圖4),隨后對這些元素進行關鍵詞標注,并將素材按照不同的標注進行歸檔,再根據指令挑選出準確對應的素材[10]。智能剪輯可分為粗剪和精剪兩個階段,AI模型先對挑選出的素材進行初步拼接,形成粗略剪輯版本,隨后在創作團隊指導下不斷對鏡頭順序、剪輯節奏等進行調整,最終生成符合要求的影片。


圖4 圖像分割模型技術智能區分畫面元素[11]

2016年,IBM超級計算機沃森為恐怖電影《摩根》剪輯了一段6分鐘的預告片,成為全球第一部AI制作的電影預告片。沃森可對恐怖電影的情感模式和類型進行深入理解和編碼,這一過程涉及多模態語義提取技術及統計方法的應用,用于模擬和定義恐怖電影預告片的核心要素。在《摩根》預告片剪輯中,沃森識別出最具吸引力的精華片段作為預告片的候選素材,提取出總計6分鐘的10段場景,雖然仍需人工將這些場景編輯在一起,但已將電影預告片制作時間縮短至24小時[12]。

由中央廣播電視總臺和阿里巴巴聯合打造的AI云智剪在比賽直播過程中即可實時生成集錦素材。在2022年北京冬奧會期間,通過AI云智剪完成的短視頻剪輯覆蓋200場比賽、時長累積超過200小時,部分播出于央視體育新媒體平臺。2024年9月,Adobe公司宣布Premiere將集成AI功能Generative Extend,允許用戶在視頻素材上直接添加或減少內容,延長已有鏡頭長度,該功能由Adobe自研的Firefly模型提供支持。

近年AI剪輯技術在移動端發力迅猛,由字節跳動推出的視頻剪輯軟件剪映,在移動端具備“一鍵成片”和“圖文成片”等智能剪輯功能,支持根據用戶提供的文字智能抓取素材并生成影片。Vimeo公司旗下的視頻編輯軟件Magisto運用了AI情緒感知技術,僅需將影片素材、影片風格和背景音樂輸入系統,便能生成帶有情緒導向的影片。

目前AI技術在該階段的應用多集中于預告片和短視頻制作領域,而在長視頻和長片剪輯方面尚面臨挑戰,對于非線性敘事和蒙太奇手法等復雜剪輯技巧的處理能力有限,在人機協作方面也不夠緊密,AI技術在未來的發展道路上亟需填補這一部分的空缺。其他主流的AI剪輯應用還有度加剪輯、MOKI、Wondershare Filmora、Clipfly和OpusClip等。

5.2 調色

影片調色工作通常包含一級校色和色彩風格化創作兩部分,一級校色又可細分為畫面色彩還原和鏡頭匹配,此后,還需進一步完成風格化色彩創作,為影像畫面賦予藝術審美。AI技術由機器學習(ML)和神經網絡(Neural Network)驅動,簡化一級調色的繁復工作,并致力于降低色彩風格化創作過程中的技術與藝術門檻。

Colourlab AI是一款智能調色系統,由Color Intelligence公司開發,其特有的Meta引擎支持自動一級校色、一鍵風格化生成等多種AI調色功能,并可與其他主流后期軟件無縫結合,形成高效智能的工作流程,其服務客戶包括迪士尼、華納兄弟、奈飛和HBO等多家知名影視公司。

AI技術還可實現對照參考圖片或影像的色調,一鍵賦予目標畫面風格化色彩。竹杖大模型是24DI電影調色團隊推出的基于Transformer技術的AI調色工具,能夠根據提示詞模擬特定色彩風格(圖5)。該模型采用自研的Color?Match算法,可與DaVinci Resolve等調色系統集成,并提供從保持原圖到完全創意模式共計三檔調色模式,是適用于電影和劇集的AI調色解決方案。行業內目前最為主流的調色系統之一DaVinci Resolve也具備自動調色和目標鏡頭匹配等基于神經引擎的AI功能,并加入了重新照明和智能深度圖等AI工具,《阿凡達:水之道》《流浪地球2》等影片均使用該系統進行調色。


圖5 竹杖大模型通過提示詞對原圖(左)進行AI調色(右)

5.3 視效制作

AI技術對視效行業的提速增效是全方位的,主要體現在特效生成、AI換臉和數字人等方面。

5.3.1 模擬生成

AI技術可應用于特殊畫面效果的模擬和生成,加速生成過程,提高畫面質感和真實感。在電影《瘋狂元素城》中,為使流體效果更具藝術性,皮克斯用Houdini軟件結合迪士尼開發的體積神經風格轉換(NST)機器學習技術實現了角色寫實又具有插畫感的流體外觀(圖6)。NST技術由迪士尼在2022年SIGGRAPH上發布,可基于用戶圖片改變煙霧流體的模擬數據,生成不同外觀的流體形態,實現風格化的轉移[13]。


圖6 NST機器學習技術實現火焰的風格化遷移示例[14]

2023年第95屆奧斯卡最佳影片《瞬息全宇宙》中,“熱狗手”造型和石頭對話場景均由Runway輔助完成。在石頭對話的場景中,特效團隊在片場使用滑軌移動兩顆石頭,后期再使用Runway的AI工具Green Screen擦除滑軌,配合無限擴圖功能,特效團隊僅用5人就完成了一系列特效鏡頭制作。Runway基于DL和GAN,其2024年6月推出的Gen?3 Alpha模型支持對口型和視頻轉繪等多種功能,每段生成視頻最長不超過10秒。

文生視頻技術不僅能夠輔助特效生成,還被應用于AI短片和部分商業廣告鏡頭的直接生成,2024年12月6日,快手推出的可靈AI導演共創計劃正式上線,發布了與9位國內知名導演合作并利用其自研可靈AI大模型生成的9部AI電影短片;4天后,OpenAI公司開發的文生視頻應用Sora正式對公眾開放使用,其采用Transformer擴散模型,最高支持20秒、1080P的連貫視頻生成,可利用重繪、擴展、循環和內容混合等功能對視頻進行編輯修改。多位電影制作人和藝術家使用Sora生成了7部天馬行空、風格迥異的短片[15],但在制作過程中遇到諸多限制,如無法保證不同鏡頭間主體的一致性,對攝影術語理解有限,無法精準控制鏡頭移動,生成的鏡頭存在顏色不符合設定、隨機添加多余元素等問題;此外,其生成速度較慢且耗片比高,生成一個鏡頭需10~20分鐘,耗片比約為300∶1。因此,目前文生視頻技術在專業影視制作領域更多集中于輔助特效生成,而在鏡頭直接生成方面受限于分辨率、時長、主體一致性和運鏡控制等諸多因素,尚不能滿足高質量長篇作品尤其是大銀幕放映的需求。當前主流的文生視頻應用匯總如表3所示。

表3 文生視頻AI 應用及建議匯總


5.3.2 AI換臉

AI換臉是指利用深度學習算法分析大量數據以實現臉部特征的精準匹配和合成,使目標人物的面部表情、動作和特征與源人物完美匹配。在影視制作領域,AI換臉技術常被用作演員面部年輕化處理,即數字減齡。

實現AI換臉主要有四種技術路徑,分別是整臉合成、屬性篡改、表情替換和身份篡改。整臉合成利用GAN生成逼真的人臉圖像,多適用于游戲和3D建模。屬性篡改通過修改人臉屬性(如發色、性別等)實現換臉,通常使用StarGAN等GAN架構,廣泛應用于虛擬試妝等領域。表情替換則使用Face2Face和NeuralTexture等技術分析并替換人臉表情,具有重要的娛樂和電影制作應用價值。身份篡改包括傳統方法如FaceSwap和基于深度學習技術的DeepFakes,后者通過自編碼器和GAN重建人臉圖像,實現逼真的換臉效果[16]。

電影中的AI換臉可使用DeepFakes技術,如《流浪地球2》視效團隊基于DeepFakes算法利用演員吳京年輕時的2D素材訓練 AI 模型,最終迭代 500 多萬次后,替換實拍素材。在電影《傳說》中,成龍在DeepFakes技術的幫助下以自己27歲時的形象重現銀幕,可見智能化的制作過程實現了大幅的降本增效。

此外,各視效公司還使用基于DeepFakes技術開發的自研工具進行AI換臉,如2023年6月上映的電影《奪寶奇兵:命運轉盤》中年輕的印第安納·瓊斯由工業光魔(ILM)公司制作實現。該公司采集了演員哈里森·福特在早期印第安納·瓊斯系列出演的面部數據,利用獨家開發的FaceSwap技術恢復其年輕時的面容,達成最終呈現效果。在《阿甘正傳》原班人馬合作的新電影《此心安處》攝制過程中,Metaphysic公司利用Metaphysic Live工具對主角湯姆·漢克斯和羅賓·懷特的面部實現高分辨率數字減齡,并能以30 幀/秒的速度實時生成影像。

5.3.3 數字人

數字人即通過計算機圖形學(CG)、深度學習(DL)、自然語言處理(NLP)和計算機視覺(CV)等技術手段,創建并模擬人類形象、動作和語言的虛擬實體[17]。該技術方案的核心在于形象生成、語音合成和動畫驅動三個方面。在形象生成方面,數字人依托于3D建模與渲染技術;在語音合成方面,AI技術將文本信息轉換為自然流暢的語音,支持多輪對話,并能理解復雜的語境和意圖;動畫驅動則涉及動作捕捉技術,通過記錄真人演員的動作數據并將其應用于虛擬人物模型,使數字人能夠展現出自然流暢的動作和表情。

2023年9月,由阿里技術團隊開發的數字人厘里參演了劇集《異人之下》(2023),其形象綜合運用了CG動畫、AI換臉和光場技術等多種手段加以呈現,降低了在建模、原畫等環節投入的成本和時間[18]。紀錄片《“戲”中家國》利用AI技術重現豫劇大師常香玉,制作團隊采用Transformer擴散模型,結合對大量黑白影像資料的學習,實現了數字常香玉與現代演員的跨時代互動[19]。Wonder Studio是由Wonder Dynamics公司開發的AI數字人平臺,其通過瀏覽器界面簡化了數字人的制作過程,核心功能包括自動動畫制作、動態照明、相機追蹤和面部表情匹配等。該工具能將真人演員替換為數字人角色,同時保留原有的動作和表情,在專業動畫制作流程中與Blender、Unreal Engine等平臺無縫對接[20]。

目前主流的數字人應用還有DigitalDNA、Synthesia、MetaHuman、DeepBrain AI和HeyGen等。

6 總結與展望

AI技術與影視制作領域的融合正經歷由淺層功能替代向深層智能協同躍遷的演進過程,未來,影視產業實踐技術與創作范式的演進路徑將沿著“功能智能化 - 流程協同化 - 創制自動化”三個階段展開,最終形成具備認知、推理、生成能力的全棧式AI影視創制平臺。

(1)功能智能化

目前,AI技術在影視制作領域的應用多為單功能型智能應用,從前期籌備、現場拍攝到后期制作,各環節均涌現出具有垂直功能的AI應用工具。然而,AI技術在生成規格、控制能力以及應用場景等方面依然面臨諸多問題,在專業影視制作中仍更偏向于輔助應用。更為關鍵的是,現有應用多呈碎片化特征,各工具間缺乏數據互通與流程銜接,難以形成協同效應,亟待進一步橫向拓展優化。

(2)流程協同化

從單功能應用向流程協同發展的核心在于構建跨環節的數據閉環與智能決策體系,通過多模態大模型整合文本、圖像、視頻數據流,在籌備、拍攝和后期各環節之間做到鏈路貫通。流程協同化的關鍵突破點首先在于建立高標準的專業數據集和各專業制作平臺接口協議,打通各環節數據孤島;其次是開發具有跨模態處理能力的AI中臺,以實現從文字指令到分鏡、場景、特效和聲效等端到端生成;最后是要構建動態優化機制,通過反饋實時調整制作參數。

(3)創制自動化

高度的流程協同化將會催生“全棧式AI影視創制平臺”,該平臺集成劇本生成、場景預演、智能攝制、視效生成與智能剪輯調色等影視創制全功能模塊,實現從創意輸入到成片輸出的全鏈條智能化。全棧式AI影視創制平臺能夠根據創作者輸入的要求即時生成劇本,并繪制場景概念圖與分鏡頭腳本,并對拍攝或生成的素材進行一鍵成片預覽,給創制人員直觀的視覺感受和參照。

影視制作將成為深度人機協同的創意過程,人類專注核心審美決策,AI負責高效運算執行。AI技術并非以取代人類為旨歸,而是助力個體的想象突破物理局限,在數字世界中無限延展。

參考文獻

(向下滑動閱讀)

[1] 王騰飛.論虛擬技術在電影敘事中的運用[D].上海大學,2021.DOI:10.27300/d.cnki.gshau.2021.000653.

[2] Moon Ventures. The Safe Zone An AI Short Film [EB/OL].[2024?12?11].https://thesafezonefilm.com/.

[3] REILLY D. No, A.I. isn’t deciding which movies to green?light [EB/OL].(2020?02?26)[2024?12?11].https://fortune.com/2020/02/25/cinelytic-artificial-intelligence-movies-tobias-queisser-interview/.

[4] SMIRNOV D, LEGENDRE C, YU X, et al. Magenta Green Screen: Spectrally Multiplexed Alpha Matting with Deep Colorization[C]//Proceedings of the Digital Production Symposium. 2023: 1?13.

[5] TOMKIES P. Netflix pioneers AI powered magenta green screen [EB/OL].[2024 ? 12 ? 11]. https://www.videomaker.com/news/netflix-pioneers-ai-powered-magenta-green-screen/.

[6] 影視工業網. 索尼CineAltaB短片《舞?夜》攝制[EB/OL].(2023?12?25)[2024?12?11].https://cinehello.com/stream/151220.

[7] HENDLER D, MOSER L, BATTULWAR R, et al. Avengers: Capturing thanos's complex face[EB/OL].(2018?08?12)[2024?12?11].https://dl.acm.org/doi/10.1145/3214745.3214766.

[8] SCHEDEEN J. Infinity War: VFX Artists Explain Those Mysterious Thanos & Gamora Scenes [EB/OL].(2018?12?21)[2024?12?11].https://www.ign.com/articles/2018/12/20/infinity-war-vfx-artists-explain-those-mysterious-thanos-gamora-scenes.

[9] CHOI B, EOM H, MOUSCADET B, et al. Animatomy: An animator?centric, anatomically inspired system for 3d facial modeling, animation and transfer[EB/OL].(2022?11?20)[2024?12?11].https://dl.acm.org/doi/10.1145/3550469.3555398.

[10] KIRILLOV A, MINTUN E, RAVI N, et al. Segment anything[EB/OL].(2023?04?05) [2024?12?11].https://arxiv.org/abs/2304.02643.

[11] Meta. Segment Anything Model (SAM) [EB/OL]. (2023?04?05)[2024?12?11].https://roboflow.com/model/segment-anything-model-sam.

[12] SMITH J R, Joshi D, Huet B, et al. Harnessing ai for augmenting creativity: Application to movie trailer creation[EB/OL].(2017?12?23)[2024?12?11].https://dl.acm.org/doi/abs/10.1145/3123266.3127906.

[13] KANYUK P, AZEVEDO V, ORTIZ R, et al. Singed Silhouettes and Feed Forward Flames: Volumetric Neural Style Transfer for Expressive Fire Simulation[EB/OL].(2023?08?07)[2024?12?11].https://dl.acm.org/doi/abs/10.1145/3587421.3595435.

[14] FAILES I. The AI, volumetric and animation tools that helped make Pixar's ‘Elemental’ possible [EB/OL].(2023?06?30)[2024?12?11].https://beforesandafters.com/2023/06/30/the-ai-volumetric-and-animation-tools-that-helped-make-pixars-elemental-possible/.

[15] OpenAI. Sora: first impressions [EB/OL].(2024?03?25)[2024?12?11].https://openai.com/index/sora-first-impressions/.

[16] TOLOSANA R, VERA?RODRIGUEZ R, FIERREZ J, et al. Deepfakes and beyond: A survey of face manipulation and fake detection[EB/OL]. (2020?06?18)[2024?12?11].https://arxiv.org/abs/2001.00179.

[17] 陶建磊, 孫為. 人工智能影視中智能體角色涌現化敘事探究[J]. 當代電視, 2024, (12): 4?8.

[18] 吳雨佳. 中國數字演員首次參演真人劇集,數字人厘里出演《異人之下》[EB/OL]. (2023?08?04)[2024?12?11].https://www.sohu.com/a/708876764_120952561.

[19] 杜娟.古今對話:《“戲”中家國》用AI數字人技術演繹豫劇之美[EB/OL].(2024?10?19) [2024?12?11].https://bj.chinadaily.com.cn/a/202410/19/WS67135458a310b59111d9ec06.html.

[20] FINK C. Wonder Studio’s New AI, Video?To?3D Animation, Puts The Power Of Pixar In Your Phone [EB/OL].(2024?11?04)[2024?12?11].https://www.forbes.com/sites/charliefink/2024/11/04/wonder-studios-new-ai-video-to-3d-anim ation-puts-the-power-of-pixar-in-your-phone/.

【基金項目】2023年國家社會科學基金藝術學重點項目“人工智能技術與影視制作的融合創新研究”(23AC005)。


特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

電影技術微刊 incentive-icons
電影技術微刊
電影技術微刊
565文章數 208關注度
往期回顧 全部

專題推薦

洞天福地 花海畢節 山水饋贈里的“詩與遠方

無障礙瀏覽 進入關懷版 主站蜘蛛池模板: 江城| 霍邱县| 正安县| 沐川县| 屏南县| 桦南县| 和硕县| 洪泽县| 松滋市| 怀来县| 新乐市| 浏阳市| 宣化县| 聊城市| 东宁县| 蚌埠市| 苏尼特右旗| 盐边县| 南乐县| 新平| 青浦区| 彰化市| 青岛市| 庆元县| 全椒县| 秭归县| 肥城市| 色达县| 安达市| 息烽县| 左贡县| 吉隆县| 平乐县| 镇康县| 龙江县| 永靖县| 渭源县| 雷波县| 旬邑县| 湖北省| 和平县|