本期導(dǎo)讀

編者按

人工智能（AI）是新一輪技術(shù)革命的核心關(guān)鍵技術(shù)，為電影行業(yè)發(fā)展新質(zhì)生產(chǎn)力提供了重要支撐，并將引發(fā)未來影像技術(shù)升級(jí)和觀影變革。自O(shè)penAI Sora引發(fā)行業(yè)對(duì)AIGC文生視頻技術(shù)關(guān)注以來，Runway、Pika、谷歌Veo、可靈AI、海螺AI等相關(guān)工具百花齊放，呈現(xiàn)出強(qiáng)大的現(xiàn)實(shí)仿真能力。當(dāng)前AIGC工具在物理規(guī)律理解等方面尚存缺陷，暫時(shí)無法直接用于電影內(nèi)容生成，但AI已顯現(xiàn)出輔助影像與聲音內(nèi)容制作和處理的強(qiáng)大能力，已初步實(shí)現(xiàn)人機(jī)協(xié)作和人機(jī)融合，并加快進(jìn)入深度應(yīng)用的智能體批量涌現(xiàn)階段。作為未來人工智能發(fā)展應(yīng)用的主要方向，AI智能體有望呈現(xiàn)出類似人類智能的知識(shí)推理和決策能力，可破解通用大模型在電影行業(yè)應(yīng)用的關(guān)鍵難題，實(shí)現(xiàn)更加高效、優(yōu)質(zhì)、可控的人機(jī)協(xié)作。本期遴選基于人工智能 技術(shù)的未來影像研究與思考、AI 音頻技術(shù)在電影對(duì)白和音效制作中的應(yīng)用探究、圖片AI短片創(chuàng)制實(shí)踐、AI動(dòng)作捕捉在虛擬預(yù)演中的應(yīng)用研究等研究文章，從影像和聲音制作、虛擬制作、圖像處理等角度出發(fā)，分享和探討電影行業(yè)AI智能體的發(fā)展升級(jí)和應(yīng)用實(shí)踐；同時(shí)遴選基于渲染引擎的VR眼動(dòng)跟蹤數(shù)據(jù)可視化研究、數(shù)字影廳B環(huán)電聲響應(yīng)技術(shù)標(biāo)準(zhǔn)解析和調(diào)試方法等技術(shù)論文，探討沉浸式視聽技術(shù)研究和實(shí)踐，歡迎廣大讀者關(guān)注。

——本期責(zé)編

專家點(diǎn)評(píng)

當(dāng)前，全球電影行業(yè)已進(jìn)入大科學(xué)、大視聽、大融合時(shí)代，多學(xué)科多業(yè)務(wù)交叉滲透明顯，生產(chǎn)流程持續(xù)優(yōu)化升級(jí)，數(shù)字技術(shù)與實(shí)體經(jīng)濟(jì)、網(wǎng)絡(luò)空間與現(xiàn)實(shí)社會(huì)融合發(fā)展趨勢日益明顯，進(jìn)程不斷深化。以人工智能（AI）、大數(shù)據(jù)、云計(jì)算等新一代信息技術(shù)為核心的技術(shù)創(chuàng)新進(jìn)入前所未有的密集活躍期，工程科技成為推動(dòng)電影科技進(jìn)步和產(chǎn)業(yè)升級(jí)的重要引擎。面向2035年電影強(qiáng)國建設(shè)目標(biāo)，電影行業(yè)需聚焦AI技術(shù)自主研發(fā)與大模型行業(yè)定制、新型放映模式拓展、影院多業(yè)務(wù)融合等新領(lǐng)域新賽道，加快推動(dòng)電影創(chuàng)新技術(shù)研發(fā)落地，統(tǒng)籌推進(jìn)“十五五”電影科技發(fā)展預(yù)測分析、電影國際標(biāo)準(zhǔn)突破躍升、放映裝備國產(chǎn)化、電影重點(diǎn)實(shí)驗(yàn)室創(chuàng)建等重點(diǎn)科技工作。隨著人工智能技術(shù)的持續(xù)演進(jìn)，影像技術(shù)品質(zhì)、視覺體驗(yàn)、場景設(shè)計(jì)質(zhì)量、制作效能持續(xù)提升，同時(shí)也給影像創(chuàng)作生產(chǎn)、傳輸分發(fā)、解碼播映等產(chǎn)業(yè)節(jié)點(diǎn)帶來風(fēng)險(xiǎn)和挑戰(zhàn)。構(gòu)建既促進(jìn)技術(shù)創(chuàng)新和產(chǎn)業(yè)升級(jí)，又確保安全可控并符合技術(shù)倫理的AI發(fā)展環(huán)境，是當(dāng)前行業(yè)關(guān)注熱點(diǎn)和難點(diǎn)。《基于人工智能技術(shù)的未來影像研究與思考》一文，從電影創(chuàng)制、計(jì)算機(jī)圖形學(xué)、三維視覺等多維度出發(fā)，分析探討了AI在計(jì)算機(jī)模擬、虛擬攝制、模型驅(qū)動(dòng)、影像呈現(xiàn)、電影內(nèi)容創(chuàng)制等領(lǐng)域的應(yīng)用實(shí)踐，提出了AI創(chuàng)制內(nèi)容的審美策略和多樣化技術(shù)落地思考，為構(gòu)建我國新一代影像創(chuàng)制解決方案提供了技術(shù)思路。本文觀點(diǎn)準(zhǔn)確、內(nèi)容詳實(shí)，將帶給從業(yè)者和讀者深層次的思考啟示，具有很好的行業(yè)指導(dǎo)意義和借鑒參考價(jià)值。

——龔波

正高級(jí)工程師

中國電影科學(xué)技術(shù)研究所（中央宣傳部電影技術(shù)質(zhì)量檢測所）黨委書記、所長

在國家推動(dòng)文化產(chǎn)業(yè)高質(zhì)量發(fā)展的背景下，以AI大模型為代表的通用人工智能技術(shù)的發(fā)展與應(yīng)用，將為電影產(chǎn)業(yè)帶來前所未有的變革。AI音頻技術(shù)通過精準(zhǔn)模擬人聲和環(huán)境音效，不僅大幅提升了對(duì)白與音效的制作效率和質(zhì)量，還顯著增強(qiáng)了影視作品的沉浸感與藝術(shù)表現(xiàn)力，為國產(chǎn)電影走向世界舞臺(tái)提供了強(qiáng)有力的技術(shù)支撐，助力中國故事以更加生動(dòng)鮮活的方式呈現(xiàn)于全球觀眾面前，是實(shí)現(xiàn)中華文化自信自強(qiáng)的重要途徑之一。論文《AI音頻技術(shù)在電影對(duì)白和音效制作中的應(yīng)用探究》梳理和回顧了AI音頻技術(shù)從20世紀(jì)50年代至今的發(fā)展歷程，有助于理解當(dāng)前技術(shù)的演進(jìn)過程和關(guān)鍵節(jié)點(diǎn)；對(duì)AI音頻制作工具進(jìn)行了分類梳理，并從主要功能、代表性工具、特性及精度等維度進(jìn)行了性能對(duì)比，有助于理清AI音頻工具的最佳應(yīng)用場景；深入分析了相關(guān)技術(shù)在語音生成、動(dòng)效生成、音響效果生成等電影對(duì)白生成和音效制作中的具體應(yīng)用，展示了AI音頻技術(shù)在實(shí)際影視制作中的應(yīng)用潛力。論文從應(yīng)用角度指出了當(dāng)前AI音頻技術(shù)在復(fù)雜情感表達(dá)、語種覆蓋范圍等方面的局限性并提出未來展望，為后續(xù)研究和發(fā)展應(yīng)用指明了方向。

——王士進(jìn)

正高級(jí)工程師

科大訊飛副總裁、訊飛研究院執(zhí)行院長

認(rèn)知智能全國重點(diǎn)實(shí)驗(yàn)室副主任

智能科技已逐步應(yīng)用于電影攝制過程中，極大地提高了內(nèi)容生產(chǎn)效率，輔助創(chuàng)作者突破了例如換臉、減齡、場景修復(fù)還原等攝制難點(diǎn)。圖片AI短片制作或曰“AI動(dòng)圖”技術(shù)，利用機(jī)器學(xué)習(xí)模型分析圖片內(nèi)容，并基于原圖自動(dòng)生成具有動(dòng)態(tài)效果的圖像序列，最終合成高質(zhì)量、流暢自然的動(dòng)態(tài)視頻。該技術(shù)不僅提高了圖像處理的效率和質(zhì)量，也為創(chuàng)意表達(dá)提供了更多可能，為用戶帶來更加豐富和動(dòng)態(tài)的視覺體驗(yàn)，并持續(xù)推動(dòng)媒體展示和內(nèi)容創(chuàng)制的邊界。鑒于影院大銀幕放映存在分辨率高、畫面大等特點(diǎn)，該技術(shù)推廣到大銀幕放映尚存在技術(shù)難點(diǎn)。《融合智能科技的影像藝術(shù)表現(xiàn)力多元化發(fā)展研究——以圖片AI短片〈故鄉(xiāng)〉創(chuàng)制實(shí)例為例》一文深度分析了圖片AI短片《故鄉(xiāng)》創(chuàng)作的理論基礎(chǔ)與技術(shù)實(shí)踐，從分層切割、算法提取、背景填充等方面闡釋了AI技術(shù)如何使圖片素材向動(dòng)態(tài)轉(zhuǎn)化的技術(shù)性操作，同時(shí)AI技術(shù)也為短片解說、配樂等環(huán)節(jié)提供了與畫面藝術(shù)高度契合且更具個(gè)性化與多元化的創(chuàng)作方案。短片《故鄉(xiāng)》的創(chuàng)作過程是依托智能科技實(shí)現(xiàn)圖像與視頻兩種不同藝術(shù)載體相互融合與轉(zhuǎn)化的一次創(chuàng)新性探索與實(shí)踐。可以預(yù)見，未來在智能科技的加持下，電影藝術(shù)在內(nèi)容表達(dá)、創(chuàng)作生產(chǎn)、表現(xiàn)形式、傳播渠道、觀影體驗(yàn)等方面將會(huì)有更為生動(dòng)且創(chuàng)新的突破。

——邢占宇

華夏電影發(fā)行有限責(zé)任公司副總經(jīng)理

本期目錄

論壇實(shí)錄

◎ 基于人工智能技術(shù)的未來影像研究與思考

—— 陳寶權(quán)　李道新　孫立軍　夏　鵬

視聽科技教研

◎ AI音頻技術(shù)在電影對(duì)白和音效制作中的應(yīng)用探究

—— 王　玨　李洽楠

◎ AI動(dòng)作捕捉在影視虛擬預(yù)演中的應(yīng)用研究

—— 董俊希　趙建軍　魯夢(mèng)河

技術(shù)應(yīng)用

◎ 融合智能科技的影像藝術(shù)表現(xiàn)力多元化發(fā)展研究——以圖片AI短片《故鄉(xiāng)》創(chuàng)制實(shí)踐為例

—— 李立新　周令非　段　毅

◎ 基于渲染引擎的VR眼動(dòng)追蹤數(shù)據(jù)可視化研究

—— 焦垚楠

◎ 非渲染技術(shù)語境下沉浸式音頻空間構(gòu)建方案的探索與思考

—— 林義超　張　澤

標(biāo)準(zhǔn)研究

◎ 數(shù)字影廳B環(huán)電聲響應(yīng)技術(shù)標(biāo)準(zhǔn)解析和調(diào)試方法探討

—— 張　輝

研究與開發(fā)

◎ 深度反卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化下的低質(zhì)圖像去模糊數(shù)學(xué)模型

—— 亓金鋒

2024年總目錄

◎ 《現(xiàn)代電影技術(shù)》2024年總目錄

文章概要

基于人工智能技術(shù)的未來影像研究與思考

【摘要】 作為一種現(xiàn)代表達(dá)媒介和藝術(shù)形式，電影將視覺、聽覺等多種感官與記錄、敘事、抒情等元素融為一體，創(chuàng)造出令人難以忘懷的體驗(yàn)。電影與計(jì)算機(jī)技術(shù)的緊密聯(lián)系，使其在過去幾十年中不斷進(jìn)化，產(chǎn)生了如數(shù)字視效（VFX）、虛擬現(xiàn)實(shí)（VR）等諸多革新。近年來，隨著人工智能（AI）技術(shù)的快速發(fā)展，特別是OpenAI Sora等文生視頻工具的出現(xiàn)，使其在電影制作中的潛力備受矚目，并被認(rèn)為可能顛覆電影創(chuàng)制全過程。本文基于2024中國計(jì)算機(jī)大會(huì)（CNCC2024）“AI與未來影像”論壇，回顧了計(jì)算機(jī)圖形圖像技術(shù)在數(shù)字影像發(fā)展過程中的重要支撐作用，探討了AI時(shí)代電影工業(yè)所面臨的機(jī)遇與挑戰(zhàn)，展望了AI技術(shù)在電影行業(yè)乃至未來影像領(lǐng)域的發(fā)展趨勢，對(duì)進(jìn)一步推動(dòng)電影與AI技術(shù)的深度融合進(jìn)行了探索。

AI音頻技術(shù)在電影對(duì)白和音效制作中的應(yīng)用探究

【摘要】 AI音頻技術(shù)在當(dāng)前電影對(duì)白和音效制作領(lǐng)域備受關(guān)注且已逐步應(yīng)用到實(shí)際制作中。本文介紹了AI音頻技術(shù)的主要概念及發(fā)展概況，對(duì)現(xiàn)階段AI音頻制作工具進(jìn)行了分類整理，并按照電影對(duì)白和音效制作中聲音生成與聲音處理兩大應(yīng)用場景，探討AI音頻技術(shù)在電影對(duì)白和音效制作中的應(yīng)用進(jìn)展與未來前景。研究表明，目前AI音頻技術(shù)可用于部分場景和部分類別的對(duì)白生成，但缺乏復(fù)雜情感表達(dá)能力；在動(dòng)效和音響效果生成中可完成一定的素材準(zhǔn)備，但精確度和豐富度有待提高。在聲音處理方面，AI音頻技術(shù)具備較強(qiáng)的音頻降噪及增強(qiáng)、對(duì)白音色替換、動(dòng)態(tài)及響度控制、音色及空間處理能力，在聲音編輯和預(yù)混中已得到實(shí)際應(yīng)用，但尚無法勝任聲音設(shè)計(jì)、混錄等需要高度依賴藝術(shù)創(chuàng)造力的環(huán)節(jié)，暫不具備獨(dú)立完成整部電影聲音制作的能力。

AI動(dòng)作捕捉在影視虛擬預(yù)演中的應(yīng)用研究

【摘要】 中小成本影視劇組的虛擬預(yù)演環(huán)節(jié)，通常采用預(yù)演軟件、關(guān)鍵幀動(dòng)畫、傳統(tǒng)動(dòng)作捕捉以及物理模擬等方法控制虛擬角色運(yùn)動(dòng)。然而，這些方法分別存在預(yù)演精度不足、耗時(shí)耗力、需配備專業(yè)設(shè)備及制作流程復(fù)雜等缺陷。針對(duì)上述問題，本文提出一種新的虛擬角色控制方法，利用AI動(dòng)作捕捉技術(shù)實(shí)現(xiàn)了虛擬角色的運(yùn)動(dòng)控制，并進(jìn)行了虛擬預(yù)演短片制作。通過簡化流程，實(shí)現(xiàn)了虛擬角色的動(dòng)作捕捉，從而擴(kuò)展了虛擬預(yù)演的應(yīng)用范圍。實(shí)驗(yàn)對(duì)比表明，該方法所呈現(xiàn)的數(shù)據(jù)精度能夠滿足虛擬預(yù)演需求，無需佩戴專業(yè)設(shè)備即可實(shí)現(xiàn)近似實(shí)時(shí)的效果，同時(shí)該方法性價(jià)比較高，且場地限制較小。

融合智能科技的影像藝術(shù)表現(xiàn)力多元化發(fā)展研究——以圖片AI短片《故鄉(xiāng)》創(chuàng)制實(shí)踐為例

【摘要】 在媒體融合和全媒體傳播的大環(huán)境下，新興技術(shù)加速轉(zhuǎn)化為新質(zhì)生產(chǎn)力，如何利用技術(shù)實(shí)現(xiàn)文化表達(dá)、拓寬影視作品的創(chuàng)作思路，是當(dāng)前電影技術(shù)應(yīng)用領(lǐng)域的關(guān)注熱點(diǎn)之一。智能科技與藝術(shù)相融合對(duì)影像藝術(shù)表現(xiàn)力的影響，是電影學(xué)術(shù)研究和電影產(chǎn)業(yè)發(fā)展共同探索的方向之一。本文結(jié)合國內(nèi)首部基于圖片的AI院線映前短片的創(chuàng)制實(shí)踐及相關(guān)理論研究，提出了智能科技與電影藝術(shù)相融合的規(guī)律性方法，并以實(shí)際案例進(jìn)行驗(yàn)證。研究結(jié)果表明，本文提出的基于圖片的AI短片制作方法具備藝術(shù)性、創(chuàng)新性和實(shí)用性，影院銀幕提升了相關(guān)內(nèi)容的全媒體傳播效能，有助于實(shí)現(xiàn)影視作品類型的多樣化。

基于渲染引擎的VR眼動(dòng)追蹤數(shù)據(jù)可視化研究

【摘要】 傳統(tǒng)眼動(dòng)追蹤技術(shù)主要用于平面影像的認(rèn)知研究。電影媒介在數(shù)字時(shí)代逐步從銀幕擴(kuò)展至更多元的空間，虛擬現(xiàn)實(shí)（VR）眼動(dòng)追蹤技術(shù)為電影研究提供了新的研究路徑。與此同時(shí)，借助實(shí)時(shí)渲染引擎對(duì)VR眼動(dòng)追蹤數(shù)據(jù)進(jìn)行可視化分析變得極為必要。本文介紹了眼動(dòng)追蹤技術(shù)在電影研究中的應(yīng)用及VR眼動(dòng)追蹤技術(shù)可視化的研究現(xiàn)狀，提出了一種基于虛幻引擎的VR眼動(dòng)追蹤數(shù)據(jù)三維可視化方案，并以多銀幕影院場景為例，詳細(xì)介紹了其實(shí)現(xiàn)方法和效果，以期為電影研究和未來影像創(chuàng)作提供新的視角和工具。

非渲染技術(shù)語境下沉浸式音頻空間構(gòu)建方案的探索與思考

【摘要】 本文以沉浸式音頻技術(shù)為研究對(duì)象，系統(tǒng)探討了非渲染模式沉浸式音頻技術(shù)的理論基礎(chǔ)與實(shí)踐應(yīng)用。文章首先對(duì)當(dāng)前以渲染模式為主導(dǎo)的沉浸式音頻技術(shù)進(jìn)行了深入分析，闡釋了其核心原理及其在音頻制作領(lǐng)域的廣泛應(yīng)用，繼而著重論述了非渲染模式沉浸式音頻技術(shù)的理論支撐，詳細(xì)解析了該技術(shù)在聲道布局和聲像處理領(lǐng)域的創(chuàng)新方法，并結(jié)合新華社“全六覺”實(shí)驗(yàn)室空間搭建和設(shè)備布局的具體案例，展示了其構(gòu)建沉浸式音頻空間的有效性。最后，文章進(jìn)一步探討了非渲染模式沉浸式音頻技術(shù)對(duì)音頻制作領(lǐng)域的深遠(yuǎn)影響，包括其在技術(shù)創(chuàng)新、成本控制方面的優(yōu)勢以及對(duì)音頻工作者思維模式的促進(jìn)作用。通過對(duì)渲染與非渲染模式的比較分析，揭示了沉浸式音頻技術(shù)發(fā)展的多元趨勢和未來潛力。

數(shù)字影廳B環(huán)電聲響應(yīng)技術(shù)標(biāo)準(zhǔn)解析和調(diào)試方法探討

【摘要】 數(shù)字影廳B環(huán)電聲響應(yīng)特性是指數(shù)字影院音響系統(tǒng)對(duì)電信號(hào)的響應(yīng)情況。本文首先概述數(shù)字影廳B環(huán)電聲響應(yīng)特性相關(guān)技術(shù)標(biāo)準(zhǔn)，對(duì)GY/T 312—2017《電影 錄音控制室、室內(nèi)影廳B環(huán)電聲響應(yīng)規(guī)范和測量》中涉及的核心技術(shù)條款進(jìn)行解讀，總結(jié)調(diào)試和測量過程中遇到的問題，最后提出一種合理的B環(huán)電聲響應(yīng)調(diào)試方法，以期為數(shù)字影廳相關(guān)調(diào)試提供技術(shù)保障，推動(dòng)國內(nèi)數(shù)字影廳整體還音技術(shù)良性健康有序發(fā)展。

深度反卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化下的低質(zhì)圖像去模糊數(shù)學(xué)模型

【摘要】 隨著時(shí)間的推移，電影膠片由于存放時(shí)間長、存儲(chǔ)物理環(huán)境不一等原因會(huì)出現(xiàn)老化、褪色、劃痕和模糊等問題，而現(xiàn)存經(jīng)典資料影片膠片在轉(zhuǎn)換為數(shù)字格式進(jìn)行存儲(chǔ)后，大多仍存在隨機(jī)噪聲多、圖像質(zhì)量不高等問題。為緩解上述問題，本文設(shè)計(jì)了基于深度反卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化下的低質(zhì)圖像去模糊數(shù)學(xué)模型，首先采用泊松分布法建立低質(zhì)圖像退化方程，分析低質(zhì)圖像的隨機(jī)噪聲；隨后構(gòu)建低質(zhì)圖像去模糊數(shù)學(xué)模型的初始框架，并利用深度反卷積神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行優(yōu)化，確定損失函數(shù)，完成低質(zhì)圖像去模糊數(shù)學(xué)模型的構(gòu)建。實(shí)驗(yàn)結(jié)果顯示，本文所提數(shù)學(xué)模型在實(shí)踐應(yīng)用中表現(xiàn)出良好的低質(zhì)圖像去模糊處理結(jié)果，峰值信噪比較高，可用于經(jīng)典資料影片圖像畫面的修復(fù)，在低質(zhì)圖像去模糊領(lǐng)域具備良好的應(yīng)用前景。

文章全文詳見《現(xiàn)代電影技術(shù)》期刊

2024年第12期