本文刊發(fā)于《現(xiàn)代電影技術(shù)》2024年第12期

專家點(diǎn)評(píng)

在國(guó)家推動(dòng)文化產(chǎn)業(yè)高質(zhì)量發(fā)展的背景下，以AI大模型為代表的通用人工智能技術(shù)的發(fā)展與應(yīng)用，將為電影產(chǎn)業(yè)帶來(lái)前所未有的變革。AI音頻技術(shù)通過(guò)精準(zhǔn)模擬人聲和環(huán)境音效，不僅大幅提升了對(duì)白與音效的制作效率和質(zhì)量，還顯著增強(qiáng)了影視作品的沉浸感與藝術(shù)表現(xiàn)力，為國(guó)產(chǎn)電影走向世界舞臺(tái)提供了強(qiáng)有力的技術(shù)支撐，助力中國(guó)故事以更加生動(dòng)鮮活的方式呈現(xiàn)于全球觀眾面前，是實(shí)現(xiàn)中華文化自信自強(qiáng)的重要途徑之一。論文《AI音頻技術(shù)在電影對(duì)白和音效制作中的應(yīng)用探究》梳理和回顧了AI音頻技術(shù)從20世紀(jì)50年代至今的發(fā)展歷程，有助于理解當(dāng)前技術(shù)的演進(jìn)過(guò)程和關(guān)鍵節(jié)點(diǎn)；對(duì)AI音頻制作工具進(jìn)行了分類梳理，并從主要功能、代表性工具、特性及精度等維度進(jìn)行了性能對(duì)比，有助于理清AI音頻工具的最佳應(yīng)用場(chǎng)景；深入分析了相關(guān)技術(shù)在語(yǔ)音生成、動(dòng)效生成、音響效果生成等電影對(duì)白生成和音效制作中的具體應(yīng)用，展示了AI音頻技術(shù)在實(shí)際影視制作中的應(yīng)用潛力。論文從應(yīng)用角度指出了當(dāng)前AI音頻技術(shù)在復(fù)雜情感表達(dá)、語(yǔ)種覆蓋范圍等方面的局限性并提出未來(lái)展望，為后續(xù)研究和發(fā)展應(yīng)用指明了方向。

——王士進(jìn)

正高級(jí)工程師

科大訊飛副總裁、訊飛研究院執(zhí)行院長(zhǎng)

認(rèn)知智能全國(guó)重點(diǎn)實(shí)驗(yàn)室副主任

作 者 簡(jiǎn) 介

王　玨

北京電影學(xué)院聲音學(xué)院教授，主要研究方向：電影聲音藝術(shù)與技術(shù)、新媒體聲音。

北京電影學(xué)院聲音學(xué)院2023級(jí)電影聲音創(chuàng)作方向碩士研究生，主要研究方向：電影聲音藝術(shù)與技術(shù)。

李洽楠

摘要

AI音頻技術(shù)在當(dāng)前電影對(duì)白和音效制作領(lǐng)域備受關(guān)注且已逐步應(yīng)用到實(shí)際制作中。本文介紹了AI音頻技術(shù)的主要概念及發(fā)展概況，對(duì)現(xiàn)階段AI音頻制作工具進(jìn)行了分類整理，并按照電影對(duì)白和音效制作中聲音生成與聲音處理兩大應(yīng)用場(chǎng)景，探討AI音頻技術(shù)在電影對(duì)白和音效制作中的應(yīng)用進(jìn)展與未來(lái)前景。研究表明，目前AI音頻技術(shù)可用于部分場(chǎng)景和部分類別的對(duì)白生成，但缺乏復(fù)雜情感表達(dá)能力；在動(dòng)效和音響效果生成中可完成一定的素材準(zhǔn)備，但精確度和豐富度有待提高。在聲音處理方面，AI音頻技術(shù)具備較強(qiáng)的音頻降噪及增強(qiáng)、對(duì)白音色替換、動(dòng)態(tài)及響度控制、音色及空間處理能力，在聲音編輯和預(yù)混中已得到實(shí)際應(yīng)用，但尚無(wú)法勝任聲音設(shè)計(jì)、混錄等需要高度依賴藝術(shù)創(chuàng)造力的環(huán)節(jié)，暫不具備獨(dú)立完成整部電影聲音制作的能力。

關(guān)鍵詞

人工智能；AI音頻技術(shù)；AI音頻制作工具；電影聲音生成；電影聲音處理

1 引言

人工智能（Artificial Intelligence, AI）是旨在研究開(kāi)發(fā)能模擬、延伸和擴(kuò)展人類智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)[1]。廣義上，AI可被理解為一切以機(jī)器為載體且能從環(huán)境中接受感知并執(zhí)行行動(dòng)的智能體（Agent）[2]，可像人類智能一樣呈現(xiàn)出知識(shí)推理、自然語(yǔ)言處理、語(yǔ)音識(shí)別等能力。自AI誕生以來(lái)，其始終在由弱人工智能（Weak AI）向強(qiáng)人工智能（Strong AI）進(jìn)化，其類人性、通識(shí)性及處理跨領(lǐng)域、多維度任務(wù)的能力持續(xù)提高，應(yīng)用范圍不斷拓展，從而形成了各類基于AI的新興技術(shù)，包括AI音頻技術(shù)。

AI音頻技術(shù)是指利用機(jī)器智能體進(jìn)行音頻分析、處理和生成的一系列音頻技術(shù)，其涵蓋多方面音頻應(yīng)用，包括但不限于語(yǔ)音識(shí)別（Automatic Speech Recognition, ASR）、語(yǔ)音合成（Speech Synthesis, SS）、語(yǔ)音轉(zhuǎn)換（Voice Conversion, VC）、音頻生成（Audio Generation）、音色處理、動(dòng)態(tài)控制等。

2 AI音頻技術(shù)發(fā)展概況

AI進(jìn)入音頻領(lǐng)域可回溯至20世紀(jì)50年代，當(dāng)時(shí)計(jì)算機(jī)科學(xué)的研究重心之一在于如何使機(jī)器借助語(yǔ)音與人類進(jìn)行高效、自然的溝通。基于這一需求，語(yǔ)音識(shí)別與語(yǔ)音合成自然成為AI音頻技術(shù)早期發(fā)展的探索領(lǐng)域。1952年，美國(guó)電話電報(bào)公司貝爾實(shí)驗(yàn)室（AT&T Bell Laboratories）成功研發(fā)了首個(gè)具有實(shí)用意義的AI語(yǔ)音識(shí)別系統(tǒng)奧黛麗（Audrey）。其具備針對(duì)具體個(gè)人的數(shù)字0~9的語(yǔ)音識(shí)別能力，通過(guò)計(jì)算機(jī)將輸入的語(yǔ)音與預(yù)先錄制的數(shù)字語(yǔ)音模板進(jìn)行頻譜特征匹配，可實(shí)現(xiàn)97%~99%的識(shí)別準(zhǔn)確率[3]。1962年，IBM的John Larry Kelly和Louis Gerstman使用IBM 704計(jì)算機(jī)，根據(jù)規(guī)則預(yù)設(shè)將文字轉(zhuǎn)換為語(yǔ)音，合成了歌曲Daisy Bell中的人聲信號(hào)，首次實(shí)現(xiàn)了計(jì)算機(jī)歌曲演唱[4]。隨后，AI音頻技術(shù)的探索領(lǐng)域進(jìn)一步擴(kuò)展。1968年，美國(guó)無(wú)線電公司（Radio Corporation of America, RCA）的Dale C. Connor和Richard S. Putnam針對(duì)廣播領(lǐng)域不同來(lái)源、類型的音頻信號(hào)存在較大電平差而易導(dǎo)致音頻失真及過(guò)度壓縮的問(wèn)題，提出了一種無(wú)需人工操作的自動(dòng)增益控制（AGC）系統(tǒng)[5]，探索了弱人工智能的電平及動(dòng)態(tài)控制技術(shù)。1971年，B. S. Atal和Suzanne L. Hanauer進(jìn)行了AI語(yǔ)音轉(zhuǎn)換技術(shù)的初步探索，使用線性預(yù)測(cè)編碼技術(shù)（LPC）實(shí)現(xiàn)了語(yǔ)音特性的改變[6]。

自20世紀(jì)70年代起，隨著計(jì)算機(jī)性能的提升和數(shù)字信號(hào)處理技術(shù)的進(jìn)步，AI音頻技術(shù)進(jìn)入逐步發(fā)展階段。算法的迭代及優(yōu)化使AI音頻技術(shù)性能不斷增強(qiáng)，初步實(shí)現(xiàn)了部分領(lǐng)域的產(chǎn)品化與商業(yè)化，AI音頻發(fā)展來(lái)到了技術(shù)與市場(chǎng)的交叉點(diǎn)。20世紀(jì)80年代至90年代，基于規(guī)則推理的手工編程開(kāi)始向數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)（Machine Learning, ML）過(guò)渡，意味著AI音頻技術(shù)在自動(dòng)化程度、智能化水平及通用性上將迎來(lái)提升，從而可進(jìn)一步拓展其應(yīng)用領(lǐng)域。語(yǔ)音識(shí)別的發(fā)展較好地說(shuō)明了這一點(diǎn)，AI語(yǔ)音識(shí)別技術(shù)于80年代憑借使用隱馬爾可夫模型（Hidden Markov Model, HMM）取得突破性進(jìn)展[7]。有別于先前依賴相關(guān)領(lǐng)域?qū)＜业闹R(shí)和經(jīng)驗(yàn)、通過(guò)編寫(xiě)硬編碼規(guī)則進(jìn)行語(yǔ)音識(shí)別的手工編程方法，HMM作為一種機(jī)器學(xué)習(xí)算法，能很好地捕捉語(yǔ)音信號(hào)的時(shí)變性和平穩(wěn)性[8]。該模型利用大量真實(shí)語(yǔ)音數(shù)據(jù)進(jìn)行訓(xùn)練，可實(shí)現(xiàn)更高的識(shí)別準(zhǔn)確率。憑借這一方法，AI語(yǔ)音識(shí)別技術(shù)在90年代實(shí)現(xiàn)了以人機(jī)交互和通信為主的初步應(yīng)用及產(chǎn)品化，出現(xiàn)了人機(jī)語(yǔ)音交互軟件ViaVoice、電話自動(dòng)語(yǔ)音識(shí)別系統(tǒng)SpeechWorks等代表性產(chǎn)品[9]。

21世紀(jì)以來(lái)，隨著學(xué)習(xí)算法的改進(jìn)、大數(shù)據(jù)的發(fā)展和算力的提升，AI音頻技術(shù)進(jìn)入深度學(xué)習(xí)（Deep Learning, DL）時(shí)代。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中一系列技術(shù)的組合[10]，有別于以使用淺層結(jié)構(gòu)模型為主的傳統(tǒng)機(jī)器學(xué)習(xí)，其通過(guò)模擬人腦神經(jīng)元結(jié)構(gòu)形成復(fù)雜的多層神經(jīng)網(wǎng)絡(luò)模型，如卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、生成式對(duì)抗網(wǎng)絡(luò)（GAN）等，令計(jì)算機(jī)構(gòu)建一個(gè)包含較多計(jì)算步驟的從輸入到輸出的映射函數(shù)，用以處理復(fù)雜的數(shù)據(jù)或任務(wù)。隨著深度學(xué)習(xí)技術(shù)的真正爆發(fā)，AI音頻技術(shù)在語(yǔ)音識(shí)別、音頻處理及音頻生成等領(lǐng)域開(kāi)始取得顯著成果。2011年，結(jié)合深度信任網(wǎng)絡(luò)（Deep Belief Network, DBN）的強(qiáng)大判別訓(xùn)練能力和HMM序列建模能力的AI語(yǔ)音識(shí)別技術(shù)，在大詞匯量連續(xù)語(yǔ)音識(shí)別（LVCSR）任務(wù)中取得優(yōu)異表現(xiàn)[11]。2016年，DeepMind發(fā)布基于深度神經(jīng)網(wǎng)絡(luò)的音頻生成模型WaveNet，在文本轉(zhuǎn)語(yǔ)音（Text?to?Speech, TTS）任務(wù)中表現(xiàn)優(yōu)異，取得了AI語(yǔ)音合成技術(shù)的重大突破，同時(shí)亦為音樂(lè)、音效生成領(lǐng)域提供了新范式[12]。自2019年開(kāi)始，隨著深度學(xué)習(xí)方法的深入應(yīng)用，AI音頻技術(shù)在音頻分析、處理與生成中均展現(xiàn)出了驚人突破與強(qiáng)大潛力[13]，步入高速發(fā)展階段。此外，自動(dòng)化機(jī)器學(xué)習(xí)、大型預(yù)訓(xùn)練模型、多模態(tài)數(shù)據(jù)處理、模型壓縮以及云計(jì)算等技術(shù)的發(fā)展，使AI音頻技術(shù)開(kāi)始真正深入融合到影視、游戲、音樂(lè)、通信、教育以及醫(yī)療等各行業(yè)中。

3 AI音頻制作工具分類

音頻制作工具發(fā)展至今，已具備較為堅(jiān)實(shí)的自動(dòng)化水平，在某些制作環(huán)節(jié)已能極大減輕人工負(fù)擔(dān)，提高工作效率。在此基礎(chǔ)上，基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)，AI音頻技術(shù)顯著提高了音頻制作工具的智能化水平，一系列AI音頻制作工具應(yīng)運(yùn)而生，覆蓋從音頻分析、處理到生成的各領(lǐng)域。本文將現(xiàn)有AI音頻制作工具分為分析、處理與生成三大核心類別，并根據(jù)具體任務(wù)需求，進(jìn)一步細(xì)分為多個(gè)子類別。需要說(shuō)明的是，音頻分析往往是處理和生成的基礎(chǔ)或前置步驟，而音頻生成也涉及一定的處理過(guò)程，因而三類工具在實(shí)際功能上有所重疊，但它們?cè)谀繕?biāo)制作任務(wù)上有著明顯不同的重心和傾向。

表1　典型的AI音頻分析工具

AI音頻分析工具（表1）側(cè)重于對(duì)音頻進(jìn)行解析與特征提取，目前主要用于完成諸如音源分離（Audio Source Separation）①、音頻計(jì)量、音樂(lè)分析等制作任務(wù)；AI音頻處理工具（表2）傾向于對(duì)音頻信號(hào)進(jìn)行實(shí)際調(diào)整，當(dāng)前主要用于完成音頻降噪及增強(qiáng)、音色轉(zhuǎn)換、動(dòng)態(tài)處理、頻率處理、空間處理等制作任務(wù)；AI音頻生成工具（表3）則注重創(chuàng)造新的音頻內(nèi)容，根據(jù)用戶所輸入的文本、提示詞（Prompt）、視覺(jué)內(nèi)容信息或條件參數(shù)輸出音頻，現(xiàn)階段主要用于語(yǔ)音、音效及音樂(lè)生成。目前，AI音頻處理工具多以面向?qū)I(yè)音頻工作者的高精度專業(yè)級(jí)工具為主，分析類工具和生成類工具則涵蓋了從面向普通消費(fèi)者及用戶生成內(nèi)容（UGC）生產(chǎn)者的低精度民用級(jí)至高精度專業(yè)級(jí)的廣泛范圍。其中，低精度民用級(jí)工具的應(yīng)用形式以網(wǎng)頁(yè)及桌面應(yīng)用程序?yàn)橹鳎呔葘I(yè)級(jí)工具則以數(shù)字音頻工作站（DAW）及非線性編輯系統(tǒng)（NLE）插件為主。表1至表3從主要功能、特性及精度三個(gè)維度對(duì)上述三個(gè)類別中較具代表性的工具分別進(jìn)行了整理分析。

表2　典型的AI音頻處理工具

表3　典型的AI音頻生成工具

在電影對(duì)白和音效制作領(lǐng)域，AI音頻制作工具的引入為制作手段和創(chuàng)作方法提供了新的可能。由表1至表3可知，以弱人工智能為主的AI音頻分析工具及處理工具通過(guò)大規(guī)模數(shù)據(jù)訓(xùn)練使計(jì)算機(jī)完成特定任務(wù)，現(xiàn)階段可輔助制作者完成降噪、基本動(dòng)態(tài)控制等重復(fù)勞動(dòng)，提高制作效率；以強(qiáng)人工智能為主的AI音頻生成工具正逐步取得突破，在對(duì)白、音響效果等電影聲音內(nèi)容生成中的應(yīng)用已有所進(jìn)展[14]。

4 AI音頻技術(shù)在電影聲音生成中的應(yīng)用

4.1 對(duì)白語(yǔ)音生成

對(duì)白（Dialogue）是電影聲音中具有重要敘事功能的元素，目前對(duì)白語(yǔ)音主要通過(guò)同期拾錄或自動(dòng)對(duì)白替換（Automatic Dialogue Replacement, ADR）獲得，利用AI音頻技術(shù)生成對(duì)白是電影對(duì)白制作的一種新思路。現(xiàn)階段AI語(yǔ)音生成技術(shù)在電影對(duì)白制作中的應(yīng)用以TTS為主，即以臺(tái)詞文本作為輸入模態(tài)，通過(guò)文本前端模塊將原始文本轉(zhuǎn)換為字符或音素，再通過(guò)AI音頻工具內(nèi)置的聲學(xué)模型或?qū)μ囟ㄑ輪T進(jìn)行音色克隆所得到的聲學(xué)模型轉(zhuǎn)換為聲學(xué)特征，最后借助聲碼器轉(zhuǎn)換輸出為具有自然語(yǔ)音特征或特定人語(yǔ)音特征的語(yǔ)音音頻信號(hào)。基于AI的TTS語(yǔ)音生成技術(shù)較傳統(tǒng)TTS技術(shù)而言，在語(yǔ)音自然度及流暢度、情感表現(xiàn)力和音色定制能力等方面已取得顯著進(jìn)展，但對(duì)于高精度的電影聲音制作而言，利用該技術(shù)直接生成對(duì)白語(yǔ)音仍有一定難度。一方面是由于現(xiàn)階段的AI語(yǔ)音生成難以實(shí)現(xiàn)電影對(duì)白高度復(fù)雜的情感表達(dá)并與視覺(jué)內(nèi)容同步，另一方面則是生成語(yǔ)種的覆蓋范圍有限。聲音的情感表達(dá)是目前AI音頻生成的難題，現(xiàn)有的AI音頻工具提供了簡(jiǎn)單的情緒選項(xiàng)，可以在憤怒、愉悅等情緒范圍內(nèi)進(jìn)行選擇，但這些參數(shù)的分類過(guò)于粗略，尚無(wú)法對(duì)應(yīng)于電影對(duì)白中復(fù)雜細(xì)膩的情感變化。由于情感的主觀性特征，對(duì)復(fù)雜情感的聲音特征標(biāo)注也是目前情感計(jì)算領(lǐng)域的一個(gè)難題。但這并不意味著目前AI語(yǔ)音生成技術(shù)在電影對(duì)白生成中毫無(wú)用武之地，在某些應(yīng)用場(chǎng)景中，該技術(shù)仍有一定的應(yīng)用可行性與發(fā)展前景。

4.1.1 真人角色語(yǔ)音生成

在真人電影的拍攝過(guò)程中，演員的表演實(shí)際構(gòu)成了一個(gè)高度集成的視聽(tīng)同步序列，通過(guò)TTS技術(shù)生成與已拍攝內(nèi)容視覺(jué)嚴(yán)格同步的對(duì)白語(yǔ)音仍十分具有挑戰(zhàn)性。現(xiàn)階段的AI語(yǔ)音生成工具雖提供節(jié)奏、隨機(jī)性、表演風(fēng)格等選項(xiàng)供用戶調(diào)整，但生成的語(yǔ)音仍難以與視覺(jué)內(nèi)容保持時(shí)間上的同步及情感上的契合。然而，電影中往往存在一些無(wú)需嚴(yán)格與視覺(jué)形象同步的真人角色語(yǔ)音，包括但不限于旁白、解說(shuō)、獨(dú)白、群雜以及收音機(jī)或其他媒介播放出的語(yǔ)音，這為使用AI音頻技術(shù)進(jìn)行語(yǔ)音生成創(chuàng)造了條件。例如，當(dāng)需要根據(jù)影片內(nèi)容錄制一條語(yǔ)義明確的英文新聞播報(bào)時(shí)，可借助Altered Studio工具，在TTS模塊中輸入臺(tái)詞文本，并在其內(nèi)置的模型庫(kù)中挑選性別、年齡及口音符合要求的模型，最后選擇新聞播報(bào)表演風(fēng)格進(jìn)行生成。

4.1.2 虛擬角色語(yǔ)音生成

在動(dòng)畫(huà)角色、科幻角色或數(shù)字人等虛擬角色的制作過(guò)程中，若采用先錄制對(duì)白后制作畫(huà)面的先期錄音工藝，上述AI語(yǔ)音生成方法便不受視聽(tīng)同步問(wèn)題的困擾，可用于全部對(duì)白生成。制作者可在AI音頻生成工具中輸入臺(tái)詞文本，并在語(yǔ)音模型庫(kù)中選擇符合角色形象的模型進(jìn)行語(yǔ)音生成，隨后將語(yǔ)音輸入轉(zhuǎn)換為逼真的面部動(dòng)畫(huà)。例如在Replica Studio的Voice Director模塊中，制作者可根據(jù)角色需要在其內(nèi)置的Voice Library中選擇合適模型，或通過(guò)Voice Lab模塊進(jìn)行自定義音色混合得到定制化語(yǔ)音模型，隨后輸入角色臺(tái)詞文本，選定表演風(fēng)格及調(diào)整音調(diào)、節(jié)奏，最后進(jìn)行對(duì)白語(yǔ)音生成并完成視覺(jué)內(nèi)容制作。在這類語(yǔ)音驅(qū)動(dòng)的虛擬角色制作場(chǎng)景中，隨著AI語(yǔ)音生成技術(shù)的持續(xù)進(jìn)步與優(yōu)化，采用這一技術(shù)進(jìn)行全部對(duì)白語(yǔ)音生成展現(xiàn)出一定的可行性與潛力，但目前同樣面臨著支持語(yǔ)種有限及表演情感難以調(diào)教的應(yīng)用障礙。

4.2 動(dòng)效生成

動(dòng)效指影片中由角色動(dòng)作引發(fā)的音響效果，通常采用擬音（Foley）方式制作。目前的擬音方法主要包括兩種：一種是由擬音師手工進(jìn)行擬音；另一種則是基于采樣和合成技術(shù)利用軟件生成符合用戶需求的動(dòng)效，如UVI Walker、UVI Unlock、Krotos Studio Pro等。二者均需依照視覺(jué)線索進(jìn)行人工制作，且需花費(fèi)時(shí)間和精力進(jìn)行道具或樣本選取、擬音表演及錄音等。

利用AI音頻技術(shù)進(jìn)行動(dòng)效生成的技術(shù)路徑可從視頻和文本兩種輸入模態(tài)分別考慮，其中以視頻模態(tài)輸入的AI動(dòng)效生成可基于數(shù)據(jù)驅(qū)動(dòng)與規(guī)則建模來(lái)構(gòu)建不同視覺(jué)線索與聲音的映射關(guān)系，并利用數(shù)據(jù)驅(qū)動(dòng)實(shí)現(xiàn)視聽(tīng)時(shí)序一致，以智能化擬音技術(shù)解決視覺(jué)與聲音的同步性以及內(nèi)容一致性的問(wèn)題[15]。近年來(lái)，國(guó)內(nèi)外均有相關(guān)研究進(jìn)展，例如Ghose等提出的FoleyGAN[16]、劉子航等[15]提出的視聽(tīng)同步的細(xì)粒度腳步音效合成方法等。目前，此類技術(shù)對(duì)制作以腳步聲、摩擦聲為代表的數(shù)量多、重復(fù)性強(qiáng)且要求視聽(tīng)嚴(yán)格同步的動(dòng)效具有一定應(yīng)用價(jià)值，但在視聽(tīng)匹配度方面無(wú)法很好地滿足電影聲音制作的高標(biāo)準(zhǔn)需要，有待進(jìn)一步發(fā)展和優(yōu)化。以文本模態(tài)輸入的AI動(dòng)效生成則以制作者在生成工具中輸入提示詞來(lái)生成音頻，比較適合生成單個(gè)點(diǎn)動(dòng)效，例如在ElevenLabs的Text to SFX板塊中鍵入提示詞“typing”生成敲鍵盤的聲音，再進(jìn)一步通過(guò)描述細(xì)節(jié)的提示詞來(lái)微調(diào)結(jié)果以完善聲音，如“A person typing on a keyboard in the office”，最后在多個(gè)生成結(jié)果中選擇合適的素材加以編輯使用。該方法一定程度上可減少道具或樣本選取、擬音表演等工序，但無(wú)法精準(zhǔn)控制變量或參數(shù)值，導(dǎo)致生成音頻的可控性及穩(wěn)定性較差，需反復(fù)調(diào)整提示詞并篩選生成結(jié)果。總體而言，現(xiàn)階段AI動(dòng)效生成難以作為高質(zhì)量工具直接投入應(yīng)用，但為電影擬音制作提供了新的方法和可能性。

4.3 音響效果生成

音響效果制作是電影聲音后期制作的重點(diǎn)之一，對(duì)于一般效果而言，目前主要來(lái)源于素材庫(kù)或根據(jù)影片需要專門錄制，特殊音響效果則可能在此基礎(chǔ)上通過(guò)數(shù)字音頻信號(hào)合成等方式進(jìn)行補(bǔ)充。AI音響效果生成與AI動(dòng)效生成的方法基本一致，同樣可在ElevenLabs、Optimizer等工具中輸入文本提示詞以獲得目標(biāo)素材，并做進(jìn)一步微調(diào)和篩選。音響效果相較于動(dòng)效而言，在制作上往往更為多元、復(fù)雜，且時(shí)常需要多聲道素材，這就進(jìn)一步暴露了某些應(yīng)用障礙。例如，模型無(wú)法根據(jù)輸入信息準(zhǔn)確捕捉并表達(dá)制作者的創(chuàng)作意圖，訓(xùn)練數(shù)據(jù)不充分或呈長(zhǎng)尾分布狀態(tài)以及生成的音頻結(jié)果技術(shù)指標(biāo)不足等。隨著AI音頻技術(shù)自動(dòng)化和智能化水平的提升、訓(xùn)練數(shù)據(jù)的不斷積累及自我強(qiáng)化機(jī)制的逐步構(gòu)建，利用AI音頻技術(shù)進(jìn)行音響效果生成或?qū)㈤_(kāi)辟出全新的智能化電影音效制作流程和創(chuàng)作思路。

5 AI音頻技術(shù)在電影聲音處理中的應(yīng)用

5.1 音頻降噪及增強(qiáng)

在電影聲音后期制作中，常常需對(duì)以語(yǔ)音信號(hào)為主的各類音頻信號(hào)進(jìn)行降噪處理。AI音頻降噪技術(shù)在傳統(tǒng)音頻降噪技術(shù)的基礎(chǔ)上，引入了機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)，在音頻降噪及增強(qiáng)的效果上實(shí)現(xiàn)了飛躍，進(jìn)而更好、更智能地提高音頻的信噪比并保留其自然度。當(dāng)前，這一技術(shù)在電影聲音制作中已得到廣泛應(yīng)用，iZotope RX 11、Accentize dxRevive Pro以及Waves ClarityTM Vx Pro等主流語(yǔ)音降噪工具均采用了AI音頻降噪技術(shù)，具備更強(qiáng)的非線性擬合能力，可對(duì)噪聲進(jìn)行自適應(yīng)處理。AI音頻增強(qiáng)技術(shù)可通過(guò)語(yǔ)音增強(qiáng)算法對(duì)音頻信號(hào)進(jìn)行重構(gòu)與恢復(fù)，顯著提升音頻降噪的性能極限，例如使用Accentize dxRevive Pro中的EQ Restore算法處理演員使用手機(jī)或其他民用設(shè)備補(bǔ)錄的低音質(zhì)對(duì)白，之后進(jìn)行頻譜再生及均衡調(diào)整，從而達(dá)到電影聲音的音質(zhì)要求，為手機(jī)補(bǔ)錄臺(tái)詞或歷史音頻資料等技術(shù)指標(biāo)不合格的素材提供了可行的利用途徑。

5.2 對(duì)白音色替換

在電影聲音后期制作中，往往需要通過(guò)ADR對(duì)技術(shù)或藝術(shù)上效果不理想的同期聲加以替換。除此之外，獨(dú)白或旁白、動(dòng)畫(huà)片制作、多語(yǔ)種譯制等也常需要進(jìn)行ADR。在實(shí)際制作中，ADR過(guò)程經(jīng)常面臨諸多難題，如演員因各種原因無(wú)法到錄音棚錄音、單演員為多角色配音易出現(xiàn)音色重復(fù)及形象不匹配等。面對(duì)這些難題，AI語(yǔ)音轉(zhuǎn)換（VC）技術(shù)憑借優(yōu)秀的音色模仿能力及語(yǔ)音自然度為制作者提供了新的解決方案。

早期的語(yǔ)音轉(zhuǎn)換技術(shù)一般通過(guò)統(tǒng)計(jì)學(xué)方法建立模型，由于面臨模型泛化能力不足的問(wèn)題，轉(zhuǎn)換后的語(yǔ)音缺失細(xì)節(jié)、不夠真實(shí)[17]。AI語(yǔ)音轉(zhuǎn)換技術(shù)引入深度學(xué)習(xí)等方法，通過(guò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)（Neural Network）以模擬不同的聲音特征，從而實(shí)現(xiàn)將源人物語(yǔ)音的特定信息轉(zhuǎn)換為目標(biāo)人物語(yǔ)音，同時(shí)確保其他屬性不變[18]。相較于基于統(tǒng)計(jì)建模的語(yǔ)音轉(zhuǎn)換技術(shù)，AI語(yǔ)音轉(zhuǎn)換技術(shù)具備更強(qiáng)的模型泛化能力，尤其當(dāng)目標(biāo)語(yǔ)音數(shù)據(jù)集質(zhì)量高、時(shí)長(zhǎng)足時(shí)，轉(zhuǎn)換結(jié)果更為真實(shí)、自然。其次，通過(guò)使用不同數(shù)據(jù)集訓(xùn)練不同的模型，可克隆某一特定人聲，使得AI語(yǔ)音轉(zhuǎn)換技術(shù)具備較好的定制能力，可更高效便捷地完成某些ADR任務(wù)。此外，AI語(yǔ)音轉(zhuǎn)換技術(shù)還極大拓展了單一配音演員的音色范圍，提高了影片配音及多語(yǔ)種譯制效率，降低了人力、時(shí)間及經(jīng)費(fèi)等成本。以下根據(jù)電影對(duì)白制作中的不同需要，簡(jiǎn)要介紹AI語(yǔ)音轉(zhuǎn)換技術(shù)的實(shí)際應(yīng)用可能。

借助AI語(yǔ)音轉(zhuǎn)換技術(shù)克隆某人音色，可高效解決以往制作過(guò)程中的時(shí)間和檔期不便，并提供新的創(chuàng)作方法。例如，在So?VITS?SVC中輸入劉德華年輕時(shí)總時(shí)長(zhǎng)30分鐘以上的高音質(zhì)切片語(yǔ)音數(shù)據(jù)集，選擇編碼器生成模型配置文件，隨后選擇F0預(yù)測(cè)器（F0 Predictor）并調(diào)整Batch Size、Learning Rate等各項(xiàng)超參數(shù)進(jìn)行音色模型訓(xùn)練，得到音色相似且咬字清晰的理想模型后，在推理界面加載該模型及其配置文件，輸入待替換的語(yǔ)音音頻進(jìn)行音色替換，便可實(shí)現(xiàn)對(duì)年輕劉德華音色的克隆。當(dāng)前，利用AI語(yǔ)音轉(zhuǎn)換技術(shù)進(jìn)行特定人的音色克隆已取得一定成果，例如Respeecher公司運(yùn)用AI音頻技術(shù)為電視紀(jì)錄片Goliath制作了威爾特·張伯倫（Wilt Chamberlain）的解說(shuō)語(yǔ)音[19]，也成功為網(wǎng)絡(luò)短片In Event of Moon Disaster（2019）制作了美國(guó)前總統(tǒng)理查德·尼克松（Richard Nixon）的演講語(yǔ)音[20]。但該技術(shù)的應(yīng)用仍存在一定障礙，例如，滿足電影聲音高精度要求的目標(biāo)音色模型需通過(guò)音質(zhì)高、時(shí)長(zhǎng)足的數(shù)據(jù)集訓(xùn)練獲得，而待替換的語(yǔ)音音頻需滿足各項(xiàng)音質(zhì)標(biāo)準(zhǔn)，提高了AI語(yǔ)音轉(zhuǎn)換技術(shù)的應(yīng)用門檻。隨著預(yù)訓(xùn)練模型的自監(jiān)督學(xué)習(xí)、小樣本學(xué)習(xí)及跨語(yǔ)言多領(lǐng)域適應(yīng)能力的提升，AI音色克隆的數(shù)據(jù)集成本將進(jìn)一步降低，能在減少對(duì)數(shù)據(jù)集依賴的同時(shí)提升其性能。在未來(lái)的電影對(duì)白制作中，可在獲授權(quán)情況下存檔備份演員的優(yōu)質(zhì)音色模型，以便后續(xù)應(yīng)用于其他項(xiàng)目的制作。

運(yùn)用AI語(yǔ)音轉(zhuǎn)換技術(shù)，制作者可通過(guò)AI音色替換工具中的多元化音色庫(kù)極大地?cái)U(kuò)展單個(gè)配音演員的音色范圍，從而使“一人分飾多角”成為可能，大幅提升ADR工作的效率與靈活性。例如，當(dāng)需要為中文影片做英語(yǔ)對(duì)白譯制時(shí)，可通過(guò)Altered Studio的Voice Morphing模塊輸入單個(gè)配音演員錄制的多角色英語(yǔ)對(duì)白，并在Voice Library中為不同角色選擇匹配的音色模型分別進(jìn)行語(yǔ)音轉(zhuǎn)換，從而大大優(yōu)化影片的譯制成本。當(dāng)前，大多數(shù)AI語(yǔ)音產(chǎn)品，如Altered Studio、Respeecher、ElevenLabs等，皆為用戶提供多元豐富的音色庫(kù)，SoundID公司的VoiceAI則可將其AI語(yǔ)音轉(zhuǎn)換技術(shù)及音色模型集成到DAW插件中，可在Pro Tools等工作站中直接應(yīng)用，進(jìn)一步優(yōu)化文件交互流程，增強(qiáng)制作者的使用體驗(yàn)。

5.3 動(dòng)態(tài)及響度控制

在傳統(tǒng)電影聲音后期制作中，動(dòng)態(tài)及響度控制通常分為兩部分進(jìn)行：一部分是在編輯階段對(duì)各類聲音元素進(jìn)行編輯處理，另一部分則是在混錄階段對(duì)各類聲音元素及聲音整體進(jìn)行以使用動(dòng)態(tài)類效果器、音量控制器為主的處理。編輯階段動(dòng)態(tài)控制的主要處理對(duì)象之一即是具有敘事功能的對(duì)白，一方面要確保其電平及響度基本達(dá)標(biāo)，另一方面則要調(diào)整其內(nèi)部各類信號(hào)的電平從而使聽(tīng)感平滑流暢。用編輯手段進(jìn)行動(dòng)態(tài)控制的優(yōu)勢(shì)在于操作/調(diào)校較為細(xì)致，但同時(shí)也要花費(fèi)大量人力、時(shí)間成本；而使用傳統(tǒng)音頻壓擴(kuò)或響度歸一技術(shù)則難以做到精細(xì)調(diào)整，無(wú)法實(shí)現(xiàn)只針對(duì)人聲語(yǔ)音信號(hào)進(jìn)行處理。AI語(yǔ)音動(dòng)態(tài)處理技術(shù)能更好地對(duì)輸入的音頻信號(hào)進(jìn)行特征提取，區(qū)分出人聲信號(hào)和非人聲信號(hào)并只對(duì)人聲信號(hào)進(jìn)行處理。例如，在DAW插件NoiseWorks Gain Aim Pro中，用戶可在Ride模塊中設(shè)定目標(biāo)語(yǔ)音響度，并在Vox?Gate模塊中設(shè)定門限處理閾值及最大衰減量，隨后由AI分析并對(duì)其進(jìn)行自適應(yīng)響度標(biāo)準(zhǔn)化及壓擴(kuò)處理，輔助制作者完成對(duì)白的基本動(dòng)態(tài)控制。在混錄階段進(jìn)行整體的動(dòng)態(tài)控制時(shí)，則可使用基于AI音頻技術(shù)的動(dòng)態(tài)類效果器來(lái)處理，例如在sonible smart:comp 2中選中Speech預(yù)設(shè)，后令A(yù)I對(duì)影片中的對(duì)白音頻進(jìn)行智能分析，形成壓縮器的各項(xiàng)參數(shù)，輔助制作者完成對(duì)白的整體動(dòng)態(tài)處理。相較于傳統(tǒng)的動(dòng)態(tài)類效果器，AI類效果器有著更好的參數(shù)自動(dòng)化能力，大大減少了制作過(guò)程中對(duì)人工調(diào)整的依賴。

5.4 音色處理

電影對(duì)白和音效制作中對(duì)音色的處理主要有銜接匹配、解決頻率掩蔽、聲音美化等幾個(gè)核心目的，使用均衡器對(duì)音頻的頻譜結(jié)構(gòu)進(jìn)行調(diào)整是音色處理的主要手段。借助基于AI音頻技術(shù)的頻譜類效果器，可輔助制作者快速達(dá)成某些音色處理目標(biāo)。首先，對(duì)于音色銜接任務(wù)，如ADR對(duì)白與同期聲的銜接、無(wú)線話筒音色和挑桿話筒音色的銜接、擬音動(dòng)效與同期音響效果的銜接等，傳統(tǒng)制作方法主要是基于經(jīng)驗(yàn)判斷音色差異并使用均衡器手動(dòng)調(diào)整音色，而使用基于機(jī)器學(xué)習(xí)技術(shù)的效果器進(jìn)行音色銜接匹配則可簡(jiǎn)化這一過(guò)程。例如，在Accentize Spectral Balance中，制作者可在EQ Target窗口加載目標(biāo)音色示例音頻，再由AI進(jìn)行頻響特征分析，并對(duì)軌道上的待處理音頻進(jìn)行實(shí)時(shí)自適應(yīng)處理或固定參數(shù)處理，高效完成音色銜接任務(wù)。其次，在解決不同音頻的頻率掩蔽問(wèn)題時(shí)，可使用采用機(jī)器學(xué)習(xí)技術(shù)的效果器用于控制不同音頻間的頻率避讓。例如制作者可在需進(jìn)行頻率避讓的軌道上掛載sonible smart:EQ 4效果器插件，通過(guò)Group模式將需要處理的軌道進(jìn)行編組，并對(duì)各軌道進(jìn)行前（Front）、中（Middle）、后（Back）的縱深分層以決定均衡處理優(yōu)先級(jí)；之后點(diǎn)擊Learn All進(jìn)行分析，生成各個(gè)軌道的頻率處理曲線，完成多軌頻率避讓。若基于美化聲音的目的對(duì)音頻進(jìn)行音色處理，則可采用Wavesfactory Equalizer、sonible smart:EQ 4等智能均衡器進(jìn)行音色調(diào)整。該類效果器基于大量的優(yōu)質(zhì)數(shù)據(jù)樣本，可根據(jù)聲音類別進(jìn)行智能頻響調(diào)整，目前多用于基于音樂(lè)流派和樂(lè)器類別的音樂(lè)處理。

5.5 空間處理

空間處理是電影對(duì)白和音效制作的重點(diǎn)之一，在影片進(jìn)入終混前，通常需進(jìn)行以使用單聲道混響為主的對(duì)白或擬音的空間感統(tǒng)一，例如銜接ADR與同期聲、同期音效與擬音動(dòng)效等，從而維持?jǐn)⑹驴臻g的穩(wěn)定與統(tǒng)一。一般而言，直接使用數(shù)字單聲道混響器并調(diào)整參數(shù)以模仿目標(biāo)空間感難以高效地獲得令人滿意的效果，具備智能混響匹配功能的效果器為這一難題帶來(lái)了新的解決方案。如在Accentize公司推出的Chameleon 2.0中，制作者可在Create New Reverb窗口輸入攜帶目標(biāo)空間特征的同期對(duì)白，隨后由該插件基于大量訓(xùn)練數(shù)據(jù)的深度學(xué)習(xí)快速計(jì)算并建立起拍攝地的空間配置文件，選擇Apply Now將該空間特征直接應(yīng)用到待處理的ADR對(duì)白中。同時(shí)，用戶也可以選擇Save to Library將插件分析得到的房間脈沖響應(yīng)以.wav文件格式保存到計(jì)算機(jī)本地，隨后在其他卷積混響器中加載使用。在混錄過(guò)程中，為了滿足空間建構(gòu)、效果制作以及包圍感形成等多種制作需求，往往需要調(diào)動(dòng)不同類別、不同聲道數(shù)量的空間效果器。基于AI音頻技術(shù)的空間類效果器，能根據(jù)輸入信號(hào)的頻譜和時(shí)間特性進(jìn)行智能化空間處理，為聲音制作者提供了全新的空間設(shè)計(jì)工具。如用戶可使用iZotope Neoverb的Reverb Assistant功能，進(jìn)行以風(fēng)格（Style）和色調(diào)（Tone）等主觀指標(biāo)替代具體參數(shù)數(shù)值的交互式混響定制，并由AI執(zhí)行自動(dòng)剪切（Auto Cut）和非掩蔽（Unmask）任務(wù)，進(jìn)行均衡前（Pre?EQ）處理和均衡后（Post?EQ）處理以避免混響信號(hào)對(duì)干聲信號(hào)造成掩蔽導(dǎo)致清晰度降低。目前，這類效果器主要用于電影對(duì)白和音效制作中的非現(xiàn)實(shí)空間建構(gòu)，暫不適合建構(gòu)需以敘事空間的真實(shí)聽(tīng)感為依據(jù)的現(xiàn)實(shí)空間。

6 結(jié)語(yǔ)

隨著AI時(shí)代的到來(lái)，AI音頻技術(shù)在電影對(duì)白和音效制作領(lǐng)域已經(jīng)邁出了革命性的一步，部分繁瑣且高度依賴人工處理的環(huán)節(jié)得到了顯著的工藝優(yōu)化與效果提升。AI音頻技術(shù)在電影對(duì)白和音效制作中的應(yīng)用一方面實(shí)現(xiàn)了一定程度的降本增效，另一方面則賦予了創(chuàng)作者更多的創(chuàng)作手段與可能。值得注意的是，現(xiàn)階段的AI音頻技術(shù)仍處于以弱人工智能輔助制作的階段，具備強(qiáng)人工智能屬性的AIGC創(chuàng)作范式尚需時(shí)日。簡(jiǎn)言之，目前AI音頻技術(shù)尚無(wú)法勝任聲音設(shè)計(jì)、混錄等需要高度依賴藝術(shù)創(chuàng)造力的環(huán)節(jié)，暫不具備獨(dú)立完成整部電影聲音制作的能力。

隨著技術(shù)的不斷迭代與成熟，AI音頻技術(shù)在電影對(duì)白和音效制作中的應(yīng)用空間無(wú)疑將進(jìn)一步拓展，其效果也將持續(xù)向電影聲音的高精度標(biāo)準(zhǔn)靠攏。不久的將來(lái)，AI音頻技術(shù)有望在電影聲音制作領(lǐng)域發(fā)揮更為關(guān)鍵的作用，其智能化與高效化特征，將助力電影聲音制作的工藝變化，深刻改變并推動(dòng)電影行業(yè)的創(chuàng)新發(fā)展，這一變化趨勢(shì)值得我們持續(xù)關(guān)注與探索。

注釋、參考文獻(xiàn)

（向下滑動(dòng)閱讀）

①音源分離是指將混合音頻分離成一個(gè)或多個(gè)組成成分。

②LALAL.AI功能涵蓋音樂(lè)解混和語(yǔ)音解混。

③iZotope Dialogue Match的語(yǔ)言銜接匹配包含頻率處理和空間處理。

[1] 譚鐵牛.人工智能的歷史、現(xiàn)狀和未來(lái)[J].智慧中國(guó),2019(Z1):87?91.

[2] 斯圖爾特·羅素，彼得·諾維格.人工智能:現(xiàn)代方法（第4版）[M].張博雅，陳坤，田超，等，譯.北京:人民郵電出版社，2022.

[3] Davis H K, Biddulph R, Balashek S. Automatic Recognition of Spoken Digits[J].The Journal of the Acoustical Society of America,1952,24(6):637.

[4] De Mol L. How to talk with a computer: an essay on computability and man?computer conversations[J]. OFF TOPIC: UBERSETZEN: ZEITSCHRIFT FUR MEDIENKUNST DER KHM, 2008, 1: 80?89.

[5] Connor D C, Putnam R S. Automatic audio level control[J]. Journal of the Audio Engineering Society, 1968, 16(3): 314?320.

[6] Atal B S, Hanauer S L.Speech Analysis and Synthesis by Linear Prediction of the Speech Wave[J].Journal of the Acoustical Society of America, 1971, 50(2B):637?655.

[7] 王海坤,潘嘉,劉聰.語(yǔ)音識(shí)別技術(shù)的研究進(jìn)展與展望[J].電信科學(xué),2018,34(02):1?11.

[8] 禹琳琳.語(yǔ)音識(shí)別技術(shù)及應(yīng)用綜述[J].現(xiàn)代電子技術(shù), 2013(13):51?53.DOI:10.3969/j.issn.1004-373X.2013.13.012.

[9] 何湘智.語(yǔ)音識(shí)別的研究與發(fā)展[J].計(jì)算機(jī)與現(xiàn)代化, 2002(03):3?6.DOI:CNKI:SUN:JYXH.0.2002-03-001.

[10] 趙楠,譚惠文.人工智能技術(shù)的發(fā)展及應(yīng)用分析[J].中國(guó)電子科學(xué)研究院學(xué)報(bào),2021,16(07):737?740.

[11] Dong Y, Li D. Deep learning and its applications to signal and information processing[J]. IEEE Signal Processing Magazine, 2011, 28(1): 145?154.

[12] Van Den Oord A, Dieleman S, Zen H, et al. Wavenet: A generative model for raw audio[J]. arXiv preprint arXiv:1609.03499, 2016, 12.

[13] Purwins H, Li B, Virtanen T, et al. Deep learning for audio signal processing[J]. IEEE Journal of Selected Topics in Signal Processing, 2019, 13(2): 206?219.

[14] 陳軍,趙建軍,魯夢(mèng)河.AI與電影智能制作研究與展望[J].現(xiàn)代電影技術(shù),2023,(10):16?26.

[15] 劉子航,齊秋棠,程皓楠,等.視聽(tīng)同步的細(xì)粒度腳步音效合成方法[J].現(xiàn)代電影技術(shù),2023,(12):4?10+56.

[16] Ghose S, Prevost J J. Foleygan: Visually guided generative adversarial network based synchronous sound generation in silent videos[J].IEEE Transactions on Multimedia, 2022.

[17] 楊帥,喬凱,陳健,等.語(yǔ)音合成及偽造、鑒偽技術(shù)綜述[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2022,31(07):12?22.DOI:10.15888/j.cnki.csa.008641.

[18] Nakashika T, Takashima R, Takiguchi T, et al. Voice conversion in high?order eigen space using deep belief nets[C]//Interspeech, 2013: 369–372.

[19] Vova Ovsiienko. AI Voices Take the Sports Industry by Storm: Super Bowl, Olympics, and Echoes of NFL & NBA Legends[EB/OL]. (2023?10?12)[2024?11?10]. https://www.respeecher.com/blog/ai-voices-take-sports-industry-by-storm-super-bowl-olympics-echoes-nfl-nba-legends.

[20] Respeecher. Respeecher Makes Richard Nixon’s Moon Landing Disaster Speech A Reality[EB/OL]. [2024?11?10]. https://www.respeecher.com/case-studies/respeecher-makes-nixon-moon-landing-disaster-speech-reality.

【基金項(xiàng)目信息】國(guó)家社科基金藝術(shù)學(xué)項(xiàng)目“中國(guó)類型電影聲音創(chuàng)作與理論研究”（22BC050）。