本文刊發于《現代電影技術》2024年第10期

專家點評

以杜比全景聲和我國自主研發的Audio Vivid為代表的基于對象的沉浸式音頻技術，實現了聲音元素在三維空間的精準定位和移動，不僅為觀眾提供了身臨其境的聽覺體驗，同時也豐富了影視創作手段，讓聲音不再僅僅是畫面的輔助，而是成為敘事和視覺效果的重要組成部分，在影視行業得到了廣泛認同和普及應用。隨著虛擬現實、增強現實與影視技術的結合以及應用場景拓展，沉浸式音頻技術一方面將采用更高采樣率和比特深度等，通過還原更為豐富細膩的音頻細節，提供更高品質的聽覺體驗；另一方面將通過與頭部追蹤、位置感知、空間音頻等技術的深度融合，進一步增強觀眾的代入感和氛圍感。《數字電影沉浸式音頻渲染技術和評價方法研究》在回顧現有沉浸式音頻處理技術路線的基礎上，詳細闡述了下一代數字電影沉浸式音頻處理技術的整體架構以及關鍵環節，并提出了一種數字電影沉浸式音頻渲染效果的主觀評價方法，通過對聲床、靜態對象和動態對象的主觀評價，為解決沉浸式音頻渲染算法各異，導致實際還音效果參差不齊的技術卡點，提供了極具參考價值的方法。

——劉知一

高級工程師

中國電影科學技術研究所

（中央宣傳部電影技術質量檢測所）影像制作技術研究處副處長

作 者 簡 介

摘要

本文對數字電影沉浸式音頻技術進行了概述，針對數字電影沉浸式音頻技術特點，提出一種國產數字電影沉浸式音頻技術架構，并針對沉浸式音頻渲染技術的特點，制定了一種數字電影沉浸式音頻渲染技術主觀評價方法，以期能給沉浸式音頻處理系統生產和研發企業提供一種有效的評價手段，為觀眾提供較為一致的沉浸聲觀影體驗，從而推動行業技術創新。

關鍵詞

數字電影；沉浸式音頻；主觀評價；元數據；渲染

1引言

近百年，電影聲音的重放技術經歷了單聲道、立體聲、環繞聲和沉浸聲4個發展階段。首部上映的單聲道電影是1927年好萊塢劇情片《爵士歌王》，1992年《蝙蝠俠歸來》首次引入5.1環繞聲，2010年迪士尼推出第一部7.1環繞聲影片《玩具總動員3》，2012年影片《勇敢傳說》的問世第一次提出沉浸式音頻概念。上述聲音變革均是圍繞聲音如何在空間里精準定位展開的，而沉浸式音頻技術這種靈活的定位方式，將是未來很長一段時期的發展方向。

2012年杜比推出了杜比全景聲，為觀眾創造出更自然逼真的聲場，這是傳統5.1與7.1聲道系統難以企及的，為電影產業帶來了巨大的聲音技術變革。隨后，國內音頻技術企業也紛紛推出自有沉浸聲還音系統，如中國多維聲（13.1聲道）、WANOS全景聲系統、音王22.5.8系統、飛達六面聲和雷歐尼斯HOLOSOUND等。隨著沉浸式音頻技術的發展，沉浸聲系統已成為當今我國影院的熱門配置。

數字電影沉浸式音頻采用“對象+元數據”的架構，需通過渲染算法才能將移動對象還原至影廳。目前國內各生產廠家均采用自有渲染算法，因缺少有效且通用的評價手段，導致相關產品還音效果參差不齊，嚴重影響了沉浸式音頻內容的視聽體驗，且國產品牌知名度小，難以在影院大范圍推廣，嚴重阻礙了我國沉浸聲技術的發展。

為確保數字電影沉浸式音頻系統能夠完美呈現導演的創作意圖，為觀眾提供較為一致的沉浸式視聽體驗，進一步推動市場規范化，為企業提供研發和生產幫助，也為提高國產設備的市場競爭力提供技術支撐，亟需針對沉浸式音頻處理技術進行研究，制定相關評價方法。

2沉浸式音頻處理技術

2.1 基于聲道的沉浸式音頻處理技術

基于聲道的沉浸式音頻技術是在傳統 7.1 環繞聲基礎上增加頂部聲道，以此補充空間中的聲音信息。沉浸式音頻效果在混錄端會渲染成基于通道的文件格式，在還原端則無需特殊的解碼和渲染設備，但由于還音系統揚聲器布局需與混錄環節揚聲器布局保持一致，造成互操作性差和多版本發行的壓力。該項技術的實現流程如圖1所示。

圖1　基于聲道的沉浸式音頻制作和還音流程

2.2 基于對象的沉浸式音頻處理技術

基于對象的沉浸式音頻的核心組成部分為元數據（Metadata），主要通過三維坐標系來描述物體在空間內的特征。對象音頻的渲染通過獲取影廳的三維空間坐標信息并驅動揚聲器系統，為觀眾營造出與坐標信息一致的虛擬聲場位置。基于對象的沉浸式音頻采用“元數據+對象”架構，從而實現對象聲音在任意空間內的定位和還原，其元數據位置信息采用笛卡爾坐標系，主流渲染算法是幅度矢量合成（VBAP），揚聲器布局較為靈活，互操作性強。由于該項技術會產生大量數據和計算量，除聲道音頻外，還有聲源元數據，如聲源位置、大小、速度、形狀等屬性，因此需要搭配特殊渲染工具，且對渲染算法的精度和音頻處理器的處理性能都有較高要求。該技術的實現流程如圖2所示。

圖2　基于對象的沉浸式音頻制作和還音流程

2.3 基于場景的沉浸式音頻處理技術

基于場景的沉浸式音頻是將所有內容渲染到同一全景聲虛擬球體上，可被映射至任意的揚聲器布局中。其技術特點是聲源貼在提前渲染好的全景聲虛擬球體上，元數據空間位置格式采用極坐標形式，運用高階立體音頻（Higher Order Ambisonic, HOA）〔以下簡稱“高階（HOA）”〕渲染算法，揚聲器布局靈活，設備互操作性強，可將基于聲道和基于對象的內容轉化為高階（HOA）內容。和基于對象的沉浸式音頻技術一樣，該項技術會產生大量數據和計算量，除聲道音頻外，還有聲源元數據，造成對渲染算法的精度和音頻處理器的處理性能都有較高要求。該技術的實現流程如圖3所示。

圖3　基于場景的沉浸式音頻制作和還音流程

2.4 下一代數字電影沉浸式音頻處理技術

將一部完整的沉浸聲影片呈現給觀眾至少需經過制作、發行和放映三個環節。首先將所提供的聲音素材混錄制作成沉浸式音頻素材；之后將其編碼為符合相關碼流規范的沉浸式音頻母版文件，依據SMPTE ST 429-18:2019《數字電影打包?沉浸式音頻軌道文件》進行封裝，形成沉浸式音頻發行版；最后使用沉浸式音頻播放服務器播放沉浸式音頻文件，沉浸式音頻處理器接收來自沉浸式音頻播放服務器傳輸的碼流信息進行解碼，將沉浸式音頻文件渲染到相應通道，經過均衡和延時調節，通過揚聲器系統將沉浸式音頻還原到影廳。

因此沉浸式音頻技術應具備制作端操作便捷、沉浸式音頻版本相對統一、還音端兼容性強、揚聲器布局較為靈活、系統間互操作性強等技術特點。基于對象、元數據和聲床的沉浸式音頻技術可提供便捷高效的制作方式，幅度矢量合成（VBAP）、高階（HOA）渲染還音方式不再受限于揚聲器系統的布局，為數字電影沉浸式音頻技術的發展提供了有力技術支持。隨著音頻處理芯片性能的提升，基于對象、元數據和聲床等制作便捷高效且還音布局靈活的音頻處理技術，將是未來我國數字電影沉浸式音頻技術發展的主要方向。該項技術的實現流程如圖4所示。

圖4　下一代數字電影沉浸式音頻制作和還音流程

3下一代數字電影沉浸式音頻處理技術架構

數字電影沉浸式音頻由元數據、聲床和對象音頻組成。其中，元數據為對象音頻提供空間還原的位置、增益等信息，通過渲染工具進行沉浸式音頻的空間還原；聲床是聲音的基礎通道，伴隨整個制作過程，不需要元數據的支持；對象音頻是根據元數據特性進行還音的音頻數據。

3.1 數字電影沉浸式音頻對象元數據

數字電影沉浸式音頻對象元數據用于規定聲音對象在三維空間中的響度、位置、大小、距離、運動等信息。數字電影沉浸式音頻對象元數據使用笛卡爾坐標系表示音頻對象的位置，該坐標系使用三個正交軸（x, y, z）來定位空間中相對于原點的一個點。其中，x軸代表影廳橫向/左右位置，y軸代表影廳縱向/前后位置，z軸代表影廳高度/上下位置，如圖5所示。

圖5　笛卡爾坐標系

采用高階（HOA）渲染算法時，因其采用極坐標系形式（圖6），在進行數字電影沉浸式音頻內容渲染時，需要將極坐標系轉化為笛卡爾坐標系，轉化公式如式（1）—（3）所示：

其中，r代表矢經，θ代表緯度，φ代表經度。

圖6　極坐標系

3.2 元數據空間位置映射

數字電影音頻對象位置相對于影廳參考點的笛卡爾坐標值需進行歸一化處理，（x, y, z）坐標值范圍為（0,0,0）至（1,1,1）。相對于影廳回放環境位置，原點位置對應影廳的左前角，x=0對應影廳左墻位置，x=1對應影廳右墻位置，y=0對應影廳前墻位置，y=1對應影廳后墻位置，z=0對應主聲道和環繞聲道揚聲器系統聲中心所在位置，z=1對應影廳天花板位置。音頻對象位置映射到影廳回放環境的位置關系實例：（0,0,0）代表影廳的左前角，高度為左聲道揚聲器系統聲中心位置；（1,0,0）代表影廳的右前角，高度為右聲道揚聲器系統中心位置；（0.5,0.5,1）代表影廳天花板中心位置。

數字電影沉浸式音頻文件在Audio Vivid系統中進行還音時，需要將Audio Vivid對象位置元數據轉換為影院對象元數據，轉換公式如式（4）—（6）所示：

其中，xvivid代表Audio Vivid坐標系下的對象x坐標，xth代表影院音頻對象的x坐標，yvivid代表Audio Vivid坐標系下的對象y坐標，yth代表影院音頻對象的y坐標，zvivid代表Audio Vivid坐標系下的對象z坐標，zth 代表影院音頻對象的z坐標。

3.3 數字電影沉浸式音頻聲床

數字電影沉浸式音頻聲床是數字電影沉浸式音頻的基礎單元，是伴隨數字電影整個還音過程的聲場組。數字電影沉浸式音頻聲床組一般分7.1DS和9.1OH基礎聲床，其中7.1DS基礎聲床順序為L、R、C、LFE、Lss、Rss、Lrs、Rrs，9.1OH基礎聲床順序為L、R、C、LFE、Lss、Rss、Lrs、Rrs、Lts、Rts。

3.4 數字電影沉浸式音頻對象

數字電影沉浸式音頻對象是用元數據來指導聲音對象發聲響度、位置、大小、距離、運動等屬性的音頻軌道，其分為靜態對象和動態對象，其中靜態對象指數字電影對象聲音場景中元數據空間位置信息不隨時間變化而變化的聲音元素；動態對象指數字電影對象聲音場景中元數據空間位置信息隨時間變化而變化的聲音元素。

3.5 數字電影沉浸式音頻還音

數字電影沉浸式音頻還音首先對沉浸式音頻文件進行解碼，生成元數據、聲床和對象音頻文件，沉浸式音頻渲染系統接收到相關信息后，首先根據聲床的通道信息將其映射到相應還音通道以實現聲床音頻文件的還音，之后根據元數據空間位置等信息將對象音頻渲染到對應影廳的空間區域中，實現對象音頻在影廳內的精準發聲。數字電影沉浸式音頻聲場控制渲染算法是沉浸式音頻還音的核心技術，其決定沉浸式音頻對象空間還原效果的好壞，直接影響觀眾的觀影體驗。

目前主流的沉浸式音頻聲場控制渲染算法有幅度矢量合成（VBAP）和高階（HOA）渲染算法。幅度矢量合成（VBAP）是基于三維空間中的正弦法則，其利用空間中3個相鄰揚聲器形成三維聲音矢量，不會影響低頻的雙耳時間差（ITD）或高頻的頻譜線索，從而實現三維空間中的虛擬聲像定位。由于算法簡單，幅度矢量合成（VBAP）是目前最常用的沉浸式音頻處理技術。高階（HOA）則利用球諧函數將所有的內容渲染到一個全景聲虛擬球體上，記錄聲場并驅動揚聲器，具有嚴格的揚聲器排布要求，能在揚聲器中心位置高質量重建原始聲場，在渲染移動對象時，可營造出更流暢、更平滑的虛擬聲像聽感。

4數字電影沉浸式音頻渲染效果評價方法

由于數字電影沉浸式音頻采用“對象+元數據”架構，需通過渲染算法將靜態和動態對象還原到影廳，目前各生產廠家均采用自有的渲染算法，缺少有效的評價手段，導致還音效果參差不齊，嚴重影響沉浸式音頻內容的視聽體驗。沉浸式音頻渲染采用虛擬聲像概念，靠驅動鄰近的揚聲器系統旨在營造出既定空間位置的效果。由于虛擬聲像技術營造一種主觀感受，目前無法用客觀指標進行評價，本章節針對數字電影沉浸式音頻渲染技術的特點，提出了一種能夠評價聲床、靜態對象和動態對象還音效果的主觀評價方法。

4.1 聲床評價

數字電影沉浸式音頻聲床通過固定基礎還音通道還原至影廳，伴隨數字電影還音的整個過程，聲床評價應重點考察聲音原始素材經過編碼、解碼帶來的音質損傷程度。

聲床評價采用帶隱藏參考和隱藏錨點的“單/雙盲多刺激”方法，A代表參考源，隱藏參考、隱藏中等錨點、隱藏低等錨點和被測對象需隨機分配給B、C、D、E，聽音員分別評價B、C、D、E相對于A的音質損傷程度。聲床評價隱藏參考為音頻源，中等錨點為參考源經過截止頻率為7 kHz的低通濾波處理，低等錨點為參考源經過截止頻率為3.5 kHz的低通濾波處理。

4.2 靜態對象評價

數字電影沉浸式音頻靜態對象的聲場還原利用元數據空間位置、增益等信息，通過空間聲場渲染算法將靜態對象內容渲染到元數據指定的影廳空間位置，該元數據空間位置信息不隨時間變化而變化。因此，在對靜態對象進行評價時，應重點考察靜態對象位置、增益、尺寸的還原與元數據描述信息的一致性，評價指標如表1所示。

表1　靜態對象評價指標

靜態對象評價時需要為評價人員提供被測對象的參考源，因目前暫無公認的可作為標準參考的渲染系統，本文提出一種以參考源描述信息作為參考源的方法，該方法采用的靜態對象評價素材由參考源描述和被測對象組成，A代表靜態對象參考源描述，B代表被測對象，評價人員評價B相對于A的重合程度。參考源空間位置信息使用元數據空間位置映射歸一化三維坐標系表示，評價點的靜態位置選擇應覆蓋影廳主要區域，靜態評價對象參考信息描述如表2所示。

表2　靜態評價對象參考源描述

4.3 動態對象評價

數字電影沉浸式音頻動態對象的聲場還原是利用元數據空間位置、增益等信息，通過空間聲場渲染算法將動態對象內容渲染到元數據指定的影廳空間處，該元數據空間位置信息隨時間變化而變化。因此，在對動態對象進行評價時，應重點考察動態對象空間運動、運動過程中的物體大小和遠近變化特性與元數據描述信息的一致性，評價指標的遴選如表3所示。

表3　動態對象評價指標

表4　動態評價對象參考源描述

5數字電影沉浸式音頻渲染效果評價尺度

評價人員對相關指標進行評價時采用百分制，綜合評價得分值為項目評價得分值的算術平均值，單項和綜合評價等級分為“優”“良”“中”“差”“劣”五級，評分值與評價等級對應關系如表5所示。

表5　評分值與評價等級對應表

5.1 聲床評價尺度

聲床評價主要考察音頻文件經過編碼、解碼后的音質損傷程度，評價標度如表6所示。

表6　聲床音質評價標度

5.2 靜態對象評價尺度

評價靜態對象時應綜合考慮被評價對象位置、增益、尺寸變化與參考源描述信息的一致性，靜態對象位置、增益、尺寸變化與參考源描述信息的重合度，靜態對象位置、增益、大小重合度評價標度如表7所示。

表7　靜態對象位置、增益、大小重合度評價標度

5.3 動態對象評價尺度

動態對象評價應綜合考慮被評價對象位置的變化、位置變化時增益和距離的變化與參考源描述信息的重合度，評價尺度如表8所示。

表8　動態對象位置變化、增益和距離變化重合度評價標度

6總結

SMPTE 2098系列沉浸式音頻元數據和編解碼規范的發布，為實現沉浸式音頻技術制版相對統一和系統間互操作提供了較好的技術借鑒。這種基于“元數據+聲床+對象”的沉浸式音頻制作和渲染理念，顛覆了傳統的數字電影聲音制作和還音方式，其以便捷高效的制作和靈活的還音布局受到關注，將是未來我國數字電影沉浸式音頻技術發展的主要方向。

基于對象的沉浸式音頻技術在我國處于發展初期，各生產廠家使用的沉浸式音頻渲染算法各異，導致還音效果差異較大，面對上述問題，本文提出了一種能夠反映沉浸式音頻渲染效果的主觀評價方法，規定了聲床、靜態對象和動態對象的評價指標、參考源和評級尺度。該方法可用于沉浸式音頻研發企業提供產品研發、調試和評價，為推動我國數字電影沉浸式音頻技術的發展，確保每個影廳的還音效果較為一致，規范沉浸式音頻技術市場提供技術保障。

參考文獻

（向下滑動閱讀）

[1] Methods for the subjective assessment of small impairments in audio systems：ITU-R BS.1116-3-2015 [S]，2015.

[2] Method for the subjective assessment of intermediate quality level of audio systems：ITU-R BS.1534-2 [S]，2014.

[3] Immersive Audio Metadata: SMPTE ST 2098-1∶2018 [S]，2018.

[4] Immersive Audio Bitstream Specification：SMPTE 2098-2:2018 [S] ,2018.

[5] D?Cinema Immersive Audio Channels and Soundfield Groups：SMPTE ST 2098-5:2018 [S] ,2018.

[6] Immersive Audio Bitstream Level 0 Plug?in: SMPTE ST 2067-201：2019 [S] ,2019.

[7] Immersive Audio Bitstream and PackagingConstraints: IAB Application Profile 1：SMPTE ST 2098-2[S], 2021.

[8] 音頻系統小損傷主觀評價方法：GY/T 298—2016 [S],2016.

[9] 三維聲編解碼及渲染：GY/T 298—2016 [S],2016.

[11] 董強國.專業影院用沉浸式音頻技術分析和實現方案探索[J].現代電影技術，2020(1):10?14.

[12] 國家新聞出版廣電總局. 電影 錄音控制室、室內影廳B環電聲響應規范和測量：GY/T 312—2017 [S]. 北京：中國電影科學技術研究所，2017.

[13] 董強國.數字電影沉浸式還音效果評價方法探討[J].現代電影技術，2020(5):4?8.

[14] 中華人民共和國文化和旅游部.演出用專業音響設備音質主觀評價方法: WH∕T 82—2019 [S].北京：全國劇場標準化技術委員會，2019.

[15] 吳志偉.三維聲技術在電視節目制作中的應用研究[J].電聲技術, 2023(6):87?89.

[16] 叢亦玄.論沉浸式聲音技術在電影聲音創作與制作中的應用與影響[D].上海音樂學院，2023.

[17] 侯佳俊.論沉浸式聲音技術在現代音頻產業鏈中的應用[D].上海音樂學院，2023.

[18] 常磊.沉浸式聲音技術對當代及未來音樂發展的影響[J].電聲技術, 2021(12)：18?23.

[19] 莊元.余音繞梁 如聞天籟——3D環繞聲技術發展述評[J].演藝科技, 2015(3)：7.

[20] 黃一倫.沉浸式視聽技術在聲景研究實踐中的應用[J].復旦學報(自然科學版),2024(3)：329?335.

【本文項目信息】中國電影科學技術研究所（中央宣傳部電影技術質量檢測所）基本科研業務費項目“數字電影沉浸式音頻處理器樣機試制研究”（2024?DKS?10）。

主管單位：國家電影局

主辦單位：電影技術質量檢測所

標準國際刊號：ISSN 1673-3215

國內統一刊號：CN 11-5336/TB

投稿系統：ampt.crifst.ac.cn

官方網站：www.crifst.ac.cn

期刊發行：010-63245081