本文刊發(fā)于《現(xiàn)代電影技術(shù)》2024年第4期

專家點(diǎn)評

數(shù)字電影沉浸式音頻技術(shù)是現(xiàn)代電影制作與放映領(lǐng)域的重大創(chuàng)新，它通過提供更為豐富和真實(shí)的聲音體驗(yàn)，顯著提升了觀眾的沉浸感和臨場感。在國際上，諸如Dolby Atmos和DTS∶X等系統(tǒng)已成為沉浸式音頻技術(shù)的代表。這些系統(tǒng)不僅規(guī)定了音頻編碼與傳輸?shù)臉?biāo)準(zhǔn)，還明確了音頻渲染和還音的具體要求，以確保沉浸式音頻在不同制作與放映環(huán)境中的一致性和互操作性。沉浸式音頻技術(shù)的核心在于運(yùn)用對象音頻和元數(shù)據(jù)來實(shí)現(xiàn)聲音在三維空間的精準(zhǔn)定位和渲染，而基于元數(shù)據(jù)的沉浸式音頻比特流實(shí)時(shí)處理是實(shí)現(xiàn)數(shù)字電影沉浸式音頻還音的關(guān)鍵。《數(shù)字電影沉浸式音頻實(shí)時(shí)處理技術(shù)研究》一文展示了國內(nèi)電影專業(yè)技術(shù)研究機(jī)構(gòu)在沉浸式音頻技術(shù)領(lǐng)域取得的顯著進(jìn)展。文章詳細(xì)闡述了數(shù)字電影沉浸式音頻實(shí)時(shí)處理技術(shù)的多個(gè)方面，涵蓋技術(shù)規(guī)范解讀、實(shí)時(shí)處理方案設(shè)計(jì)，以及相關(guān)工具的研發(fā)與實(shí)現(xiàn)。特別值得關(guān)注的是，文中提出的沉浸式音頻實(shí)時(shí)處理方案和所研發(fā)的工具緊密結(jié)合了國際規(guī)范與國內(nèi)技術(shù)現(xiàn)狀，著眼于推動國產(chǎn)沉浸式音頻技術(shù)的規(guī)范化和標(biāo)準(zhǔn)化發(fā)展，有助于中國技術(shù)與標(biāo)準(zhǔn)實(shí)現(xiàn)更廣泛的推廣與應(yīng)用。

——童雷

教授

北京電影學(xué)院副院長

作 者 簡 介

董強(qiáng)國

董強(qiáng)國（1984-），男，碩士，高級工程師，中國電影科學(xué)技術(shù)研究所（中央宣傳部電影技術(shù)質(zhì)量檢測所）檢測認(rèn)證南方中心副主任，主要研究方向：電影技術(shù)。

龔波（1969-），男，博士，正高級工程師，中國電影科學(xué)技術(shù)研究所（中央宣傳部電影技術(shù)質(zhì)量檢測所）副所長，主要研究方向：電影技術(shù)。

龔 波

摘要

本文首先對符合國際規(guī)范的數(shù)字電影沉浸式音頻還音技術(shù)進(jìn)行概述，對數(shù)字電影集成媒體模塊（IMB）與沉浸式音頻處理器之間的對接協(xié)議規(guī)范進(jìn)行解讀，提出一種沉浸式音頻實(shí)時(shí)處理方案，并對研發(fā)的一套數(shù)字電影沉浸式音頻實(shí)時(shí)處理工具的實(shí)現(xiàn)方法進(jìn)行了闡述。通過對數(shù)字電影沉浸式音頻實(shí)時(shí)處理技術(shù)的研究，期望為符合國際相關(guān)規(guī)范的國產(chǎn)沉浸式音頻技術(shù)的研發(fā)提供借鑒，旨在推動國產(chǎn)沉浸式音頻還音系統(tǒng)向標(biāo)準(zhǔn)化和規(guī)范化發(fā)展。

關(guān)鍵詞

數(shù)字電影；沉浸式音頻；實(shí)時(shí)處理技術(shù)；元數(shù)據(jù)；渲染

1引言

自有聲電影誕生以來，從1927年首部單聲道好萊塢影片《爵士歌王》到2012年首部沉浸式音頻制式影片《勇敢傳說》，電影還音制式經(jīng)歷了單聲道、模擬和數(shù)字立體聲、環(huán)繞聲（5.1、7.1等）和沉浸式音頻制式共4個(gè)階段的發(fā)展。 每次技術(shù)的變革都圍繞聲音如何在放映空間內(nèi)精準(zhǔn)定位還音展開。 傳統(tǒng)的單聲道、立體聲和環(huán)繞聲是基于聲道的概念，依靠增加聲道數(shù)量來營造聲音在影廳的空間環(huán)繞效果。 影廳為了獲得較為真實(shí)的沉浸式還音效果，需要在傳統(tǒng)聲道制式的基礎(chǔ)上增加大量的聲道。 單純通過增加聲道來獲取沉浸感效果的方式，將會給電影聲音制作和還音帶來很大挑戰(zhàn)，且需要制作端和還音端的揚(yáng)聲器聲場布局保持一致，造成放映系統(tǒng)間互操作性差，給發(fā)行機(jī)構(gòu)帶來多版本發(fā)行壓力。 數(shù)字電影沉浸式音頻采用對象+元數(shù)據(jù)的技術(shù)架構(gòu)，元數(shù)據(jù)提供聲音發(fā)聲位置的三維空間坐標(biāo)信息，通過渲染算法，將聲音對象渲染到元數(shù)據(jù)提供的三維空間坐標(biāo)所在區(qū)域內(nèi)，實(shí)現(xiàn)聲音在影廳空間內(nèi)的精準(zhǔn)定位發(fā)聲。 這種通過元數(shù)據(jù)控制聲音位置的方式，具有內(nèi)容制作便捷、揚(yáng)聲器布局較為靈活、系統(tǒng)間兼容性強(qiáng)的技術(shù)特點(diǎn)，其同時(shí)具有高效的制作方式和靈活的渲染方式，不再拘泥于揚(yáng)聲器系統(tǒng)布局。 隨著音頻處理芯片性能的提升，該項(xiàng)技術(shù)將成為未來聲音制式的主要發(fā)展方向。

由于數(shù)字電影沉浸式音頻技術(shù)能為觀眾營造更加自然和逼真的視聽體驗(yàn)，一經(jīng)推出便獲得市場的高度認(rèn)可。近幾年，隨著沉浸式音頻技術(shù)的發(fā)展，數(shù)字電影沉浸式音頻影廳已成為當(dāng)今影院的熱門配置，國內(nèi)廠家也紛紛推出各自的沉浸式音頻還音系統(tǒng)，但因國內(nèi)廠家生產(chǎn)的音頻處理器僅支持?jǐn)?shù)字電影集成媒體模塊（Integrated Media Block, IMB）AES/EBU接口的輸入，且最多支持8路AES/EBU音頻信號輸入，暫不支持基于元數(shù)據(jù)格式的沉浸式音頻比特流（IAB）接口。由于受到IMB輸出音頻信號通道數(shù)量的限制，導(dǎo)致各個(gè)廠家生產(chǎn)的沉浸式音頻處理系統(tǒng)還音各具特點(diǎn)，還音效果參差不齊，使國產(chǎn)系統(tǒng)難以在影院大范圍推廣，嚴(yán)重限制了國產(chǎn)沉浸式音頻技術(shù)的提升。

基于元數(shù)據(jù)的沉浸式音頻技術(shù)主要由影廳空間位置元數(shù)據(jù)+對象音頻文件組成，傳統(tǒng)的AES/EBU傳輸通道無法傳輸這種基于元數(shù)據(jù)+對象的音頻內(nèi)容。SMPTE ST 430?14《數(shù)字電影同步信號和輔助數(shù)據(jù)傳輸協(xié)議》和SMPTE ST 2098?2《沉浸式音頻比特流規(guī)范》的發(fā)布，為我國沉浸式音頻傳輸技術(shù)的實(shí)現(xiàn)提供了很好的技術(shù)借鑒。為解決國產(chǎn)沉浸式音頻內(nèi)容傳輸技術(shù)所面臨的難題，規(guī)范市場，助力企業(yè)的研發(fā)和生產(chǎn)，提高國產(chǎn)沉浸式音頻系統(tǒng)的國內(nèi)外市場競爭力，推動國產(chǎn)沉浸式音頻技術(shù)的發(fā)展，我國亟需開展符合國內(nèi)技術(shù)現(xiàn)狀、兼容國際標(biāo)準(zhǔn)的IMB與沉浸式音頻處理器之間的沉浸式音頻文件傳輸技術(shù)和實(shí)時(shí)處理技術(shù)的研究工作。

2數(shù)字電影安全放映和傳輸技術(shù)相關(guān)規(guī)范解讀

數(shù)字電影沉浸式音頻處理系統(tǒng)為了能夠獲取IAB，需要與IMB進(jìn)行通信，并從輔助數(shù)據(jù)軌獲取相關(guān)的IAB。SMPTE定義了數(shù)字電影輔助數(shù)據(jù)和同步信號的傳輸協(xié)議，本章節(jié)主要對如何從IMB輔助數(shù)據(jù)區(qū)提取輔助數(shù)據(jù)的相關(guān)規(guī)范進(jìn)行解讀。

2.1 輔助內(nèi)容同步協(xié)議

SMPTE ST 430?10 輔助內(nèi)容同步協(xié)議是將合成播放列表（CPL）中的輔助資源同步到播放時(shí)間線的協(xié)議標(biāo)準(zhǔn)，規(guī)定了如何將輔助資源展示列表（RPL）中的輔助資源同步到播放時(shí)間線上，主要用于數(shù)字影院服務(wù)器（DCS）和一個(gè)或多個(gè)輔助內(nèi)容服務(wù)器（ACS）之間的通信。其中，合成播放列表（CPL）定義了播放期間要呈現(xiàn)的資源，這些資源至少包括視頻和/或音頻，也可能包含字幕等。

DCS和ACS之間的主要通信方式為ACS向DCS發(fā)出連接請求后，DCS向ACS發(fā)出聲明以驗(yàn)證ACS協(xié)議的正確性，ACS正確接收到聲明后向DCS發(fā)出聲明響應(yīng)確認(rèn)信息，然后DCS向ACS發(fā)出續(xù)租請求，ACS向DCS回復(fù)續(xù)租響應(yīng)，隨后DCS向ACS發(fā)出獲取狀態(tài)請求，ACS回復(fù)確認(rèn)獲取狀態(tài)響應(yīng)，DCS向ACS發(fā)出設(shè)置RPL位置請求，ACS向DCS回復(fù)設(shè)置RPL位置響應(yīng)狀態(tài)，DCS向ACS發(fā)出獲取狀態(tài)信息請求后，ACS向DCS發(fā)出獲取狀態(tài)響應(yīng)，DCS發(fā)出終止續(xù)租請求后，ACS終止租約，DCS繼續(xù)發(fā)送續(xù)租請求。DCS和ACS之間的主要通信交互規(guī)則流程如圖1所示。

圖1　DCS和ACS間的通信交互規(guī)則

2.2 輔助資源展示列表

SMPTE ST 430?11 RPL用于指定數(shù)字電影服務(wù)器上內(nèi)容資源所在的存儲位置，以及在單個(gè)素材或由多個(gè)素材組成的播放素材所在時(shí)間線上的相對位置。在播放開始前，DCS將RPL發(fā)送給ACS，ACS從DCS獲得時(shí)間線更新，并確定應(yīng)提供哪些資源。RPL至少包含播放ID、時(shí)間線偏移、卷ID、編輯速率、卷資源ID、資源類型、語言、進(jìn)入點(diǎn)、持續(xù)時(shí)間、固有持續(xù)時(shí)間、資源文件等信息，RPL架構(gòu)如圖2所示。

圖2　RPL架構(gòu)

2.3 輔助數(shù)據(jù)傳輸協(xié)議

SMPTE ST 430?14《數(shù)字電影同步信號和輔助數(shù)據(jù)傳輸協(xié)議》定義了一個(gè)用于將輔助數(shù)據(jù)軌跡文件中的數(shù)據(jù)項(xiàng)傳輸?shù)教幚砥鞯膫鬏攨f(xié)議，數(shù)據(jù)的傳輸使用超文本傳輸協(xié)議（HTTP），圖像媒體模塊、服務(wù)器、DCS和ACS之間的通信傳輸規(guī)則如圖3所示。

圖3　同步信號和輔助數(shù)據(jù)通信規(guī)則

2.4 數(shù)字同步信號傳輸協(xié)議

SMPTE ST 430?14《數(shù)字電影同步信號和輔助數(shù)據(jù)傳輸協(xié)議》定義了用于處理器與圖像媒體模塊同步播放的同步信號協(xié)議，圖像媒體模塊播放視頻內(nèi)容時(shí)會自動生成一個(gè)二進(jìn)制同步信號，該同步信號精度可達(dá)到音視頻信號播放的幀速率級別。該同步信號應(yīng)至少包含圖像播放狀態(tài)信息（如開始、播放、暫停）、播放ID、播放幀位置、采樣頻率、播放音視頻文件的UUID、合成播放列表UUID等信息。DCS與ACS間建立通信連接后，ACS接收到來自圖像媒體模塊發(fā)出的同步信號后，同步信號存放在ACS的緩沖存儲器中，根據(jù)同步信號的狀態(tài)進(jìn)行播放，當(dāng)播放ID發(fā)生變化時(shí)，將返回到緩沖存儲器提取新的播放信息，當(dāng)ACS接收到的同步信號無效時(shí)，將返回到等待命令，ACS與DCS之間數(shù)字同步信號的通信流程如圖4所示。

圖4　數(shù)字同步信號通信流程

3數(shù)字電影沉浸式音頻實(shí)時(shí)處理技術(shù)研究方案

數(shù)字電影倡導(dǎo)組織（DCI）發(fā)布的《基于對象的數(shù)字電影沉浸式音頻附錄》規(guī)定沉浸式音頻內(nèi)容DCP打包時(shí)，應(yīng)使用IMB的數(shù)字證書制作密鑰傳送消息（KDM），完成沉浸式音頻內(nèi)容與IMB的綁定，沉浸式音頻內(nèi)容只有通過對應(yīng)的IMB才能播放。 根據(jù)數(shù)字電影放映技術(shù)要求，結(jié)合國際相關(guān)規(guī)范和國內(nèi)技術(shù)現(xiàn)狀，基于對象的數(shù)字電影沉浸式音頻還音系統(tǒng)應(yīng)由媒體播放服務(wù)器、沉浸式音頻處理器、聲頻功率放大器和揚(yáng)聲器系統(tǒng)組成。 IMB載入帶有KDM的沉浸式音頻播放素材后，首先應(yīng)進(jìn)行有效性檢驗(yàn)、解密和播放，沉浸式音頻處理器接收到來自沉浸式音頻播放服務(wù)器傳輸?shù)腎AB后進(jìn)行解碼，并將IAB文件實(shí)時(shí)渲染到相應(yīng)的沉浸式音頻通道，經(jīng)過均衡和延時(shí)調(diào)節(jié)，通過揚(yáng)聲器系統(tǒng)將沉浸式音頻還原到影廳。 基于對象的數(shù)字電影沉浸式音頻還音流程如圖5所示。 本章節(jié)主要介紹IMB與沉浸式音頻處理器之間的通信、沉浸式音頻實(shí)時(shí)解碼和渲染、沉浸式音頻實(shí)時(shí)處理硬件接口要求等。

圖5　基于對象的數(shù)字電影沉浸式音頻還音流程

3.1 IMB與沉浸式音頻處理器之間的通信

數(shù)字電影沉浸式音頻處理器應(yīng)能夠接收來自媒體播放服務(wù)器的IAB，并能夠與視頻實(shí)現(xiàn)同步播放。IMB加載數(shù)字電影沉浸式音頻文件后，將自動生成帶有播放內(nèi)容幀率、時(shí)長、播放文件存儲地址等信息的RPL，并向沉浸式音頻處理器發(fā)送帶有播放當(dāng)前幀、播放內(nèi)容時(shí)長、音頻采樣速率、圖像和沉浸式音頻信號UUID等信息的同步信號。數(shù)字電影沉浸式音頻處理器應(yīng)能夠向IMB提取播放RPL信息，獲取同步信號信息，根據(jù)RPL提供的播放文件存儲地址和同步信號信息，提取相關(guān)幀的沉浸式音頻內(nèi)容，然后進(jìn)行IAB的解碼和渲染，實(shí)現(xiàn)沉浸式音視頻同步播放。沉浸式音頻處理器與IMB之間的數(shù)據(jù)交互模式應(yīng)符合圖6所示模式。

圖6　數(shù)字沉浸式音頻實(shí)時(shí)處理系統(tǒng)數(shù)據(jù)交互模式

時(shí)鐘同步信號傳輸接口采用AES/EBU接口，IAB傳輸采用HTTP協(xié)議RJ45以太網(wǎng)接口。數(shù)字電影沉浸式音頻實(shí)時(shí)接收協(xié)議要求如表1所示。

表1　數(shù)字電影沉浸式音頻實(shí)時(shí)處理傳輸協(xié)議要求

3.2 沉浸式音頻實(shí)時(shí)解碼和渲染

數(shù)字電影沉浸式音頻處理器接收到來自IMB的音視頻同步信號和IAB后，需要對其進(jìn)行解包、解碼和渲染處理。數(shù)字電影沉浸式音頻實(shí)時(shí)解碼和渲染工具要求如表2所示。

表2　數(shù)字電影沉浸式音頻實(shí)時(shí)解碼和渲染要求

3.3 沉浸式音頻實(shí)時(shí)處理硬件接口

數(shù)字電影沉浸式音頻處理器的硬件接口應(yīng)至少具備音視頻同步信號接收接口、IAB接收接口、數(shù)模轉(zhuǎn)換接口和調(diào)試接口。數(shù)字電影沉浸式音頻處理器接口應(yīng)符合表3要求。

表3　數(shù)字電影沉浸式音頻實(shí)時(shí)處理器接口要求

4數(shù)字電影沉浸式音頻實(shí)時(shí)處理技術(shù)的實(shí)現(xiàn)

2018年至今，中國電影科學(xué)技術(shù)研究所（中央宣傳部電影技術(shù)質(zhì)量檢測所）圍繞數(shù)字電影基于對象元數(shù)據(jù)沉浸式音頻高新技術(shù)格式的國產(chǎn)化，以國際數(shù)字電影沉浸式音頻技術(shù)規(guī)范為參考，結(jié)合我國技術(shù)現(xiàn)狀，對沉浸式音頻的制作、編碼和打包、解碼和渲染算法進(jìn)行了研究，已完成沉浸式音頻混錄、編碼和打包、沉浸式音頻還音端的解碼和渲染算法的實(shí)驗(yàn)驗(yàn)證研究。為了能夠?qū)崿F(xiàn)國產(chǎn)沉浸式音頻處理器與IMB之間的IAB傳輸，推動國產(chǎn)沉浸式音頻技術(shù)產(chǎn)品化應(yīng)用，我們聯(lián)合IMB生產(chǎn)廠家開展了IAB實(shí)時(shí)接收、解碼和渲染技術(shù)的研究工作，研發(fā)了一套數(shù)字電影沉浸式音頻實(shí)時(shí)處理工具，該工具可以實(shí)時(shí)接收來自IMB的基于對象的IAB和同步信號，并可實(shí)現(xiàn)IAB的實(shí)時(shí)解碼和渲染。該項(xiàng)技術(shù)的還音流程和系統(tǒng)間的通信協(xié)議符合圖5中的相關(guān)規(guī)定。本章節(jié)主要介紹數(shù)字電影沉浸式音頻實(shí)時(shí)接收技術(shù)中系統(tǒng)間的通信、RPL提取、同步信號接收和IAB提取技術(shù)的實(shí)現(xiàn)，以及數(shù)字電影沉浸式音頻實(shí)時(shí)解碼和渲染技術(shù)中沉浸式音頻實(shí)時(shí)解碼、渲染、均衡和延時(shí)調(diào)節(jié)技術(shù)的實(shí)現(xiàn)。

4.1 數(shù)字電影沉浸式音頻實(shí)時(shí)接收技術(shù)實(shí)現(xiàn)

依據(jù)SMPTE ST 430?10、SMPTE ST 430?11和SMPTE ST 430?14相關(guān)標(biāo)準(zhǔn)規(guī)定，筆者研發(fā)了一款I(lǐng)AB實(shí)時(shí)接收模塊，可實(shí)時(shí)接收來自圖像媒體模塊發(fā)出的音視頻同步信號，可實(shí)時(shí)接收和處理IAB。該模塊具備網(wǎng)絡(luò)鏈接、實(shí)時(shí)接收和讀取RPL、使用AES/EBU聲卡設(shè)備實(shí)時(shí)接收同步信號、根據(jù)RPL和同步信號的信息提取IAB的功能。IAB實(shí)時(shí)接收模塊主界面如圖7所示。

圖7　IAB實(shí)時(shí)接收模塊

（1）系統(tǒng)間的通信實(shí)現(xiàn)

IAB實(shí)時(shí)接收模塊與IMB之間的通信規(guī)則符合圖1中的相關(guān)規(guī)定，通信協(xié)議編碼標(biāo)識如表4所示。

表4　通信協(xié)議標(biāo)識

（2）RPL提取實(shí)現(xiàn)

RPL應(yīng)符合圖2的RPL架構(gòu)相關(guān)規(guī)定，IAB實(shí)時(shí)接收模塊接收的RPL主要包含 Resource PresentationList PlayoutID、ReelResources EditRate、ReelID、TimelineOffset、ReelResource Duration、EntryPoint、 Id、IntrinsicDuration、Language、 ResourceType、ResourceFile等信息，該模塊接收到的RPL示例如圖8所示。

圖8　RPL示例

（3）同步信號接收實(shí)現(xiàn)

當(dāng)圖像媒體服務(wù)模塊加載數(shù)字電影IAB文件后，將實(shí)時(shí)向IAB接收模塊發(fā)送音視頻播放狀態(tài)的同步信號，當(dāng)該模塊接收到該同步信號后， 需要對同步信號的狀態(tài)進(jìn)行控制，同步信號接收通信規(guī)則符合圖4中的相關(guān)規(guī)定，IAB實(shí)時(shí)接收模塊接收到的同步信號信息主要包含F(xiàn)lags、Timeline Edit Unit、Playout ID、Edit Unit Duration、Sample Duration Numerator、Sample Duration Denominator、Primary Picture Output Offset、Primary Screen Output Offset、Primary Picture Track File Edit Unit、Primary Picture Track File UUID、Primary Sound Track File Edit Unit、Primary Sound Track File UUID、Composition Playlist UUID等內(nèi)容，該模塊接收到的同步信號示例如圖9所示。

圖9　同步信號示例

（4）IAB提取實(shí)現(xiàn)

IAB實(shí)時(shí)接收模塊接收到來自RPL和同步信號的IAB文件存儲地址、播放ID和播放幀信息后，將向存儲服務(wù)器發(fā)出指定的IAB提取信息，服務(wù)器收到請求后向IAB實(shí)時(shí)接收模塊發(fā)送指定的IAB。該模塊提取IAB的通信規(guī)則符合圖3中的相關(guān)規(guī)定。IAB通信標(biāo)識如表5所示。

表5　IAB通信標(biāo)識

4.2 數(shù)字電影沉浸式音頻實(shí)時(shí)解碼、渲染實(shí)現(xiàn)

數(shù)字電影沉浸式音頻實(shí)時(shí)解碼渲染模塊接收到IAB后，需對其進(jìn)行解碼和渲染處理，通過聲頻功率放大器和揚(yáng)聲器系統(tǒng)還原到影廳。針對IAB的技術(shù)特點(diǎn)，筆者研發(fā)了一款數(shù)字電影沉浸式音頻實(shí)時(shí)解碼和渲染模塊，其主界面如圖10所示，主要用于播放UUID的獲取、AES/EBU音頻接口同步信號的獲取、渲染后的音頻信號輸出、渲染質(zhì)量的調(diào)節(jié)等。

圖10　數(shù)字電影沉浸式音頻實(shí)時(shí)解碼和渲染模塊

（1）IAB解碼實(shí)現(xiàn)

數(shù)字電影沉浸式音頻實(shí)時(shí)解碼模塊支持符合SMPTE ST 2098?2相關(guān)規(guī)定的IAB解碼，其標(biāo)識如表6所示。解碼后的數(shù)字電影沉浸式音頻文件以128個(gè)音頻文件+元數(shù)據(jù)的格式存在，該工具最多支持10個(gè)聲床和118個(gè)對象+元數(shù)據(jù)的解碼。

表6　IAB標(biāo)識

（2）數(shù)字電影沉浸式音頻文件的渲染實(shí)現(xiàn)

數(shù)字電影沉浸式音頻渲染是將沉浸式音頻文件的聲床映射到相應(yīng)的聲道上，根據(jù)空間位置元數(shù)據(jù)信息將對象聲音渲染到元數(shù)據(jù)所規(guī)定的影廳位置處。該工具的渲染算法基于6階HOA+幅度矢量合成混合算法，最大可渲染輸出49個(gè)通道，支持符合SMPTE 2098?1相關(guān)規(guī)定的沉浸式音頻空間位置元數(shù)據(jù)的渲染，可根據(jù)影廳尺寸和揚(yáng)聲器布局預(yù)設(shè)揚(yáng)聲器系統(tǒng)的數(shù)量和擺放位置，生成適配的沉浸式音頻渲染算法，數(shù)字電影沉浸式音頻渲染通道設(shè)置界面如圖11所示，該工具可設(shè)置房間尺寸；可設(shè)置揚(yáng)聲器系統(tǒng)數(shù)量和擺放位置，輸入位置格式為揚(yáng)聲器系統(tǒng)在影廳內(nèi)的長（X）、寬(W)、高（Z）坐標(biāo)；可進(jìn)行揚(yáng)聲器陣列的設(shè)置、揚(yáng)聲器的音頻輸入信號路由設(shè)置等。

圖11　數(shù)字電影沉浸式音頻渲染通道設(shè)置界面

（3）均衡和延時(shí)調(diào)節(jié)

數(shù)字電影影廳的電聲響應(yīng)特性應(yīng)符合GY/T 312—2017 《電影錄音控制室、室內(nèi)影廳B環(huán)電聲響應(yīng)規(guī)范和測量》中相關(guān)規(guī)定。為使數(shù)字電影沉浸式音頻影廳能夠滿足上述要求，數(shù)字電影沉浸式音頻實(shí)時(shí)解碼和渲染工具支持對每個(gè)通道的揚(yáng)聲器系統(tǒng)進(jìn)行增益、延時(shí)和均衡調(diào)節(jié)，支持對單個(gè)聲床和對象通道進(jìn)行B環(huán)電聲響應(yīng)調(diào)試；調(diào)試數(shù)據(jù)可實(shí)時(shí)保存和調(diào)用，數(shù)字電影沉浸式音頻實(shí)時(shí)解碼和渲染工具B環(huán)電聲響應(yīng)調(diào)試界面如圖12所示，該界面支持單個(gè)聲床和對象通道的B環(huán)電聲響應(yīng)調(diào)試，支持31段均衡和延時(shí)調(diào)節(jié)。

圖12　B環(huán)電聲響應(yīng)調(diào)試界面

5 總結(jié)

基于對象的數(shù)字電影沉浸式音頻技術(shù)采用對象+空間位置元數(shù)據(jù)的理念，通過空間聲渲染算法，將對象聲音按照元數(shù)據(jù)空間位置信息精準(zhǔn)靈活地渲染到元數(shù)據(jù)所規(guī)定的影廳位置處，其全新的制作和還音理念逐步被國際社會所認(rèn)可，已成為當(dāng)今世界主流的數(shù)字電影沉浸式音頻制作和還音方式。基于對象+元數(shù)據(jù)和聲床的沉浸式制作和安全還音方式，將是未來沉浸式音頻發(fā)展的主要趨勢。

本文通過對數(shù)字電影安全放映和內(nèi)容傳輸技術(shù)規(guī)范的解讀，提出一種兼顧國際安全放映規(guī)范的數(shù)字電影沉浸式音頻還音方案，聯(lián)合IMB廠家搭建了國產(chǎn)沉浸式音頻實(shí)時(shí)處理技術(shù)實(shí)驗(yàn)環(huán)境，研發(fā)了一套數(shù)字電影沉浸式音頻實(shí)時(shí)處理工具，該工具可與IMB建立通信，實(shí)時(shí)獲取音視頻同步信號和IAB，實(shí)時(shí)對IAB進(jìn)行解碼和渲染，并能夠?qū)β暣埠蛯ο笸ǖ肋M(jìn)行均衡和延時(shí)調(diào)節(jié)。

該項(xiàng)技術(shù)符合當(dāng)前數(shù)字電影內(nèi)容安全還音機(jī)制，為國產(chǎn)沉浸式音頻技術(shù)盡快得到應(yīng)用、推廣、演示、落地和標(biāo)準(zhǔn)化提供了技術(shù)支撐，為國產(chǎn)沉浸式音頻技術(shù)的研發(fā)提供借鑒，旨在推動國產(chǎn)數(shù)字電影沉浸式音頻技術(shù)向標(biāo)準(zhǔn)化和規(guī)范化發(fā)展，最終實(shí)現(xiàn)沉浸式音頻制版的相對統(tǒng)一、系統(tǒng)間互操作以及與國際技術(shù)標(biāo)準(zhǔn)兼容，為中國電影沉浸式音頻技術(shù)和行業(yè)標(biāo)準(zhǔn)的國際技術(shù)市場推廣打下夯實(shí)基礎(chǔ)。

參考文獻(xiàn)

（向下滑動閱讀）

[1] Methods for the subjective assessment of small impairments in audio systems：ITU?R BS.1116?3?2015 [S]， 2015.

[2] Method for the subjective assessment of intermediate quality level of audio systems：ITU?R BS.1534?2 [S]，2014.

[3] Immersive Audio Metadata: SMPTE ST 2098?1∶2018 [S]， 2018.

[4] Immersive Audio Bitstream Specification：SMPTE 2098?2:2018 [S], 2018.

[5] D?Cinema Packaging ? Immersive Audio Track File：SMPTE 429?18:2019 [S], 2019.

[6] D?Cinema Immersive Audio Channels and Soundfield Groups：SMPTE ST 2098?5:2018 [S], 2018.

[7] Immersive Audio Bitstream Level 0 Plug?in: SMPTE ST 2067?201：2019 [S], 2019.

[8] Immersive Audio Bitstream and PackagingConstraints: IAB Application Profile 1：SMPTE RDD 57[S], 2021.

[9] D?Cinema OperationsAuxiliary ? Content Synchronization Protocol: SMPTE ST 430?10:2010 [S], 2010.

[10] D?Cinema Operations ? Digital Sync Signal and Aux Data Transfer Protocol : SMPTE ST 430?14:2015 [S], 2015.

[11] D?Cinema Operations ? Auxiliary Resource Presentation List:SMPTE ST 430?11:2010 [S], 2010.

[12] Digital Cinema Initiatives, LLC (DCI).Digital Cinema Object?Based Audio Addendum [Z]. 2018.

[13] Digital Cinema Initiatives, LLC (DCI).Digital Cinema System Specification (V1.4.3)[Z]. 2023.

[14] 國家新聞出版廣電總局.音頻系統(tǒng)小損傷主觀評價(jià)方法：GY/T 298—2016[S/OL].(2020?04?28).http://www.nrta.gov.cn/art/2020/4/28/art_3715_50883.html.

[15] 國家廣播電視總局.三維聲編解碼及渲染：GY/T 363—2023[S/OL].[2024?03?26].http://big5.www.gov.cn/gate/big5/www.gov.cn/zhengce/zhengceku/2023?02/06/5740320/files/b7ddc38fb405489c802367c400a3006b.pdf.

[16] 國家新聞出版廣電總局. 電影錄音控制室、室內(nèi)影廳B環(huán)電聲響應(yīng)規(guī)范和測量：GY/T 312—2017 [S]. 北京：中國電影科學(xué)技術(shù)研究所，2017.

[17] 國家電影局. 數(shù)字電影放映用還音設(shè)備技術(shù)要求和測量方法：DY/T 6-2021 [S]. 北京：中國電影科學(xué)技術(shù)研究所，2017.

[18] 趙茜,孟子厚. 環(huán)屏揚(yáng)聲器陣列的聲場不均勻度分析[C]//中國聲學(xué)學(xué)會.2019年全國聲學(xué)大會論文集,2019:2.

[19] 劉鵬超,高楠,孟子厚.基于聲景重構(gòu)方法的多聲道渲染[J].音樂與聲音研究,2022(02):136?154.

[20] 張瑩,沈希辰.從Ambisonics到雙耳聽覺——VR電影聲音制作方案研究[J].復(fù)旦學(xué)報(bào)(自然科學(xué)版),2017,56(02):215?221.DOI:10.15943/j.cnki.fdxb?jns.2017.02.011.

主管單位：國家電影局

主辦單位：電影技術(shù)質(zhì)量檢測所

標(biāo)準(zhǔn)國際刊號：ISSN 1673-3215

國內(nèi)統(tǒng)一刊號：CN 11-5336/TB

投稿系統(tǒng)：ampt.crifst.ac.cn

官方網(wǎng)站：www.crifst.ac.cn

期刊發(fā)行：010-63245081