OmniAudio團隊 投稿
量子位 | 公眾號 QbitAI

空間音頻，作為一種能夠模擬真實聽覺環(huán)境的技術(shù)，正逐漸成為提升沉浸式體驗的關(guān)鍵。

然而，現(xiàn)有的技術(shù)大多基于固定的視角視頻，缺乏對360°全景視頻中空間信息的充分利用。

在這樣的背景下，一項在空間音頻生成領(lǐng)域具有里程碑意義的研究應(yīng)運而生——OmniAudio：它能夠直接從360°視頻生成空間音頻，為虛擬現(xiàn)實和沉浸式娛樂帶來了全新的可能性。

相關(guān)代碼和數(shù)據(jù)集已開源：

https://github.com/liuhuadai/OmniAudio

為何需要從360°視頻生成空間音頻？

傳統(tǒng)的視頻到音頻生成技術(shù)主要關(guān)注于生成非空間音頻，比如手機外放或者耳機里的聲音，這些音頻缺乏方向信息，無法滿足沉浸式體驗對3D聲音定位的需求。

所以看VR電影或者玩動作游戲的時候，總會覺得少了些代入感。

隨著360°攝像頭的普及和虛擬現(xiàn)實技術(shù)的發(fā)展，如何利用全景視頻生成與之匹配的空間音頻，就成為了一個亟待解決的問題。

為應(yīng)對這些挑戰(zhàn)，OmniAudio的研究團隊提出了360V2SA（360-degree Video to Spatial Audio）任務(wù)，旨在直接從360°視頻生成FOA（First-order Ambisonics）音頻。

FOA是一種標(biāo)準(zhǔn)的3D空間音頻格式，使用四個通道來表示聲音，包含聲音的方向信息，可實現(xiàn)真實的3D音頻再現(xiàn)。

與傳統(tǒng)的立體聲相比，F(xiàn)OA音頻在頭部旋轉(zhuǎn)時也能夠保持聲音定位的準(zhǔn)確性。

Sphere360：第一個大規(guī)模360V2SA數(shù)據(jù)集

數(shù)據(jù)是機器學(xué)習(xí)模型的基石，然而，現(xiàn)有的配對360°視頻和空間音頻數(shù)據(jù)極為稀缺。

為此，OmniAudio團隊設(shè)計了一個高效的半自動化pipeline，用于構(gòu)建Sphere360數(shù)據(jù)集：

首先，通過關(guān)鍵字在YouTube上爬取包含F(xiàn)OA音頻和360°視頻的候選素材，應(yīng)用技術(shù)過濾器剔除不符合條件的視頻，并采用頻道為單位進行聚合式爬取。

然后，人工審核補充剩余視頻。

在清洗環(huán)節(jié)，針對視頻靜態(tài)、音頻靜音、過多語音內(nèi)容以及視音頻不匹配等問題設(shè)計了具體檢測算法，確保高質(zhì)量對齊。

Sphere360數(shù)據(jù)集是一個包含超過103,000個真實世界視頻片段的數(shù)據(jù)寶庫，涵蓋288種音頻事件，總時長達(dá)到288小時。收集到的視頻既包含 360° 視覺內(nèi)容，又支持FOA音頻，并具有高質(zhì)量和高可用性。

與其他現(xiàn)有數(shù)據(jù)集相比，Sphere360在規(guī)模和適用性上均存在顯著優(yōu)勢。

OmniAudio：創(chuàng)新技術(shù)實現(xiàn)空間音頻生成

OmniAudio的訓(xùn)練方法可分為兩個階段：自監(jiān)督的coarse-to-fine流匹配預(yù)訓(xùn)練，以及基于雙分支視頻表示的有監(jiān)督微調(diào)。

簡單地說，在預(yù)訓(xùn)練階段，先用普通立體聲音頻轉(zhuǎn)換為“偽FOA”格式訓(xùn)練模型，同時通過自監(jiān)督的掩碼預(yù)測方法，讓模型學(xué)會音頻的基本結(jié)構(gòu)和時間規(guī)律；再使用真實FOA精細(xì)訓(xùn)練，提高掩碼概率，讓模型能夠更好地理解聲音的空間信息。

相比起直接訓(xùn)練，這種“先普通音頻，再空間音頻”的兩步法顯著改善了模型對空間特征的泛化能力與生成質(zhì)量。

在完成自預(yù)訓(xùn)練后，OmniAudio團隊將模型與雙分支視頻編碼器結(jié)合，同時提取視頻的全局特征和局部視角，進行有監(jiān)督微調(diào)，以達(dá)成模型可根據(jù)360° 視頻生成高保真、方向準(zhǔn)確的空間音頻的效果。

詳細(xì)方法可見文末項目鏈接。

成果與展望

OmniAudio團隊在Sphere360-Bench，以及來自YT-360的外部分布測試集YT360-Test上進行有監(jiān)督微調(diào)與評估。

主要結(jié)果顯示，OmniAudio在兩套測試集上均顯著優(yōu)于所有基線。

但OmniAudio也有一定的局限性：例如，面對包含大量發(fā)聲物體的復(fù)雜場景時，模型在事件類型識別上仍存在挑戰(zhàn)。

OmniAudio的研究團隊表示，未來的工作將探索更好地理解多目標(biāo)360° 視頻的技術(shù)，并通過持續(xù)收集和擴充數(shù)據(jù)集，進一步推進該領(lǐng)域的發(fā)展。

項目主頁: https://omniaudio-360v2sa.github.io/

開源倉庫：https://github.com/liuhuadai/OmniAudio