文/VR陀螺 豌豆
蘋果在WWDC25的一場開發者會議上悄然推出了一種新的空間音頻(Spatial Audio)格式:Apple Spatial Audio Format(以下簡稱ASAF),蘋果表示這將帶來“真正沉浸式的音頻體驗”。
ASAF是什么?它與杜比全景聲 (Dolby Atmos) 或三星和谷歌的Eclipsa Audio等競爭對手的空間音頻格式有何不同?更重要的是,它對像創作者、工程師和聽眾意味著什么——尤其是那些已經通過蘋果現有空間音頻產品(例如AirPods Pro 2等)享受到樂趣和沉浸感的人。
雖然立體聲音頻仍然可用,但現在更蘋果建議創作者使用Apple Positional Codec(以下簡稱APAC)進行編碼,為此有必要了解空間音頻本身,以及ASAF如何融入蘋果的戰略。
空間音頻賽道的格式之爭
空間音頻是一種在三維空間中傳遞聲音的方式,并非將音頻置于固定的左右立體聲場中,而是允許聲音在聽眾的上方、后方、下方或四周環繞。它能讓用戶在聽音樂、看電影或玩游戲時,仿佛置身于一個由聲音包圍的環境中。
雖然杜比全景聲已成為家庭影院和流媒體內容空間音頻的一大標準,但它并非唯一的選擇。杜比全景聲的工作原理是,對可在3D空間中動態定位的音頻對象進行編碼,然后根據聽眾的揚聲器配置或耳機設置進行實時渲染,主要依賴于預定聲音位置的概念。
相比之下,蘋果推出新音頻格式的這一舉措既更像是對杜比全景聲的拓展:杜比全景聲可以通過蘋果的新音頻格式進行傳輸,該格式能夠在此基礎上添加一些額外的空間音頻效果。蘋果要求所有針對Vision Pro的新沉浸式視頻內容必須采用APAC格式。創作者仍然能夠使用杜比全景聲,但他們需要將其封裝在蘋果定義的這一新格式中。
蘋果推出了新的空間音頻格式,不由得讓人聯想起今年1月的CES大會上,三星和谷歌發布的Eclipsa Audio格式。
2023年,由三星、谷歌、Netflix、Meta及其他頂尖企業組成的開放媒體聯盟(AOM)正式采用空間音頻模型和格式(IAMF),確立其為3D音頻的產業標準。Eclipsa Audio將在今年為某些YouTube視頻上提供3D音頻體驗,同時三星2025系列電視與條形音箱也將支持該標準。
多年來,三星一直不支持動態HDR元數據的Dolby Vision(杜比視界),而是選擇推廣其首選的替代方案HDR10 Plus。至此,三星和谷歌對開源3D音頻進行類似HDR10+的競爭性或替代性推動,將使免費的Eclipsa Audio成為杜比全景聲的競爭對手。
這對社交媒體來說,尤其是YouTube這樣的視頻平臺,能夠以一種較低成本的方式為用戶提供沉浸音頻體驗,能為創作者的內容分發帶來一定的支持。
蘋果的頭部追蹤空間音頻技術會監測到用戶的頭部運動,并相應地調整聲場。如果用戶將頭向左轉,音頻就會“錨定”在屏幕上,讓人感覺聲音來自一個固定的方向。
ASAF的出現是否會引發另一場音頻格式大戰?
杜比的收入模式依賴于授權,Eclipsa Audio以開源的方式走向視頻流媒體,目前平臺間的戰火還未被點燃。但蘋果的目的很可能是想早一步布局,推動蘋果生態系統中的差異化,尤其是Vision Pro。由此來看,ASAF更像是有著專業性、高度優化且深度集成于蘋果沉浸式視頻內容體驗的特點,且更希望能保持對自有平臺上高端沉浸式體驗的控制權。
蘋果的新格式ASAF提供了更高的靈活性和真實感。但要理解其背后的原理,還需要了解Apple引入的技術棧。
ASAF格式,蘋果的下一代空間音頻革新
ASAF作為蘋果全新的音頻框架,旨在打造具有完全沉浸式、頭部追蹤和環境感知的音頻體驗。ASAF格式在WWDC25的開發者會議視頻“了解蘋果沉浸式視頻技術”上正式亮相,這也標志著蘋果在空間音頻創作領域的一次重要革新。
蘋果此次更新的空間音頻分為兩部分:
據蘋果沉浸式視頻工程師Blake Gordon介紹:“ASAF通過確保使用聲學提示來渲染音頻,實現了真正外化的音頻體驗。它由新的元數據、LPCM(一種無損音頻編碼方式)以及蘋果平臺內置的強大空間渲染器組成。它通過眾多點源和高分辨率聲音場景或高階環繞聲,產生高分辨率空間音頻。渲染的音頻完全基于對象的位置和方向,以及聽眾的位置和方向進行自適應。所有這些都不是預先設定的。ASAF中的聲音來自任何方向、任何位置和任何距離。ASAF包含在帶有線性PCM信號和元數據的廣播Wave文件中。”
可以說,ASAF的渲染引擎是基于對象且具有環境感知能力的。它能讓聲音感覺仿佛存在于用戶周圍的真實3D空間中。它不僅能實時適應用戶的頭部運動,還能根據物體的位置進行調整,在虛擬環境中動態調整音量、回聲和混響等效果。
APAC,可作為編解碼器可將對ASAF這一音頻格式進行編碼以便于傳輸??稍诔齱atchOS之外的蘋果平臺上使用,包括tvOS、iOS、iPadOS、macOS和visionOS,但在visionOS上會表現更佳。并支持通道、對象、高階環繞聲、對話、雙耳音頻、交互元素及可擴展元數據的配置。蘋果以此進一步擴展空間計算生態中更豐富、更有層次感的音頻效果。
而且,APAC編解碼器可在低至64kbps的比特率下工作,最高可達768kbps。而常見的立體聲音樂碼率包括128kbps、192kbps、256kbps和320kbps,其中320kbps的MP3文件可以提供接近無損的音質。雖然APAC這一數值看似較低,但與蘋果、Netflix等公司當前用于流媒體傳輸杜比全景聲的最大比特率相同,因此可滿足當前所需音頻質量標準。
Vision Pro采用開放式音頻設計,雙驅動單元音頻單元可提供個性化音效,并根據音頻光線追蹤進行自適應調整
ASAF和APAC共同構成了高分辨率自適應空間音頻的管道,可深度融入蘋果的生態系統,尤其是visionOS和Vision Pro頭顯。與杜比全景聲略有不同的是,杜比全景聲可以模擬用戶靜止地坐在虛擬影院中,而ASAF則可以根據以下情況動態調整音頻:
- 用戶的頭部方向
- VR或AR空間內的實時定位
- 虛擬環境的變化(例如洞穴與開放空間中的混響和反射差異)
- MR應用中的環境或交互元素
這幾點使得ASAF成為蘋果空間計算內容的理想格式,包括VR/AR內容、沉浸式視頻和類似Vision Pro上的交互式體驗。ASAF的優勢在于其音頻并非預先渲染混響、回聲或距離等效果,而是基于元數據和頭部位置進行實時渲染。這使蘋果能夠根據不同環境和場景動態調整體驗。
例如在Vision Pro觀看沉浸式視頻的虛擬音樂會時,可能會有更好的體驗:當你轉頭看向舞臺左側,ASAF會實時調整歌手聲音的方位,同時根據虛擬場館的環境動態添加混響。
蘋果押注空間音頻賽道,不僅是將ASAF作為技術升級的一環,而是戰略性地將空間音頻內容與消費端連接的重要舉措。
蘋果有著軟硬件的完整生態鏈,ASAF旨在貫穿整個技術棧:它支持蘋果多個系統平臺;支持頭部追蹤的耳機和頭顯;通過iPhone 16或專業錄音工具進行音頻捕獲;在專業工具如Apple AAX插件或DaVinci Resolve Studio進行內容創作,并能以“.MP4”格式交付。
此外,對于新版visionOS中新增的Apple Projected Media Profile(APMP)視頻格式,即對QuickTime或MP4視頻類型的支持。Vision Pro使用的是與Meta Quest和YouTube VR上支持的同樣Ambisonic音頻格式。錄制完成后可以將音頻編碼為APAC并與APMP視頻混合完成交付。
寫在最后
空間音頻技術的潛力不僅限于影視內容和游戲,蘋果曾在2023年發布過一項關于將空間音頻用于導航的專利,通過AirPods、智能眼鏡以及Vision Pro等產品,利用聲音引導用戶去往目的地??臻g音頻也有望被用于治療、聽力康復、教育培訓、音樂會等場景。蘋果正在構建從內容創作到消費者的完整沉浸式生態。
圖1展示了使用iPhone和AirPods的空間音頻導航;圖2A展示了空間音頻導航可以與未來的智能眼鏡或Vision Pro一起使用(圖源:Patenly Apple)
只是目前許多標注為“杜比全景聲”的音軌聽起來平淡或不自然,這可能是由于混音質量差或從立體聲自動升頻所致??臻g音頻背后的藝術性有待深入挖掘,且文件格式其強大程度取決于其背后的生態系統。ASAF強大的功能也帶來了更高的復雜性,博主“Hugh Hou”聲稱ASAF使用了數量驚人的聲道,制作難度頗高,創作者至少需要一個Voyage Audio Spatial Mic才能開始使用。
可見ASAF不僅僅關乎音質,它更是一種從空間、交互和用戶體驗角度思考音頻的全新方式??臻g音頻已不再是奢侈品,而是未來沉浸式內容的必需品。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.