Google、三星、Arm 和開放媒體聯盟聯手打造 Eclipsa Audio 重新定義音訊體驗
透過新的開源技術,Eclipsa Audio 重新定義聲音,打造 3D 音訊體驗。
試想你正坐在客廳裡觀看電影,此時畫面中有一架直升機飛過,你可以聽到直升機的聲音彷彿就在你頭頂上方移動,從房間的一側到另一側,營造出真正身臨其境的觀影體驗。受惠於基於沉浸式音訊模型和格式 (Immersive Audio Model and Formats, IAMF) 的新開源音訊技術 Eclipsa Audio™,上述的聽覺體驗已能實現。無論是搭配高階電視的先進劇院系統,還是入門級行動裝置和電視,該技術已能在多種常見消費性電子產品中,快速且有效率地處理此類需求。
該技術於今年國際消費性電子展(CES) 上推出,由 Google、三星、Arm 和開放媒體聯盟(Alliance for Open Media,即開發 AV1 視訊格式的組織)共同打造。
什麼是 Eclipsa Audio?
Eclipsa Audio 是一種多頻道音訊環繞格式,利用 IAMF 技術提供沉浸式聆聽體驗。該技術透過垂直和水平傳播音訊,革新了我們聽覺體驗。這種 3D 聲景高度模擬自然環境,使電影、電視節目和音樂中的聲音表現更為生動逼真。
Eclipsa Audio 會根據不同場景動態調整音訊,進而確保最佳音質的呈現。此外,該技術還提供客製功能,使聽眾能夠依據個人偏好調節聲音,進而獲得個性化及獨特的聽覺體驗。
一個 Eclipsa Audio 位元流最多可包含 28 個輸入通道,這些通道被渲染到一組輸出揚聲器或耳機。這些輸入聲道可以是固定的,例如管弦樂隊中的麥克風;也可以是動態的,例如動作電影中直升機穿過聲場。
Eclipsa Audio 具備雙耳渲染功能,這對於透過耳機提供沉浸式音訊的行動端應用相當重要。此外,這種新的音訊技術可支援跨消費性電子裝置進行內容創造,讓使用者能夠自行建構沉浸式音訊體驗。
Arm 與 Google 在 IAMF 開發的合作歷程
在 IAMF 開發過程中,Arm 作為策略合作夥伴,與 Google 團隊密切協作,以優化該技術的效能。Arm 的工作重點在於提高 Opus 轉碼器和 IAMF 庫 (libiamf)的效率,確保其在當今廣泛應用於行動裝置和電視中的 Arm CPU 上實現最佳效能。
自 2005 年以來,Arm CPU 已經整合了 Neon SIMD 架構擴充,並且在此之後取得顯著發展,使得音訊和視訊處理等數位訊號處理 (DSP) 任務的效能展現了大幅躍升。針對 IAMF,Arm 的工程師致力於技術優化,使其能夠在最低 CPU 使用率下即時解碼複雜的位元流,如此,即使 CPU 正在處理體驗中的其他任務,也能確保可靠的效能。這對於注重能耗效率的行動端應用尤其重要。
效能強化
Arm 一直在為 opus-codec 和 libiamf 的前端進行修正,專注於浮點運算實作,以達到最佳效能。這些強化包括:
- Neon Intrinsic 優化:該優化支援多種 Arm 架構(包括 Armv7 + Neon、Armv8-A32、Armv8-A64 和 Armv9),進而加速了浮點到 INT16 的轉換和柔性削峰。此外,還為多通道揚聲器輸出中的矩陣乘法和通道解壓縮,提供了 CPU 特定的優化。
- 效能提升:在 Quartz64 和 Google Pixel 7 等裝置上,不同揚聲器配置(如立體聲、5.1、9.1.6)都有顯著的效能提升。舉例來說,9.1.6 的輸出在 Pixel 7 的 Arm Cortex-A55 CPU 核心上,效能提升超過了 160%。
- 解碼效率:經優化後,所有測試檔在 AArch64 上的解碼時間,少於即時處理所需的 16%,而在 AArch32 上則少於 23%,使其在 Cortex-A55 處理器上極有效率。
核心技術
IAMF 支援多種音訊編碼格式,包括 LPCM、AAC、FLAC 和 Opus。其中,Opus 是當前最新的轉碼器,通常被視為首選格式。我們為運行在 Arm 架構的 Opus 進行深度優化,進而確保其在 IAMF 框架內高效率地運行。
IAMF 庫 (libiamf) 負責解碼 IAMF 位元流,並為各類音響系統生成揚聲器輸出。Arm 導入一種 CPU 專用化框架,透過編譯時的特徵檢測,確保該庫針對其運行的平台進行了優化。
透過為 Opus 轉碼器和 libiamf 庫等關鍵元件進行優化,我們的工程師確保了 IAMF 在 Arm CPU 上能夠提供卓越的效能。這不僅提升了使用者體驗,也展現我們的技術在先進應用中的重要價值。
沉浸式音訊的未來已來臨
IAMF 彰顯了沉浸式音訊技術的重大躍進,透過利用人工智慧(AI)和深度學習技術,以及 Arm 支援的強大效能優化,提供多功能和高品質的音訊體驗。
沉浸式音訊的未來已經來臨,且更為觸手可及。無論您是一般聽眾還是音響發燒友,IAMF 將為您帶來前所未有的沉浸式音訊體驗。
關於 Arm
Arm 是業界效能最高且最節能的運算平台,其無可比擬的應用範疇觸及全球所有連網使用者。為因應全球對運算永無止境的需求,Arm 提供先進的解決方案,使全球領先的科技公司得以釋放前所未有的 AI 體驗與功能。透過與全球最大的運算生態系及 2,000 萬名軟體開發人員的共同努力,我們正在 Arm 平台上建構 AI 的未來。
所有資訊都「依目前情況」提供,且並不帶保證或代表性。此文件可以自由分享,但不得修改且必須註明出處。Arm 是 Arm Limited(或其子公司與附屬機構)的註冊商標。所有品牌或產品名稱均為所屬公司之財產。© 1995-2025 Arm Limited.