Arm 類神經超取樣,實現卓越的行動裝置圖像效能
為類神經圖像放大技術奠定基礎,協助次世代 Arm GPU 實現更清晰、更流暢的 AI 遊戲體驗。
作者:Arm 策略與生態部主任工程師 Sergio Alapont
為滿足使用者對於手遊體驗的期望,例如更清晰的畫面、更流暢的遊戲體驗,以及更長的電池續航時間,全球手遊開發者正面對著日益激增的壓力。在受限的行動裝置上平衡這些目標體驗,往往需要權衡取捨。傳統的圖像放大方法不夠靈活,而即時人工智慧 (AI) 渲染則又依然存在複雜、耗電或依賴硬體效能等難題。
Arm 類神經超取樣 (Arm Neural Super Sampling, Arm NSS) 能夠直接應對上述挑戰。做為 Arm 在本周舉行的 SIGGRAPH 上宣佈的圖像技術的首個應用案例,這是一項由 AI 驅動的次世代圖像放大解決方案。
Arm NSS 將桌面等級的視覺效果導入手遊,憑藉專用的類神經加速器,並將透過 Arm 類神經技術整合到未來推出的 Arm GPU 中。這代表行動裝置端圖像技術的重要創新,實現了即時超級解析度,將時域一致性與感知品質相結合,帶來遠勝於傳統技術的卓越表現。
搭載這項技術的裝置預計將於 2026 年底上市,而開發者即刻起就可透過 Arm 類神經圖像開發套件著手探索 Arm NSS。該套件包含虛幻引擎 (Unreal Engine) 外掛程式和 Vulkan 模擬層,使開發者能夠體驗類神經圖像放大工作流、遊戲整合原型設計,並為針對 Vulkan 機器學習 (ML) 的渲染管線做好準備,無需等待相容硬體的問世。
透過類神經效能實現即時圖像放大
傳統圖像放大技術依賴人工設計的啟發式方法 (heuristic) 或有限的空間資料,Arm NSS 透過類神經推論,以更高的逼真度還原細節、運動狀態和光照變化。
Arm NSS 在典型的管線中包含三個步驟:
- 預處理:將輸入資料 (顏色、運動向量、深度) 整理為張量格式;
- 類神經推論:透過使用 Vulkan ML 擴展在類神經加速器上運行;
- 後處理:利用模型輸出重建最終圖像。
這使得 Arm NSS 能夠逐步擴展效能,利用更少的資源處理較高的解析度,非常適合應用在硬體受限的行動裝置上。
以 Arm ASR 為基礎,以 ML 進一步強化效能
Arm NSS 專為在搭載 Arm 類神經技術的未來行動裝置上實現即時效能而設計,但其具體的延遲表現還取決於 GPU 的配置、解析度和應用場景等實現因素。在 Arm 的「魔法城堡」展示中,透過使用 Arm NSS,GPU 工作負載可降低 50%,且在可持續效能的設定下,當模型以 540p 解析度渲染時,能在四毫秒就可放大至 1080p。
開發者如果想深入瞭解模型效能與畫質對比,請在技術白皮書中查閱細節。
Arm NSS 是基於 Arm 精確超解析度技術 (Arm Accuracy Super Resolution, Arm ASR) 的成果而建構,Arm ASR 是一款針對行動裝置,實現時域圖像放大的開源解決方案。而 Arm NSS 是針對搭載類神經加速器的行動裝置,為開發者提供先進的類神經圖像放大解決方案,因此,對於不具備此能力的行動裝置,Arm ASR 仍然是高度最佳化的可選方案。
據 Arm 內部測試結果顯示,Arm NSS 已經接近 NVIDIA DLSS2 等級的畫質精度,但所使用的模型更小,且針對行動裝置進行了最佳化。團隊對 Arm ASR、DLSS2 以及 AMD 的超級解析度技術 2 (FSR2) 進行了對比測試,收集了包括峰值訊噪比 (PSNR)、結構相似性指數 (SSIM)、空間 - 時域降參考熵差 (STRRED) 等多項指標,結果驗證了 Arm NSS 的高水準表現。
| 特性 | Arm ASR | Arm NSS |
|---|---|---|
| 方法 | 基於著色器,空間 – 時域 | 基於 AI 的類神經推論 |
| 硬體需求 | 可在 Arm GPU 上運行 | 可在自 2026 年推出的搭載類神經加速器的 Arm GPU 上運行 |
| 效能 | 低延遲,且針對廣泛範圍進行最佳化 | 為未來類神經硬體的即時執行而設計 |
| 畫質 | 出色的基準和可調性 | 更出色的感知品質,可與 DLSS2 相媲美 |
| 客製化 | 著色器參數 | 可重新訓練的 ML 模型(開放格式) |
| 應用場景 | 廣泛部署,尤其可用於低階裝置 | 高階體驗,實現先進的視覺效果,且節能 |
即刻體驗 Arm NSS
當一項新技術落地時,開發者需要一個可以實驗和探索其創造力的環境。這正是 Arm 推出類神經圖像開發套件的原因,該套件為開發者提供了一切所需,包括工具、範例程式碼和資源,以便開發者著手實驗、測試並為下一波行動裝置端圖像技術做好準備。其中還包括:
- Vulkan ML 模擬層;
- 虛幻引擎 5 外掛程式;
- 透過 Hugging Face 和 GitHub 提供的預訓練開源模型;
- 全面的技術文檔和 Learning Path 幫助團隊入門。
Arm 類神經圖像開發套件還提供了對針對 Vulkan 的 ML 擴展 (VK_ARM_tensors 和 VK_ARM_data_graph) 的早期存取。這些擴展使得開發者能夠使用張量資源並將推論管線直接建構到渲染圖中。這種整合有助於滿足即時應用在行動裝置上所需的延遲和效率目標。
這些資源能讓遊戲開發者在首批硬體問世前,便能著手整合類神經圖像技術。團隊可以使用能反映新一代 Arm GPU 架構的桌面環境,對 Arm NSS 進行原型設計或探索新的使用場景。該開發套件能夠在硬體問世之前實現深度整合和效能測試。
在虛幻引擎中整合和測試
虛幻引擎 5 外掛程式實現了將 Arm NSS 整合到虛幻引擎中,使開發者能夠快速將圖像放大技術增加到他們的專案中,並預覽在新一代行動裝置上運行的遊戲效果。該外掛程式還與虛幻引擎的類神經網路引擎 (Neural Network Engine, NNE) 框架結合,用於管理 ML 資源並與渲染圖同步調度推論任務。
這些功能使得開發者能夠以最小的開銷,將類神經圖像放大技術直接整合到現有的渲染流程中,進而有助於在 AI 後處理過程中,保持幀時 (frame timing) 和即時回應性。
值得注意的是,虛幻引擎 5 外掛程式中運行的 ML 推論使用的是軟體模擬。其效能並不能完全反映實際晶片上的預期表現。該外掛程式的主要目標是支援實驗和整合。
Vulkan ML 模擬層
搭載 Arm 類神經技術的新一代 Arm GPU 驅動的 2026 年行動裝置將能原生支援 Vulkan ML 擴展。為了做好準備,我們需找到一種方式,讓利用這些擴展技術編寫程式碼的開發者得以運用這些新功能。
這正是 Arm 提供 Vulkan ML 模擬層的緣由,它顯示了所需擴展的軟體模擬。開發者可以啟用模擬層並使用擴展 Vulkan 標題檔來運行使用了 Vulkan ML 擴展的內容。NNERuntimeRDGVulkanML 就是很好的一個例子,它可透過虛幻引擎 5 外掛程式來使用,並且它透過使用 Vulkan ML 擴展的原生後端,擴展了 NNE 框架。
開啟行動裝置端類神經圖像技術新時代
Arm NSS 是首批專為手遊打造的類神經圖像解決方案之一,結合高品質的圖像放大技術和開發者就緒的軟體發展套件。它透過開放、開發者就緒的基礎設施,實現了高品質的圖像表現、低延遲和高能效。透過 Arm NSS,Arm 不僅提供類神經圖像放大技術,還賦予開發者如何使用這項技術的能力。
Arm 類神經圖像開發套件為開發者提供了工具和能力,使他們能夠針對自己獨特的內容和藝術構想,適配和最佳化 Arm NSS,進而確保開發者為 2026 年首批基於搭載 Arm 類神經技術的 Arm GPU 而建構的行動裝置的上市做好準備。
即刻開始實驗、測試並為下一波行動裝置端圖像技術做好準備。歡迎瀏覽 Arm 開發者中心的 Arm NSS 頁面,探索 Arm 類神經圖像開發套件,並嘗試預訓練模型。
工具都已就緒,快來探索未來吧!
點擊閱讀原文,瀏覽 Arm 開發者中心 Arm NSS 頁面。
關於 Arm
Arm 是業界效能最高且最節能的運算平台,其無可比擬的應用範疇觸及全球所有連網使用者。為因應全球對運算永無止境的需求,Arm 提供先進的解決方案,使全球領先的科技公司得以釋放前所未有的 AI 體驗與功能。透過與全球最大的運算生態系及 2,200 萬名軟體開發者的共同努力,我們正在 Arm 平台上建構 AI 的未來。
所有資訊都「依目前情況」提供,且並不帶保證或代表性。此文件可以自由分享,但不得修改且必須註明出處。Arm 是 Arm Limited(或其子公司與附屬機構)的註冊商標。所有品牌或產品名稱均為所屬公司之財產。© 1995-2025 Arm Limited.