裝置端 AI 加速，輕鬆升級日常應用體驗

January 28, 2026

憑藉著 Arm SME2 技術和 KleidiAI 的支援，裝置端 AI 如今可在 CPU 上即時運行，直接應用於裝置端體驗。

試想這樣的場景：當你正在發訊息時，手機能在你輸入過程中即時翻譯文字，還能即時總結整段對話內容；或是在拍照時，手機能在你按下快門之前，迅速解析複雜場景畫面，並自動對關鍵主體進行聚焦。換言之，以往需要停頓處理的手機應用，如今已能即時預判並滿足你的需求。

這種轉變正是對當前世界的直接回應：每一次點擊、每一次滑動、每一秒的關注都十分重要。現在的使用者希望應用能夠快速思考、即時回應，並妥善保護使用者的隱私資訊。這些需求最終落到開發者的肩上，開發者因而承受著越來越大的壓力：不僅要讓應用運行起來，更需要在裝置端完整實現先進的即時體驗，而無需依賴雲端，同時還不能犧牲電池續航或減緩回應。

令人欣慰的是，第二代可擴展矩陣延伸指令集 (SME2) 為全球數百萬行動端開發者帶來了裝置端人工智慧 (AI) 加速的功能，有助於實現更迅捷、更智慧的裝置端體驗。

隨處可用、運作順暢的加速技術

受惠於 Arm KleidiAI 與主流框架（包括 Google LiteRT、PyTorch ExecuTorch、ONNX Runtime 和阿里巴巴 MNN）的深度整合，SME2 可實現自動啟用，將 AI 運算遷移至 Arm CPU 上。當今約 99% 的智慧手機均運行於 Arm CPU 運算平台之上。此舉不僅為開發者在處理其工作負載時提供更大的靈活性，還能釋放 GPU 的頻寬資源。

由於 Arm CPU 能在安全且一致的架構上處理混合運算管線，開發者無需為不同裝置層級重新建構方案。只需最佳化一次，即可在整個生態系中重複使用。SME2 透過為 Armv9 架構添加專用矩陣處理指示，使 CPU 能夠處理支撐著當今大語言模型和視覺模型的密集數學運算，同時顯著降低功耗與延遲。

由此打造出可在數十億台行動裝置上運行的更具吸引力、更智慧、更直覺的應用，並帶來切實可量化的效能表現提升，其中包括：

AI 回應速度提升高達 5 倍；
語音工作負載延遲降低 4.7 倍；
音訊生成速度提升 2.8 倍；
在常見的行動裝置端 AI 應用場景中顯著節省電量。

有鑑於此，支付寶可支援在裝置上即時生成旅行視訊，Google 也能在其各類應用中提供即時摘要與翻譯服務。

對使用者而言，應用體驗變得更加迅捷、更在地化且安全可信。對開發者而言，因為即時推論不再導致電量快速耗盡或手機過熱，他們能夠在相同的散熱與功耗限制下發展更多可能性。開發者還可無拘束地進行創新實驗，靈活適配多代的硬體，並在 CPU 上實現以前只有伺服器端才能實現的 AI 效能。

一次建構，隨處運行

每個開發者都深知碎片化帶來的挑戰，包括不同的晶片組、不同的效能特性，以及無休止的調校工作。SME2 透過 CPU 實現 AI 加速的標準化，為開發者提供一致、可移植的行動裝置端 AI 基礎。

基於 SME2 建構的應用在 iOS 和 Android 系統上都能實現一致的效能表現，從 vivo X300 系列和 OPPO Find X9 系列等旗艦手機，到搭載 Arm CPU 的主流和入門款智慧手機，都能流暢運行。無論是要為創意類應用最佳化視覺模型，還是針對全球市場部署語音助理，程式碼的運行效果都可精準預判。這不僅簡化了測試流程，減少了效能倒退問題，還能加快產品上市時程。

隨著 Arm 架構的持續演進，KleidiAI 會自動實現效能提升，無需開發者重新建構程式碼 —— 這正是打造一個能與開發者共同成長的平台的價值所在。開發者只需更新其框架、啟用 SME2，就能直接感受到其應用運行速度的大幅提升。

裝置端智慧的下一個尖端領域

總結來說，裝置端 AI 的核心並非為裝置堆砌更多智慧功能，而是讓智慧更貼近使用者的日常應用場景。

同時，使用者不願等待技術追趕需求，開發者也無需等待。借助 SME2 和 KleidiAI，開發者將能夠縮減這個差距，將 CPU 變成現成可用的 AI 引擎，即時回應使用者的每一次點擊與互動。

因此開發者如果要打造新一代卓越的行動裝置端體驗，不妨聚焦於最重要的層面，從核心入手。更新框架，啟用 SME2，而後見證當智慧回應跟上使用者操作速度時，你的應用能發揮的表現也將達到新高度。

關於 Arm

Arm 是業界效能最高且最節能的運算平台，其無可比擬的應用範疇觸及全球所有連網使用者。為因應全球對運算永無止境的需求，Arm 提供先進的解決方案，使全球領先的科技公司得以釋放前所未有的 AI 體驗與功能。透過與全球最大的運算生態系及 2,200 萬名軟體開發者的共同努力，我們正在 Arm 平台上建構 AI 的未來。

Arm 帳號

裝置端 AI 加速，輕鬆升級日常應用體驗