概述

Arm CPU 加速代理式 AI

Arm SME2 可直接在 CPU 加速執行具有大量矩陣的 AI 工作負載，協助提供迅速回應的私有裝置內體驗。最新 Arm C2 CPU 叢集擴展 SME2 功能，協助開發者加速語音、搜尋、生成式 AI 與其他工作負載，推動新興的代理式體驗。

優點

SME2 為什麼如此重要？

加速高達 1.7 倍的代理式 AI

加速語音、個人記憶體與推理工作負載等行動裝置上代理式 AI 的建構基礎。*
迅速回應的裝置內 AI

在 CPU 執行輕量的 AI 模型，於代理式工作流程中支援低延遲的裝置內體驗。
廣泛的框架支援

透過 Arm KleidiAI 整合加速 SME2，範圍涵蓋 12 個以上 AI 框架與 100 個以上第三方應用程式。
在各種行動裝置 AI 使用場景通過驗證

支援即時翻譯、語音辨識、影像辨識、背景模糊與物件偵測等實際體驗。

* 在各種接受測試的代理式 AI 工作負載中，Arm CSS for Mobile 2 執行速度最高比前代參考平台快 1.7 倍。

特色

專為現代 AI 工作負載打造

適用於輕量 AI 的矩陣加速

由特定的裝置內模型用於語音、記憶體擷取、推理與其他 AI 任務，以加速具有大量矩陣的運算作業。
支援低精度模型

支援小型量子化 AI 模型，包括 2 位元工作負載，以減少記憶體需求並提升執行效率。
同時執行 AI

在 CPU 同時執行轉錄、翻譯、語音生成與其他 AI 工作負載，打造迅速回應的多階段體驗。
可擴展設計

提供從入門級到旗艦級行動裝置的彈性效能，確保開發者及使用者在各種裝置之間享有一致的體驗。
查看 SME2 文件
成功案例
SME2：在 Android 推動裝置內人工智慧

瞭解 Arm 與 Google 如何使用異質化運算在 Android 推動裝置內人工智慧。SME2 可直接在 CPU 加速人工智慧，讓開發者在整個 Android 生態系提供更快速、更迅速回應與可擴展的人工智慧體驗。

閱讀成功案例
 
「LiteRT 與 Google AI Edge 專為運用裝置內最佳的加速功能所打造，包括在支援平台以預設選擇 Arm SME2。在 Google AI Edge Gallery 中，SME2 有助於直接在 CPU 加速執行要求嚴苛的生成式人工智慧工作負載，以 Gemma 等模型實現裝置內轉換等迅速回應的體驗。我們與 Arm 合作，透過與最佳化的軟硬體共同運作，協助開發人員發揮更多這項效能。」
Google 裝置內機器學習開發人員工具主管 Na Li
使用場景

SME2 實例

SME2 驅動智慧、低延遲、私有裝置內 AI 工作負載，實現代理式通話、個人化訓練指導、沉浸式 NPC 互動與神經圖像等使用場景。

 
 
 
開發者

專為開發者打造

 

由於原生 SME2 支援各種頂尖的 AI 框架及執行階段函式庫 (包括 PyTorch、ONNX Runtime、XNNPACK 及 llama.cpp)，開發者無需變更任何一行程式碼即可獲得 SME2 效益。SME2 強化效能也可在 Arm 架構平台 (從 iOS、iPadOS 到 macOS 及即將支援的 Android) 之間移植。

 

探索全新適用於 SME2 的 Arm Developer Launchpad，瞭解 SME2 的加速和使用場景、逐步教學內容，以及實作學習路徑。

開始在 SME2 上建構閱讀開發者部落格
相關產品

探索 Arm CSS for Mobile 2 平台

Arm CSS for Mobile 2

Arm CSS for Mobile 2

Mali G2-Ultra NX 是 CSS for Mobile 2 的一部分；這項可配置的平台結合 AI 協調管理、神經圖像、系統 IP 與軟體，可實現次世代行動裝置 AI 體驗。

探索 CSS for Mobile 2
Arm C2 CPU Cluster

Arm C2 CPU 叢集

高效能 Arm CPU 叢集搭載 SME2 可提供 AI 協調管理功能，以及迅速回應的應用程式效能。

探索 C2 CPU 叢集

保持聯繫

訂閱最新動態即可掌握最新消息、個案研究與洞見。

電子報訂閱

常見問題：SME2

什麼是 SME2？

SME2 (可擴展矩陣延伸指令集 2) 是 Armv9.3-A 架構的進階 CPU 指令集，加速人工智慧及機器學習工作負載，特別是 LLM 及電腦視覺等矩陣密集型任務。透過 Arm KleidiAI 與熱門的人工智慧框架無縫整合，無需變更程式碼即可提供更高的效能與效率。

SME2 如何提升裝置的人工智慧效能？

SME2 直接在 CPU 上執行矩陣運算，協助大型語言模型加快 6 倍的推論速度，並提升 3 倍的視覺及音訊處理能力，無需獨立的 NPU 或雲端資源。

哪些裝置會支援 SME2

目前於 iPhone 17 (A19)、Apple M 系列裝置, 與旗艦級 Android 手機提供使用。

SME2 如何協助開發者從中獲益？

SME2 可自動與 Pytorch、 ONNX Runtime 及 XNNPACK 等框架整合，協助開發者在不重寫程式碼的情況下加速人工智慧工作負載。開發者可使用行動資源探索 Arm 人工智慧，適用於工具鏈、SDK 及訓練課程，以便快速開始使用。

SME2 有助於生成式人工智慧應用嗎？

是的，SME2 可直接在裝置端加速生成式人工智慧任務 (例如即時翻譯、相片/影片強化、音訊產生及動作分析)。這可實現更快速、更私密及更節能的使用者體驗。開發人員可瞭解如何利用 Arm 人工智慧在行動資源實作這些功能。