概述
使用 SME2 推動 Android 智慧型手機的裝置內人工智慧@primaryHeadingTag>
Google 與 Arm 使用可擴展矩陣延伸指令集 (SME2) (一組透過 KleidiAI 整合至 Android 的進階矩陣運算指令),改變行動裝置人工智慧。協助開發人員在數十億個裝置提供高效且即時的人工智慧,無須重寫程式碼。從即時翻譯到智慧助理,SME2 可直接在 CPU 加速生成式人工智慧體驗,減少延遲並提升能源效率。
Google 與 Arm 使用可擴展矩陣延伸指令集 (SME2) (一組透過 KleidiAI 整合至 Android 的進階矩陣運算指令),改變行動裝置人工智慧。協助開發人員在數十億個裝置提供高效且即時的人工智慧,無須重寫程式碼。從即時翻譯到智慧助理,SME2 可直接在 CPU 加速生成式人工智慧體驗,減少延遲並提升能源效率。
「我們對 Arm 新產品 (SME2) 感到非常興奮,因為其為 CPU 帶來額外的運算。我們首次能在生態系的各種裝置上執行這類 (GenAI) 功能。」
Android Google 人工智慧/機器學習產品負責人 Oli Gaymond
使用的技術
Arm SME2:加速 Android 行動裝置人工智慧工作負載
SME2 是 Arm Lumex CSS 平台的最新 CPU 擴充,也是次世代裝置的先進子系統,旨在直接在裝置上加速矩陣導向運算工作負載。可提升人工智慧與機器學習模型的效能,尤其是依賴矩陣乘法等操作的模型,這在轉換器、卷積神經網路 (CNN) 與大型語言模型 (LLM) 中常見。

Arm KleidiAI:無需變更程式碼即可發揮 SME2 效能
Android 使用 Arm KleidiAI 在 XNNPACK、LiteRT、MediaPipe 與其他熱門框架中整合 SME2,可讓 Gemma 3 等人工智慧模型直接在 CPU 上提供加快 6 倍的回應速度與即時摘要。開發人員可使用支援的函式庫與框架從中自動獲益。