概述
利用 SME2 为安卓智能手机的端侧 AI 提供支持@primaryHeadingTag>
Google 与 Arm 正在利用可伸缩矩阵扩展 (SME2) 推动实现移动端 AI 革新。SME2 是一套通过 KleidiAI 集成到安卓中的先进矩阵计算指令。借助这套指令,开发者无需重写代码,即可在数十亿台设备上提供高效的实时 AI。从实时翻译到智能助手,SME2 可直接在 CPU 上加速生成式人工智能体验,从而降低延迟并提高能效。
Google 与 Arm 正在利用可伸缩矩阵扩展 (SME2) 推动实现移动端 AI 革新。SME2 是一套通过 KleidiAI 集成到安卓中的先进矩阵计算指令。借助这套指令,开发者无需重写代码,即可在数十亿台设备上提供高效的实时 AI。从实时翻译到智能助手,SME2 可直接在 CPU 上加速生成式人工智能体验,从而降低延迟并提高能效。
“Arm 的新产品 (SME2) 为 CPU 带来了额外的算力,我们对此倍感振奋。我们得以在生态系统中的多种设备上运行这些(生成式人工智能)功能,这在以前是不可能的。”
Oli Gaymond,Google 安卓 AI/ML 产品负责人
所用技术
Arm SME2:加速安卓移动端 AI 工作负载
SME2 是 Arm Lumex CSS 平台上的最新 CPU 扩展指令集,Lumex CSS 是面向新一代设备的高级子系统,用于直接在设备上加速以矩阵为导向的计算工作负载。它提高了 AI 和 ML 模型的性能,特别是依赖矩阵乘法等运算的模型,比如 Transformer、卷积神经网络 (CNN) 和大语言模型 (LLM)。

Arm KleidiAI:无需更改代码,充分释放 SME2 的性能
安卓使用 Arm KleidiAI,将 SME2 集成到 XNNPACK、LiteRT、MediaPipe 和其他热门框架中。因此,像 Gemma 3 这样的 AI 模型能够直接在 CPU 上直接实现快 6 倍的响应速度和即时总结。开发者只需使用受支持的库和框架即可享受由此带来的优势。