概述

利用 SME2 为安卓智能手机的端侧 AI 提供支持

Google 与 Arm 正在利用可伸缩矩阵扩展 (SME2) 推动实现移动端 AI 革新。SME2 是一套通过 KleidiAI 集成到安卓中的先进矩阵计算指令。借助这套指令,开发者无需重写代码,即可在数十亿台设备上提供高效的实时 AI。从实时翻译到智能助手,SME2 可直接在 CPU 上加速生成式人工智能体验,从而降低延迟并提高能效。

成效
AI chip icon

高效 AI 推理

SME2 提升了 CPU 处理视觉、语言和语音 AI 任务的性能。

6x faster speedometer icon

更低的延迟

快 6 倍的 AI 响应速度和实时应用体验。

Developer icon

开发者就绪

通过 Arm KleidiAI,在 Google 的 XNNPACK、LiteRT 与 MediaPipe 之间实现无缝集成。

“Arm 的新产品 (SME2) 为 CPU 带来了额外的算力,我们对此倍感振奋。我们得以在生态系统中的多种设备上运行这些(生成式人工智能)功能,这在以前是不可能的。”
Oli Gaymond,Google 安卓 AI/ML 产品负责人
4 layers of chip design
所用技术

Arm SME2:加速安卓移动端 AI 工作负载

SME2 Arm Lumex CSS 平台上的最新 CPU 扩展指令集,Lumex CSS 是面向新一代设备的高级子系统,用于直接在设备上加速以矩阵为导向的计算工作负载。它提高了 AI 和 ML 模型的性能,特别是依赖矩阵乘法等运算的模型,比如 Transformer、卷积神经网络 (CNN) 和大语言模型 (LLM)。

探索 Arm SME2

Arm KleidiAI:无需更改代码,充分释放 SME2 的性能

安卓使用 Arm KleidiAI,将 SME2 集成到 XNNPACK、LiteRT、MediaPipe 和其他热门框架中。因此,像 Gemma 3 这样的 AI 模型能够直接在 CPU 上直接实现快 6 倍的响应速度和即时总结。开发者只需使用受支持的库和框架即可享受由此带来的优势。

相关案例

探索同类案例

vivo X200 系列旗舰手机

出色的移动端体验

Meta 的开源框架和模型为基于 Arm 计算平台重塑 AI 创新并实现大规模部署铺平道路。

Stability AI

重构端侧音频 AI

Stability AI 与 Arm 合作,利用 Arm KleidiAI 重构了端侧音频创作体验,将基于 Arm 移动端 CPU 的响应时间从几分钟缩短到几秒钟。

三星 Galaxy S24

AI 能力革新

突破现有智能手机体验,开启 AI 手机新时代。

探索更多成功案例