概述

在 Arm CPU 上加速智能体 AI

Arm SME2 直接在 CPU 上加速矩阵密集型 AI 工作负载，有助于提供响应迅速且私密的端侧体验。借助最新 Arm C2 CPU 集群中增强的 SME2 功能，开发者可加速语音、搜索、生成式 AI 及其他支撑新兴智能体验的工作负载。

优势

为什么 SME2 如此重要？

智能体 AI 速度提升高达 1.7 倍

加速作为移动端智能体 AI 基础模块的语音、个人记忆和推理工作负载。*
响应迅速的端侧 AI

在 CPU 上运行轻量级 AI 模型，以支持跨智能体工作流的低延迟端侧体验。
广泛的框架支持

通过 Arm KleidiAI 与 12 个以上 AI 框架和 100 个第三方应用的集成，即可获得 SME2 加速功能。
已在移动端 AI 应用场景中得到验证

支持真实场景体验，包括实时翻译、语音识别、图像识别、背景虚化和物体检测。

*与上一代参考平台相比，CSS for Mobile 2 在经测试的智能体AI 工作负载中执行速度最高可提升 1.7 倍。

特性

专为现代 AI 工作负载而构建

面向轻量级 AI 的矩阵加速

加速专用端侧模型用于语音、记忆检索、推理和其他 AI 任务的矩阵密集型操作。
低精度模型支持

支持紧凑的量化的 AI 模型，包括 2 位工作负载，以减少内存需求并提高执行效率。
并发 AI 执行

在 CPU 上同时运行转录、翻译、语音生成和其他 AI 工作负载，以实现响应迅速的多阶段体验。
通过 Arm KleidiAI 进行优化

使用 200 多个优化的微内核，将 SME2 加速引入 AI 框架和应用，减少手动优化工作。
请参阅 SME2 文档
成功案例
SME2：推进 Android 端侧 AI

了解 Arm 和 Google 如何利用异构计算推进 Android 端侧 AI 发展。SME2 直接在 CPU 上加速 AI，使开发者能够在整个 Android 生态系统中提供更快、响应更迅速且可扩展的 AI 体验。

阅读全文
 
“ LiteRT 和 Google AI Edge 旨在充分利用设备端可用的最佳硬件加速能力，包括在受支持的平台上将 Arm SME2 设置为默认启用。以 Google AI Edge Gallery 为例，SME2 能够直接在 CPU 上加速高负载生成式 AI 工作负载，以实现流畅的交互体验，例如借助 Gemma 等模型实现设备端翻译。我们与 Arm 的合作帮助开发者通过软硬件协同优化，进一步释放性能潜力。”
Google 端侧 ML 开发者工具负责人，Na Li
用例

SME2 实际应用

SME2 为智能、低延迟、私有的端侧 AI 工作负载提供支持，从而实现智能体通话、个性化锻炼指导、沉浸式 NPC 交互和神经网络成像等用例。

 
 
 
 
开发者

专为开发者打造

得益于一系列前沿的 AI 框架和运行时库（包括 PyTorch、ONNX Runtime、XNNPACK 和 llama.cpp）对 SME2 的原生支持，开发者无需改动任何代码，即可享受 SME2 带来的优势。SME2 带来的性能增强还可移植到基于 Arm 架构的平台上，从 iOS 和 iPadOS 到 macOS，很快也将扩展到 Android。

 

浏览全新的 Arm SME2 开发者入门指南，了解 SME2 加速和典型用例，并通过分步教程和实践学习路径进行上手。

使用 SME2 开始构建阅读开发者博客
相关产品

探索 Arm CSS for Mobile 2 平台

Arm CSS for Mobile 2

Arm CSS for Mobile 2

Mali G2-Ultra NX 是 CSS for Mobile 2 的组成部分；CSS for Mobile 2 是一个可配置的计算平台，结合了 AI 编排、神经图形、系统 IP 和软件，可实现下一代移动 AI 体验。

探索 CSS for Mobile 2
Arm C2 CPU Cluster

Arm C2 CPU 集群

高性能 Arm CPU 集群配备 SME2，可实现 AI 编排和响应迅速的应用程序性能。

探索 C2 CPU 集群

掌握最新动态

订阅即可了解最新新闻、案例研究和行业洞察。

订阅通讯电子邮件

常见问题：SME2

什么是 SME2？

SME2（可伸缩矩阵扩展 2）Armv9.3-A 架构 中的一组高级 CPU 指令，旨在加速 AI 和 ML 工作负载，特别是矩阵密集型任务，如 LLM 和计算机视觉。它通过 Arm KleidiAI , 与热门 AI 框架无缝集成，无需更改代码即可实现更高的性能和效率。

SME2 如何提升设备的 AI 性能？

SME2 通过在 CPU 上直接执行矩阵运算，使大语言模型 (LLM) 的推理速度提高 6 倍，视觉和音频处理速度提高 3 倍，而无需单独的 NPU 或云资源。

哪些设备将支持 SME2？

现已在 iPhone 17 (A19)、Apple M 系列设备, 和旗舰级 Android 手机上推出。

SME2 对开发者有何益处？

SME2 可自动与 Pytorch, ONNX Runtime 和 XNNPACK 等框架集成，因此开发者无需重写代码即可加速 AI 工作负载。开发者可以浏览 Arm 移动端 AI 工具链、SDK 和培训资源，以便快速入门。

SME2 能否为生成式 AI 应用提供帮助？

绝对适合。SME2 可直接在端侧加速生成式 AI 任务，例如实时翻译、照片/视频增强、音频生成和运动分析。这将带来更快、更私密、更高能效的用户体验。开发者可以借助 Arm 移动端 AI 资源，学习如何实现这些功能。