为全球开发者提供无缝 AI 性能加速

Arm 一直致力于提升 Arm CPU 上 PyTorch 的推理性能，包括优化 Eager Mode 和 Graph Mode 这两种主要执行模式。

集成 Kleidi 后，Llama 模型推理速度最高可提升 18 倍，Gemma 2 2B 可提升 15 倍，自然语言处理 (NLP) 模型性能也显著提高，其中 Bert-Large 性能提升 2.2 倍。

AWS 与 Arm 合作，借助 oneDNN，为搭载 Arm Compute Library (ACL) 内核、基于 Neoverse V1 的 Graviton3 处理器，优化了 PyTorch torch.compile 功能。

此次优化使 Hugging Face 上最热门 NLP 模型的推理性能最高可提升 2 倍。

Stability AI 和 Arm 合作，加速端侧生成式 AI 发展，无需互联网连接即可解锁实时音频生成能力。

通过模型蒸馏技术及 Arm KleidiAI 的应用，Stable Audio Open 如今在基于 Arm 架构的智能手机上，文本转音频生成速度较以前快 30 倍，用户可在边缘侧几秒内创建高质量音频。

Arcee AI Virtuoso-Lite 模型采用 4 位量化技术并在 llama.cpp 上运行，每秒可生成 40 个词元，在企业环境中运行 SLM 时可实现 4.5 倍的性价比优势。这得益于借助 Arm Kleidi 技术实现的开箱即用优化。

与 Meta 合作并采用搭载 4 位量化技术的 KleidiAI 后，这款 SLM 实现了与更大规模 Llama 3.1 405B 模型相当的性能。部署在基于 Arm Neoverse 平台的 Google Axion 处理器上时，性能稳定维持在每秒 50 个词元。

TinyStories 是一个数据集，包含典型 3 岁儿童能理解的词汇。该数据集可用于训练和评估参数规模在 1,000 万以下的小型模型。在 Arm Cortex-A320 CPU 上运行 TinyStories 时，性能提升超过了 70%。

ONNX Runtime 是业界应用最广泛的的开源框架之一，适用于在移动端、桌面端和云端部署生成式 AI。

Arm 与微软合作，将 KleidiAI 集成至 ONNX 运行时，借助 Phi-3 Mini 3.8B 模型，Windows 和 Android 上的 AI 推理速度提升多达 2.6 倍。

MNN 是阿里巴巴研发的开源深度学习框架。双方合作有效提升了端侧多模态用例的运行性能与能效。

以经过多语言指令微调的 Qwen2-VL 2B 模型为例，将 Kleidi 与 MNN 集成后，预填充性能提升 57%，解码性能提升 28%。

Arm 与 Google AI Edge 在 MediaPipe 和 XNNPACK 领域展开合作，正加速当前及未来 Arm CPU 上 AI 工作负载的运行效率。这让开发者能够借助 Gemma 和 Falcon 等众多 LLM，为移动端、网页端、边缘侧和物联网场景提供出色的 AI 性能。

借助 Kleidi 通过 XNNPACK 与 MediaPipe 的集成，在基于 Arm 架构的高端智能手机上运行 Gemma 1 2B LLM 聊天机器人演示时，TTFT 实现了 30% 的加速。