CPU 推理详解指南
本综合指南深入探讨了在 CPU 上处理 AI 工作负载的优势和切实可行的用例。探索已经从 CPU 推理中受益的诸多行业，了解真实的使用案例。
哪些 AI 工作负载最适合在 CPU 上运行？
始终开启或受功率限制的推理
从端侧 AI 用例（例如虚拟助手和实时翻译）到云端处理的工作负载（例如从数据中生成见解或个性化内容推荐）。
通用系统级计算
主导 AI 系统的编排和控制，包括协调异构系统中的 AI 头节点加速器、同步 AI 代理、管理内存和数据移动。
从边缘侧到云端的 AI 基础
持续二十年的 AI 架构创新
Arm 致力于快速推进架构创新，使我们庞大的生态系统能够适应不断变化的计算需求和 AI 的未来发展。二十多年来，Arm 始终在积极改进 CPU 的 AI 功能，推出了 Neon、Helium、可伸缩向量扩展 (SVE)、可伸缩矩阵扩展 2 (SME2) 等功能。最新的 Armv9 架构能够提高计算性能，同时降低 AI 工作负载的功耗。
Arm 与主流的 AI 框架和操作系统建立合作关系，有助于确保在 Arm CPU 上快速轻松地部署可扩展的 AI 工作负载。我们为关键合作伙伴提供优化新模型的技术利用量化和开源 AI 加速软件（例如已被诸多框架和独立软件供应商使用的 Arm Kleidi）实现定制化的 AI 未来。在 AI 框架层面进行加速，有助于在 Arm CPU 上更广泛地推动 AI 加速，从而在数十亿个 AI 推理安装中，为边缘侧、移动设备和云端的工作负载提供支持。由于我们在游戏、计算机视觉和语言模型领域的努力，应用开发者无需任何额外的优化工作，即可在Arm CPU 上获得 AI 工作负载的理想性能。
最新新闻和资源
- 新闻和博客
- 报告
- 白皮书
- 网络研讨会
移动端 AI
利用 AI 重塑移动端体验
观看本次网络研讨会，了解适用于智能手机与笔记本电脑的 Arm AI 平台（包括最新的 Armv9 架构 CPU 和 GPU），探索在端侧运行 AI 的优势。
关键要点
-
CPU 作为中央“思考”层，与加速器协同编排 AI 系统。
-
AI 工作负载依赖 CPU 管理数据流动，并将计算转化为可用成果。
-
代理式 AI 工作负载具有持续运行、始终在线的特性，因此 CPU 能效的重要性日益凸显。
-
高能效 CPU 对于推动 AI 在数据中心和边缘环境中实现规模化部署至关重要。
-
评估面向 AI 的 CPU 时，需要考量其编排能力、可扩展性以及每瓦性能。
