概述

重新思考面向智能体 AI 时代的数据中心

AI 正在推动数据中心向针对工作负载优化的专用基础设施发展，更加注重能效、可扩展性和性能。Arm 为 AI 数据中心提供 CPU 基础平台，可与加速器无缝集成，协同编排 AI 智能体、处理数据并支持可扩展的 AI 工作负载，例如推荐引擎、大语言模型、检索增强生成等。依托强大的软件生态，Arm 计算平台助力超大规模云服务提供商高效扩展 AI 基础设施，同时提升性能、优化成本并改善能效表现。

下载电子书
 

AI 数据中心内部：定制芯片和 Arm 生态系统的力量

听听 Arm 云 AI 业务部门负责人 Mohammed Awad 的见解，他将探讨 AI 如何重塑数据中心设计，为什么每瓦性能现在定义了云竞争力，以及 Arm 生态系统如何加速下一代 AI 时代的定制芯片。

优势

更强的算力、更高的能效、更优的性价比

Arm 提供高能效的算力，可与各种 AI 加速器无缝配合，助力在降低总体拥有成本的同时，实现强大的性能和能效。

ML 模型训练速度提升高达 8 倍，LLM 推理性能提升高达 4.5 倍

与 x86+Hopper 系统相比，NVIDIA Grace Hopper 超级芯片在训练 DLRM 模型和推理 GPT-65B 模型时性能更佳。1
LLM 性能提升高达 168%，ML 性能提升高达 53%

与 x86 架构的替代方案相比，AWS Graviton4 处理器在 LLAMA 3.1 和 XGBoost 基准测试中表现更佳。2
AI 推理性能提升高达 2.5 倍

与 x86 架构的替代方案相比，采用 Google Axion 处理器后，成本降低 64%，实时 AI 的 RAG 速度更快。3
LLM 推理性能提升高达 1.9 倍，性价比提升高达 2.8 倍

与 x86 架构的替代方案相比，微软 Cobalt 100 表现更佳。4
合作伙伴

专为实际性能优化的基础设施，为行业领军企业赋能

Arm 提供专为实际 AI 性能调优的计算解决方案，赋能行业领军企业构建可扩展、面向 AI 优化的云基础设施。Arm CPU 专为高性能、高能效和无缝扩展而设计，非常适合用来编排加速器，以满足最苛刻的 AI 和云工作负载需求。

Arm AWS lockup logo

了解基于 Arm 架构的 AWS Graviton 处理器如何以领先的性价比和能效改变云 AI，为 AI 和云原生工作负载提供支持，目前已开始为 AWS Trainium3 UltraServers 提供支持。

探索 Arm 和 AWS
Arm partner Google Cloud lockup logo

探索 Axion（首款 Google Cloud 基于 Arm 架构的定制 CPU）如何提升 AI 和云工作负载的性能和能效。

探索 Arm 和 Google Cloud
Arm NVIDIA lockup logo

探索 Arm 高能效计算平台如何成为 NVIDIA 加速计算平台的关键要素，从 Grace CPU 系列到如今的 Vera CPU，共同驱动 NVIDIA 机架级 AI 解决方案实现性能跃升。

探索 Arm 和 NVIDIA
计算平台

Arm AGI CPU 提供强大的 AI 性能

Arm AGI CPU 基于Arm Neoverse CSS V3，可提供大规模 AI 所需的极致机架级密度和性能，加速全球算力的扩展，从而推动通用人工智能的发展，同时通过 Arm 生态系统加快产品上市。

Agentic Tuned performance icon

针对智能体优化了性能

Arm white icon - Rack scaled architecture

机架级架构

Compute density icon

算力密度

探索 Arm AGI CPU了解 CPU 上的 AI/ML

适用于所有 AI 工作负载的 Arm 计算平台

随着 AI 从经典机器学习发展到生成式 AI，再到现在的智能体模型，工作负载对算力和供电的需求越来越高。为此，需要转向专用 CPU，使 AI 系统能够动态地将每个工作负载与合适的处理器匹配，从而优化性能、能效和成本。

 

Arm Neoverse 平台 CPU 提供了高能效、可扩展的计算平台，可与 GPU、NPU 和定制加速器无缝集成，提供更高的性能、灵活性、能效和可扩展性。

探索异构计算解决方案
软件和开发者工具

利用 Arm 软件和工具优化 AI 工作负载

开发者需要经过优化的工具，以便能够快速高效省力地部署 AI。Arm 软件生态系统（包括 Arm Kleidi 库和广泛的框架支持）有助于加快部署速度，并提高云端和边缘侧的 AI 工作负载性能。

资源

最新新闻和资源

  • 新闻和博客
  • 报告
  • 播客
  • 白皮书
Generic Report

可持续数据中心性能基准测试

Signal65 的独立分析揭示了基于 Arm Neoverse 平台的 AWS Graviton4 处理器如何在 Web、数据库和 AI 工作负载中持续提供出色的每瓦性能，从而提高数据中心的能效并降低总体拥有成本。

了解更多
Generic Report
数据中心的 AI

数据中心迎来 Arm 的全新时代

行业分析师 Ben Bajarin 探讨了 AI 如何重新定义数据中心架构，阐明了 Arm 为何正在成为向 AI 时代提供可扩展、高能效基础设施的关键参与者。

立即阅读
Podcast icon
数据中心的 AI

Arm 和 NVIDIA 重新定义数据中心 AI

收听我们与 NVIDIA 联合推出的播客，深入了解双方合作如何变革企业计算。

立即收听
Podcast icon
数据中心的 AI

Arm 和行业专家 Matt Griffin 探讨 AI 基础设施的未来

聆听 Arm 和 311 研究所创始人 Matt Griffin 探讨新兴的 AI 基础设施趋势、算力扩展面临的挑战，了解 Arm 如何实现覆盖云端到边缘侧的高能效、可持续 AI。

立即收听
Whitepapers - Generic Whitepapers

构建从云端到边缘侧的可扩展 AI 平台

了解帮助企业设计面向未来的计算技术栈的五项决策。探索如何采用异构计算、统一软件层，并使基础设施与业务目标保持一致，从而降低延迟并跨环境高效扩展。

阅读白皮书

关键要点

  • Arm 助力数据中心从通用平台转型为专为提高能效和可扩展性而构建的针对工作负载优化的专用 AI 基础设施。
  • Neoverse CPU 为 AI 应用（包括推荐引擎和大语言模型推理）提供高吞吐量、高能效和更低的 TCO。
  • 来自 Google、AWS、微软和 NVIDIA 等合作伙伴的基于 Arm 架构的处理器，与 x86 系统相比，训练性能可提高 8 倍，推理性能可提高 4.5 倍。
  • 基于 Arm 架构的异构基础设施可动态地将工作负载与 CPU、GPU、NPU 和定制加速器进行匹配，以优化性能和成本。
  • Arm 的 Kleidi 库、框架和开发者工具简化了跨云和边缘侧环境的 AI 部署和工作负载优化。

常见问题：数据中心的 AI

为什么说 Arm 是数据中心 AI 的理想选择？
  • 高性能、高能效：Arm Neoverse 平台 CPU 提供业界领先的每瓦性能，可降低能源成本并提高运营效率。
  • 降低总体拥有成本 (TCO)：可扩展架构针对现代 AI 工作负载进行了优化，可帮助企业降低基础设施支出。
  • 针对工作负载优化的灵活系统：基于 Arm 架构的平台可与 GPU、NPU 和定制加速器无缝集成，为每个 AI 任务提供合适的算力。
  • 深受超大规模云服务提供商信赖：预计到 2025 年，交付给头部超大规模云服务提供商的计算芯片中将有一半基于 Arm 架构，彰显业界对于在大规模 AI 部署中使用 Arm 平台的信心日益增强。
  • 统一的 AI 基础设施：成熟的软件生态系统和广泛的应用，支持云和数据中心环境中各种计算引擎之间的无缝集成

基于 Arm 架构的平台如何提升 AI 性能并降低NVIDIA、Google Cloud 和 AWS 等行业合作伙伴的云成本？

基于 Arm 架构的平台可大规模提升 AI 的性能和能效：


在以上创新的共同加持下，在云和超大规模平台上得以实现更快、更经济高效的 AI。

Arm 为开发者提供了哪些用于 AI 工作负载的工具？

开发者可使用以下方法加速工作负载：


1.NVIDIA GH200 Grace Hopper 超级芯片架构
2.结果基于第三方评估数据。所有测试均由 Signal65 执行，
并在 AWS 实例上进行测量，测试时所用实例规格以当时记录为准。完整方法详见此处。实际结果可能存在差异。
3.利用基于 Arm Neoverse 平台的Google Axion 处理器，充分发挥“检索-增强-生成”技术的强大功能
4.借助 ONNX Runtime，在基于 Arm Neoverse 平台的微软 Cobalt 100 上加速 LLM 推理