概述

重新思考面向智能体 AI 时代的数据中心

AI 正在推动数据中心向针对工作负载优化的专用基础设施发展，更加注重能效、可扩展性和性能。Arm 为 AI 数据中心提供 CPU 基础平台，可与加速器无缝集成，协同编排 AI 智能体、处理数据并支持可扩展的 AI 工作负载，例如推荐引擎、大语言模型、检索增强生成等。依托强大的软件生态，Arm 计算平台助力超大规模云服务提供商高效扩展 AI 基础设施，同时提升性能、优化成本并改善能效表现。

 

AI 数据中心内部：定制芯片和 Arm 生态系统的力量

听听 Arm 云 AI 业务部门负责人 Mohammed Awad 的见解，他将探讨 AI 如何重塑数据中心设计，为什么每瓦性能现在定义了云竞争力，以及 Arm 生态系统如何加速下一代 AI 时代的定制芯片。

计算平台

Arm AGI CPU 提供强大的 AI 性能

Arm AGI CPU 基于Arm Neoverse CSS V3，可提供大规模 AI 所需的极致机架级密度和性能，加速全球算力的扩展，从而推动通用人工智能的发展，同时通过 Arm 生态系统加快产品上市。

探索 Arm AGI CPU

基于 Arm，每机架性能提升高达 2 倍

在关键智能体 AI 工作负载中，独立测试显示，Arm AGI CPU 在每机架性能方面优于 AMD EPYC Turin，为现代智能体基础设施提供更高吞吐量、更出色的扩展能力、更低延迟和更高效率。1

阅读报告了解智能体性能
  • 推理与规划
  • 工具调用
  • 端到端智能体工作流
  • 编排
优势

更强的算力、更高的能效、更优的性价比

Arm 提供高能效的算力，可与各种 AI 加速器无缝配合，助力在降低总体拥有成本的同时，实现强大的性能和能效。

ML 模型训练速度提升高达 8 倍，LLM 推理性能提升高达 4.5 倍

与 x86+Hopper 系统相比，NVIDIA Grace Hopper 超级芯片在训练 DLRM 模型和推理 GPT-65B 模型时性能更佳。2
LLM 性能提升高达 168%，ML 性能提升高达 53%

与 x86 架构的替代方案相比，AWS Graviton4 处理器在 LLAMA 3.1 和 XGBoost 基准测试中表现更佳。3
AI 推理性能提升高达 2.5 倍

与 x86 架构的替代方案相比，采用 Google Axion 处理器后，成本降低 64%，实时 AI 的 RAG 速度更快。4
LLM 推理性能提升高达 1.9 倍，性价比提升高达 2.8 倍

与 x86 架构的替代方案相比，微软 Cobalt 100 表现更佳。5
合作伙伴

专为实际性能优化的基础设施，为行业领军企业赋能

Arm 提供专为实际 AI 性能调优的计算解决方案，赋能行业领军企业构建可扩展、面向 AI 优化的云基础设施。Arm CPU 专为高性能、高能效和无缝扩展而设计，非常适合用来编排加速器，以满足最苛刻的 AI 和云工作负载需求。

Arm AWS lockup logo

了解基于 Arm 架构的 AWS Graviton 处理器如何以领先的性价比和能效改变云 AI，为 AI 和云原生工作负载提供支持，目前已开始为 AWS Trainium3 UltraServers 提供支持。

探索 Arm 和 AWS
Arm partner Google Cloud lockup logo

探索 Axion（首款 Google Cloud 基于 Arm 架构的定制 CPU）如何提升 AI 和云工作负载的性能和能效。

探索 Arm 和 Google Cloud
Arm NVIDIA lockup logo

探索 Arm 高能效计算平台如何成为 NVIDIA 加速计算平台的关键要素，从 Grace CPU 系列到如今的 Vera CPU，共同驱动 NVIDIA 机架级 AI 解决方案实现性能跃升。

探索 Arm 和 NVIDIA
软件和开发者工具

利用 Arm 软件和工具优化 AI 工作负载

开发者需要经过优化的工具，以便能够快速高效省力地部署 AI。Arm 软件生态系统（包括 Arm Kleidi 库和广泛的框架支持）有助于加快部署速度，并提高云端和边缘侧的 AI 工作负载性能。

资源

最新新闻和资源

  • 新闻和博客
  • 报告
  • 播客
  • 白皮书
Generic Report

可持续数据中心性能基准测试

Signal65 的独立分析揭示了基于 Arm Neoverse 平台的 AWS Graviton4 处理器如何在 Web、数据库和 AI 工作负载中持续提供出色的每瓦性能，从而提高数据中心的能效并降低总体拥有成本。

了解更多
Generic Report
数据中心的 AI

数据中心迎来 Arm 的全新时代

行业分析师 Ben Bajarin 探讨了 AI 如何重新定义数据中心架构，阐明了 Arm 为何正在成为向 AI 时代提供可扩展、高能效基础设施的关键参与者。

立即阅读
Podcast icon
数据中心的 AI

Arm 和 NVIDIA 重新定义数据中心 AI

收听我们与 NVIDIA 联合推出的播客，深入了解双方合作如何变革企业计算。

立即收听
Podcast icon
数据中心的 AI

Arm 和行业专家 Matt Griffin 探讨 AI 基础设施的未来

聆听 Arm 和 311 研究所创始人 Matt Griffin 探讨新兴的 AI 基础设施趋势、算力扩展面临的挑战，了解 Arm 如何实现覆盖云端到边缘侧的高能效、可持续 AI。

立即收听
Whitepapers - Generic Whitepapers

构建从云端到边缘侧的可扩展 AI 平台

了解帮助企业设计面向未来的计算技术栈的五项决策。探索如何采用异构计算、统一软件层，并使基础设施与业务目标保持一致，从而降低延迟并跨环境高效扩展。

阅读白皮书
Whitepapers - Generic Whitepapers

定义智能体 AI 的 CPU 和软件栈性能

智能体 AI 将 CPU 工作负载扩展到推理之外。本白皮书提出一种以用例为驱动的方法论，将组件级基准测试与端到端基准测试相结合，用于衡量完成任务背后的基础设施

阅读白皮书

关键要点

  • 智能体 AI 系统需要针对性能、可扩展性和效率进行优化的专用基础设施。

  • CPU 通过与加速器协同编排工作负载，构成 AI 数据中心的基础。

  • 现代 AI 工作负载涵盖推荐系统、大语言模型和检索增强生成等用例。

  • 强大的软件生态系统对于有效部署和扩展 AI 基础设施至关重要。

  • 高效的基础设施设计可提升性能、降低成本，并在规模化部署中降低能耗。

常见问题：数据中心的 AI

为什么说 Arm 是数据中心 AI 的理想选择？
  • 高性能、高能效：Arm Neoverse 平台 CPU 提供业界领先的每瓦性能，可降低能源成本并提高运营效率。
  • 降低总体拥有成本 (TCO)：可扩展架构针对现代 AI 工作负载进行了优化，可帮助企业降低基础设施支出。
  • 针对工作负载优化的灵活系统：基于 Arm 架构的平台可与 GPU、NPU 和定制加速器无缝集成，为每个 AI 任务提供合适的算力。
  • 深受超大规模云服务提供商信赖：预计到 2025 年，交付给头部超大规模云服务提供商的计算芯片中将有一半基于 Arm 架构，彰显业界对于在大规模 AI 部署中使用 Arm 平台的信心日益增强。
  • 统一的 AI 基础设施：成熟的软件生态系统和广泛的应用，支持云和数据中心环境中各种计算引擎之间的无缝集成

基于 Arm 架构的平台如何提升 AI 性能并降低NVIDIA、Google Cloud 和 AWS 等行业合作伙伴的云成本？

基于 Arm 架构的平台可大规模提升 AI 的性能和能效：


在以上创新的共同加持下，在云和超大规模平台上得以实现更快、更经济高效的 AI。

Arm 为开发者提供了哪些用于 AI 工作负载的工具？

开发者可使用以下方法加速工作负载：


  1. 结果由 Signal65（第三方）与 Arm 合作测试和验证。所有测试均由 Signal65 评估，并基于测试时注明的 Arm AGI CPU 和 AMD EPYC 系统及规格进行测试。完整方法论请参见此处。结果可能会有所不同。

  2. NVIDIA GH200 Grace Hopper 超级芯片架构

  3. 结果基于第三方评估数据。所有测试均由 Signal65 执行，并在 AWS 实例上进行测量，测试时所用实例规格以当时记录为准。完整方法详见此处。实际结果可能存在差异。

  4. 利用基于 Arm Neoverse 平台的Google Axion 处理器，充分发挥“检索-增强-生成”技术的强大功能

  5. 借助 ONNX Runtime，在基于 Arm Neoverse 平台的微软 Cobalt 100 上加速 LLM 推理