概述

重新思考 AI 时代的数据中心

AI 正在推动数据中心向专用、工作负载优化的基础设施发展，这种基础设施强调能效、可扩展性和性能。Arm 的 Neoverse CPU 提供灵活的计算基础，可与加速器无缝集成，以支持 AI 工作负载，例如推荐引擎、大语言模型 (LLM) 和检索-增强-生成 (RAG)。该平台配备强大的开发者工具，使超大规模云服务提供商和云服务提供商能够高效地扩展 AI，同时降低成本。

下载电子书
 

AI 数据中心内部：定制芯片和Arm生态系统的力量

听听 Arm 云 AI 业务部门负责人 Mohammed Awad 的见解，他将探讨 AI 如何重塑数据中心设计，为什么每瓦性能现在定义了云竞争力，以及 Arm 生态系统如何加速下一代 AI 时代的定制芯片。

优势

更强的计算能力、更高的效率、更优的性价比

Arm 提供高能效的计算能力，可与各种 AI 加速器无缝配合，帮助您在降低总体拥有成本 (TCO) 的同时，实现强大的性能和效率。

ML 模型训练速度提升高达 8 倍，LLM 推理性能提升高达 4.5 倍

与 x86+Hopper 系统相比， NVIDIA Grace Hopper 超级芯片在训练 DLRM 模型和推理 GPT-65B 模型时性能更佳。1
推荐性能提升高达 3 倍

与 x86 架构的同类产品相比， Google Axion 处理器在 MLPerf DLRMv2 基准测试中表现更佳。2
AI 推理性能提升高达2.5倍

采用 Google Axion 处理器，与 x86 架构的替代方案相比，成本降低 64%，实时 AI 的 RAG 速度更快。3
LLM 和 ML 推理任务性能提升高达 2 倍

与当前一代 x86 实例相比，基于 Axion 的虚拟机可提供更佳的性能。4
合作伙伴

通过针对实际性能优化的基础设施，赋能行业领导者

Arm 助力行业领导者构建新一代可扩展、高效的数据中心，其计算解决方案针对实际性能进行了优化。Arm CPU 专为高性能、高能效和无缝扩展而设计，非常适合与加速器配合使用，以满足最苛刻的 AI 和云工作负载需求。

Arm and AWS

了解基于 Arm 架构的 AWS Graviton 处理器如何以领先的性价比和效率改变云计算，为 AI 和云原生工作负载提供支持，目前已为超过 50% 的 AWS 最新 CPU 容量提供动力。

探索 Arm 和 AWS

探索 Axion（首款 Google Cloud 定制基于 Arm 架构 CPU）如何提升 AI 和云工作负载的性能和效率，其性能比目前的 x86 实例高出 2 倍。

探索 Arm 和 Google Cloud
Arm and NVIDIA

了解 Arm 的节能计算平台如何成为NVIDIA加速计算平台（包括 Grace CPU 系列）的关键要素，从而在 AI 任务中实现高达 10 倍的性能提升。

探索 Arm 和NVIDIA
计算平台

Arm Neoverse 平台提供强大的 AI/ML 性能

Arm Neoverse 平台 CPU 专为高效处理高要求的 AI 工作负载而设计，具有高吞吐量、高能效和低 TCO，因此在 CPU 是实际选择时，它们是理想之选。从推荐引擎和语言模型推理到检索-增强-生成 (RAG)，Neoverse 可扩展到广泛的 AI 应用。

Performance

Google Axion 上的推荐模型性能比 x862上的性能提升高达 3 倍。

cost saving

与 x86 替代方案相比，AI 推理吞吐量提高了 2.5 倍，成本降低了 64%5。

Ecosystem

广泛采用超大规模云服务提供商和多云可用性。

探索 Arm Neoverse 平台在 AI 工作负载方面的应用了解 CPU 上的 AI/ML

适用于所有 AI 工作负载的 Arm 计算平台

随着 AI 从 发展到 ，再到现在的 ，工作负载变得越来越需要计算和电力。满足这些需求需要转向异构基础设施，使系统能够动态地将每个工作负载与合适的处理器匹配，从而优化性能、能效和成本。

 

Arm Neoverse 平台 CPU 提供了一个节能、可扩展的计算平台，可与 GPU、NPU 和定制加速器无缝集成，并提供更高的性能、灵活性、效率和可扩展性。

探索异构计算解决方案
软件和开发者工具

利用 Arm 软件和工具优化 AI 工作负载

开发者需要优化的工具，以便能够快速高效地部署 AI，而无需付出太多努力。Arm 软件生态系统（包括 Arm Kleidi 库和广泛的框架支持）有助于加快部署速度，并提高云端和边缘侧的 AI 工作负载性能。

资源

最新新闻和资源

  • 新闻和博客
  • 报告
  • 播客
  • 白皮书

可持续数据中心性能基准测试

Signal65 的独立分析揭示了基于 Arm Neoverse 平台的 AWS Graviton4 处理器如何在 Web、数据库和 AI 工作负载中持续提供卓越的每瓦性能，从而提高数据中心的效率并降低总体拥有成本 (TCO)。

了解更多
数据中心的 AI

Arm数据中心新时代的曙光

行业分析师 Ben Bajarin 探讨了 AI 如何重新定义数据中心架构，以及 Arm 为何正在成为为 AI 时代提供可扩展、高效基础设施的关键参与者。

立即阅读
Podcast icon
数据中心的 AI

Arm 和 NVIDIA 重新定义数据中心 AI

收听我们与 NVIDIA 联合推出的播客，深入了解双方合作如何变革企业计算。

立即收听
Podcast icon
数据中心的 AI

Arm 和行业专家 Matt Griffin 探讨 AI 基础设施的未来

聆听 Arm 和 311 研究所创始人 Matt Griffin 探讨新兴的 AI 基础设施趋势、计算扩展面临的挑战，以及 Arm 如何实现从云端到边缘侧的高效、可持续的 AI。

立即收听

构建从云端到边缘侧的可扩展 AI 平台

了解帮助企业设计面向未来的计算堆栈的五项决策。探索如何采用异构计算、统一软件层，并使基础设施与业务目标保持一致，从而降低延迟并跨环境高效扩展。

阅读白皮书

关键要点

  • Arm 助力数据中心从通用平台转型为专为提高效率和可扩展性而构建的专用、工作负载优化的 AI 基础设施。
  • Neoverse CPU 为 AI 应用（包括推荐引擎和大语言模型 (LLM) 推理）提供高吞吐量、高能效和更低的 TCO。
  • 来自Google、AWS、 微软和 NVIDIA 等合作伙伴的基于 Arm 架构的处理器，与 x86 系统相比，训练性能可提高 8 倍，推理性能可提高 4.5 倍。
  • 基于 Arm 架构的异构基础设施可动态地将工作负载与 CPU、GPU、NPU 和定制加速器进行匹配，以实现最佳性能和成本。
  • Arm 的 Kleidi 库、框架和开发者工具简化了跨云和边缘侧环境的 AI 部署和工作负载优化。

常见问题：数据中心的 AI

为什么说 Arm 是数据中心 AI 的理想选择？
  • 节能高效：Arm Neoverse 平台 CPU 提供业界领先的每瓦性能，降低能源成本并提高运营效率。
  • 降低总体拥有成本 (TCO)：针对现代 AI 工作负载优化的可扩展架构可帮助企业降低基础设施支出。
  • 灵活、工作负载优化的系统：基于 Arm 架构的平台可与 GPU、NPU 和定制加速器无缝集成，为每个 AI 任务提供合适的计算能力。
  • 深受超大规模云服务提供商信赖：——这凸显了人们对 Arm 在大规模 AI 部署方面越来越有信心。
  • 统一的 AI 基础设施：成熟的软件生态系统和广泛的应用支持云和数据中心环境中各种计算引擎之间的无缝集成

基于 Arm 架构的平台如何提升 AI 性能并降低NVIDIA、 Google Cloud 和 AWS 等行业合作伙伴的云成本？

基于 Arm 架构的平台可大规模提升 AI 的性能和效率：


这些创新共同实现了在云和超大规模平台上更快、更经济高效的 AI。

Arm 为开发者提供哪些用于 AI 工作负载的工具？

开发者可以使用以下方法加速工作负载：


1. NVIDIA GH200
2. 揭秘 Axion：Google Cloud 专为 AI 时代打造的定制版基于 Arm 架构的处理器
3. 利用搭载 Arm Neoverse 平台架构的Google Axion 处理器，充分发挥检索-增强-生成 (RAG) 技术的强大功能
4. Google 的 Axion 由 Arm Neoverse 平台 提供支持：更快的推理速度和更高的AI工作负载性能
5. 利用搭载 Arm Neoverse 平台架构的Google