概述

超高能效代理式 AI CPU

AI Summary

如今,软件代理式 AI 需要进行推理、决策和操作,对 CPU 提出了新的要求。此类工作负载需要一个处理器来编排计算、管理加速器并同时协调数千个代理式 AI。全新的计算时代,自然需要全新的处理器。

 

Arm AGI CPU 是 Arm 打造的首款量产芯片,专为大规模 AI 基础设施而设计。我们相信,它开创了全新的 CPU 品类,兼具高性能与超高机架级密度,可支持现代数据中心内的代理式 AI 运算。Arm AGI CPU 基于 Arm Neoverse CSS V3,我们预计 Arm AGI CPU 加入 Arm 的数据中心产品组合后,将借助同样广泛的 Arm 软硬件生态系统,加快产品上市进程。

特性

Arm AGI CPU 的主要功能

机架级性能

性能

每个基于 Arm 平台的机架的性能提升 2 倍

Arm AGI CPU 的设计思路旨在为机架级部署提供最大化的性能表现。从微架构到内存,从时钟频率到 I/O,所有的一切都旨在提升千兆瓦级的性能。1

性能

现代 Arm 架构具有更高效的指令执行能力,不受数十年历史遗留系统的复杂性所束缚。内存系统提供每核心高带宽和超低延迟,避免内存成为性能瓶颈。

Single tall server rack with visible components

规模

每核心 TDP 降低,可支持更密集的部署,减少热节流现象。每个核心都是专用的,有助于减少资源争用,并在高线程负载下维持良好性能。

Single tall server rack with visible components

效率

高机架密度和高每瓦性能,有助于确保数据中心空间和电力资源的高效利用。

Single tall server rack with visible components
Single tall server rack with visible components

首批部署 Arm AGI CPU 的合作伙伴

了解 OpenAI、SK Telecom、SAP、Cloudflare、F5 和 Cerebras 如何在其 AI 数据中心内使用 Arm AGI CPU 服务器。

 
更多来自我们合作伙伴的评价
服务器

Arm AGI CPU 服务器现已上市  

Arm logo

Arm AGI CPU 1OU 双节点
参考服务器

基于 OCP DC-MHS 标准外形 1OU 双节点服务器,打造 Arm AGI CPU 最高密度部署参考设计。

Arm logo

Arm AGI CPU 2U2P
参考服务器

19” 2U2P 参考设计,适用于在传统外形尺寸中部署Arm AGI CPU。

Lenovo logo

联想 HR650a V3 2U Arm AGI CPU 系统

企业级 2U Arm AGI 服务器,针对云基础设施进行了优化,可提供可靠的性能和低总体拥有成本。

Supermicro-logo

SuperMicro 5U Arm AGI CPU PCIe GPU 系统

高密度 5U AI 平台,结合了双路 Arm AGI CPU 和丰富的 PCIe GPU 扩展。

Supermicro-logo

SuperMicro 2U Hyper Arm AGI CPU Hyper 系统

紧凑型 2U 双路 Arm AGI 服务器,专为云端和 AI 基础设施的高效部署而设计。

Asrock-logo

华擎 2OU2N-Arm
系统

符合 OCP ORv3 标准的高密度双节点 Arm 服务器,适用于可扩展、高能效的云部署。

咨询 Arm 专家
规格

Arm AGI CPU规格与产品简介

Arm AGI CPU 136C
(最大核心数)
Arm AGI CPU 128C
(总拥有成本 [TCO] 优化)
Arm AGI CPU 64C
(最大内存/核心)

SKU

  • SP113012
  • SP113012S
  • SP113012A

处理核心

  • 136 Neoverse V3
  • 2x 128 SVE
  • 2MB/core L2
  • 128 Neoverse V3
  • 2x 128 SVE
  • 2MB/core L2
  • 64 Neoverse V3
  • 2x 128 SVE
  • 2MB/core L2

CPU 架构

  • Armv9.2
  • bfloat16 and INT8 AI 指令
  • Armv9.2
  • bfloat16 and INT8 AI 指令
  • Armv9.2
  • bfloat16 and INT8 AI 指令

系统级缓存

  • 128MB
  • 128MB
  • 128MB

最大频率

  • 3.5GHz
  • 3.5GHz
  • 3.7GHz

基础 TDP*

  • 300W
  • 300W
  • 300W

RDIMM 内存

  • 12x DDR5
  • Up to 8800MT/s
  • 12x DDR5
  • Up to 8800MT/s
  • 12x DDR5
  • Up to 8800MT/s

每核内存吞吐量

  • 6GB/s per core
  • 6.3GB/s per core
  • 13GB/s per core

PCIe/IO

  • 96x lanes PCIe Gen6
  • CXL 3.0 Type 3
  • 96x lanes PCIe Gen6
  • CXL 3.0 Type 3
  • 96x lanes PCIe Gen6
  • CXL 3.0 Type 3

PCIe 控制通道数

  • 6x 1 Gen4
  • 6x 1 Gen4
  • 6x 1 Gen4

支持双路

每个通道 2 个 DIMM 内存插槽


*表示可配置 TDP 范围内的预设 TDP 值

下载产品简介
咨询专家

咨询 Arm 专家,了解 Arm AGI CPU
专为下一代 AI 数据中心打造的设计理念。

联系我们

关键要点

关键要点

  • 面向代理式AI专门打造的Arm AGI CPU:Arm首款量产芯片,专为持续运行的大规模AI系统设计,CPU可在分布式基础设施中协调数千个并行任务。

  • 机架级性能与效率:在高密度部署中提供持续高性能,相比x86系统实现超过2倍的机架性能。

  • 高性能核心与内存架构:最多136个Neoverse V3核心,每核心6GB/s内存带宽,延迟低于100ns。

  • 面向AI数据中心效率设计:在300W TDP下运行,平衡计算密度、内存吞吐与系统效率。

FAQ

常见问题解答

问:Arm AGI CPU与传统数据中心CPU有何不同?

答:Arm AGI CPU是Arm首款量产芯片,专为代理式AI工作负载设计,提供高性能、可扩展的并行处理以及能效优化,使数据中心能够高效运行大规模持续AI工作负载。

问:Arm AGI CPU的关键特性是什么?

答:Arm AGI CPU 结合高核心密度、优化的内存架构以及可扩展的系统设计,以支持大规模 AI 工作负载:

  • 高效核心:最多136个Arm Neoverse V3核心,每核心2MB L2缓存,最高3.7GHz频率,实现高响应并行性能。
  • 性能与效率:基于TSMC 3nm工艺,300W TDP,实现高吞吐与能效平衡。
  • 优化内存架构:支持DDR5-8800,每核心6GB/s带宽与低于100ns延迟。 
  • 高密度部署:支持高密度设计,如1U服务器最多272核心。
  • 机架级扩展:支持每机架数千核心的大规模AI部署。
  • 灵活I/O:96条PCIe Gen6通道、CXL 3.0与AMBA CHI,支持可组合AI系统。

问:什么是代理式AI?为什么需要新型CPU?

答:代理式AI指持续运行并实时决策的系统,需要能够高效协调大规模分布式系统的CPU。

问:Arm AGI CPU如何提升数据中心性能?

答:通过提升单任务效率并扩展至数千核心,实现每系统更多计算量,机架性能超过x86两倍。

问:Arm AGI CPU如何支持大规模AI基础设施?

答:通过管理分布式工作负载、协调加速器以及优化数据流动,实现大规模持续AI运行。

问:Arm AGI CPU如何融入Arm生态系统?

答:将Arm计算平台扩展至量产芯片,使合作伙伴可通过IP、子系统或成品CPU灵活部署。


  1. 基于估算结果。