超高能效代理式 AI CPU
AI Summary
如今,软件代理式 AI 需要进行推理、决策和操作,对 CPU 提出了新的要求。此类工作负载需要一个处理器来编排计算、管理加速器并同时协调数千个代理式 AI。全新的计算时代,自然需要全新的处理器。
Arm AGI CPU 是 Arm 打造的首款量产芯片,专为大规模 AI 基础设施而设计。我们相信,它开创了全新的 CPU 品类,兼具高性能与超高机架级密度,可支持现代数据中心内的代理式 AI 运算。Arm AGI CPU 基于 Arm Neoverse CSS V3,我们预计 Arm AGI CPU 加入 Arm 的数据中心产品组合后,将借助同样广泛的 Arm 软硬件生态系统,加快产品上市进程。
首批部署 Arm AGI CPU 的合作伙伴
了解 OpenAI、SK Telecom、SAP、Cloudflare、F5 和 Cerebras 如何在其 AI 数据中心内使用 Arm AGI CPU 服务器。
Arm AGI CPU规格与产品简介
| Arm AGI CPU 136C (最大核心数) |
Arm AGI CPU 128C (总拥有成本 [TCO] 优化) |
Arm AGI CPU 64C (最大内存/核心) |
|
|---|---|---|---|
|
SKU |
|
|
|
|
处理核心 |
|
|
|
|
CPU 架构 |
|
|
|
|
系统级缓存 |
|
|
|
|
最大频率 |
|
|
|
|
基础 TDP* |
|
|
|
|
RDIMM 内存 |
|
|
|
|
每核内存吞吐量 |
|
|
|
|
PCIe/IO |
|
|
|
|
PCIe 控制通道数 |
|
|
|
|
支持双路 |
|
|
|
|
每个通道 2 个 DIMM 内存插槽 |
|
|
|
*表示可配置 TDP 范围内的预设 TDP 值
关键要点
关键要点
-
面向代理式AI专门打造的Arm AGI CPU:Arm首款量产芯片,专为持续运行的大规模AI系统设计,CPU可在分布式基础设施中协调数千个并行任务。
-
机架级性能与效率:在高密度部署中提供持续高性能,相比x86系统实现超过2倍的机架性能。
-
高性能核心与内存架构:最多136个Neoverse V3核心,每核心6GB/s内存带宽,延迟低于100ns。
-
面向AI数据中心效率设计:在300W TDP下运行,平衡计算密度、内存吞吐与系统效率。
常见问题解答
问:Arm AGI CPU与传统数据中心CPU有何不同?
答:Arm AGI CPU是Arm首款量产芯片,专为代理式AI工作负载设计,提供高性能、可扩展的并行处理以及能效优化,使数据中心能够高效运行大规模持续AI工作负载。
问:Arm AGI CPU的关键特性是什么?
答:Arm AGI CPU 结合高核心密度、优化的内存架构以及可扩展的系统设计,以支持大规模 AI 工作负载:
- 高效核心:最多136个Arm Neoverse V3核心,每核心2MB L2缓存,最高3.7GHz频率,实现高响应并行性能。
- 性能与效率:基于TSMC 3nm工艺,300W TDP,实现高吞吐与能效平衡。
- 优化内存架构:支持DDR5-8800,每核心6GB/s带宽与低于100ns延迟。
- 高密度部署:支持高密度设计,如1U服务器最多272核心。
- 机架级扩展:支持每机架数千核心的大规模AI部署。
- 灵活I/O:96条PCIe Gen6通道、CXL 3.0与AMBA CHI,支持可组合AI系统。
问:什么是代理式AI?为什么需要新型CPU?
答:代理式AI指持续运行并实时决策的系统,需要能够高效协调大规模分布式系统的CPU。
问:Arm AGI CPU如何提升数据中心性能?
答:通过提升单任务效率并扩展至数千核心,实现每系统更多计算量,机架性能超过x86两倍。
问:Arm AGI CPU如何支持大规模AI基础设施?
答:通过管理分布式工作负载、协调加速器以及优化数据流动,实现大规模持续AI运行。
问:Arm AGI CPU如何融入Arm生态系统?
答:将Arm计算平台扩展至量产芯片,使合作伙伴可通过IP、子系统或成品CPU灵活部署。
基于估算结果。