概述

Arm AGI CPU:全球最高效的代理式 CPU

AI Summary

Arm AGI CPU 是 Arm 打造的首款量產晶片,專為代理式 AI 需求而設計。在代理式 AI 中,軟體代理會持續大規模地進行推理、決策和行動。這些工作負載需要 CPU 能夠協調運算、管理加速器,並同時協調數千個代理。Arm AGI CPU 基於 Arm Neoverse CSS V3,提供高效能和超高機櫃級密度,可透過成熟的硬體與軟體生態系加快 AI 基礎設施部署。

效能

基於 Arm,每機櫃效能提升高達 2 倍

在關鍵代理式 AI 工作負載中,獨立測試顯示,Arm AGI CPU 在每機櫃效能方面優於 AMD EPYC Turin,為現代代理式基礎設施提供更高輸送量、更出色的擴充能力、更低延遲和更高效率。 1

閱讀報告了解代理式效能
  • 推理與規劃
  • 工具調用
  • 端對端代理式工作流程
  • 協調
特色

Arm AGI CPU 的主要功能

機架級效能

首批部署 Arm AGI CPU 的合作夥伴

探索 OpenAI、SK Telecom、SAP、Cloudflare、F5 和 Cerebras 如何在人工智慧資料中心使用 Arm AGI CPU 伺服器。

 
瞭解我們更多合作夥伴的看法
伺服器與機櫃級系統

Arm AGI CPU 伺服器  

Arm AGI CPU 1OU 雙節點參考伺服器

Arm AGI CPU 1OU 雙節點
參考伺服器

適用於 Arm AGI CPU 最高密度部署的參考設計 – 部署於 OCP DC-MHS 標準型態 1OU 雙節點伺服器。

Arm AGI CPU 2U2P參考伺服器

Arm AGI CPU 2U2P
參考伺服器

19 吋 2U2P 參考設計,適用於以傳統型態部署 Arm AGI CPU。

Lenovo HR650a V3 2U Arm AGI CPU 系統

Lenovo HR650a V3 2U Arm AGI CPU 系統

針對雲端基礎設施最佳化的企業級 2U Arm AGI 伺服器,提供可靠效能和低總持有成本。

Supermicro 5U Arm AGI CPU PCIe GPU 系統

Supermicro 5U Arm AGI CPU PCIe GPU 系統

高密度 5U 人工智慧平台結合雙 Arm AGI CPU 與廣泛的 PCIe GPU 擴充。

Supermicro 2U Hyper Arm AGI CPU Hyper 系統

Supermicro 2U Hyper Arm AGI CPU Hyper 系統

精巧的 2U 雙插槽 Arm AGI 伺服器,專為高效部署雲端和人工智慧基礎設施所設計。

Supermicro 2U4N Arm AGI CPU 液冷伺服器

Supermicro 2U4N
Arm AGI CPU 液冷伺服器

專為雲端與 AI 工作負載(包括代理式 AI 與 AI 前處理)打造的液冷式 2U 4 節點伺服器,提供卓越的效能、密度與能源效率。

Supermicro 2U Hyper-E Arm AGI CPU 伺服器

Supermicro 2U Hyper-E
Arm AGI CPU 伺服器

適用於雲端與邊緣運算的單路 2U 伺服器,支援最高 3TB 記憶體容量。

ASRock Rack 2OU2N-Arm 系統

ASRock Rack 2OU2N-Arm
系統

高密度雙節點 Arm 伺服器,依據 OCP ORv3 標準打造,適用於可擴展且節能的雲端部署。

Arm AGI CPU 機櫃級系統

Supermicro 2U 4-Node Arm AGI CPU 機櫃級解決方案

Supermicro 2U 4-Node
Arm AGI CPU 機櫃級解決方案

超高密度多節點液冷 ORv3 機櫃架構,配備 76 個節點、152 顆 Arm AGI CPU,總計 20,672 個核心。

Supermicro 1U 4-Node Arm AGI CPU 機櫃級解決方案

Supermicro 1U 4-Node
Arm AGI CPU 機櫃級解決方案

提供最高運算密度的多節點液冷 ORW 機櫃架構,配備 168 個節點、336 顆 Arm AGI CPU,總計 45,696 個核心。

諮詢 Arm 專家
產品規格

Arm AGI CPU規格與產品簡介

Arm AGI CPU 136C
(最大核心數)
Arm AGI CPU 128C
(總擁有成本 [TCO] 最佳化)
Arm AGI CPU 64C
(每核心最大記憶體)

SKU

  • SP113012
  • SP113012S
  • SP113012A

處理核心

  • 136 Neoverse V3
  • 2x 128 SVE
  • 2MB/core L2
  • 128 Neoverse V3
  • 2x 128 SVE
  • 2MB/core L2
  • 64 Neoverse V3
  • 2x 128 SVE
  • 2MB/core L2

CPU 架構

  • Armv9.2
  • bfloat16 and INT8 AI指令
  • Armv9.2
  • bfloat16 and INT8 AI指令
  • Armv9.2
  • bfloat16 and INT8 AI指令

系統層級快取

  • 128MB
  • 128MB
  • 128MB

最大頻率

  • 3.5GHz
  • 3.5GHz
  • 3.7GHz

基礎 TDP*

  • 300W
  • 300W
  • 300W

RDIMM 記憶體

  • 12x DDR5
  • Up to 8800 MT/s
  • 12x DDR5
  • Up to 8800 MT/s
  • 12x DDR5
  • Up to 8800 MT/s

每核心記憶體吞吐量

  • 6GB/s per core
  • 6.3GB/s per core
  • 13GB/s per core

PCIe/IO

  • 96x lanes PCIe Gen6
  • CXL 3.0 Type 3
  • 96x lanes PCIe Gen6
  • CXL 3.0 Type 3
  • 96x lanes PCIe Gen6
  • CXL 3.0 Type 3

PCIe 控制通道數

  • 6x 1 Gen4
  • 6x 1 Gen4
  • 6x 1 Gen4

2 插槽支援

  • 是
  • 是
  • 是

每通道 2 DIMMS

  • 是
  • 是
  • 是

*表示可配置 TDP 範圍內的預設 TDP 值

下載產品簡介
Arm Performix

針對 Arm AGI CPU 最佳化工作負載

Arm Performix 是一款面向開發者的效能分析工具組,適用於建置人工智慧和大型應用程式工作負載。它可以識別瓶頸,並提供有針對性的程式碼最佳化建議,進而提升 Arm AGI CPU 的效率與效能。

開始最佳化
諮詢專家

諮詢 Arm 專家,探索 Arm AGI CPU
如何專為次世代 AI 資料中心打造。

聯絡我們

重點摘要

  • Arm AGI CPU 專為需要持續協同處理的代理式 AI 工作負載而打造。

  • 它充當協調層,管理加速器並同時協調數千個 AI 代理。

  • 該處理器基於 Arm Neoverse CSS V3,充分利用經過驗證的平台和生態系。

  • 它可提供高效能,並支援現代資料中心所需的超高機櫃級密度。

  • Arm AGI CPU 以 Arm 現有的軟體與硬體生態系統為基礎,可協助加快上市時程。

FAQ

常見問題

問:Arm AGI CPU與傳統資料中心 CPU 有何不同?

答:Arm AGI CPU為 Arm 首款量產晶片,專為代理式 AI 工作負載設計,提供高效能、可擴展的平行處理與能源效率,讓資料中心能有效執行大規模持續AI運算。

問:Arm AGI CPU 的主要特點是什麼?

答:Arm AGI CPU 結合高核心密度、最佳化的記憶體架構以及可擴展的系統設計,以支援大規模 AI 工作負載:

  • 高效核心:最多136 個 Arm Neoverse V3 核心,每核心配備 2MB L2 快取,最高 3.7GHz。
  • 效能與效率:採用 TSMC 3nm 製程,300W TDP,兼顧效能與能效。
  • 最佳化記憶體架構:支援 DDR5-8800,提供每核心 6GB/s 頻寬與低於100ns 延遲。
  • 高密度部署:支援 1U 伺服器最高 272 核心配置。
  • 機架級擴展:每機架可達數千核心規模。
  • 彈性 I/O:包含 96 條 PCIe Gen6、CXL 3.0 與 AMBA CHI 連結。

問:什麼是代理式 AI?為什麼需要新型CPU?

答:代理式 AI 是可持續運行並即時決策的系統,需要能高效協調分散式運算的 CPU。

問:Arm AGI CPU 如何提升資料中心效能?

答:透過提升單任務效率並擴展至數千核心,使每系統可處理更多工作量,機架效能超越 x86 兩倍以上。 1

問:Arm AGI CPU如何支援大規模 AI 基礎架構?

答:透過管理分散式工作負載、協調加速器與優化資料流動,支援持續的大規模 AI 運作。

問:Arm AGI CPU 如何融入 Arm 生態系?

答:將 Arm 運算平台延伸至量產晶片,讓合作夥伴可透過IP、子系統或現成 CPU 靈活部署。


  1. 結果由 Signal65(第三方)與 Arm 合作測試和驗證。所有測試均由 Signal65 評估,並根據測試時註明的 Arm AGI CPU 和 AMD EPYC 系統及規格進行測量。完整方法請參閱此處。結果可能有所不同。