概述

全球最高效的代理式 AI CPU

AI Summary

軟體代理程式現在能夠推理、決定及行動,對 CPU 提出全新需求。這類工作負載需要處理器來協調運算、管理加速器,並同時協調數千個代理程式。這是運算的新時代,需要有新的處理器類別。

 

Arm AGI CPU 是 Arm 第一款生產晶片,專為大規模的人工智慧基礎設施所設計。我們相信它能夠提供支援高效能和極致機架級密度的全新級別 CPU,協助現代資料中心的代理式 AI 運作。基於 Arm Neoverse CSS V3,Arm AGI CPU 加入 Arm 資料中心方案,運用相同的廣大 Arm 軟體和硬體生態系,預期將有助加快上市時程。

特色

Arm AGI CPU 的主要功能

機架級效能

效能

Arm 架構上的每機架效能高出 2 倍

Arm AGI CPU 的設計選擇,可提供機架級的最高效能。從微架構到記憶體,從時脈頻率到 I/O,一切都能以吉瓦的大規模提升效能。1

效能

現代 Arm 架構提供更高效率的指令執行,不用承受數十年複雜傳統架構造成的負擔。記憶體系統提供每核心高頻寬,以及最低的延遲,協助確保記憶體不會降低效能。

Single tall server rack with visible components

規模

每核心低熱設計功耗可支援更密集的部署,以及減少熱節流。每個核心都是專屬的,有助於減少資源受限,並在高執行緒負載下維持效能。

Single tall server rack with visible components

效率

高機架密度與每瓦高效能,可協助確保充分運用資料中心空間與功率資源。

Single tall server rack with visible components
Single tall server rack with visible components

首批部署 Arm AGI CPU 的合作夥伴

探索 OpenAI、SK Telecom、SAP、Cloudflare、F5 和 Cerebras 如何在人工智慧資料中心使用 Arm AGI CPU 伺服器。

 
瞭解我們更多合作夥伴的看法
伺服器

Arm AGI CPU 伺服器現已上市  

Arm logo

Arm AGI CPU 1OU 雙節點
參考伺服器

適用於 Arm AGI CPU 最高密度部署的參考設計 – 部署於 OCP DC-MHS 標準型態 1OU 雙節點伺服器。

Arm logo

Arm AGI CPU 2U2P
參考伺服器

19 吋 2U2P 參考設計,適用於以傳統型態部署 Arm AGI CPU。

Lenovo logo

Lenovo HR650a V3 2U Arm AGI CPU 系統

針對雲端基礎設施最佳化的企業級 2U Arm AGI 伺服器,提供可靠效能和低總持有成本。

Supermicro-logo

SuperMicro 5U Arm AGI CPU PCIe GPU 系統

高密度 5U 人工智慧平台結合雙 Arm AGI CPU 與廣泛的 PCIe GPU 擴充。

Supermicro-logo

SuperMicro 2U Hyper Arm AGI CPU Hyper 系統

精巧的 2U 雙插槽 Arm AGI 伺服器,專為高效部署雲端和人工智慧基礎設施所設計。

Arm partner logo - ASROCK

ASRock Rack 2OU2N-Arm
系統

高密度雙節點 Arm 伺服器,依據 OCP ORv3 標準打造,適用於可擴展且節能的雲端部署。

諮詢 Arm 專家
產品規格

Arm AGI CPU規格與產品簡介

Arm AGI CPU 136C
(最大核心數)
Arm AGI CPU 128C
(總擁有成本 [TCO] 最佳化)
Arm AGI CPU 64C
(每核心最大記憶體)

SKU

  • SP113012
  • SP113012S
  • SP113012A

處理核心

  • 136 Neoverse V3
  • 2x 128 SVE
  • 2MB/core L2
  • 128 Neoverse V3
  • 2x 128 SVE
  • 2MB/core L2
  • 64 Neoverse V3
  • 2x 128 SVE
  • 2MB/core L2

CPU 架構

  • Armv9.2
  • bfloat16 and INT8 AI指令
  • Armv9.2
  • bfloat16 and INT8 AI指令
  • Armv9.2
  • bfloat16 and INT8 AI指令

系統層級快取

  • 128MB
  • 128MB
  • 128MB

最大頻率

  • 3.5GHz
  • 3.5GHz
  • 3.7GHz

基礎 TDP*

  • 300W
  • 300W
  • 300W

RDIMM 記憶體

  • 12x DDR5
  • Up to 8800 MT/s
  • 12x DDR5
  • Up to 8800 MT/s
  • 12x DDR5
  • Up to 8800 MT/s

每核心記憶體吞吐量

  • 6GB/s per core
  • 6.3GB/s per core
  • 13GB/s per core

PCIe/IO

  • 96x lanes PCIe Gen6
  • CXL 3.0 Type 3
  • 96x lanes PCIe Gen6
  • CXL 3.0 Type 3
  • 96x lanes PCIe Gen6
  • CXL 3.0 Type 3

PCIe 控制通道數

  • 6x 1 Gen4
  • 6x 1 Gen4
  • 6x 1 Gen4

2 插槽支援

每通道 2 DIMMS


*表示可配置 TDP 範圍內的預設 TDP 值

下載產品簡介
諮詢專家

諮詢 Arm 專家,探索 Arm AGI CPU
如何專為次世代人工智慧資料中心打造。

聯絡我們

重點摘要

  • 專為代理式AI打造的Arm AGI CPU:Arm首款量產晶片,針對持續運行的大規模AI系統設計,CPU可在分散式基礎架構中協調數千個並行任務。

  • 機架級效能與效率:在高密度部署中提供持續高效能,相較x86系統達到超過2倍的機架效能。

  • 高效能核心與記憶體架構:最多136個Neoverse V3核心,每核心6GB/s記憶體頻寬,延遲低於100ns。

  • 為AI資料中心效率設計:在300W TDP下運行,平衡運算密度、記憶體吞吐與整體系統效率。

FAQ

常見問題

問:Arm AGI CPU與傳統資料中心CPU有何不同?

答:Arm AGI CPU為Arm首款量產晶片,專為代理式AI工作負載設計,提供高效能、可擴展的平行處理與能源效率,讓資料中心能有效執行大規模持續AI運算。

問:Arm AGI CPU的主要特點是什麼?

答:Arm AGI CPU 結合高核心密度、最佳化的記憶體架構以及可擴展的系統設計,以支援大規模 AI 工作負載:

  • 高效核心:最多136個Arm Neoverse V3核心,每核心配備2MB L2快取,最高3.7GHz。
  • 效能與效率:採用TSMC 3nm製程,300W TDP,兼顧效能與能效。
  • 最佳化記憶體架構:支援DDR5-8800,提供每核心6GB/s頻寬與低於100ns延遲。
  • 高密度部署:支援1U伺服器最高272核心配置。
  • 機架級擴展:每機架可達數千核心規模。
  • 彈性I/O:包含96條PCIe Gen6、CXL 3.0與AMBA CHI連結。

問:什麼是代理式AI?為什麼需要新型CPU?

答:代理式AI是可持續運行並即時決策的系統,需要能高效協調分散式運算的CPU。

問:Arm AGI CPU如何提升資料中心效能?

答:透過提升單任務效率並擴展至數千核心,使每系統可處理更多工作量,機架效能超越x86兩倍以上。

問:Arm AGI CPU如何支援大規模AI基礎架構?

答:透過管理分散式工作負載、協調加速器與優化資料流動,支援持續的大規模AI運作。

問:Arm AGI CPU如何融入Arm生態系?

答:將Arm運算平台延伸至量產晶片,讓合作夥伴可透過IP、子系統或現成CPU靈活部署。


  1. 依據估計值。