全球最高效的代理式 AI CPU
AI Summary
軟體代理程式現在能夠推理、決定及行動,對 CPU 提出全新需求。這類工作負載需要處理器來協調運算、管理加速器,並同時協調數千個代理程式。這是運算的新時代,需要有新的處理器類別。
Arm AGI CPU 是 Arm 第一款生產晶片,專為大規模的人工智慧基礎設施所設計。我們相信它能夠提供支援高效能和極致機架級密度的全新級別 CPU,協助現代資料中心的代理式 AI 運作。基於 Arm Neoverse CSS V3,Arm AGI CPU 加入 Arm 資料中心方案,運用相同的廣大 Arm 軟體和硬體生態系,預期將有助加快上市時程。
首批部署 Arm AGI CPU 的合作夥伴
探索 OpenAI、SK Telecom、SAP、Cloudflare、F5 和 Cerebras 如何在人工智慧資料中心使用 Arm AGI CPU 伺服器。
Arm AGI CPU規格與產品簡介
| Arm AGI CPU 136C (最大核心數) |
Arm AGI CPU 128C (總擁有成本 [TCO] 最佳化) |
Arm AGI CPU 64C (每核心最大記憶體) |
|
|---|---|---|---|
|
SKU |
|
|
|
|
處理核心 |
|
|
|
|
CPU 架構 |
|
|
|
|
系統層級快取 |
|
|
|
|
最大頻率 |
|
|
|
|
基礎 TDP* |
|
|
|
|
RDIMM 記憶體 |
|
|
|
|
每核心記憶體吞吐量 |
|
|
|
|
PCIe/IO |
|
|
|
|
PCIe 控制通道數 |
|
|
|
|
2 插槽支援 |
|
|
|
|
每通道 2 DIMMS |
|
|
|
*表示可配置 TDP 範圍內的預設 TDP 值
重點摘要
-
專為代理式AI打造的Arm AGI CPU:Arm首款量產晶片,針對持續運行的大規模AI系統設計,CPU可在分散式基礎架構中協調數千個並行任務。
-
機架級效能與效率:在高密度部署中提供持續高效能,相較x86系統達到超過2倍的機架效能。
-
高效能核心與記憶體架構:最多136個Neoverse V3核心,每核心6GB/s記憶體頻寬,延遲低於100ns。
-
為AI資料中心效率設計:在300W TDP下運行,平衡運算密度、記憶體吞吐與整體系統效率。
常見問題
問:Arm AGI CPU與傳統資料中心CPU有何不同?
答:Arm AGI CPU為Arm首款量產晶片,專為代理式AI工作負載設計,提供高效能、可擴展的平行處理與能源效率,讓資料中心能有效執行大規模持續AI運算。
問:Arm AGI CPU的主要特點是什麼?
答:Arm AGI CPU 結合高核心密度、最佳化的記憶體架構以及可擴展的系統設計,以支援大規模 AI 工作負載:
- 高效核心:最多136個Arm Neoverse V3核心,每核心配備2MB L2快取,最高3.7GHz。
- 效能與效率:採用TSMC 3nm製程,300W TDP,兼顧效能與能效。
- 最佳化記憶體架構:支援DDR5-8800,提供每核心6GB/s頻寬與低於100ns延遲。
- 高密度部署:支援1U伺服器最高272核心配置。
- 機架級擴展:每機架可達數千核心規模。
- 彈性I/O:包含96條PCIe Gen6、CXL 3.0與AMBA CHI連結。
問:什麼是代理式AI?為什麼需要新型CPU?
答:代理式AI是可持續運行並即時決策的系統,需要能高效協調分散式運算的CPU。
問:Arm AGI CPU如何提升資料中心效能?
答:透過提升單任務效率並擴展至數千核心,使每系統可處理更多工作量,機架效能超越x86兩倍以上。
問:Arm AGI CPU如何支援大規模AI基礎架構?
答:透過管理分散式工作負載、協調加速器與優化資料流動,支援持續的大規模AI運作。
問:Arm AGI CPU如何融入Arm生態系?
答:將Arm運算平台延伸至量產晶片,讓合作夥伴可透過IP、子系統或現成CPU靈活部署。
依據估計值。