概述

重新思考代理式 AI 時代的資料中心

人工智慧正推動資料中心發展特定的工作負載最佳化基礎設施，並將重點放在功耗效率、擴展能力及效能。Arm 為 AI 資料中心提供 CPU 基礎，與加速器無縫整合，協調 AI 代理程式，處理資料並支援可擴展的 AI 工作負載，例如建議引擎、大型語言模型、檢索增強生成及其他項目。Arm 運算平台搭配強大的軟體生態系，可協助超大規模運算業者高效擴展 AI 基礎設施，同時提升效能、成本及能源效益。

 

深入解析人工智慧資料中心：客製化晶片與 Arm 生態系的強大力量

聽聽 Arm 雲端 AI 事業部主管 Mohammed Awad 的看法，瞭解 AI 如何重塑資料中心設計、為何每瓦效能現在決定了雲端競爭力，以及 Arm 生態系如何為 AI 時代加速打造次世代客製化晶片。

運算平台

Arm AGI CPU 提供強大的 AI 效能

Arm AGI CPU 是以 Arm Neoverse CSS V3 為基礎，提供大規模 AI 所需的極端機櫃密度與效能，加速以追求 AI 所需的全球運算擴展，同時透過 Arm 生態系加快上市時程。

探索 Arm AGI CPU

基於 Arm，每機櫃效能提升高達 2 倍

在關鍵代理式 AI 工作負載中，獨立測試顯示，Arm AGI CPU 在每機櫃效能方面優於 AMD EPYC Turin，為現代代理式基礎設施提供更高輸送量、更出色的擴充能力、更低延遲和更高效率。1

閱讀報告了解代理式效能
  • 推理與規劃
  • 工具調用
  • 端對端代理式工作流程
  • 協調
優點

更多運算、更高效率、更出色的性價比

Arm 無縫搭配各式各樣的 AI 加速器，提供節能運算功能，協助您達到強大的效能及效率，同時降低總持有成本。

機器學習模型訓練速度加快 8 倍且 LLM 推論效能提升 4.5 倍

NVIDIA Grace Hopper 超級晶片在訓練 DLRM 模型及推論 GPT-65B 模型時，與 x86+Hopper 系統的比較結果。2
提升高達 168% 的 LLM 效能及提升 53% 的機器學習效能

AWS Graviton4 處理器在 LLAMA 3.1 及 XGBoost 上提供基準測試 (相較於 x86 替代方案)。3
提升高達 2.5 倍的 AI 推論效能

Google Axion 處理器相較於 x86 替代方案，可節省 64% 的成本及加速 RAG 以實現即時 AI。4
最高提升 1.9 倍的 LLM 推論效能，以及 2.8 倍的性價比

Microsoft Cobalt 100 與 x86 替代方案的比較結果。5
合作夥伴

讓產業領導廠商享有針對實際效能最佳化的基礎設施

Arm 協助產業領導廠商建構可擴展、AI 最佳化的雲端基礎設施，以運算解決方案進行調校，實現實際 AI 效能。Arm CPU 專為效能、功耗效率及無縫擴展能力所設計，非常適合搭配加速器使用，以滿足要求最嚴苛的 AI 及雲端工作負載。

Arm AWS lockup logo

探索 Arm 架構的 AWS Graviton 處理器如何以頂尖的性價比及效率為 AI 及雲端原生工作負載帶來雲端 AI 轉型，目前驅動 AWS Trainium3 UltraServer。

探索 Arm 與 AWS
Arm partner Google Cloud lockup logo

探索 Axion (首款 Google Cloud 客製化 Arm 架構 CPU) 如何推動人工智慧及雲端工作負載的效能及效率。

探索 Arm 與 Google Cloud
Arm NVIDIA lockup logo

探索 Arm 節能運算平台如何成為 NVIDIA 加速運算平台 (包括 Grace CPU 系列及現今的 Vera CPU) 中的關鍵要素，協助 NVIDIA 機櫃層級人工智慧解決方案大幅提升效能。

探索 Arm 與 NVIDIA
軟體與開發者工具

使用 Arm 軟體與工具最佳化 AI 工作負載

開發者需要最佳化的工具，可快速高效地以最輕鬆的方式部署 AI。Arm 軟體生態系包括 Arm Kleidi 函式庫及廣泛的框架支援，有助於加速部署時間，並在雲端與邊緣提升 AI 工作負載效能。

資源

最新消息與資源

  • 最新消息與部落格
  • 報告
  • Podcast
  • 白皮書
Generic Report

為永續發展資料中心效能進行基準測試

Signal65 獨立分析顯示 Arm Neoverse 架構 AWS Graviton4 處理器，如何在網頁、資料庫及 AI 工作負載之間持續提供卓越的每瓦效能，協助資料中心提升效率並降低總持有成本。

進一步瞭解
Generic Report
資料中心的 AI

Arm 在資料中心的新時代曙光

產業分析師 Ben Bajarin 探討 AI 如何重新定義資料中心架構，以及 Arm 為何成為推動 AI 時代可擴展高效基礎設施的重要角色。

立即閱讀
Podcast icon
資料中心的人工智慧

Arm 與 NVIDIA 重新定義資料中心的 AI

歡迎收聽我們與 NVIDIA 的 Podcast，探索雙方如何透過合作轉型企業運算。

立即收聽
Podcast icon
資料中心的人工智慧

Arm 與產業專家 Matt Griffin 探討 AI 基礎設施的未來

聽聽 Arm 與 311 Institute 創辦人 Matt Griffin，探討新興的 AI 基礎設施趨勢、擴展運算方面的挑戰，以及 Arm 如何從雲端到邊緣實現高效、永續的 AI 。

立即收聽
Whitepapers - Generic Whitepapers

建構從雲端到邊緣的可擴展 AI 平台

瞭解協助企業設計符合未來需求運算堆疊的五項決策。探索如何採用異質化運算、統一軟體層，以及一致的基礎設施與業務目標，以降低延遲並在各種環境高效擴展。

閱讀白皮書
Whitepapers - Generic Whitepapers

定義代理式 AI 的 CPU 和軟體堆疊效能

代理式 AI 將 CPU 工作負載擴展到推論之外。本白皮書提出一種以使用案例為導向的方法論，將元件層級基準測試與端對端基準測試相結合，用於衡量完成任務背後的基礎設施。

閱讀白皮書

主要重點

  • 代理式 AI 系統需要針對效能、可擴充性和效率進行最佳化的專用基礎設施。

  • CPU 透過與加速器協同協調工作負載，構成 AI 資料中心的基礎。

  • 現代 AI 工作負載涵蓋推薦系統、大型語言模型和檢索增強生成等使用案例。

  • 強大的軟體生態系對於有效部署和擴充 AI 基礎設施至關重要。

  • 高效的基礎設施設計可提升效能、降低成本，並在大規模部署中降低能源消耗。

常見問題：資料中心的人工智慧

是什麼讓 Arm 在資料中心的 AI 成為理想選擇？
  • 節能效能：Arm Neoverse CPU 提供領先業界的每瓦效能、降低能源成本及提升營運效率。
  • 降低總持有成本 (TCO)：針對現代 AI 工作負載最佳化的可擴展架構協助企業降低基礎設施支出。
  • 彈性的工作負載最佳化系統：Arm 架構平台與 GPU、NPU 及客製化加速器無縫整合，為每項 AI 任務提供適當的運算能力。
  • 深獲超大規模運算業者信賴：到 2025 年，出貨到頂尖超大規模運算業者的運算中有半數預計會採用 Arm 架構，突顯出 Arm 對大規模 AI 部署持續成長的信心。
  • 統一 AI 基礎設施：成熟的軟體生態系與廣泛採用，可在雲端及資料中心環境中無縫整合各種不同運算引擎

Arm 架構平台如何在 NVIDIA、Google Cloud 與 AWS 等產業合作夥伴之間提升 AI 效能及降低雲端成本？

Arm 架構平台大規模提升 AI 效能與效率：


以上創新成果共同在雲端及超大規模平台實現更快速、更具成本效益的 AI。

Arm 為 AI 工作負載開發者提供哪些工具？

開發者可利用以下方式加速工作負載：


保持聯繫

訂閱最新動態即可掌握最新消息、趨勢、個案研究與技術洞見。

  1. 結果由 Signal65（第三方）與 Arm 合作測試和驗證。所有測試均由 Signal65 評估，並根據測試時註明的 Arm AGI CPU 和 AMD EPYC 系統及規格進行測量。完整方法請參閱此處。結果可能有所不同。

  2. NVIDIA GH200 Grace Hopper 超級晶片架構

  3. 評估結果是以第三方評估為基礎。所有測試都是由 Signal65 執行， 並根據測試時註明的 AWS 執行個體及規格進行測量。結果可能不同。

  4. 透過採用 Arm Neoverse 架構的 Google Axion 處理器，發揮檢索增強生成的強大力量

  5. 以 ONNX Runtime 在採用 Arm Neoverse 技術的 Microsoft Cobalt 100 上加速 LLM 推論