概述

重新思考代理式 AI 時代的資料中心

人工智慧正推動資料中心發展特定的工作負載最佳化基礎設施，並將重點放在功耗效率、擴展能力及效能。Arm 為人工智慧資料中心提供 CPU 基礎，與加速器無縫整合，協調人工智慧代理程式，處理資料並支援可擴展的人工智慧工作負載，例如建議引擎、大型語言模型、檢索增強生成及其他項目。Arm 運算平台搭配強大的軟體生態系，可協助超大規模運算業者高效擴展人工智慧基礎設施，同時提升效能、成本及能源效益。

下載電子書
 

深入解析人工智慧資料中心：客製化晶片與 Arm 生態系的強大力量

聽聽 Arm 雲端 AI 事業部主管 Mohammed Awad 的看法，瞭解人工智慧如何重塑資料中心設計、為何每瓦效能現在決定了雲端競爭力，以及 Arm 生態系如何為人工智慧時代加速打造次世代客製化晶片。

優點

更多運算、更高效率、更出色的性價比

Arm 無縫搭配各式各樣的人工智慧加速器，提供節能運算功能，協助您達到強大的效能及效率，同時降低總持有成本。

機器學習模型訓練速度加快 8 倍且 LLM 推論效能提升 4.5 倍

NVIDIA Grace Hopper 超級晶片在訓練 DLRM 模型及推論 GPT-65B 模型時，與 x86+Hopper 系統的比較結果。1
提升高達 168% 的 LLM 效能及提升 53% 的機器學習效能

AWS Graviton4 處理器在 LLAMA 3.1 及 XGBoost 上提供基準測試 (相較於 x86 替代方案)。2
提升高達 2.5 倍的人工智慧推論效能

Google Axion 處理器相較於 x86 替代方案，可節省 64% 的成本及加速 RAG 以實現即時人工智慧。3
最高提升 1.9 倍的 LLM 推論效能，以及 2.8 倍的性價比

Microsoft Cobalt 100 與 x86 替代方案的比較結果。4
合作夥伴

讓產業領導廠商享有針對實際效能最佳化的基礎設施

Arm 協助產業領導廠商建構可擴展、人工智慧最佳化的雲端基礎設施，以運算解決方案進行調校，實現實際人工智慧效能。Arm CPU 專為效能、功耗效率及無縫擴展能力所設計，非常適合搭配加速器使用，以滿足要求最嚴苛的人工智慧及雲端工作負載。

Arm AWS lockup logo

探索 Arm 架構的 AWS Graviton 處理器如何以頂尖的性價比及效率為人工智慧及雲端原生工作負載帶來雲端 AI 轉型，目前驅動 AWS Trainium3 UltraServer。

探索 Arm 與 AWS
Arm partner Google Cloud lockup logo

探索 Axion (首款 Google Cloud 客製化 Arm 架構 CPU) 如何推動人工智慧及雲端工作負載的效能及效率。

探索 Arm 與 Google Cloud
Arm NVIDIA lockup logo

探索 Arm 節能運算平台如何成為 NVIDIA 加速運算平台 (包括 Grace CPU 系列及現今的 Vera CPU) 中的關鍵要素，協助 NVIDIA 機櫃層級人工智慧解決方案大幅提升效能。

探索 Arm 與 NVIDIA
運算平台

Arm AGI CPU 提供強大的人工智慧效能

Arm AGI CPU 是以 Arm Neoverse CSS V3 為基礎，提供大規模人工智慧所需的極端機櫃密度與效能，加速以追求人工智慧所需的全球運算擴展，同時透過 Arm 生態系加快上市時程。

探索 Arm AGI CPU瞭解 CPU 上的人工智慧/機器學習

適用於每項人工智慧工作負載的 Arm 運算平台

隨著人工智慧從傳統機器學習進展為生成式人工智慧及現今的代理模型，工作負載對運算及功耗的需求與日俱增。滿足以上需求需要改用場景定義的 CPU，讓人工智慧系統能夠以適合的處理器動態符合每項工作負載，實現最佳效能、功耗效率及成本。

 

Arm Neoverse CPU 提供節能且可擴展的運算平台，可與 GPU、NPU 及客製化加速器無縫整合，提供更高的效能、彈性、效率及擴展能力。

探索異質化運算解決方案
軟體與開發人員工具

使用 Arm 軟體與工具最佳化人工智慧工作負載

開發人員需要最佳化的工具，可快速高效地以最輕鬆的方式部署人工智慧。Arm 軟體生態系包括 Arm Kleidi 函式庫及廣泛的框架支援，有助於加速部署時間，並在雲端與邊緣提升人工智慧工作負載效能。

資源

最新消息與資源

  • 最新消息與部落格
  • 報告
  • Podcast
  • 白皮書
Generic Report

為永續發展資料中心效能進行基準測試

Signal65 獨立分析顯示 Arm Neoverse 架構 AWS Graviton4 處理器，如何在網頁、資料庫及人工智慧工作負載之間持續提供卓越的每瓦效能，協助資料中心提升效率並降低總持有成本。

進一步瞭解
Generic Report
資料中心的人工智慧

Arm 在資料中心的新時代曙光

產業分析師 Ben Bajarin 探討人工智慧如何重新定義資料中心架構，以及 Arm 為何成為推動人工智慧時代可擴展高效基礎設施的重要角色。

立即閱讀
Podcast icon
資料中心的人工智慧

Arm 與 NVIDIA 重新定義資料中心的人工智慧

歡迎收聽我們與 NVIDIA 的 Podcast，探索雙方如何透過合作轉型企業運算。

立即收聽
Podcast icon
資料中心的人工智慧

Arm 與產業專家 Matt Griffin 探討人工智慧基礎設施的未來

聽聽 Arm 與 311 Institute 創辦人 Matt Griffin，探討新興的人工智慧基礎設施趨勢、擴展運算方面的挑戰，以及 Arm 如何從雲端到邊緣實現高效、永續的人工智慧。

立即收聽
Whitepapers - Generic Whitepapers

建構從雲端到邊緣的可擴展人工智慧平台

瞭解協助企業設計符合未來需求運算堆疊的五項決策。探索如何採用異質化運算、統一軟體層，以及一致的基礎設施與業務目標，以降低延遲並在各種環境高效擴展。

閱讀白皮書

關鍵重點

  • Arm 推動資料中心轉型，從通用平台成為專為效率及擴展能力打造的工作負載最佳化人工智慧基礎設施。
  • Neoverse CPU 為建議引擎與大型語言模型推論等人工智慧應用提供高吞吐量、功耗效率及更低的總持有成本。
  • Google、AWS、Microsoft 及 NVIDIA 等合作夥伴推出的 Arm 架構處理器，提供優於 x86 系統 8 倍的訓練效能，以及 4.5 倍的推論效能。
  • 異質 Arm 架構基礎設施以動態方式將工作負載與 CPU、GPU、NPU 及客製化加速器進行配對，實現最佳效能及成本。
  • Arm Kleidi 函式庫、框架與開發人員工具，可在雲端及邊緣環境簡化人工智慧部署及工作負載最佳化。

常見問題：資料中心的人工智慧

是什麼讓 Arm 在資料中心的人工智慧成為理想選擇？
  • 節能效能：Arm Neoverse CPU 提供領先業界的每瓦效能、降低能源成本及提升營運效率。
  • 降低總持有成本 (TCO)：針對現代人工智慧工作負載最佳化的可擴展架構協助企業降低基礎設施支出。
  • 彈性的工作負載最佳化系統：Arm 架構平台與 GPU、NPU 及客製化加速器無縫整合，為每項人工智慧任務提供適當的運算能力。
  • 深獲超大規模運算業者信賴：到 2025 年，出貨到頂尖超大規模運算業者的運算中有半數預計會採用 Arm 架構，突顯出 Arm 對大規模人工智慧部署持續成長的信心。
  • 統一人工智慧基礎設施：成熟的軟體生態系與廣泛採用，可在雲端及資料中心環境中無縫整合各種不同運算引擎

Arm 架構平台如何在 NVIDIA、Google Cloud 與 AWS 等產業合作夥伴之間提升人工智慧效能及降低雲端成本？

Arm 架構平台大規模提升人工智慧效能與效率：


以上創新成果共同在雲端及超大規模平台實現更快速、更具成本效益的人工智慧。

Arm 為人工智慧工作負載開發人員提供哪些工具？

開發人員可利用以下方式加速工作負載：


保持聯繫

訂閱最新動態即可掌握最新消息、趨勢、個案研究與技術洞見。

1.NVIDIA GH200 Grace Hopper 超級晶片架構
2.評估結果是以第三方評估為基礎。所有測試都是由 Signal65 執行，
並根據測試時註明的 AWS 執行個體及規格進行測量。請在此瞭解完整方法。結果可能不同。
3. 透過採用 Arm Neoverse 架構的 Google Axion 處理器，發揮檢索增強生成的強大力量
4. 以 ONNX Runtime 在採用 Arm Neoverse 技術的 Microsoft Cobalt 100 上加速 LLM 推論