概述

重新思考人工智慧時代的資料中心

在人工智慧快速崛起的推動下，運算基礎設施正從通用平台改為更具特定性的節能工作負載最佳化解決方案，同時更重視效能、效率及擴展能力。Arm 提供彈性節能的運算基礎，以因應前述需求，並創造創新和顛覆的機會，為從超大規模到邊緣無縫擴展的人工智慧基礎設施奠定基礎。

下載電子書
優點

更多運算、更高效率、更出色的性價比

Arm 無縫搭配各式各樣的人工智慧加速器，提供節能運算功能，協助您達到強大的效能及效率，同時降低總持有成本。

機器學習模型訓練速度加快 8 倍且 LLM 推論效能提升 4.5 倍

NVIDIA Grace Hopper 超級晶片在訓練 DLRM 模型及推論 GPT-65B 模型時，與 x86+Hopper 系統的比較結果。1
推薦器效能提升高達 3 倍

Google Axion 處理器在 MLPerf DLRMv2 基準測試與 x86 替代方案的比較結果。2
提升高達 2.5 倍的人工智慧推論效能

Google Axion 處理器相較於 x86 替代方案，可節省 64% 的成本及加速 RAG 以實現即時人工智慧。3
LLM 與機器學習推論任務提升高達 2 倍效能

Axion 架構 VM 與當代 x86 執行個體的比較結果。4
合作夥伴

讓產業領導廠商享有針對實際效能最佳化的基礎設施

Arm 協助產業領導廠商以針對實際效能最佳化的運算解決方案，打造可擴展高效資料中心的新浪潮。Arm CPU 專為效能、功耗效率及無縫擴展能力所設計，非常適合搭配加速器使用，以滿足要求最嚴苛的人工智慧及雲端工作負載。

Arm and AWS

探索 Arm 架構的 AWS Graviton 處理器如何以頂尖的性價比及效率為人工智慧及雲端原生工作負載帶來雲端運算轉型，目前驅動超過 50% 的 AWS 近期 CPU 容量。

探索 Arm 與 AWS

探索 Axion (首款 Google Cloud 客製化 Arm 架構 CPU) 如何推動人工智慧及雲端工作負載的效能及效率，效能較目前的 x86 執行個體高出 2 倍。

探索 Arm 及 Google Cloud
Arm and NVIDIA

探索 Arm 節能運算平台如何成為 NVIDIA 加速運算平台 (包括 Grace CPU 系列) 中的關鍵要素，協助人工智慧任務提升高達 10 倍效能。

探索 Arm 與 NVIDIA
運算平台

使用 Arm Neoverse 提供強大的人工智慧/機器學習效能

Arm Neoverse CPU 專用於高效處理要求嚴苛的人工智慧工作負載，提供高吞吐量、功耗效率及低總持有成本，使其非常適合 CPU 為實際選擇的使用場景。從建議引擎、語言模型推論到擷取擴增生成 (RAG)，Neoverse 可擴展適用於各式各樣的人工智慧應用。

Performance

Google Axion 的建議模型效能比 x86 高出 3 倍2。

cost saving

相較於 x86 替代方案5，人工智慧推論吞吐量最高提升 2.5 倍，成本節省 64%。

Ecosystem

廣泛採用超大規模運算業者及多雲可用性。

探索適用於人工智慧工作負載的 Arm Neoverse瞭解 CPU 上的人工智慧/機器學習

適用於每項人工智慧工作負載的 Arm 運算平台

隨著人工智慧從傳統機器學習進展為生成式人工智慧及現今的代理模型，工作負載變得日漸需要運算及功耗。滿足以上需求需要改用異質基礎設施，讓系統能夠以適合的處理器動態符合每項工作負載，實現最佳效能、功耗效率及成本。

 

Arm Neoverse CPU 提供節能且可擴展的運算平台，可與繪圖處理器、NPU 及客製化加速器無縫整合，提供更高的效能、彈性、效率及擴展能力。

探索異質化運算解決方案
軟體與開發人員工具

使用 Arm 軟體與工具最佳化人工智慧工作負載

開發人員需要最佳化的工具，可快速高效地以最輕鬆的方式部署人工智慧。Arm 軟體生態系包括 Arm Kleidi 函式庫及廣泛的框架支援，有助於加速部署時間，並在雲端及邊緣提升人工智慧工作負載效能。

資源

最新消息及資源

  • 最新消息及部落格
  • 報告
  • Podcast
資料中心的人工智慧

Arm 在資料中心的新時代曙光

產業分析師 Ben Bajarin 探討人工智慧如何重新定義資料中心架構，以及 Arm 為何成為推動人工智慧時代可擴展高效基礎設施的重要角色。

立即閱讀
Podcast icon
資料中心的人工智慧

Arm 與 NVIDIA 重新定義資料中心的人工智慧

歡迎收聽我們與 NVIDIA 的 Podcast，探索雙方如何透過合作轉型企業運算。

立即收聽
Podcast icon
資料中心的人工智慧

Arm 與產業專家 Matt Griffin 探討人工智慧基礎設施的未來

聽聽 Arm 與 311 Institute 創辦人 Matt Griffin，探討新興的人工智慧基礎設施趨勢、擴展運算方面的挑戰，以及 Arm 如何從雲端到邊緣實現高效、永續的人工智慧。

立即收聽

常見問題：資料中心的人工智慧

1.是什麼讓 Arm 在資料中心的人工智慧成為理想選擇？
  • 節能效能：Arm Neoverse CPU 提供領先業界的每瓦效能、降低能源成本及提升營運效率。
  • 降低總持有成本 (TCO)：針對現代人工智慧工作負載最佳化的可擴展架構協助企業降低基礎設施支出。
  • 彈性的工作負載最佳化系統：Arm 架構平台與繪圖處理器、NPU 及客製化加速器無縫整合，為每項人工智慧任務提供適當的運算能力。
  • 深獲超大規模運算業者信賴：到 2025 年，出貨到頂尖超大規模運算業者的運算中有半數預計會採用 Arm 架構，突顯出 Arm 對大規模人工智慧部署持續成長的信心。
  • 統一人工智慧基礎設施：成熟的軟體生態系與廣泛採用，可在雲端及資料中心環境中無縫整合各種不同運算引擎
 2.Arm 架構平台如何在 NVIDIA、Google Cloud 及 AWS 等產業合作夥伴之間提升人工智慧效能及降低雲端成本？

Arm 架構平台大規模提升人工智慧效能及效率：


以上創新成果共同在雲端及超大規模平台實現更快速、更具成本效益的人工智慧。

 3.Arm 為人工智慧工作負載開發人員提供哪些工具？

開發人員可利用以下方式加速工作負載：


  • Arm Kleidi 函式庫
  • 最佳化的框架與工具鏈
  • 適用於雲端/伺服器開發的遷移教學內容及學習路徑

保持聯繫

訂閱最新動態即可掌握最新消息、趨勢、個案研究與技術洞見。

1.NVIDIA GH200 Grace Hopper 超級晶片架構
2.揭密 Axion：專為人工智慧時代打造的 Google Cloud 客製化 Arm 架構處理器
3.透過採用 Arm Neoverse 架構的 Google Axion 處理器，發揮擷取擴增生成的強大力量
4. Google Axion 以 Arm Neoverse 驅動運作：為人工智慧工作負載加速推論及提升效能
5. 透過採用 Arm Neoverse 架構的 Google Axion 處理器，發揮擷取擴增生成的強大力量