概述

利用 Arm CPU 提供出色的人工智慧推論

人工智慧的版圖迅速演進發展，每天都有各種新型與多元的人工智慧應用問世，而大規模部署的人工智慧也即將到來。Arm CPU 是讓人工智慧無所不在的基礎，也是全球最普及的人工智慧運算平台的核心。人工智慧解決方案在雲端到邊緣的每個領域中，都仰賴我們的高效能、效率、安全性及擴展能力組合而成長茁壯。Arm CPU 對滿足持續演進的人工智慧工作負載需求來說居於有利位置，涵蓋推動生成式人工智慧的大型語言模型 (LLM)，乃至於小型的專門領域人工智慧模型。Arm CPU 在所有領域促成熱門的工具鏈，並與所有主要作業系統及人工智慧框架整合，確保順暢的開發體驗及無縫加速效果。

瞭解 CPU 推論的指南

在 CPU 上的人工智慧

哪些人工智慧工作負載最適合在 CPU 執行？

優點

Arm CPU 為人工智慧提供的各項效益

享有彈性及節能效能，無須犧牲安全性

我們功耗效率是我們所有產品的基礎，涵蓋微控制器到超大規模運算業者。Arm CPU 以具吸引力的節能效能及彈性組合，成為眾多人工智慧工作負載的首選基礎。

我們 30 多年來不斷精進安全性架構，保護數十億裝置對抗常見的駭客攻擊；現在於 CPU 執行的人工智慧，可受益於這類架構安全性功能，包括 Armv9 的最新強化功能。

普及的全球平台為開發人員移除碎片化

Arm 架構 CPU 是人工智慧普及全球的核心。我們的技術遍及各個領域，協助 Arm 開發人員在各種應用快速採用機器學習 (ML) 技術，因應模型的演進發展。

我們投資各式各樣的軟體函式庫及工具，並與所有主要作業系統及人工智慧框架整合，協助確保開發人員能夠輕鬆在 Arm CPU 進行最佳化、開發及部署人工智慧。我們也持續承諾投資軟體生態系，以配合不斷進展的人工智慧工作負載。

打造客製化異質化人工智慧的獨特途徑

對於受益於額外加速的工作負載，Arm CPU 能與 Arm 及合作夥伴的繪圖處理器和 NPU 緊密配合提供客製化途徑，讓人工智慧的未來成真。

我們的合作夥伴探索次世代人工智慧運算的各項需求，而 Arm 種類多樣的 IP 及運算子系統 (CSS) 則為合作夥伴提供途徑協助打造客製化系統，並擁有可因應獨特的人工智慧工作負載需求的彈性。

成功案例

合作夥伴創新

運算平台

從邊緣到雲端的人工智慧基礎

Two Decades of AI Architecture Innovation thumbnail

20 年來的人工智慧架構創新成果

Arm 將工作重點放在快速進展的架構創新，協助廣大的生態系做好準備，因應瞬息萬變的運算需求及人工智慧的未來發展。Arm 過去 20 年來持續主動發展 CPU 的人工智慧功能，提供 Neon、Helium、可擴展向量延伸指令集 (SVE)、可擴展矩陣延伸指令集 2 (SME2) 及其他功能。最新的 Armv9 架構功能除了提升運算效能，也降低人工智慧工作負載的耗電量。

Armv9 架構

Arm 與頂尖的人工智慧框架及作業系統合作，協助確保在各種 Arm CPU 快速輕鬆地部署，因應持續擴展的人工智慧工作負載。我們採用使用量化及開源軟體來最佳化新模型的技術支援關鍵合作夥伴，以加速人工智慧，例如獲得各種框架及獨立軟體供應商使用的 Arm Kleidi。針對人工智慧框架層級進行加速，有助於在 Arm CPU 以最廣大的範圍推動人工智慧加速，涵蓋數十億個在邊緣、行動裝置及雲端安裝的人工智慧推論工作負載。在沒有進行任何額外最佳化的情況下，應用程式開發人員可預期人工智慧工作負載於 Arm CPU 達到預設的最佳效能，這些都要歸功於我們在遊戲、電腦視覺及語言模型等領域的工作成果。

探索 Arm Kleidi

利用 Arm CPU 提供出色的人工智慧推論

瞭解 CPU 推論的指南

哪些人工智慧工作負載最適合在 CPU 執行？

傳統機器學習及深度學習

生成式人工智慧