雲端級人工智慧目前可在桌上型設備運作

• 20 核心 Arm CPU 配置結合 Arm Cortex-X925 及 Arm Cortex-A725 核心，支援各種人工智慧作業，包括協調管理、標記及強化學習。
• 統一記憶體架構無需分離 CPU 與 GPU 記憶體，除了可減少負擔，也能在邊緣實現高達 2,000 億個參數的人工智慧模型。
• 原生工具鏈可攜性能讓開發人員在雲端及邊緣環境中，使用 NVIDIA 人工智慧軟體堆疊與 CNCF 工具 (如 Docker 及 Kubernetes)。

在本機執行人工智慧模型有助於提升回應速度、加強資料隱私及作業獨立性。本機推論可協助開發人員及企業減少延遲、加強控制敏感資料，並在連網受限或無連網環境中確保可靠效能。

GBX 等人工智慧工作站是以全新系統設計為基礎建構而成，將 CPU、GPU 及記憶體整合為單一互連架構。GBX 平台由 Arm 架構 NVIDIA Grace Blackwell 超級晶片驅動運作，結合 20 個 Arm 核心與次世代 Blackwell GPU，每秒可執行 1,000 兆次作業 (TOPS)，並配備 128 GB 的統一 LPDDR5x 記憶體。

此統一記憶體可讓龐大模型 (在單一系統高達 2,000 億個參數) 完全置於本機記憶體中，消除限制傳統 x86 工作站的資料傳輸瓶頸。GBX 也於 Arm 架構上執行 NVIDIA 完整的人工智慧軟體堆疊 (CUDA、TensorRT、PyTorch、TensorFlow 及 DGX 作業系統)，與 DGX 資料中心及雲端基礎設施使用的堆疊相同。

GBX 基本上會將原本需要的伺服器機櫃，縮小為以 200 W USB-C 供電的 6 吋立方體，讓本機人工智慧開發真正成為在雲端租用 GPU 的替代方案。

對非常大型的模型而言，執行及微調作業過去只能在雲端進行，不過 GBX 等人工智慧工作站能夠實際執行前述作業，還能提供足夠的裝置內效能用於實際實驗及迭代，同時讓資料留在本機及維持成本可預測性。重點並不是達到同等的雲端規模，而是直接將有意義的人工智慧功能導入桌上型設備。

可以。NVIDIA 人工智慧軟體堆疊包括 PyTorch、TensorFlow、Docker 及其他廣泛使用的框架，可在 Arm 上原生執行無需模擬。開發人員可在採用 Arm 技術的人工智慧工作站上，使用目前所用的工具鏈建構、訓練及部署模型，確保無縫工作流程及加速迭代。