隨著 AI 工作負載重塑資料中心業務格局，雲端平台正朝著針對系統級最佳化的專用架構演進。

十餘年來，雲端運算憑藉抽象化架構實現規模化擴展。標準化伺服器、虛擬化資源與通用型基礎設施，讓超大規模雲端服務提供者得以在同質化硬體基礎上持續疊加軟體創新，實現高速成長。然而這個時代，已經落幕。

人工智慧 (AI) 徹底改寫了此一格局。現代 AI 工作負載對資料中心的業務格局、供電保障與系統設計提出的要求，已遠遠超過基於傳統 x86 架構的通用基礎設施所能承載的限度。由此，產業正面臨一場根本性變革：從由通用元件組裝而成的通用型基礎設施，轉為 AI 端到端量身設計的客製化融合型系統。

這絕非小修小補的局部最佳化，而是全球頂尖運算平台在設計、部署與規模化層面的結構性變革。

AI 驅動對資料中心設計的重新思考

這場變革的規模之大，幾乎難以言喻。根據麥肯錫 (McKinsey) 近期研究，AI 已成為美國資料中心的主要成長動能，推動資料中心總用電需求從 2025 年約 30 吉瓦 (gigawatts)，提升至 2030 年超過 90 吉瓦——其用電規模已超過美國加州目前整體的電力需求。

這並非是可透過些微效率調整或擴大採購規模就能吸收的漸進式成長。AI 工作負載 —— 尤其是大規模訓練與快速成長的推論場景 —— 對基礎設施帶來從本質上截然不同的需求：

• 訓練型工作負載需要極高的功率密度、先進的散熱技術，以及高度同步的系統架構。
• 推論型工作負載支撐即時 AI 應用，對延遲高度敏感，在大規模部署下能源消耗可觀，且正愈來愈多地分散部署於更接近使用者的環境。

據麥肯錫預測，到 2030 年，推論將超越訓練，成為主要的 AI 工作負載，佔比將超過 AI 總算力的一半，佔資料中心總需求的 40% 之多。僅僅是這項轉變，就足以徹底重塑基礎設施的設計邏輯。

同時，《麻省理工科技評論》指出，超大規模 AI 設施正逐漸地被打造為專用超級電腦，搭載客製晶片、專用散熱系統，乃至量身客製的供電方案。如今，部分超大型運算設施的耗電量已突破一吉瓦，足以滿足一座城市的整體用電需求。

結論顯而易見：基於傳統架構、高能耗的通用型基礎設施，已無法滿足新時代的需求。

為何通用方式已難以滿足新時代需求

過去，雲端服務提供者主要透過組裝客製化配置形成差異化優勢 —— 將現成的 CPU 與加速器、網路及存放裝置，按特定工作負載的方式進行最佳化。當效能提升主要來自於軟體和規模時，這種方法是有效的。

然而 AI 打破了這一模式。它將傳統雲端工作負載進一步融入 AI 堆疊本身。現代 AI 系統要求運算、記憶體、網路、電力及軟體之間實現高度協調。訓練過程中的功耗波動可在毫秒內達到 30% 至 60%，這就需要穩定的電力傳輸與容錯設計；同時，推論負載必須在大規模場景下 (往往是在嚴格的能耗限制下)，提供穩定、低延遲的效能表現。

隨著 AI 系統持續擴展，通用型運算愈來愈多地與推論並行運作，位於訓練流程的上游，並支撐在負責排程工作負載、資料流動、安全控管與維持複雜系統穩定運作的協調層之下。

簡言之，隨著 AI 基礎設施日益系統化運行，CPU 正變得更為核心。在 AI 工作負載需持續供給、協調、保障安全並實現規模化擴展的當下，通用運算正從一個相對獨立的層級，演進為將整個 AI 平台緊密連結的關鍵樞紐。

正如麥肯錫在其 AI 工作負載報告中指出的，這一趨勢正推動超大規模雲端服務提供者轉向專用架構，包括更多採用客製晶片、專用加速器，以及針對每瓦效能最佳化的 Arm 架構。

這並非為了客製化而客製化，而是體認到 AI 的經濟效益——特別是在大規模推論場景下——如今已由效率、資源利用率與系統層級最佳化所定義。

客製化正逐漸成為產業標準

這一轉變的跡象，已在雲端生態系中清晰可見。麥肯錫指出，70% 的新建核心雲端園區如今已將通用運算與 AI 推論整合於同一實體場址，而不再將 AI 系統分隔於獨立設施中。超大規模雲端業者正由分散式據點轉向整合型、專為 AI 最佳化設計的園區模式，預計到 2030 年，這種架構將占整體部署的 70%。

德勤 (Deloitte) 的研究同樣印證此一趨勢。隨著企業從 AI 試驗階段快速邁向規模化落地，AI 已成為基礎能力，基礎設施策略也隨之轉向混合式、按工作負載最佳化的架構，以便在雲端、本地和邊緣環境之間平衡效能、成本與能源效率。

同時，「融合型 AI 資料中心」的興起——即專為 AI 處理而設計的整合化環境——進一步凸顯出一個產業共識：要實現 AI 的可持續擴展，就必須從一開始就針對 AI 需求設計系統，而不是在傳統架構上進行改造。

客製化系統需要系統級的協同設計

客製化並不意味著「單一用途」，它指的是有意識的設計思維，讓系統的每一個層級彼此強化、相互支撐。

隨著 AI 基礎設施從獨立的工作負載，邁向高度整合的系統架構，CPU 在硬體層面的策略價值更為凸顯。CPU 不再僅服務於通用運算，更是控制層面的核心樞紐：負責協調日益複雜的運行環境、調度與均衡 AI 及通用運算負載、管理全系統資料移轉，並在大規模部署中保障安全與隔離能力。

反映這種系統層級轉變的新的例子，就是代理式 AI的崛起。不同於傳統的 AI 流程，代理式系統在設計之初便仰賴異質運算架構。CPU 做為高效能的「主節點 (head nodes) 」，負責規劃與協調、透過較小型語言模型進行意圖辨識、管理情境與記憶，以及在整個系統中執行各項動作。而加速器則專注於其最擅長的任務：針對大型語言模型與多模態工作負載進行高吞吐量的推論運算。

在這一層級的系統編排中，任何單一元件或企業都無法孤立運作。專為 AI 打造的平台，唯有讓硬體、軟體及生態夥伴整體設計、協同運轉，才能真正釋放價值。

Arm Neoverse 平台正是這種模式的具體體現。建立在橫跨雲端到邊緣端的共通架構之上，它整合了 CPU 創新、系統 IP、軟體支援能力與全球夥伴生態系，以支撐大規模的 AI 工作負載。它並非套用單一規格的解決方案，而是讓合作夥伴能依據不同市場與應用情境打造專屬設計，無論是超大規模雲端推論、企業級 AI，或是邊緣端部署，都能對應其特定需求。

在 AI 工作負載日趨多元化的現在，這種靈活性相當重要。輕量化、高能源效率的模型快速普及，推論環節愈來愈貼近使用者的終端裝置；同時，從機器人到自主裝置等全新實體 AI 系統，對即時性、功耗與安全性都產生更高的要求。客製化平台能夠系統性地滿足這些需求，同時避免軟體生態系的碎片化。

一系列合作夥伴及生態系發展說明了整個產業正朝向客製化解決方案邁進。各個超大規模雲端服務提供者，正在將基於 Neoverse 的運算平台，做為平衡效能、能源效率及實現規模化的標準路徑。

• Amazon Graviton CPUs：目前 EC2 前 1,000 大客戶中採用率達 98%，新增 CPU 算力中超 50% 基於 Graviton。如今已反覆運算至第五代的基於 Arm 架構的 Graviton，正成為產業整體變革的重要一環；Arm 也日益成為定義 AI 時代的各類平台的核心支援。在 Amazon Trainium3 UltraServers 中，Trainium3 加速器、Graviton CPU 與 Amazon Nitro 卡深度協調，基於 Arm 的客製化晶片是其核心基礎。
• Microsoft Azure Cobalt 處理器 (Cobalt 100 / Cobalt 200) 為最佳化 Microsoft Azure AI 資料中心提供算力支援。
• Google Axion 處理器憑藉更豐富的虛擬機器選項，進一步提升雲端與 AI 工作負載的效能表現。
• NVIDIA Grace Blackwell 與最新的 NVIDIA Vera Rubin 平台則將 Arm CPU 與 AI 加速器結合，促成全球領先的 AI 系統及超級電腦。

當每一家主要雲端服務供應商都自行設計基於 Arm 的 CPU，這並非分散化，而是朝向以特定需求打造的模式匯聚——在這樣的架構下，效能功耗比、可預期的擴展能力，以及與加速器的緊密整合，比「一體適用」的相容性更為重要。

同樣值得注意的是，上述這份名單令人印象深刻的並非是各家不同的做法，而是彼此的方向趨向一致。AWS Graviton、Microsoft Azure Cobalt、Google Axion，以及 NVIDIA Grace 與 Vera 等平台，雖然各自獨立開發，卻得出相同結論：以 Arm Neoverse 為基礎、為特定需求打造的運算架構，正在重新定義當前的 AI 資料中心；傳統的通用型 x86 處理器，已難以支撐現代 AI 基礎架構在規模與經濟效益上的要求。

從通用到客製化：未來邁向何方

電力供應已成為一項策略性限制，而轉向為特定需求打造的基礎架構，不僅是技術層面的選擇，更是一項經濟決策。AI 已成為數位基礎設施的核心引力。在這樣的環境下，效能功耗比、可預期的擴展能力與系統層級的效率不再只是個加分選項，而是關鍵的競爭條件。

在此背景下，產業已轉向全新模式：採用專為規模化、可持續、高效率地釋放 AI 效能而打造的 Arm 客製化平台。這場轉型仍在持續推進，但方向已相當清晰。雲端 AI 的未來，不在於堆砌更多硬體元件，而在於建構更好的系統，將 AI 做為核心需求，而非之後附加功能的系統。

客製化基礎設施，正是產業通往這個未來的路徑。

關於 Arm

Arm 是業界效能最高且最節能的運算平台，其無可比擬的應用範疇觸及全球所有連網使用者。為因應全球對運算永無止境的需求，Arm 提供先進的解決方案，使全球領先的科技公司得以釋放前所未有的 AI 體驗與功能。透過與全球最大的運算生態系及 2,200 萬名軟體開發者的共同努力，我們正在 Arm 平台上建構 AI 的未來。

所有資訊都「依目前情況」提供，且並不帶保證或代表性。此文件可以自由分享，但不得修改且必須註明出處。Arm 是 Arm Limited（或其子公司與附屬機構）的註冊商標。所有品牌或產品名稱均為所屬公司之財產。© 1995-2025 Arm Limited.