隨著 AI 工作負載在規模和複雜性上的持續提升，AI 對算力的功耗需求正迅速攀升。當下真正的瓶頸已不在於原始算力，而是能否在功耗、散熱、物理空間的既有約束內，提供高能源效率的運算能力。

同時，AI 工作負載的性質也正在改變。系統正從短暫、由使用者驅動的互動，演進為可自主產生與管理工作的連續多步驟流程。要因應這項轉變，需要能最大化每瓦效能、並在連續負載下維持穩定效能的技術，而不是只著重於處理間歇性的效能高峰。

這種工作負載行為的轉變，正日益受到代理式 AI 的推動。

不同於傳統推論，代理式 AI 不僅是生成 token，而是協調一連串決策、工具呼叫、檢索步驟、記憶體存取與模型互動。因此，協調編排成為首要需求，也凸顯 CPU 做為系統元件的重要性，能夠管理並支撐這些流程持續運作。

什麼是代理式 AI

代理式 AI 促成全新的系統，這些系統能夠在極少人工干預的情況下，自主完成任務規劃、執行並動態調適。這類系統不再侷限於單次指令應答，而是將複雜任務拆解為逐步流程，調用各類工具與服務，並在運行過程中持續反覆運算調整。

例如，一個代理式 AI 系統可以接收例如「準備一份市場分析報告」這樣的高階需求，隨後自動從多個資料來源收集資訊、展開分析、生成報告並完成分享，全程無需人們逐步下達指令。

這清楚地說明 AI 運行方式正在發生轉變。傳統 AI 系統大多是被動回應的：使用者提交提示，模型生成回覆，互動隨即結束。相較之下，代理式 AI 系統具有持續性。它們能夠運行完整工作流程、協調多項流程，其運作不再侷限於單次互動。

隨著這些系統協調任務、與多個模型互動，並即時做出決策，系統活動增加的速度將超越人類直接互動的節奏。這將帶來系統負載的階段性變化，工作負載變得更連續、能同步進行，執行需求也大幅提高。

代理式 AI 系統如何運作

代理式 AI 系統依靠規劃、任務編排、自主學習、行動執行等一系列環節運轉。每個環節都會產生前後依賴關係，必須按既定順序依次處理，且往往需要跨多個服務協同調度。

這層協調機制正變得愈來愈關鍵。在代理式 AI 系統中，CPU 不只是為加速器供應資料；它更扮演協調編排者的角色，負責在整個工作流程中管理工具使用、記憶體存取、服務協調、排程與控制流程決策。

隨著併行任務數量增加，這些相互依賴性開始暴露出系統設計上的限制。工作負載可能變得分佈不均，導致部分資源未能充分利用，其他資源卻過度飽和。即使有額外的運算資源可用，記憶體與 I/O 仍可能成為爭取使用的焦點，進而拖慢整體執行效率。

這會造成一種情況：增加更多執行緒或提高工作負載量，並不一定能轉化為更好的系統效能。相反地，效率低落的情況會在整個系統中累積，降低吞吐量，同時提高每項任務的執行成本。

對 AI 基礎設施設計的啟示

代理式 AI 的興起，不僅改變了系統的建構模式，更重塑了配套基礎設施的設計理念。當下 AI 工作負載多為需長期穩定運行的連續業務流程，因此基礎設施設計愈發重視協同調度、持續吞吐、資源高效管理與利用率最佳化。

這代表設計重心不再侷限於單一元件的峰值效能，而是更看重整個系統中各元件的協同能力。效能評價標準也已升級：不再只考量單項任務的處理速度，而是要看在既定功耗與容量約束下，系統能否在海量併行工作流程中保持穩定一致的任務執行能力。唯有實現運算、記憶體、I/O 三者均衡配比，才能在效能擴容的同時規避瓶頸。

代理式 AI 也重構了能源效率的衡量方式，評價重心轉向：系統在每瓦功耗、單機櫃條件下可長期承載的有效業務量，同時在多併行工作流程中維持穩定延遲。能效最佳化不在侷限於模型推論層面，已然上升為全域性的系統級挑戰。

Arm 首款量產晶片產品 Arm AGI CPU，是由 Arm 設計、專為 AI 資料中心打造的 CPU，以因應次世代 AI 基礎架構所面臨的這些挑戰。透過讓運算、記憶體與 I/O 在系統設計中同步擴展，確保每項任務都能取得高效執行所需的資源，進而在嚴格功耗範圍內，為大量併行且高度仰賴協調編排的工作負載提供可預測的效能。

這能支援複雜工作流程中更一致的執行表現，協助系統維持效能，而不必仰賴過多容量，或補償堆疊中其他環節的失衡情況。隨著更多代理式 AI 系統進入量產部署，在資源受限的條件下持續維持效能的能力，將決定這些系統能否有效地大規模部署。

代理式 AI：從雲端延伸至邊緣端

代理式 AI 工作負載也開始走出雲端與資料中心，部分執行流程正逐漸移往更靠近使用者的裝置端，讓決策能以更快速、更具隱私性，並結合在地情境的方式完成。

例如，當使用者預訂假期時，若提出「規劃六月到義大利一週旅行」的需求，代理式 AI 會檢查航班、比較價格、選擇住宿、規劃行程並完成預訂。部分步驟，例如大規模資料檢索，可能會在雲端執行；但其他步驟，例如管理使用者偏好或追蹤流程進度，則可在裝置端執行，以避免反覆延遲。

這形成了一個分散式流程，任務會分別在雲端與邊緣端執行，整體目標是讓代理式 AI 流程中的每個步驟，都能在任何環境中可靠運作。這也再次凸顯 CPU 角色的重要性，因為它不僅能跨環境協調工作流程，也能在裝置端運算元件之間進行協調編排，例如 GPU 與 NPU。這可確保任務在最適合的元件上執行，並在裝置限制下，讓 AI 工作負載更有效率地完成。

驅動AI 發展新階段

支援代理式 AI 工作負載，不只是提高容量，更在於設計出能在持續且真實世界條件下高效運作的系統。

Arm 對這個從雲端到邊緣的運算新時代所採取的方法，正反映了這項轉變。透過聚焦於如何在不同環境與工作負載中大規模提供運算，Arm 為次世代代理式 AI 系統的運作奠定基礎。

關於 Arm

Arm 是 AI 時代的基礎平台，其兼具卓越效能與節能優勢的運算能力，觸及全球所有連網使用者。為因應對運算永無止境的需求，Arm 平台橫跨核心 IP、先進運算子系統及專用晶片，使國際頂尖的科技公司能靈活設計、打造並大規模部署 AI 應用。透過與規模最大的運算生態系及業界超過 2,200 萬名開發者的共同努力，我們正於 Arm 平台上建構 AI 的未來。

所有資訊都「依目前情況」提供，且並不帶保證或代表性。此文件可以自由分享，但不得修改且必須註明出處。Arm 是 Arm Limited（或其子公司與附屬機構）的註冊商標。所有品牌或產品名稱均為所屬公司之財產。© 1995-2026 Arm Limited.