Arm 與微軟合作，為基於 Arm 架構的 PC 和行動裝置應用提供超強 AI 體驗
Arm KleidiAI 與 ONNX Runtime 的整合，為 Windows 和 Android 作業系統帶來顯著的 AI 效能最佳化，實現高達 2.6 倍的 AI 推論速度提升，進而加速應用體驗。
作者：Arm 終端產品事業部產品管理總監 Ronan Naughton；微軟 AI 框架首席軟體工程經理 George Wu
隨著 AI 成為當今個人電腦和行動裝置使用體驗（從聊天機器人到生產力提升）中不可或缺的一部分，這些裝置對 CPU 高效率、可擴展的推論需求也在持續增加。Arm 與微軟正攜手合作以滿足此一需求，從高階桌機和筆記型電腦，到旗艦級和入門級智慧手機等各類消費性電子裝置上，為使用者帶來加速的 AI 體驗。
Arm 和微軟共同將 Arm KleidiAI 進一步擴展到 ONNX Runtime（業界廣泛使用的開源 AI runtime 之一）中。KleidiAI 是一個輕量級的 AI 框架核心函式庫，能在各種技術市場與 Arm 架構裝置上，為 AI 模型與工作負載帶來前所未有的大規模效能最佳化，實現無縫加速。有鑑於 KleidiAI 已成功整合到其他領先的 AI 框架上，這次的合作是在此成功基礎上的又一重要進展。
Windows on Arm 生態系在過去幾年展現顯著的成長。包括 Adobe Photoshop、Google Chrome、Spotify 和 Zoom 等廣受歡迎的應用程式，都紛紛推出了 Arm 原生版本，以充分發揮其效能和效率優勢。透過將 KleidiAI 整合到 ONNX Runtime 中，廣大的應用程式開發人員無需額外投入工程時間，就能獲得 PC 和行動裝置的 AI 效能提升。ONNX Runtime 為微軟許多產品的 AI 工作負載提供支援，包括 Microsoft 365 套件以及 Microsoft Copilot 等，並為 Copilot+ PC 打造卓越的 AI 體驗。
KleidiAI 與 ONNX Runtime 的整合最佳化了包含 Phi-3 Mini 等一系列模型在內的 AI 工作負載。Phi-3 Mini 是一個擁有 38 億參數的小型語言模型，專為邊緣裝置的先進 AI 體驗量身訂製。這些 AI 體驗包括即時聊天機器人、虛擬助理、智慧文字內容補充以及生產力工具的功能強化等，所有這些功能均可在裝置本地實現。透過將 Phi-3 Mini 緊湊的結構與 KleidiAI 高效率的 CPU 執行程式提供 （Execution Provider） 整合配對，開發人員無需依賴雲端連接，即可在裝置上快速實現智慧功能。
提升 PC 和行動裝置上的實際 AI 效能
在 PC 和行動平台上，該整合已為終端使用者帶來實際的好處。它顯著地加快 AI 回應速度，使裝置能夠直接實現更智慧、更快速的互動，且無需開發人員進行架構改動或後端重寫。
根據 Arm 的基準測試顯示，在 KleidiAI 整合到 ONNX Runtime 後，系統效能得到顯著的提升，包括在基於 Armv9 平台的 Windows 裝置上運行 Phi-3 模型時，提示處理吞吐量提升 2.4 倍，詞元 （token） 生成速度加快 12%。這些效能改進使聊天機器人等 AI 應用能夠給出更加自然流暢的回應。同樣地，在搭載最新 Armv9 CPU 的 vivo X200 Pro 旗艦智慧手機上運行相同 Phi-3 模型的參考Android應用中，提示處理速度則也加快 2.6 倍。
由於 KleidiAI 的整合運行在全球廣泛應用的 Arm CPU 架構上，使得 AI 應用與工作負載能夠在不同的生態系及晶片組之間無縫移植。KleidiAI 的設計特性在於與當前的 Arm 架構特性，如 Neon、可擴展向量延伸指令集（SVE2） 及可擴展矩陣延伸指令集 （SME），展開協同工作。這些因應未來需求的功能，可確保開發人員不但得以建構目前的 AI 強化體驗，並可隨著未來的硬體創新持續擴展。KleidiAI 與 ONNX Runtime 的整合已在 ONNX RT V1.22 中發佈。
推動 AI 的規模化
Arm 與微軟的合作，為開發人員普及最佳化 AI 邁出了革命性的一步。該項合作簡化了在各類 PC 和行動裝置上部署智慧功能的流程，無需增加成本或開發工作量，同時為終端使用者帶來更加快速的 AI 體驗。隨著 AI 的持續演進，這些最佳化工作將確保開發人員、OEM廠商和作業系統提供者擁有出色的效能、靈活性和廣泛的服務範圍，為更多使用者帶來更優質、更智慧的體驗。
請瀏覽以下 Learning Path，瞭解 KleidiAI 與 ONNX Runtime 整合的更多資訊：
關於 Arm
Arm 是業界效能最高且最節能的運算平台，其無可比擬的應用範疇觸及全球所有連網使用者。為因應全球對運算永無止境的需求，Arm 提供先進的解決方案，使全球領先的科技公司得以釋放前所未有的 AI 體驗與功能。透過與全球最大的運算生態系及 2,200 萬名軟體開發人員的共同努力，我們正在 Arm 平台上建構 AI 的未來。
所有資訊都「依目前情況」提供，且並不帶保證或代表性。此文件可以自由分享，但不得修改且必須註明出處。Arm 是 Arm Limited（或其子公司與附屬機構）的註冊商標。所有品牌或產品名稱均為所屬公司之財產。© 1995-2025 Arm Limited.