概述

适用于 AI 工作负载的异构计算

AI Summary

异构计算平台将多种类型的处理器(如 CPU、GPU、NPU)集成到单个系统中,以优化性能和能效。每种处理器类型分别用于执行特定任务。例如,CPU 处理通用计算,GPU 擅长并行处理,而 NPU 则专为 AI 工作负载而设计。通过将任务分配给最合适的处理器,有助于提高计算速度并降低能耗,使之成为 AI、机器学习和复杂数据处理等应用的理想选择。

重新构想面向未来 AI 的计算范式

真正无缝且嵌入式的 AI 体验需要一种新的计算范式。欲了解更多信息,请参阅这篇《麻省理工科技评论》研究报告,其中收录了来自 AWS、Meta、三星和 Arm 等行业领军企业的见解。

通往 AI 计算之路

AI 的兴起正在重塑计算格局,并对芯片架构提出了更高的要求。复杂的 AI 工作负载对算力要求很高,需要专门的硬件才能高效运行。

产品与解决方案

从边缘侧到云端的关键 AI 解决方案

Arm 计算平台为 AI 的持续演进奠定了面向未来、值得信赖且安全可靠的技术基础。我们的解决方案旨在服务于各种 AI 场景,通过我们庞大的生态系统,将性能、能效和协作有机融合。

为什么 CPU 对异构 AI 至关重要

代理式 AI 的兴起,正在将推理的重心从模型执行转移到运行时和系统层。编排、规划、内存管理、与外部工具和环境的交互等任务是运行时主导的功能。虽然 GPU 和专用推理引擎等加速器仍然非常适合执行大规模的模型数学运算,但 CPU 在异构系统中具有运行时或系统级计算的优势。

了解详情
资源

最新新闻和资源

  • 新闻和博客
  • 白皮书
  • 电子书
  • 报告
White paper icon

构建从云端到边缘侧的可扩展 AI 平台

了解塑造企业 AI 基础设施未来的五项关键决策。了解如何统一软件层并跨异构计算进行部署,从数据中心到边缘侧提供一致的性能。

Whitepapers - Generic Whitepapers
软件 AI 加速

为什么软件对于充分发挥 AI 的潜力至关重要

如何选择合适的开源解决方案,以助力生成式 AI 的加速发展并减少 AI 模型的资源占用量。

Whitepapers - Generic Whitepapers
生成式 AI

灵活快速地扩展生成式 AI

在新型生成式 AI 功能的规模化实现过程中,创新与挑战始终并存。了解如何克服挑战,成功实现 AI 规模化部署。

Generic Guides
生成式 AI

生成式 AI 在业务转型中的角色

探索如何充分发挥生成式 AI 的潜力,了解 Arm 在推动这一转型中的作用。

Generic Guides
AI 工作负载

CPU 上的 AI 推理详解指南

在 CPU 上运行 AI 工作负载的需求日益旺盛。本实用指南剖析了 CPU 推理在各个领域的技术优势,并梳理了应用时的考量因素。

Generic Report
MIT AGI 报告

通往 AGI 之路:关于智能的多元观点

在这篇由《麻省理工科技评论》和 Arm 发布的报告中,我们将探讨灵活的任务专用型计算和不断发展的架构如何助力未来的 AI 发展。

Generic Report
企业 AI 报告

边缘侧 AI 的全新领域

模型轻量化和计算加速趋势正在重塑边缘侧 AI。

Generic Report
企业 AI 报告

Arm AI 就绪指数

尽管 AI 的普及率已达 82%,但分配给 AI 的技术预算仅占 5-10%,我们的综合报告揭示了 AI 成功背后的技术要求、机遇和策略。

关键要点

Key Takeaways

  • 异构计算赋能 AI 工作负载
    Arm 指出,为了满足 AI 在边缘侧、机器人、自主系统和数据中心系统中的性能和能效需求,必须采用异构架构,即 CPU 用于编排和系统级计算,GPU 用于并行处理,NPU 用于神经加速。
  • 从边缘侧到云端的端到端解决方案
    Arm 计算平台包含计算子系统 (CSS),其中结合了 CPU、GPU、NPU 和系统 IP;而且包含参考设计,可实现从设备到数据中心的可扩展 AI 部署。
  • 模块化计算子系统和参考设计能够加速创新和产品上市
    Arm CSS 将核心计算组件打包在一起,例如用于数据中心和云的 Arm Neoverse CSS、用于 AI 定义车辆的 Arm Zena CSS 和用于消费电子设备的 Arm Lumex CSS 平台,使合作伙伴能够简化开发、加快产品上市并更有效地投资于 AI 创新。
  • 软件和资源助力优化 AI 部署
    丰富的资源,包括 AI 软件工具、文档、白皮书和指南,可帮助开发者优化和扩展 AI 工作负载。

常见问题

Arm 在异构计算中扮演什么角色?

Arm 在异构计算中扮演着核心角色,提供统一的架构,集成了 CPU、GPU、NPU 和互连技术。开发者因而能为每个任务部署合适的计算引擎,从而优化 AI、图形和控制工作负载的性能和能效。

AI 中的异构计算是什么?

AI 中的异构计算是指在单个系统中使用多种类型的处理器(例如 CPU、GPU 和 NPU)来运行 AI 工作负载的不同部分。每种处理器类型都针对特定任务进行了优化:CPU 负责通用逻辑处理,处理始终开启或功耗受限的推理工作负载;GPU 处理高吞吐量并行操作;NPU 用于加速机器学习推理。在基于 Arm 架构的平台上,此种架构能够在云端到边缘侧实现高效、可扩展的 AI 执行,从而提高复杂模型(例如生成式 AI 中使用的模型或用于生成式人工智能的持久性、编排密集型系统)的性能、能效和响应速度。

异构计算如何提升 AI 性能?

异构计算通过将工作负载分配到专门的处理单元(CPU、GPU 和 NPU)来提高 AI 性能,每个处理单元都针对不同的任务进行了优化。在基于 Arm 架构的平台上,此种方法可高效利用计算资源:CPU 负责处理编排、控制和逻辑,处理始终开启或功耗受限的 AI 工作负载,而 GPU 和 NPU 等加速器则非常适合计算密集型任务,例如模型训练。这种划分有助于减少瓶颈、降低功耗、提高吞吐量,从而使 AI 模型和生成式系统能够在云端、边缘侧和终端环境中运行得更快、更高效。

哪些行业最能从异构计算中受益?

依赖 AI、实时处理或高性能计算的行业最能从异构计算中受益。其中包括:


  • 汽车和 AI 定义车辆:通过将任务分配到 CPU、GPU 和 NPU 上,实现先进驾驶辅助系统 (ADAS) 和车载 AI。
  • 医疗:通过并行处理和低延迟推理,支持医学影像和诊断。
  • 消费电子技术:利用高效的端侧计算能力,为智能手机、可穿戴设备和智能家居设备提供 AI 驱动的体验。
  • 云和数据中心:提高大规模 AI 工作负载、生成式模型和代理式 AI 系统的吞吐量和能效。
  • 工业物联网:利用高效的边缘侧 AI 处理,增强预测性维护和自动化能力。

异构计算使得上述行业能够根据工作负载需求,优化性能、功耗和响应速度。

掌握最新动态

订阅即可了解最新新闻、案例研究和行业洞察。

订阅通讯电子邮件