适用于 AI 工作负载的异构计算
AI Summary
异构计算平台将多种类型的处理器(如 CPU、GPU、NPU)集成到单个系统中,以优化性能和能效。每种处理器类型分别用于执行特定任务。例如,CPU 处理通用计算,GPU 擅长并行处理,而 NPU 则专为 AI 工作负载而设计。通过将任务分配给最合适的处理器,有助于提高计算速度并降低能耗,使之成为 AI、机器学习和复杂数据处理等应用的理想选择。
从边缘侧到云端的关键 AI 解决方案
Arm 计算平台为 AI 的持续演进奠定了面向未来、值得信赖且安全可靠的技术基础。我们的解决方案旨在服务于各种 AI 场景,通过我们庞大的生态系统,将性能、能效和协作有机融合。
Arm AGI CPU
基于 Arm Neoverse CSS V3 的 Arm AGI CPU 可提供大规模 AI 所需的极高机架级密度和性能,加速全球算力的扩展,从而推动通用人工智能的发展,同时通过 Arm 生态系统加快产品上市。
Arm Lumex CSS
Arm Lumex CSS 是以 AI 为核心的计算平台,主要面向消费电子设备。它结合了高性能 CPU、先进的 GPU 和优化的软件。共同为下一代移动体验和 AI 应用提供高能效、可扩展的端侧智能。
Arm Zena CSS
Arm Zena CSS 是以 AI 为核心的计算平台,主要面向 AI 定义汽车。它采用高性能 CPU、经安全认证的子系统和安全性增强的硬件,支持可扩展的智能车载计算。此基础平台为下一代 ADAS、智能座舱和自动驾驶应用赋能。
Arm Neoverse CSS
Arm Neoverse CSS 提供经过全面验证、性能优化的计算构建模块,集成了 Neoverse CPU 内核、网状互连、内存和 I/O。此种方法可降低工程风险,降低开发成本,并加快云计算、AI、5G 和网络基础设施等领域的 CPU 产品上市速度。
Arm Corstone 参考设计平台
Arm Corstone 是一系列预先集成和经过验证的系统级芯片 (SoC) 参考设计,有助于加速开发安全、高能效的物联网设备和其他嵌入式系统。
为什么 CPU 对异构 AI 至关重要
代理式 AI 的兴起,正在将推理的重心从模型执行转移到运行时和系统层。编排、规划、内存管理、与外部工具和环境的交互等任务是运行时主导的功能。虽然 GPU 和专用推理引擎等加速器仍然非常适合执行大规模的模型数学运算,但 CPU 在异构系统中具有运行时或系统级计算的优势。
最新新闻和资源
- 新闻和博客
- 白皮书
- 电子书
- 报告
关键要点
Key Takeaways
- 异构计算赋能 AI 工作负载
Arm 指出,为了满足 AI 在边缘侧、机器人、自主系统和数据中心系统中的性能和能效需求,必须采用异构架构,即 CPU 用于编排和系统级计算,GPU 用于并行处理,NPU 用于神经加速。 - 从边缘侧到云端的端到端解决方案
Arm 计算平台包含计算子系统 (CSS),其中结合了 CPU、GPU、NPU 和系统 IP;而且包含参考设计,可实现从设备到数据中心的可扩展 AI 部署。 - 模块化计算子系统和参考设计能够加速创新和产品上市
Arm CSS 将核心计算组件打包在一起,例如用于数据中心和云的 Arm Neoverse CSS、用于 AI 定义车辆的 Arm Zena CSS 和用于消费电子设备的 Arm Lumex CSS 平台,使合作伙伴能够简化开发、加快产品上市并更有效地投资于 AI 创新。 - 软件和资源助力优化 AI 部署
丰富的资源,包括 AI 软件工具、文档、白皮书和指南,可帮助开发者优化和扩展 AI 工作负载。
常见问题
Arm 在异构计算中扮演什么角色?
Arm 在异构计算中扮演着核心角色,提供统一的架构,集成了 CPU、GPU、NPU 和互连技术。开发者因而能为每个任务部署合适的计算引擎,从而优化 AI、图形和控制工作负载的性能和能效。
AI 中的异构计算是什么?
AI 中的异构计算是指在单个系统中使用多种类型的处理器(例如 CPU、GPU 和 NPU)来运行 AI 工作负载的不同部分。每种处理器类型都针对特定任务进行了优化:CPU 负责通用逻辑处理,处理始终开启或功耗受限的推理工作负载;GPU 处理高吞吐量并行操作;NPU 用于加速机器学习推理。在基于 Arm 架构的平台上,此种架构能够在云端到边缘侧实现高效、可扩展的 AI 执行,从而提高复杂模型(例如生成式 AI 中使用的模型或用于生成式人工智能的持久性、编排密集型系统)的性能、能效和响应速度。
异构计算如何提升 AI 性能?
异构计算通过将工作负载分配到专门的处理单元(CPU、GPU 和 NPU)来提高 AI 性能,每个处理单元都针对不同的任务进行了优化。在基于 Arm 架构的平台上,此种方法可高效利用计算资源:CPU 负责处理编排、控制和逻辑,处理始终开启或功耗受限的 AI 工作负载,而 GPU 和 NPU 等加速器则非常适合计算密集型任务,例如模型训练。这种划分有助于减少瓶颈、降低功耗、提高吞吐量,从而使 AI 模型和生成式系统能够在云端、边缘侧和终端环境中运行得更快、更高效。
哪些行业最能从异构计算中受益?
依赖 AI、实时处理或高性能计算的行业最能从异构计算中受益。其中包括:
- 汽车和 AI 定义车辆:通过将任务分配到 CPU、GPU 和 NPU 上,实现先进驾驶辅助系统 (ADAS) 和车载 AI。
- 医疗:通过并行处理和低延迟推理,支持医学影像和诊断。
- 消费电子技术:利用高效的端侧计算能力,为智能手机、可穿戴设备和智能家居设备提供 AI 驱动的体验。
- 云和数据中心:提高大规模 AI 工作负载、生成式模型和代理式 AI 系统的吞吐量和能效。
- 工业物联网:利用高效的边缘侧 AI 处理,增强预测性维护和自动化能力。
异构计算使得上述行业能够根据工作负载需求,优化性能、功耗和响应速度。