概要

Arm SME2でデバイス上のAIを加速

SME2は、次世代デバイス向けの高度なサブシステムであるArm Lumex CSS Platformの最新のCPU拡張機能であり、行列演算をデバイス上で高速化するように設計されています。これにより、AIおよびMLモデル、特にトランスフォーマー、畳み込みニューラルネットワーク(CNN)、大規模言語モデル(LLM)で一般的な行列乗算などの演算を多用するワークロードに効果を発揮します。

メリット

SME2が重要な理由

  AIパフォーマンスが5倍向上*

よりシームレスで応答性の高いデバイス上のユーザーエクスペリエンスを実現します。

完全デバイス上のAI推論

クラウドサービスへの依存が軽減され、ユーザーのプライバシーが向上し、遅延が最小限に抑えられます。

シームレスなフレームワークサポート

PyTorch、LiteRT、ExecuTorch、ONNX、MNNのArm KleidiAIを通じてネイティブに動作します。コードを変更する必要はありません。

クロスプラットフォーム対応

*同条件下での前世代CPUクラスターとの比較。

特長

最新のAI向けに設計

高度なマトリックス処理

リアルタイム推論に不可欠な行列乗算や外積演算などの複雑なAI計算を高速化します。

強化されたデータ処理

専用の述語をカウンターとして使用するメカニズムを導入し、ベクトルレジスタの使用を最適化し、データスループットを向上させます。

圧縮ニューラルネットワークのサポート

圧縮された低精度のニューラルネットワークデータ形式を効率的に処理し、メモリー帯域幅を削減してパフォーマンスを向上させます。

スケーラブル設計

エントリーレベルからフラッグシップのモバイルデバイスまで、柔軟なパフォーマンスを提供し、デバイス間で一貫した開発者およびユーザーエクスペリエンスを保証します。

SME2ドキュメントを参照
開発者

開発者向けに構築

SME2はすでにiPhone 16およびM4ベースのデバイスで稼働しており、開発者は今日からAIアプリケーションの最適化を開始できます。

 

PyTorch、ONNX Runtime、XNNPACK、llama.cppなどの主要なAIフレームワークとランタイムライブラリにわたるネイティブSME2サポートにより、開発者はコードを1行も変更せずにSME2のメリットを活用できます。SME2によって強化されたパフォーマンスは、iOSやiPadOSからmacOS、そして近々Androidまで、Armベースのプラットフォーム間で移植可能です。

 

新しいArm Developer Launchpad for SME2をご覧ください。SME2のアクセラレーションとユースケース、ステップバイステップのチュートリアル、実践的な学習パスについて学びましょう。

SME2で構築を開始する開発者ブログを読む

つながる

最新ニュース、ケーススタディ、インサイトをキャッチアップできるサブスクリプションにぜひ登録してください。

ニュースレターにサインアップ

よくある質問:SME2

1.SME2とは?

SME2(Scalable Matrix Extension 2)は、Armv9.3-Aアーキテクチャの高度なCPU命令セットであり、AIおよびMLワークロード、特にLLMやコンピュータービジョンなどのマトリックスを多用するタスクを高速化するように設計されています。Arm KleidiAIを介して一般的なAIフレームワークとシームレスに統合され、コードを変更することなくよりハイパフォーマンスと効率を実現します。

2.SME2はデバイス上のAIパフォーマンスをどのように向上させますか?

SME2は、CPU上で直接行列演算を実行することで、別個のNPUやクラウドリソースを必要とせずに、大規模言語モデルの推論を最大6倍高速化し、ビジョンとオーディオの処理を3倍向上させます。

3.SME2をサポートするデバイスは?

SME2はすでにiPhone 16およびApple M4チップに導入されており、Androidデバイスのサポートもまもなく開始される予定です。エントリーレベルからフラッグシップデバイスまで拡張でき、一貫したパフォーマンスを保証します。

4.SME2は開発者にどのようなメリットをもたらしますか?

SME2はPyTorchONNX Runtime、XNNPACKなどのフレームワークと自動的に統合されるため、開発者はコードを書き直すことなくAIワークロードを高速化できます。開発者は、ツールチェーン、SDK、トレーニングなどのモバイルリソースでArm AIを見て、すぐに作業を開始できます。

5.SME2は生成AIアプリケーションに役立ちますか?

もちろんです。SME2は、リアルタイム翻訳、写真/ビデオの強化、オーディオ生成、モーション分析などの生成AIタスクをデバイス上で直接高速化します。これにより、より高速で、よりプライベートで、よりエネルギー効率の高いユーザーエクスペリエンスが実現します。開発者は、モバイルリソース上でArm AIを使用してこれらの機能を実装する方法を学ぶことができます。