世界中の開発者のためのシームレスなAIアクセラレーション

Arm Neoverse V2ベースのGraviton4プロセッサーを使用し、PyTorchに適用したKleidiAIの最適化で、チャットボットのデモではトークン生成率が12倍向上されると見積もられています。

このデモは、既存のArmベースのコンピュート能力を利用し、LLMを使用したAIアプリケーションを容易に構築できることを示しています。

FunASRは、Alibaba DAMO Academyにより開発された高度なオープンソース自動音声認識（ASR）ツールキットです。

oneDNNを介してACLをPyTorchと統合することで、Neoverse N2ベースのAliCloud Yitian710プロセッサーにおけるParaformerモデルの実行時、2.3倍のパフォーマンス向上を実現しました。

ArmとMetaの協力により、AI開発者は量子化されたLlama 3.2モデルをArm CPU上でこれまでより最大20%速く実行できるようになりました。

KleidiAIをExecuTorchと統合し、最適化された量子化スキームを開発することで、モバイル上の生成AIワークロードのプリフィルステージで350トークン/秒を超える速度を達成しました。

AWSとArmは、TinyLlama 1.1B SLMを微調整し、自動車マニュアル用のチャットボットを作成することで、ドライバーが車両と直接対話できるようにしました。KleidiAIの使用により、SLM推論はArm Cortex-A76 CPU上で従来より10倍高速化し、応答時間が3秒になりました。

KleidiAIでllama.cppを使用することで、VicOneはパフォーマンスを加速し、プリフィルを2倍に、エンコードを60%向上させました。当社とのパートナーシップにより、クラウドへの依存を減らし、コストを削減し、車載データの安全性を維持することで、車載サイバーセキュリティの脅威を迅速に検出することができます。

Armで最適化したGraviton3プロセッサーでのテキスト生成デモ実行では、TTFTで2.5倍のパフォーマンス向上、テキスト生成フェーズで毎秒35トークン以上と、リアルタイムのユースケースには十二分の性能を達成しています。

KleidiAIは現在、XNNPACKを介して、GoogleのオンデバイスAI向け高性能ランタイム（旧称：TensorFlow Lite）、LiteRTと統合されています。

このパートナーシップとArmのStability AI Open Stable Audio Smallモデルの最適化により、デバイス上でのオーディオ生成が可能になり、そして実行時のピーク時のRAM使用量が6.5 GBから3.6 GBに削減しました。

エッジでの高度でエネルギー効率の高いコンピュータービジョン（CV）に対する需要が高まっている中、KleidiCVはArm CPU上のCVアプリケーションのパフォーマンス最適化を確約するために役立ちます。

OpenCV 4.11と統合することで、開発者はぼかし、フィルター、回転、サイズ変更などの主要な画像処理タスクの処理が4倍高速化するというメリットを活用できます。この加速化は、画像のセグメンテーション化、物体検出および認識のユースケースのパフォーマンス向上に役立ちます。

TencentのAngel MLフレームワークは、10億から3,000億を超えるパラメータまでのサイズで利用可能なHunyuan LLMをサポートしています。スマートフォンやWindows on Arm PCを含む幅広いデバイスでAI機能を実現します。

2024 Tencent Global Digital Ecosystem Summitで発表されたパートナーシップは、Tencentの多くのアプリケーションにわたって、よりパワフルで効率的なオンデバイスAIサービスをユーザーに提供することで、実世界のワークロードにポジティブな影響を与えています。