1 mm2のダイ領域で、わずか1-10 mWの電力を消費する50 GOPのパフォーマンス。
デュアルArm Cortex-M55コア：1つはMLワークロード用のハイパフォーマンス（最大400 MHz）、もう1つは常時稼働の低電力タスク用の効率性重視（150 MHz）。
革新的なアーキテクチャにより外部DRAMへの依存がなくなり、コストと消費電力の両方が削減されます。
高速な画像処理のためにArmを活用する
Arm Cortex-M55 CPUは、MLワークロード用に最大400 MHzで動作する「ビッグ」コアと、非常に低い電力で常時稼働のタスク用に150 MHzで動作する「リトル」コアを使用して、高速ビジョン処理を可能にします。これにより、マイクロコントローラのみを使用する場合と比べて、推論が大幅に高速化されます。
このチップは、AI推論前の画像処理、および画像の切り取り、サイズ変更、色調整にArm Heliumの命令を使用します。
- スケーラビリティ：Cortex-M55は、CMSIS-NNなどのArmのMLフレームワークと互換性があり、柔軟なソフトウェア開発を可能にします。たとえば、同じコードをCortex-M55や他のArmコアで実行できます。
- ハードウェア統合：プロセッサを Arm Ethos-U55アクセラレータおよびビジョンIPと統合することで、CPU、ハードウェアアクセラレータ、および周辺機器間の緊密に連動された処理が可能になります。
- エコシステムのサポート：Cortex-M55を使用すると、Armツール、ソフトウェア、サポートの幅広いエコシステムを利用できます。これが、Himaxの決定における重要な要素となりました。
エッジでのビジョンアプリケーション向けに最適化
WE2は、エッジでビジョンAIモデルを実行するために最適化されています。Himaxは以下のモデルを実演しています：
- 顔検出とランドマーク：基本的な顔検出の枠組みを超えて、顔の目印の検出も実行し、目、鼻、口などの主要な顔の構造を識別します。
- 人物の姿勢推定：WE2は、主要な関節や手足を検出することで人物の姿勢を推定できます。腕、脚、胴体、頭のような体の部位を識別し、全体的な体の位置と動きを判断します。これは、フィットネス追跡、ジェスチャー制御、アクションの識別などに応用できます。
- オブジェクト検出：オブジェクト検出のYOLO v8nモデルはWE2上で実行され、シーン内の複数のオブジェクトを検出して分類できます。人、車、車のナンバープレート、動物、家庭用品、玄関先に置かれた小包など、80を超えるカテゴリにわたる一般的な物体を識別できます。
柔軟性を重視した設計
WE2は外部フラッシュをサポートしており、大規模なAIモデルをオフチップで保存できます。このチップはイメージセンサーと接続でき、Himaxはソフトウェアの互換性のためにArmエコシステムを採用しました。Himaxは Keil MDK 、VS Code、Pytorch、TinyNeuralNetworkなどのオープンソースツールを活用して、ユーザーが低電力の最適化されたカスタムAIアプリケーションを開発できるようにします。Himaxは、ブートストラップ開発を支援するリファレンスモデルを提供します。
エッジAIが現実世界にもたらす影響を知る
デバイスレベルでのよりスマートな操作を通じてエッジAIが次世代のIoTを支え、現実世界の問題を解決し、意思決定を迅速化し、低コストを実現する方法を示す詳細なユースケースをご覧ください。