概述
使用 Himax WE2 人工智慧處理器在邊緣實現人工智慧
邊緣運算日漸重要,因為智慧型手機、穿戴式裝置及感測器等終端裝置產生更多資料。在邊緣執行人工智慧 (AI) 推論有助於減少延遲、提升隱私,並降低頻寬需求。不過邊緣裝置的功耗限制很緊密。
Himax Technologies 開發一款名為 WiseEye 2 (WE2) 的人工智慧處理器,可在功耗受限裝置中實現邊緣人工智慧推論。
影響
50 GOP 效能在 1 mm2 晶片面積中的功耗僅 1-10 mW。
雙 Arm Cortex-M55 核心:一個高效能核心用於機器學習工作負載 (最高 400 MHz),一個節能核心用於 Always-on、低功耗作業 (150 MHz)。
創新架構無需仰賴外部 DRAM,協助降低成本及功耗。
使用的技術
運用 Arm 技術進行高速影像處理
Arm Cortex-M55 CPU 實現高速視覺處理,以執行速度達 400MHz 的「big」核心用於機器學習工作負載,而執行速度達 150MHz 的「LITTLE」核心則用於非常低功耗的 Always-on 作業。相較於僅使用微控制器,這種方式可大幅提升推論速度。
晶片使用 Arm Helium 指令在人工智慧推論前進行影像處理,並進行影像裁切、調整大小及色彩調整。
- 擴展能力:Cortex-M55 相容於 CMSIS-NN 等 Arm 機器學習框架,可促成彈性的軟體開發。例如相同程式碼可在 Cortex-M55 或其他 Arm 核心上執行。
- 硬體整合:處理器與 Arm Ethos-U55 加速器及視覺 IP 整合,可在 CPU、硬體加速器及周邊設備之間實現緊密耦合的處理能力。
- 生態系支援:Cortex-M55 可協助您利用 Arm 工具、軟體及支援的廣大生態系。這是 Himax 決策的主要因素。
針對邊緣視覺應用最佳化
WE2 經最佳化處理,能在邊緣執行視覺人工智慧模型。Himax 已展示下列用途的模型:
- 臉部偵測與特徵:除了基本的臉部偵測以外,也能進行臉部特徵偵測,以及識別眼睛、鼻子和嘴巴等主要臉部結構。
- 人體姿勢估計:WE2 可偵測主要關節與肢體以估計人體姿勢。可識別的身體部位包括手臂、腿、軀幹及頭部,以判斷整體身體的位置及動作。相關應用包括健身追蹤、手勢控制及識別動作等。
- 物件偵測:YOLO v8n 物件偵測模型可於 WE2 執行,以偵測及分類場景中的多個物件。這款模型能夠識別各種常見物件,例如人員、汽車和車牌、動物、家用品、放在門口的包裹,以及其他各種物件,涵蓋 80 多種類別。
專為彈性設計
WE2 支援外部快閃記憶體,可讓大型人工智慧模型在晶片外儲存。晶片可透過介面連接影像感測器,而 Himax 採用 Arm 生態系以提供軟體相容性。Himax 運用包含 Keil MDK、VS Code、Pytorch 及 TinyNeuralNetwork 在內的開放原始碼工具,協助使用者開發低功耗最佳化的客製化人工智慧應用。Himax 提供參考模型以協助 Bootstrap 開發。
關鍵重點
- Himax 為消費性裝置提供超低功耗的視覺人工智慧,並使用 Arm 核心及 NPU 在小型晶片中支援 Always-on 推論。
- 雙 Cortex-M55 核心及 Ethos-U55 NPU,只需使用 1-10 mW 功耗即可實現進階視覺模型。
- Arm Helium 大幅提升預處理能力,無需外部 DRAM 即可加速推論。
- Arm 生態系工具協助 Himax 將可擴展及節能的人工智慧推向市場。
- Arm 支援讓 Himax 在微型晶片執行各種模型,以進行臉部、姿勢及物件偵測。