概述

使用 Himax WE2 人工智慧處理器在邊緣實現人工智慧

邊緣運算日漸重要,因為智慧型手機、穿戴式裝置及感測器等終端裝置產生更多資料。在邊緣執行人工智慧 (AI) 推論有助於減少延遲、提升隱私,並降低頻寬需求。不過邊緣裝置的功耗限制很緊密。


Himax Technologies 開發一款名為 WiseEye 2 (WE2) 的人工智慧處理器,可在功耗受限裝置中實現邊緣人工智慧推論。

影響
Arm always-on vision with ultra-low-power icon

50 GOP 效能在 1 mm2 晶片面積中的功耗僅 1-10 mW。

Arm processor with curve line icon

雙 Arm Cortex-M55 核心:一個高效能核心用於機器學習工作負載 (最高 400 MHz),一個節能核心用於 Always-on、低功耗作業 (150 MHz)。

Complexity icon

創新架構無需仰賴外部 DRAM,協助降低成本及功耗。

Arm 可擴展矩陣延伸指令集 2 (SME2)

Himax WiseEye HX6538 AI processor lineup
使用的技術

運用 Arm 技術進行高速影像處理

Arm Cortex-M55 CPU 實現高速視覺處理,以執行速度達 400MHz 的「big」核心用於機器學習工作負載,而執行速度達 150MHz 的「LITTLE」核心則用於非常低功耗的 Always-on 作業。相較於僅使用微控制器,這種方式可大幅提升推論速度。

晶片使用 Arm Helium 指令在人工智慧推論前進行影像處理,並進行影像裁切、調整大小及色彩調整。

  • 擴展能力:Cortex-M55 相容於 CMSIS-NN 等 Arm 機器學習框架,可促成彈性的軟體開發。例如相同程式碼可在 Cortex-M55 或其他 Arm 核心上執行。
  • 硬體整合:處理器與 Arm Ethos-U55 加速器及視覺 IP 整合,可在 CPU、硬體加速器及周邊設備之間實現緊密耦合的處理能力。
  • 生態系支援:Cortex-M55 可協助您利用 Arm 工具、軟體及支援的廣大生態系。這是 Himax 決策的主要因素。
Himax WiseEye Y1 low-power AI vision module

針對邊緣視覺應用最佳化

WE2 經最佳化處理,能在邊緣執行視覺人工智慧模型。Himax 已展示下列用途的模型:

  • 臉部偵測與特徵:除了基本的臉部偵測以外,也能進行臉部特徵偵測,以及識別眼睛、鼻子和嘴巴等主要臉部結構。
  • 人體姿勢估計:WE2 可偵測主要關節與肢體以估計人體姿勢。可識別的身體部位包括手臂、腿、軀幹及頭部,以判斷整體身體的位置及動作。相關應用包括健身追蹤、手勢控制及識別動作等。
  • 物件偵測:YOLO v8n 物件偵測模型可於 WE2 執行,以偵測及分類場景中的多個物件。這款模型能夠識別各種常見物件,例如人員、汽車和車牌、動物、家用品、放在門口的包裹,以及其他各種物件,涵蓋 80 多種類別。
Ultra-low-power smart sensing for edge devices

專為彈性設計

WE2 支援外部快閃記憶體,可讓大型人工智慧模型在晶片外儲存。晶片可透過介面連接影像感測器,而 Himax 採用 Arm 生態系以提供軟體相容性。Himax 運用包含 Keil MDK、VS Code、Pytorch 及 TinyNeuralNetwork 在內的開放原始碼工具,協助使用者開發低功耗最佳化的客製化人工智慧應用。Himax 提供參考模型以協助 Bootstrap 開發。

Ebook expanded cover of Edge AI - Enabling Smart IoT Applications

探索邊緣人工智慧的實際影響

探索深入的使用場景,展現邊緣人工智慧如何推動次世代物聯網、解決實際問題、加速決策,以及直接在裝置層級以更智慧的作業降低成本。

閱讀電子書
關鍵重點
  • Himax 為消費性裝置提供超低功耗的視覺人工智慧,並使用 Arm 核心及 NPU 在小型晶片中支援 Always-on 推論。
  • 雙 Cortex-M55 核心及 Ethos-U55 NPU,只需使用 1-10 mW 功耗即可實現進階視覺模型。
  • Arm Helium 大幅提升預處理能力,無需外部 DRAM 即可加速推論。
  • Arm 生態系工具協助 Himax 將可擴展及節能的人工智慧推向市場。
  • Arm 支援讓 Himax 在微型晶片執行各種模型,以進行臉部、姿勢及物件偵測。
相關案例

探索類似案例

適用於家庭及工業的 Raspberry Pi

讓所有人享有輕易取得的運算功能

Raspberry Pi 與 Arm 合作,以全新功能及更高效率讓人工智慧具備高效、彈性及符合成本效益等特性。

Zigbang 門鈴對講機及門鎖

直覺並具有智慧的安全無虞生活體驗

Zigbang 智慧家庭解決方案整合家庭物聯網硬體及生活用品,讓日常生活成為更智慧、更安全的體驗。

ROBOTIS 人工智慧自主機器人

機器人創新

引領全新時代:開發具備實體智慧的人工智慧機器人與人類共存。

探索更多成功案例