智慧影像辨識系統的深入剖析

[NuvotonMarcom]

深度學習(Deep Learning)在各種不同應用領域上強大的效能令人驚嘆，影像辨識是目前深度學習技術應用最廣泛的，大量的數位影像資料經過適當的自動化處理、抽取出其中的資訊，就能成為貼心的服務、發揮出數位資訊驚人的妙用，從基本的手寫文字辨識、物件識別、人臉辨識，到自動化圖像描述(Image Captioning)、無人駕駛車(Self-Driving Car)，還有最新的馬賽克還原技術，都是深度學習和影像辨識整合後的應用。

Image Recognition Diagram.png (231.09 KiB) Viewed 1502 times

影像辨識技術加無線攝像頭模組
本方案可以辨識10個數字影像(0~9)，搭載新唐NuMicro® M480系列微控制器，基於arm Cortex®-M4F核心，主頻率為192MHz，可以快速的運行用戶算法，且帶有浮點數運算單元(FPU)和數位訊號處理指令(DSP)，有效大幅提升機器學習神經網路算法執行效率，由於高效核心執行速度以及快閃記憶體(Flash)最大達512KB，SRAM內建最大達160KB的大容量記憶體，可以直接使用軟體驅動CMOS感測器，其影像幀數最高可達30 FPS，可應用於拍攝水、電、氣表數字，再進行辨別，判別後資訊可透過Wi-Fi或是NB-IoT傳輸到雲端，實現遠端抄表功能。內建EBI介面x80或是SPI介面可以外接LCD屏來即時顯示影像。SDHC介面可接SD卡，用來存放所拍攝到的照片及相關資訊。且OS通過AliOS、Amazon FreeRTOS和Mbed OS認證，還有多路的UART介面，可以同時連接不同的無線透傳模組，達到遠端傳輸功能。


新唐提供了什麼?
新唐提供一套完整的影像識別開發軟件包，內容包含:
1. 如何連接CMOS感測器擴充模組來擷取影像資料
2. 如何在PC上使用python撰寫神經網路訓練程式碼
3. 如何將訓練好的模型(訓練參數)量化後取出來
4. 如何在MCU上使用CMSIS-NN library撰寫神經網路架構來讀取量化好的參數進行影像辨識