ディープラーニングのお勉強~その7。M5StackとM5Cameraで手書き数字リアルタイム画像認識実験~

ディープラーニングのお勉強第7弾で、M5StackとM5Cameraを使って、WiFi TCP で動画ストリーミングしながらリアルタイムで畳み込みニューラルネットワーク(CNN)演算させて、手書き数字画像認識に挑戦してみました。メモリがギリギリですが、何とかAIガジェットっぽいものの第一歩ができました。

OV2640のJPEG出力でM5CameraとM5StackのWiFi動画ストリーミング実験

マジですごいです。M5CameraのイメージセンサOV2640のJPEG出力を制御して、WiFiでM5Stackへ飛ばすと、高フレームレートで動画ストリーミングできました。リアルタイムでフレームサイズを変えたり、JPEG画質を変えたり、PCLK分周を変えたりできます。しかもスマホへのストリーミングに切り替えられますよ。

ESP32でhttpdライブラリを使うとMotion JPEG(BMP)動画ストリーミングが速い!

ESP32 で httpd ライブラリを使って、Motion JPEG ( BMP )動画ストリーミングをすると、自分で作ったプログラミングよりも3倍高速にできました。当然、ストリーミング中でもブラウザと双方向通信できます。これだけ高速化できれば十分です。

ESP32でビットマップ画像ファイルを生成し、ブラウザに連続送信してMotion JPEGならぬMotion BMP動画ストリーミングする実験

ESP32 でビットマップ(BMP)ファイルを生成し、WiFiで Motion JPEG ( MJPEG )でブラウザへ動画ストリーミング通信する実験をやってみました。ストリーミング中でもブラウザからコントロールできる双方向通信が実現できました。