ディープラーニングのお勉強第7弾で、M5StackとM5Cameraを使って、WiFi TCP で動画ストリーミングしながらリアルタイムで畳み込みニューラルネットワーク(CNN)演算させて、手書き数字画像認識に挑戦してみました。メモリがギリギリですが、何とかAIガジェットっぽいものの第一歩ができました。
ディープラーニングのお勉強~その7。M5StackとM5Cameraで手書き数字リアルタイム画像認識実験~
投稿日:2020/12/29
投稿日:2020/12/29
ディープラーニングのお勉強第7弾で、M5StackとM5Cameraを使って、WiFi TCP で動画ストリーミングしながらリアルタイムで畳み込みニューラルネットワーク(CNN)演算させて、手書き数字画像認識に挑戦してみました。メモリがギリギリですが、何とかAIガジェットっぽいものの第一歩ができました。
投稿日:2020/12/17
ディープラーニングのお勉強第6弾で、ESP32やM5Cameraで畳み込みニューラルネットワークをArduinoプログラミングして、夢のイメージセンサ画像認識に挑戦してみました。シリアルモニターに表示させるだけですが、かなり自己満足できました。
投稿日:2020/5/28
マジですごいです。M5CameraのイメージセンサOV2640のJPEG出力を制御して、WiFiでM5Stackへ飛ばすと、高フレームレートで動画ストリーミングできました。リアルタイムでフレームサイズを変えたり、JPEG画質を変えたり、PCLK分周を変えたりできます。しかもスマホへのストリーミングに切り替えられますよ。
投稿日:2020/4/24
M5Stack と M5Camera を使って、WiFi TCP/IP でMJPEG (BMP) 動画ストリーミングをやってみた。スマホやパソコンのブラウザに切り替えて表示可能です。双方向通信でイメージセンサ(OV2640)のホワイトバランスや露出調整ができます。フレームレートの不思議な挙動が謎です。
投稿日:2019/12/15
M5Stack と M5Camera で WiFi UDP を使った動画転送を、CPUフルパワーで24時間以上の長時間連続稼働ができるようになりました。それには「割り込み」を使ったり、CPU core の使い分け、CPU温度を監視したり、冷却ファンをつけたり等、いろいろな解決策がありました。
投稿日:2019/11/1
M5Cameraの動画をWiFi, UDPでM5Stackへ送信してLCDに表示する実験です。そしてM5Stackのボタン操作でM5Cameraを制御する双方向リアルタイム通信もやってみました。パケットロスしますが、概ね良い感じで無線動画転送できました。
投稿日:2019/9/10
ESP32のDMAとI2Sを使って、イメージセンサOV2640の画像データを転送してみた。SCCBインターフェースでOV2640を制御したり、ロジックアナライザーでフレームサイズを確認したり、カラーバーを表示させたり、デジタルズームを使ってみたりして、esp32-cameraライブラリを読み解く第3弾です。
投稿日:2019/8/10
Arduino core の esp32-camera ライブラリを読み解く第2弾。ESP32-DevKitC と OV2640 カメラモジュールと OLED SSD1331 を接続して、サンプルスケッチを動かしてみました。結構フレームレート速いです。ほとんど自作デジカメです。
投稿日:2019/7/19
M5Camera に搭載されている CMOS カメラセンサーモジュール OV2640 で取得した映像を、Arduino IDE のシリアルモニターに表示させる実験をしてみました。サンプルスケッチから自由に画素データを取り出せるようになりました。
投稿日:2019/3/9
M5Stack社の M5Camera をレビューしてみました。PSRAM 搭載の ESP32 WROVER と OV2640 カメラモジュールでできています。分解もしてみました。Quick Start で使ってみたり、Arduino IDE で STA モードで動作させてみたりしました。このコンパクトさはかなり感動ものです。