Deep-Learning ディープラーニングのお勉強～その7。M5StackとM5Cameraで手書き数字リアルタイム画像認識実験～
ディープラーニングのお勉強第７弾で、M5StackとM5Cameraを使って、WiFi TCP で動画ストリーミングしながらリアルタイムで畳み込みニューラルネットワーク(CNN)演算させて、手書き数字画像認識に挑戦してみました。メモリがギリギリですが、何とかAIガジェットっぽいものの第一歩ができました。
ストリーミング
Deep-Learning 
M5Stack LovyanGFXとJpgLoopAnimeでM5StackとM5Cameraの全画面WiFi動画ストリーミング実験
LovyanGFX と JpgLoopAnime ライブラリを使ったら、M5Stack と M5Camera のWiFi動画ストリーミングがメチャメチャ高速になり、20～25fpsを叩き出せました。しかも全画面 320 x 240 pixel です。これを使わない手はないですよ。
M5Stack OV2640のJPEG出力でM5CameraとM5StackのWiFi動画ストリーミング実験
マジですごいです。M5CameraのイメージセンサOV2640のJPEG出力を制御して、WiFiでM5Stackへ飛ばすと、高フレームレートで動画ストリーミングできました。リアルタイムでフレームサイズを変えたり、JPEG画質を変えたり、PCLK分周を変えたりできます。しかもスマホへのストリーミングに切り替えられますよ。
M5Stack M5StackとM5Camera でWiFi TCP/IP 動画ストリーミングする実験
M5Stack と M5Camera を使って、WiFi TCP/IP でMJPEG (BMP) 動画ストリーミングをやってみた。スマホやパソコンのブラウザに切り替えて表示可能です。双方向通信でイメージセンサ(OV2640)のホワイトバランスや露出調整ができます。フレームレートの不思議な挙動が謎です。
ESP32 ( ESP-WROOM-32 ) ESP32でhttpdライブラリを使うとMotion JPEG(BMP)動画ストリーミングが速い！
ESP32 で httpd ライブラリを使って、Motion JPEG ( BMP )動画ストリーミングをすると、自分で作ったプログラミングよりも３倍高速にできました。当然、ストリーミング中でもブラウザと双方向通信できます。これだけ高速化できれば十分です。
ESP32 ( ESP-WROOM-32 ) ESP32でビットマップ画像ファイルを生成し、ブラウザに連続送信してMotion JPEGならぬMotion BMP動画ストリーミングする実験
ESP32 でビットマップ(BMP)ファイルを生成し、WiFiで Motion JPEG ( MJPEG )でブラウザへ動画ストリーミング通信する実験をやってみました。ストリーミング中でもブラウザからコントロールできる双方向通信が実現できました。
M5Stack M5Camera をレビューしてみた。分解したり、Arduino IDE でスマホに映したりする実験
M5Stack社の M5Camera をレビューしてみました。PSRAM 搭載の ESP32 WROVER と OV2640 カメラモジュールでできています。分解もしてみました。Quick Start で使ってみたり、Arduino IDE で STA モードで動作させてみたりしました。このコンパクトさはかなり感動ものです。
M5Stack Firebase Realtime Database のデータ保存、取得、ストリーミング受信実験( ESP32 , M5Stack )
これからの時代は Firebase です。特に Realtime database はストリーミング配信の EventSource / Server-Sent Events をサポートしていて、パソコンやスマホのブラウザに即データを反映してくれます。ESP32 や M5Stack にも即反映します。更に、HTTP通信のリクエストだけでデータベースの内容を書き替えられます。
ESP8266 ( ESP-WROOM-02 ) I2C LEDドットマトリックスの WebSocket スマホ ジャイロ コントロールを解説
ESP-WROOM-02 ( ESP8266 )に接続したI2C LEDドットマトリックスと単体LEDをWebSocket通信を使ってスマホのジャイロセンサーとタッチセンサーでコントロールしてみました。自作のEasyWebSocketライブラリを使用し・・・
ESP8266 ( ESP-WROOM-02 ) EasyWebSocket 自作ライブラリ Beta version 1.1 をアップしました
Arduino化したESP-WROOM-02 とスマホブラウザで通信する自作ライブラリEasyWebSocket Beta version 1.1 をアップしました。Canvas要素を使って大き目のスライダーを作りました。間引き通信のセレクトボックスも追加しました。多少は使いやすくなったかと思い・・・