Deep-Learning ディープラーニングのお勉強～その13。TensorFlow.jsでMNISTリアルタイム推論してみる
ディープラーニングの勉強第13弾で、TensorFlow.jsを使って、ブラウザで手書き数字MNISTのモデルをリアルタイム推論してみました。かなり高速です。カメラ動画はM5Cameraを使用しました。
M5Camera
Deep-Learning 
Deep-Learning ディープラーニングのお勉強～その12。Google Colab上でM5Camera動画から学習済みモデルで手書き数字をリアルタイム推論してみる実験
ディープラーニングのお勉強第12弾です。Google Colaboratory上のM5Camera動画データから学習済みモデルで推論させて、手書き数字をリアルタイム認識させてみる実験をしてみました。
M5Stack ngrokによるBasic認証M5Cameraサーバーの映像をGoogle Colaboratoryに表示させてOpenCVで画像処理させてみた
Basic認証有りのngrokサーバーを使い、Google Colaboratory上にM5Cameraの動画ストリーミング表示させ、Canvas映像をOpenCVで画像処理する実験です。CORSエラー解消が大変でした。
M5Stack M5CameraとngrokでMotion JPEG動画を遠隔ストリーミングする実験
ngrokを使って、ローカルのM5CameraのMotion JPEG動画ストリーミングを全世界に公開してみる実験です。もちろん、SSLのhttpsとBasic認証ありです。160x120pixelで25fps出ました。
M5Stack M5CameraのMotion JPEG動画からJavaScriptでスナップショット静止画を取得してみた
M5Camera (M5Stack社)のWiFiのMotion JPEG動画ストリーミングから、HTMLとJavaScriptでスナップショット画像を取得する実験です。その画像をダウンロードできるようになりました。toBlobメソッドを使いました。一応、スマホでも実現できました。ディープラーニングのデータセット作成にも有効と思います。
Deep-Learning ディープラーニングのお勉強～その7。M5StackとM5Cameraで手書き数字リアルタイム画像認識実験～
ディープラーニングのお勉強第７弾で、M5StackとM5Cameraを使って、WiFi TCP で動画ストリーミングしながらリアルタイムで畳み込みニューラルネットワーク(CNN)演算させて、手書き数字画像認識に挑戦してみました。メモリがギリギリですが、何とかAIガジェットっぽいものの第一歩ができました。
Deep-Learning ディープラーニングのお勉強～その６。ESP32とM5Cameraでリアルタイム画像認識に挑戦～
ディープラーニングのお勉強第６弾で、ESP32やM5Cameraで畳み込みニューラルネットワークをArduinoプログラミングして、夢のイメージセンサ画像認識に挑戦してみました。シリアルモニターに表示させるだけですが、かなり自己満足できました。
M5Stack LovyanGFXとJpgLoopAnimeでM5StackとM5Cameraの全画面WiFi動画ストリーミング実験
LovyanGFX と JpgLoopAnime ライブラリを使ったら、M5Stack と M5Camera のWiFi動画ストリーミングがメチャメチャ高速になり、20～25fpsを叩き出せました。しかも全画面 320 x 240 pixel です。これを使わない手はないですよ。
M5Stack OV2640のJPEG出力でM5CameraとM5StackのWiFi動画ストリーミング実験
マジですごいです。M5CameraのイメージセンサOV2640のJPEG出力を制御して、WiFiでM5Stackへ飛ばすと、高フレームレートで動画ストリーミングできました。リアルタイムでフレームサイズを変えたり、JPEG画質を変えたり、PCLK分周を変えたりできます。しかもスマホへのストリーミングに切り替えられますよ。
M5Stack M5StackとM5Camera でWiFi TCP/IP 動画ストリーミングする実験
M5Stack と M5Camera を使って、WiFi TCP/IP でMJPEG (BMP) 動画ストリーミングをやってみた。スマホやパソコンのブラウザに切り替えて表示可能です。双方向通信でイメージセンサ(OV2640)のホワイトバランスや露出調整ができます。フレームレートの不思議な挙動が謎です。