ESP32 単独で センサー値 を Google Home に喋らせる実験( Dialogflow , Firebase , Actions on Google 設定編 )

ESP32 ( ESP-WROOM-32 )
    【目次】

    ●Google Cloud Platform 初期設定(前回記事)

  1. Actions on Google について
  2. Dialogflow ( 旧 api.ai )について
  3. Firebaseとは
  4. Actions on Google の設定
  5. Dialogflow ( 旧 api.ai ) の初期設定
  6. Dialogflow Entity の作成
  7. Dialogflow Intent 作成
  8. Dialogflow Integrations で、Google Assistant 設定をする
  9. Dialogflow Fulfillment の設定
  10. Dialogflow Intent の再設定
  11. Google Cloud Functions API の有効化
  12. Google Cloud Shell の Node.js と NPM のバージョン確認
  13. Google Cloud に Firebase Tools をインストール
  14. Firebase ログイン
  15. Firebase 初期化
  16. Firebase package.json の編集
  17. Firebase index.js の編集
  18. Actions on Google を再設定する
  19. Firebase を Deploy する
  20. Firebase Realtime Database の設定
  21. ESP32 ( ESP-WROOM-32 )開発ボード周りの準備
  22. ESP32ボードとBME280モジュール接続
  23. Arduino core for ESP32 の設定
  24. 自作ライブラリ、ESP32_BME280_I2C のダウンロード
  25. Google Home の設定や WiFiルーター設定
  26. Arduino IDE スケッチ入力
  27. Arduino IDE コンパイル書き込み実行
  28. 最終動作確認。Google Home に ESP32 のセンサー値を読み上げてもらう
  29. Firebase ユーザー追加して、UID を作成する
    (2018/01/17追加)
  30. Firebase データベースのルール設定に UID を入れてみる
    (2018/01/17追加)
  31. まとめ

29.Firebase ユーザー追加して、UID を作成する

(2018/01/17追加)
ここでは、Firebase の今後の拡張やセキュリティ向上のための設定として、ユーザーを追加して、UID を生成させる方法を説明します。

Firebase のデータベースにアクセスするユーザーを複数設置することが可能で、それぞれにログインパスワードを設定することができます。

まず、Firebase にログインし、下図の様に、Authentication をクリックします。

次に、ログイン方法を設定します。
ここでは、下図の様にメールアドレスとします。

次に、下図の様に設定を有効にして保存しておきます。

次に、下図の様に「ユーザーの追加」をクリックします。

そうしたら、入力ウィンドウが出てくるので、メールアドレスとパスワードを入力します。
別のユーザーが居るのであれば、そのユーザーのメールアドレスを聞いて入力するという形になると思います。
パスワードはそのユーザーが申告したパスワードを入力するという形になります。

良ければ、「ユーザーの追加」をクリックすると、下図の様に UID が自動発行されます。

この ID を使って、index.js などのプログラムを組めば、ユーザーごとの対応が可能になります。

30.Firebase データベースのルール設定に UID を入れてみる

(2018/01/17追加)
上記で設定した UID を利用して、データベースのアクセスを制限することができるみたいです。

データベースの「ルール」に write だけ UID を入れてみます。
下図の様な感じです。

以下のように入力してみます。
xxxxxx のところを UID に書き換えてみて下さい。

{
  "rules": {
    ".read": "true",
    ".write": "auth.uid === 'xxxxxxxxxxx'"
  }
}

これでも、index.js を admin コードで作成していれば、Cloud Functins 関数に誰でもアクセスできてしまうと思います。
その場合、index.js の Authorization を変えないとだめかも知れませんね。
私もまだ良く分からないので、今後分かったら追記していきたいと思います。

31.まとめ

どうでしょうか?
うまく動きましたか?

テストバージョン音声ですが、これでも結構十分ですよね。
IFTTT を使うと本番音声になりますが、それはおそらくActions on Google の審査が通ったアプリということなのでしょう。

でも、Google Cloud Platform を使うと、パソコンにソフトをインストールしたり、サーバーを構築したりする必要が無いというところが良いかも知れません。

ただ、私は、これができるまでに、ものすごい苦労しました・・・。
しかも、この記事を書くのが、とぉーーーっても面倒で、途中で投げ出したくなりましたよ・・・。
とんでもなく割に合わない作業です。
正直、こんなこと、二度とやりたくありません。

取り組んだ当初は、世界の Google が何でこんな面倒なシステムを作ったのかと大いに疑問でした。
でも、何回も使っているうちに、どれも必要なものなのだと理解できましたね。
とてもサラッと動かせるアプリなんて出来そうにありません。
やっぱり、いろいろ考えられているんだなぁと思いました。
慣れると自作 IoT に強力なツールになること間違いなしです。

というわけで、この記事を切っ掛けに、体の不自由な方々のためのアプリ開発につながるのなら、これはこれで良かったのかもしれません。
何気にこの AIスピーカーというものは、将来的にとっても便利になると思われますね。

今回はここまでです。
ではまた・・・。

最新記事では、Firebase と ESP32 や M5Stack およびスマートフォンとの連携について、この記事よりもっと簡単に実現できる方法も紹介しています。
以下の記事も参照してみてください。
● Firebase Realtime Database のデータ保存、取得、ストリーミング受信実験( ESP32 , M5Stack )
● Firebase Realtime Database をスマホで操作およびストリーミング受信する実験
● Firebase Realtime database を使った ESP32, M5Stack, スマートフォン相互通信してみる

 

コメント

  1. juchang より:

    mgo-tec 様

    毎回、素晴らしい記事に感動しております。
    「Google Home と ESP32 で、音声をテキスト表示させた WiFi 電光掲示板を作ってみた」は、特に興味深く、今回は何とか自力で完成させようと試みてきましたが、「19.Firebase を Deploy する」のところで行き詰ってしまいました。
    Deploy コマンドを入力すると、テキストと違うエラー表示が出ます。
    functions predeploy error : Comand terminated with non-zero exit code1
    (コマンドがゼロ以外の終了コード1で終了しました)
    npm エラーの表示も出ていたので、「 npm install 」を入力すると、npm エラーの表示は消え、テキストの表示となりますが、再度 Deploy すると最初のエラー表示に戻ってしまいます。
    index.js の書込みミスかと思い、確認をしましたが問題はないようです。
    (ただ、私のPCではコピペができず、手入力したのが問題かも知れません)
    気がかりな点がもう一つあります。
    Firebase Tools のインストールのところで、何度か苦労して完成させたのですが、テキストにあるツリー表示が出ていません。
    その後の、Firebase ログインに進めたので、気にはなっていたのですが現在に至っています。
    ご指導の程よろしくお願い致します。

    • mgo-tec mgo-tec より:

      juchangさん

      いつも当ブログをご覧いただきありがとうございます。

      一番の沼、Google Cloud Platform についに浸りましたね!
      私は今でもこれに悩まされています。

      久々に Google Cloud Platform を起動して、Cloud Shell で firebase deploy してみましたが、juchangさんとは異なるエラーになりました。
      firebase-tools をアップデートしろとのメッセージだったので、

      npm install -g firebase-tools

      を実行しました。
      案の定エラーになるので、

      sudo chown -R User-Name /usr/local/nvm

      を実行しました。(User-Name はご自分のユーザー名にする)

      更にメッセージが npm -i ….を実行しろというメッセージだったので、それも実行。
      再度

      npm install -g firebase-tools

      を実行して、ちょっとしたエラーだけになったので、それは無視して、

      firebase deploy --only functions

      を実行してみたら、デプロイしてくれません。

      仕方なく、Cloud Shell を再起動し、再度

      cd functions

      を入力して、functionsフォルダに移動し、

      npm install -g firebase-tools

      を実行。
      エラーが出たら、

      sudo chown -R User-Name /usr/local/nvm

      を実行し、再度

      npm install -g firebase-tools

      を実行し、些細なエラーは無視して、

      firebase deploy --only functions

      を実行したら、ようやくデプロイに成功しました。

      テストバージョンの Actions on Google は1~2週間くらい経つとデプロイ結果が消えてしまうようなので、再度 Dialogflow を起動し、integragions の Google Assistant をクリックして TEST をクリックすると、Actions on Google テストバージョンがアップデートされます。

      ただ、私の場合は、スマホの Google Assistant はOKだったのですが、Google Home 本体が認識してくれないという症状に陥りました。
      原因不明です。

      Google Cloud Platform や Dialogflow , Firebase , Actions on Google は異常な動作になった場合、一晩寝かせると正常に動くようになっている場合が多いです。
      Google ヘルプセンターの人もそれを認識しているそうです。
      まだ安定していませんので、気長に待ちましょう。

      ということで、私も現段階では原因不明のことが多いので、何か分かったら Twitter でツイートしたり、ブログのお知らせしたいと思います。
      因みに、npm 関連コマンドについては私はまだ不勉強なので、ネットで調べたりしている段階です。

    • mgo-tec mgo-tec より:

      juchangさん

      ちょっと気になったことがあります。
      ソースコードをコピペできないとおっしゃっていましたが、コードを「Ctrlキー」+ 「Cキー」でコピーし、Google Cloud Shell のコマンドエディタ上で、「Ctrlキー」+「Vキー」で貼り付けられると思うのですが、いかがですか?
      一般的なパソコンの普通のショートカットキーでOKです。

      因みに、package.json などの手入力は、誤る危険性が高いです。
      カンマの場所や、「^」や「~」などの文字は見た目で間違えやすいです。
      私もこの記号はコピペしますね。
      パソコンやブラウザ環境、そして、フォントによっては表示が異なりますから・・・。

      また、firebase-admin や、firebase-functions は、頻繁にバージョンアップされているようなので、Cloud Shell コマンドラインのメッセージに合わせて、package.json に記述しているバージョンを変えてください。
      例えば、2018/1/31時点の package.json の例を以下のリンクに追加しました。

      https://www.mgo-tec.com/blog-entry-dialogflow-firebase-actions-on-google-esp32-sensor.html/4

      以上、ご確認ください。

  2. juchang より:

    ngo-tec 様

    毎回お手数をお掛け致します。
    コピペの件、私の思い過ごしが判明し、現在は正常にコピペができております。
    Deploy は、相変わらずの泥沼状態で、package.json のバージョン変更を行ってもエラーメッセージの至っておりません。
    テキストにあるツリー表示が出ていないのも気になっており、一度最初から再設定することを考えています。
    どの時点まで戻ればよいのかアドバイスをいただけると幸いです。

    • mgo-tec mgo-tec より:

      juchangさん

      やっぱり、Google Cloud Platform や Firebase は、ハードルが高いかもしれません。
      ある程度、プログラミングやWebクラウドページを使い慣れていないと、自己解決は難しいと思います。
      プログラミングを始めて間もない方にとっては、多くのことを一足飛びに超えてしまっているので、難解すぎると思います。

      因みに、私自身、Google Cloud Platform や Firebase は使い始めたばかりなので、正直、分からないことだらけです。
      ですから、まともな解決はできないと思います。
      確実な解決は、Google Cloud のヘルプセンターに問い合わせることですが、回答は1か月以上待たされますので、実用的ではありません。

      ただ、node.js などは、ネット上で沢山情報がありますので、エラーメッセージで検索をかけてみて下さい。
      英語版は Google 翻訳を使うと良いです。

      例えば、検索で、

      Firebase Comand terminated with non-zero exit code1

      とすると、ある英語記事の検索結果では、ファイルパスのどこかに半角スペースが入ってしまうと、エラーになるようなことが書かれています。
      例えば、以下のように

      C:\Users\Google Drive\Android\firebase\package.json

      Google と Drive の間に半角スペースがあるとエラーになるので、入れないようにという結果が出ました。
      通常、ファイルパスにスペースを入れてはいけません。
      このような入力はどこかにされていませんか?

      それ以上のことは、すべての Deploy 結果とエラーメッセージを見てみないと、私にはサッパリ分かりません。

  3. juchang より:

    mgo-tec 様

    相変わらず泥沼でもがき苦しんでいます。
    Developer Platform Support へ問い合わせをしておりましたが、本日回答が来まして、Windows 固有のバグの可能性ありとのこと、下記のページを参照して欲しいとのことでした。
    https://github.com/firebase/firebase-tools/issues/610
    早速開いてみましたが、正直よくわかりません。
    時間のある時にご覧いただきアドバイスをいただけると幸いです。
    また、下記の方法を試して欲しいとのことなので、早速確認してみたいと思います。
    ・$ RESOURCE_DIR を %RESOURCE_DIR% に変更する。
    今後ともご指導の程よろしくお願い致します。

  4. juchang より:

    mgo-tec 様

    Deploy 成功!!
    Developer Platform Support のアドバイスを試したところ Deploy を成功させることができました。
    ・$ RESOURCE_DIR を %RESOURCE_DIR% に変更する
    →2018年1月31日付けで既に変更されていました。
    ・ESLint をオフにするために、firebase.json で linter スクリプトを実行する行をコメントアウトする
    →この対策でトラブル解消となりました。

    取り急ぎトラブル解消のご報告をさせていただきます。

    • mgo-tec mgo-tec より:

      juchang さん

      それは良かった!!!

      最近しばらく、Google Cloud Platform を使ていなかったのですが、私にはさっぱり分からないトラブルですね。
      GitHub の issue を見ると、まだかなりのトラブルがあるようですね。
      まだ開発途中のアプリなので、仕方ないのかもしれませんね。

      でも、正直、Google Support のスタッフは超多忙と思われ、あまりアテにしてなかったのですが、解決できる回答が来てホントに良かったですね。

      Arduino core for ESP32 もそうですが、何か問題があったら、issue を見てみるっていうことですね。
      今回は私自身も勉強になりました。

      この情報で、他の悩んでいる方々の力になると良いですね。
      Twitter でもこの情報を報告しておきますね。

      こちらこそ、情報ありがとうございました。
      m(_ _)m

  5. juchang より:

    mgo-tec 様

    初心者にはそう簡単にクリアできるプロジェクトではないということでしょうか。
    一気に、Firebase Realtime Database と ESP32 の設定を終え、コンパイル書き込み実行すると、シリアルモニターの表示もテキスト通り(やったー!)。
    しかし、Realtime Database の表示は ‘0’ のままです。
    Action on Google の再設定に戻りテキストと見比べてみました。
    特に間違いはないように見えるのですが、何かチェックするポイントはありませんでしょうか。
    ご教示の程お願いいたします。

    • mgo-tec mgo-tec より:

      juchang さん

      これは超難関プロジェクトだと思います。

      私自身も何度もうまくいかず、かなり悩まされました。
      C言語や C++言語、nodeJS、json のルールや、特有の動作をある程度把握していないと、なかなかトラブルの原因追求が難しいです。
      それに、Cloud上のエディタのため、パソコン上では問題ない使い慣れた操作が、うまく反映されないことが多々あり、Cloudサービス特有の動作もあります。
      コピペなども動作も、通常のパソコン上とは異なることも多いです。
      Shell コマンド上ではドラッグ&コピペの方法が独特だったり、ショートカットキーを使わないとペーストできなかったりといろいろです。

      私もまだ勉強中なので、方法が間違えているかもしれませんが、特に、node.js などは、Cloud Shell上で最新版があるよ、というメッセージが出て、その通りに最新版へアップデートしても、次に起動したときには何故か元のバージョンになっていたりします。
      これは Google Cloud の仕様っぽいのですが、Cloud上ではユーザーが簡単に最新版にアップデートできないようになっているようなのです。
      恐らく、Googleチームがテストして問題ないバーションでしか動作しないようになっているかと思われます。
      ラズベリーパイなどは、ユーザーの好きなバージョンに難無くインストールできるのですが・・・。

      更に、Firebase や Actions on Google はまだ開発途中で、日々バージョンアップしていて、それ用の対応が難しいです。
      この記事も数か月後には古くなって動かなくなっている可能性があります。
      そんなわけで、ビギナーの方には超難関のプロジェクトだと思います。

      因みに、先のコメント、または Twitter でも情報を流していて重複するかもしれませんが、Deploy を何度もやっていると、いくら Deploy が成功しても、結果が反映されない場合があると思います。
      その場合は、一晩、または1日~2日間をおいて、再度 Deploy すると反映される場合があります。
      これは、Googleチームも把握している問題だそうです。
      また、Dialogflow の integllation を再設定しないと反映されないとか、Actions on Google 画面の CHANGE VERSION を再設定しないと反映されないとかあります。

      ということで、うまくいかないことがあっても、私自身も分からないことが多々あり、プロジェクトを全て見てみないと何とも言えません。
      自己満足の趣味ブログで、本業の仕事や介護等の合間に書いているので、なかなか皆さんの質問にはお答えできないことがあり、申し訳なく思っております。
      m(_ _)m

  6. juchang より:

    mgo-tec 様

    またまたうっかりミスを犯してしまいました。
    スケッチ75行目の Firebase Cloud Functions URL の入力で、コピペがうまくいかず手入力をしたのですが、l と1を読み違えていることが判明しました。
    早速打ち変えて Realtime Database を確認したところ表示が出るようになりました。(お騒がせしてすみません)
    その後の動作確認では、「 ESP32 につないで」と話しかけると、「ESP32 から応答がありません、のちほどもう一度試して下さい」との答えとなっています。
    Dialogflow へ戻り内容をチェックしてみましたが特に問題は見当たりません。
    ゴールが見えてきたのでこれからじっくりと研究しようと思っています。
    今後ともご指導の程よろしくお願い致します。

    • mgo-tec mgo-tec より:

      juchangさん

      そうですか・・・。
      コピペは問題無くできると思うのですが。
      Cloud Shellコマンドライン上の、リンク文字列をコピペする場合、ターゲットの文字列だけをドラッグしようとするとリンク先へジャンプしてしまうので、それよりも1~2文字多めにドラッグしてコピペするとうまくいきます。
      動作不良があったら、半角スペースも含めて、タイプミスは入念にチェックした方が良いということですね。
      その他、一旦、テキストエディタに *.js 形式でソースコードをコピペしてエラーが無いかチェックしてみても良いと思います。

      あともうちょっとですね。
      がんばってください。

  7. juchang より:

    mgo-tec 様

    「センサー値を Google Home に喋らせる実験」を何とかクリアすることができました。
    出かけていて二日間ほど作業の中断があり、昨日再トライをしたところ Google Home からの反応がありました。
    今日、改めて動作確認をしましたが正常に動作しています。
    ここを直したらというものがないので、釈然としませんがとりあえず「良し」として次に進みたいと思います。
    色々とお手数をお掛け致しました、これからもご指導の程よろしくお願い致します。

    • mgo-tec mgo-tec より:

      juchangさん

      よかったよかった!
      やっと正常動作ですね。
      やっぱり、Deploy 不具合は Google Cloud 側だったようですね。
      パソコンと違い、Cloud はそういうものということです。

      そこまで出来れば、ESP32 でやれることの幅が一気に広がると思います。
      これから、いろいろと発展させて、面白いものができるとイイですね。

  8. su より:

    拍手。Google home に本当に必要なことを喋らせるのは相当苦労しそうですが参考に挑戦してみます。

    • mgo-tec mgo-tec より:

      suさん

      記事をご覧いただき、ありがとうございます。
      ただ、最近 Google Home を使っておらず、この記事を書いた当初よりも使い方が変わっている可能性があります。
      もし、変わっていたらコメント等でご連絡いただけると助かります。
      ただ、記事はすぐに修正できないかも知れませんのでご容赦くださいませ。

タイトルとURLをコピーしました