ESP32 単独で センサー値 を Google Home に喋らせる実験( Dialogflow , Firebase , Actions on Google 設定編 )

ESP32 ( ESP-WROOM-32 )
    【目次】

    ●Google Cloud Platform 初期設定(前回記事)

  1. Actions on Google について
  2. Dialogflow ( 旧 api.ai )について
  3. Firebaseとは
  4. Actions on Google の設定
  5. Dialogflow ( 旧 api.ai ) の初期設定
  6. Dialogflow Entity の作成
  7. Dialogflow Intent 作成
  8. Dialogflow Integrations で、Google Assistant 設定をする
  9. Dialogflow Fulfillment の設定
  10. Dialogflow Intent の再設定
  11. Google Cloud Functions API の有効化
  12. Google Cloud Shell の Node.js と NPM のバージョン確認
  13. Google Cloud に Firebase Tools をインストール
  14. Firebase ログイン
  15. Firebase 初期化
  16. Firebase package.json の編集
  17. Firebase index.js の編集
  18. Actions on Google を再設定する
  19. Firebase を Deploy する
  20. Firebase Realtime Database の設定
  21. ESP32 ( ESP-WROOM-32 )開発ボード周りの準備
  22. ESP32ボードとBME280モジュール接続
  23. Arduino core for ESP32 の設定
  24. 自作ライブラリ、ESP32_BME280_I2C のダウンロード
  25. Google Home の設定や WiFiルーター設定
  26. Arduino IDE スケッチ入力
  27. Arduino IDE コンパイル書き込み実行
  28. 最終動作確認。Google Home に ESP32 のセンサー値を読み上げてもらう
  29. Firebase ユーザー追加して、UID を作成する
    (2018/01/17追加)
  30. Firebase データベースのルール設定に UID を入れてみる
    (2018/01/17追加)
  31. まとめ

5.Dialogflow ( 旧 api.ai ) の初期設定

では、次はようやく自然言語対話アプリサービスの Dialogflow の設定です。

前項に続くと、下図の様なウィンドウが現れるので、ご自分の Google アカウントを選択します。

続いて以下の画面になるので、利用規約やプライバシーポリシーを読んで、良ければ許可をクリックします。

すると、下図の様なメッセージが出ます。
上部のメッセージは、旧API.AI から Dialogflow という名称に変わりましたというメッセージなので、無視して良いです。
その下のメッセージは、Insufficient permissions ですから、権限が不十分ということです。
ですから、下図の様に、「AUTHORIZE」をクリックしてください。

すると、もう一度同じようなウィンドウが再び出てきますので、ご自分の Google アカウントを選択します。

すると、下図の様に再び「許可」をクリックします。

すると、下図の様な画面になります。
上部のメッセージを消すには、「DISMISS」をクリックします。

下図の様に、Google Cloud Platform で作成したプロジェクト名が引き継がれていると思います。
言語を Japanese-ja を選択し、タイムゾーンを Asia/Tokyo として、「SAVE」をクリックすると、保存されます。

その後、下図の様な画面になっていればOKです。
Default Fallback Intent は、Google Home が言葉を認識できなかった場合の応答設定をするところです。
Default Welcome Intent は、Google Home が最初に応答するデフォルトの言語設定をするところです。

6.Entity の作成

言語応答設定をするところは Intent を設定しますが、その前に、Entity というものを作成しなければなりません。
Entityとは、自分が注文したい言葉をリスト付き変数にする設定のことです。

例えば、マイコンのセンサー値として、「気圧」「気温」「湿度」という値があったら、sensor_type というリスト付き変数を作って、自分が喋った言葉がそのリストの中のどれに該当したかを出力することができます。
それがいわゆる Entity というものです。

まず、下図の様に左側のメニューから、「Entities」をクリックし、「CREATE ENTITY」をクリックします。

そうすると、下図の様に Entity 作成画面になります。

次に、下図の様に、Entity 名に好きな名前を入力してください。
これは日本語でもOKですが、最初はアルファベットの方が無難です。
そして、Define synonyms にチェックを入れます。
これはつまり、同義語設定するかどうかということです。
そして、下図の様に「気温」と入力し、Enterを押したら、Enter synonym にカーソルが現れますので、そこに同義語を入力します。
ここでは、気温の同義語として「温度」と入力します。

下図の様に、センサー値の「気圧」「気温」「湿度」の同義語を下図の様に入力したら、「全て」という同義語も入力しておきます。
全部入力し終えたら、右上端の「SAVE」をクリックして保存します。

すると、下図の様な画面になり、
@sensor_type
という Entity が作成されると思います。

7.Intent 作成

次に、Google Home からの言語応答設定である、Intent を作成していきます。

下図の様に「CREATE INTENT」をクリックしてください。

次に、まず、Intent名に好きな名前を入力してください。
とりあえず、アルファベット英数字が無難です。
そうしたら、下図の様に、「User says」欄に最初に Google Home に指示する言葉を入力します。
ここでは、「センサー読み上げ」とします。
そして、下に「気圧は」と入力し、「気圧」の部分をマウスでドラッグすると、下図の様に登録済みの Entity がズラッと表示されます。
そこで、先ほど作成した Entity の @sensor_type をクリックして選択します。

すると、下図の様に気圧と @sensor_type のところが黄色になり、リンクされていることが分かります。

次に、下図の様に「Actions」欄のところで、Intent名の「esp32_sensor_tell」と入力します。
ここはこの名前でなくても良いかもしれませんが、とりあえずこれで動作したのでそうしておきます。
そして、REQUIRED のところをチェックし、PARAMETER NAME や ENTITY , VALUE を下図の様に入力します。
PROMPTS のところは、自分が「センサー読み上げ」と注文したら、Google Home が答える文章です。
その後、自分が答えるまで待機しています。
そして、一番下のところの Text Response では、後で説明する、Firebase index.js プログラムで、どの値にも該当しなかった場合に、Google Home が答える文章です。
センサー値が読み上げられれば、この文章は答えません。
そして、全部入力し終わったら、右上端の「SAVE」をクリックして保存します。

8.Integrations で、Google Assistant 設定をする

次に、下図の様に、左側のメニューの「Integrations」をクリックして、「Google Assistant」をクリックします。

すると、下図の様な画面になるので、右上端のスイッチをONにして、下図の様に選択します。
全て良ければ、「UPDATE DRAFT」をクリックします。

これで、恐らく、Actions on Google とリンクされたと思われます。
そうしたら、下図のような画面になるので、「CLOSE」をクリックします。

9.Fulfillment の設定

ここでは、Google Assistant や Firebase との Web上のやり取りで、Webhook を使った http通信のための設定を行います。

左メニューの「Fulfillment」をクリックして、下図の様に「Webhook」を ENABLED にします。
そして、下図の様に、URL 欄に一時的な仮の URLを

https://silly.name.maker

として入力しておきます。
これは、後ですぐ変更します

そうしたら、一番下の方の「SAVE」をクリックして保存します。

10.Intent の再設定

ちょっとややこしいのですが、ここで再度 Intent を設定します。
なぜかというと、Integrations や Fulfillment 設定を終えないと設定できないからです。

先ほど作った Intent の esp32_sensor_tell をクリックします。

下図の様に、一番下の方に Fulfillment と Google Assistant 項目が出現していることが分かると思います。
これは、先ほど設定した、Integrations と Fulfillment 設定を終えると出現しますので、要注意です。
そして、それをクリックします。

下図の様に Use Webhook と End conversation にチェックを入れます。
全て終わったら、右上端の「SAVE」をクリックして、保存します。

これで、一通り設定が終わりました。

最後に、念のため、Integrations 項目で保存しておきます。

下図の様に Integrations の Google Assistant をクリックしてください。

そうしたら、下図の様になっているかチェックして「UPDATE DRAFT」をクリックしてください。
これで、恐らく Actions on Google に反映されると思われます。

以上、Dialogflow の設定方法でした。
次は、Google Cloud Functions API の設定と Firebase の設定を説明します。

コメント

  1. juchang より:

    mgo-tec 様

    毎回、素晴らしい記事に感動しております。
    「Google Home と ESP32 で、音声をテキスト表示させた WiFi 電光掲示板を作ってみた」は、特に興味深く、今回は何とか自力で完成させようと試みてきましたが、「19.Firebase を Deploy する」のところで行き詰ってしまいました。
    Deploy コマンドを入力すると、テキストと違うエラー表示が出ます。
    functions predeploy error : Comand terminated with non-zero exit code1
    (コマンドがゼロ以外の終了コード1で終了しました)
    npm エラーの表示も出ていたので、「 npm install 」を入力すると、npm エラーの表示は消え、テキストの表示となりますが、再度 Deploy すると最初のエラー表示に戻ってしまいます。
    index.js の書込みミスかと思い、確認をしましたが問題はないようです。
    (ただ、私のPCではコピペができず、手入力したのが問題かも知れません)
    気がかりな点がもう一つあります。
    Firebase Tools のインストールのところで、何度か苦労して完成させたのですが、テキストにあるツリー表示が出ていません。
    その後の、Firebase ログインに進めたので、気にはなっていたのですが現在に至っています。
    ご指導の程よろしくお願い致します。

    • mgo-tec mgo-tec より:

      juchangさん

      いつも当ブログをご覧いただきありがとうございます。

      一番の沼、Google Cloud Platform についに浸りましたね!
      私は今でもこれに悩まされています。

      久々に Google Cloud Platform を起動して、Cloud Shell で firebase deploy してみましたが、juchangさんとは異なるエラーになりました。
      firebase-tools をアップデートしろとのメッセージだったので、

      npm install -g firebase-tools

      を実行しました。
      案の定エラーになるので、

      sudo chown -R User-Name /usr/local/nvm

      を実行しました。(User-Name はご自分のユーザー名にする)

      更にメッセージが npm -i ….を実行しろというメッセージだったので、それも実行。
      再度

      npm install -g firebase-tools

      を実行して、ちょっとしたエラーだけになったので、それは無視して、

      firebase deploy --only functions

      を実行してみたら、デプロイしてくれません。

      仕方なく、Cloud Shell を再起動し、再度

      cd functions

      を入力して、functionsフォルダに移動し、

      npm install -g firebase-tools

      を実行。
      エラーが出たら、

      sudo chown -R User-Name /usr/local/nvm

      を実行し、再度

      npm install -g firebase-tools

      を実行し、些細なエラーは無視して、

      firebase deploy --only functions

      を実行したら、ようやくデプロイに成功しました。

      テストバージョンの Actions on Google は1~2週間くらい経つとデプロイ結果が消えてしまうようなので、再度 Dialogflow を起動し、integragions の Google Assistant をクリックして TEST をクリックすると、Actions on Google テストバージョンがアップデートされます。

      ただ、私の場合は、スマホの Google Assistant はOKだったのですが、Google Home 本体が認識してくれないという症状に陥りました。
      原因不明です。

      Google Cloud Platform や Dialogflow , Firebase , Actions on Google は異常な動作になった場合、一晩寝かせると正常に動くようになっている場合が多いです。
      Google ヘルプセンターの人もそれを認識しているそうです。
      まだ安定していませんので、気長に待ちましょう。

      ということで、私も現段階では原因不明のことが多いので、何か分かったら Twitter でツイートしたり、ブログのお知らせしたいと思います。
      因みに、npm 関連コマンドについては私はまだ不勉強なので、ネットで調べたりしている段階です。

    • mgo-tec mgo-tec より:

      juchangさん

      ちょっと気になったことがあります。
      ソースコードをコピペできないとおっしゃっていましたが、コードを「Ctrlキー」+ 「Cキー」でコピーし、Google Cloud Shell のコマンドエディタ上で、「Ctrlキー」+「Vキー」で貼り付けられると思うのですが、いかがですか?
      一般的なパソコンの普通のショートカットキーでOKです。

      因みに、package.json などの手入力は、誤る危険性が高いです。
      カンマの場所や、「^」や「~」などの文字は見た目で間違えやすいです。
      私もこの記号はコピペしますね。
      パソコンやブラウザ環境、そして、フォントによっては表示が異なりますから・・・。

      また、firebase-admin や、firebase-functions は、頻繁にバージョンアップされているようなので、Cloud Shell コマンドラインのメッセージに合わせて、package.json に記述しているバージョンを変えてください。
      例えば、2018/1/31時点の package.json の例を以下のリンクに追加しました。

      https://www.mgo-tec.com/blog-entry-dialogflow-firebase-actions-on-google-esp32-sensor.html/4

      以上、ご確認ください。

  2. juchang より:

    ngo-tec 様

    毎回お手数をお掛け致します。
    コピペの件、私の思い過ごしが判明し、現在は正常にコピペができております。
    Deploy は、相変わらずの泥沼状態で、package.json のバージョン変更を行ってもエラーメッセージの至っておりません。
    テキストにあるツリー表示が出ていないのも気になっており、一度最初から再設定することを考えています。
    どの時点まで戻ればよいのかアドバイスをいただけると幸いです。

    • mgo-tec mgo-tec より:

      juchangさん

      やっぱり、Google Cloud Platform や Firebase は、ハードルが高いかもしれません。
      ある程度、プログラミングやWebクラウドページを使い慣れていないと、自己解決は難しいと思います。
      プログラミングを始めて間もない方にとっては、多くのことを一足飛びに超えてしまっているので、難解すぎると思います。

      因みに、私自身、Google Cloud Platform や Firebase は使い始めたばかりなので、正直、分からないことだらけです。
      ですから、まともな解決はできないと思います。
      確実な解決は、Google Cloud のヘルプセンターに問い合わせることですが、回答は1か月以上待たされますので、実用的ではありません。

      ただ、node.js などは、ネット上で沢山情報がありますので、エラーメッセージで検索をかけてみて下さい。
      英語版は Google 翻訳を使うと良いです。

      例えば、検索で、

      Firebase Comand terminated with non-zero exit code1

      とすると、ある英語記事の検索結果では、ファイルパスのどこかに半角スペースが入ってしまうと、エラーになるようなことが書かれています。
      例えば、以下のように

      C:\Users\Google Drive\Android\firebase\package.json

      Google と Drive の間に半角スペースがあるとエラーになるので、入れないようにという結果が出ました。
      通常、ファイルパスにスペースを入れてはいけません。
      このような入力はどこかにされていませんか?

      それ以上のことは、すべての Deploy 結果とエラーメッセージを見てみないと、私にはサッパリ分かりません。

  3. juchang より:

    mgo-tec 様

    相変わらず泥沼でもがき苦しんでいます。
    Developer Platform Support へ問い合わせをしておりましたが、本日回答が来まして、Windows 固有のバグの可能性ありとのこと、下記のページを参照して欲しいとのことでした。
    https://github.com/firebase/firebase-tools/issues/610
    早速開いてみましたが、正直よくわかりません。
    時間のある時にご覧いただきアドバイスをいただけると幸いです。
    また、下記の方法を試して欲しいとのことなので、早速確認してみたいと思います。
    ・$ RESOURCE_DIR を %RESOURCE_DIR% に変更する。
    今後ともご指導の程よろしくお願い致します。

  4. juchang より:

    mgo-tec 様

    Deploy 成功!!
    Developer Platform Support のアドバイスを試したところ Deploy を成功させることができました。
    ・$ RESOURCE_DIR を %RESOURCE_DIR% に変更する
    →2018年1月31日付けで既に変更されていました。
    ・ESLint をオフにするために、firebase.json で linter スクリプトを実行する行をコメントアウトする
    →この対策でトラブル解消となりました。

    取り急ぎトラブル解消のご報告をさせていただきます。

    • mgo-tec mgo-tec より:

      juchang さん

      それは良かった!!!

      最近しばらく、Google Cloud Platform を使ていなかったのですが、私にはさっぱり分からないトラブルですね。
      GitHub の issue を見ると、まだかなりのトラブルがあるようですね。
      まだ開発途中のアプリなので、仕方ないのかもしれませんね。

      でも、正直、Google Support のスタッフは超多忙と思われ、あまりアテにしてなかったのですが、解決できる回答が来てホントに良かったですね。

      Arduino core for ESP32 もそうですが、何か問題があったら、issue を見てみるっていうことですね。
      今回は私自身も勉強になりました。

      この情報で、他の悩んでいる方々の力になると良いですね。
      Twitter でもこの情報を報告しておきますね。

      こちらこそ、情報ありがとうございました。
      m(_ _)m

  5. juchang より:

    mgo-tec 様

    初心者にはそう簡単にクリアできるプロジェクトではないということでしょうか。
    一気に、Firebase Realtime Database と ESP32 の設定を終え、コンパイル書き込み実行すると、シリアルモニターの表示もテキスト通り(やったー!)。
    しかし、Realtime Database の表示は ‘0’ のままです。
    Action on Google の再設定に戻りテキストと見比べてみました。
    特に間違いはないように見えるのですが、何かチェックするポイントはありませんでしょうか。
    ご教示の程お願いいたします。

    • mgo-tec mgo-tec より:

      juchang さん

      これは超難関プロジェクトだと思います。

      私自身も何度もうまくいかず、かなり悩まされました。
      C言語や C++言語、nodeJS、json のルールや、特有の動作をある程度把握していないと、なかなかトラブルの原因追求が難しいです。
      それに、Cloud上のエディタのため、パソコン上では問題ない使い慣れた操作が、うまく反映されないことが多々あり、Cloudサービス特有の動作もあります。
      コピペなども動作も、通常のパソコン上とは異なることも多いです。
      Shell コマンド上ではドラッグ&コピペの方法が独特だったり、ショートカットキーを使わないとペーストできなかったりといろいろです。

      私もまだ勉強中なので、方法が間違えているかもしれませんが、特に、node.js などは、Cloud Shell上で最新版があるよ、というメッセージが出て、その通りに最新版へアップデートしても、次に起動したときには何故か元のバージョンになっていたりします。
      これは Google Cloud の仕様っぽいのですが、Cloud上ではユーザーが簡単に最新版にアップデートできないようになっているようなのです。
      恐らく、Googleチームがテストして問題ないバーションでしか動作しないようになっているかと思われます。
      ラズベリーパイなどは、ユーザーの好きなバージョンに難無くインストールできるのですが・・・。

      更に、Firebase や Actions on Google はまだ開発途中で、日々バージョンアップしていて、それ用の対応が難しいです。
      この記事も数か月後には古くなって動かなくなっている可能性があります。
      そんなわけで、ビギナーの方には超難関のプロジェクトだと思います。

      因みに、先のコメント、または Twitter でも情報を流していて重複するかもしれませんが、Deploy を何度もやっていると、いくら Deploy が成功しても、結果が反映されない場合があると思います。
      その場合は、一晩、または1日~2日間をおいて、再度 Deploy すると反映される場合があります。
      これは、Googleチームも把握している問題だそうです。
      また、Dialogflow の integllation を再設定しないと反映されないとか、Actions on Google 画面の CHANGE VERSION を再設定しないと反映されないとかあります。

      ということで、うまくいかないことがあっても、私自身も分からないことが多々あり、プロジェクトを全て見てみないと何とも言えません。
      自己満足の趣味ブログで、本業の仕事や介護等の合間に書いているので、なかなか皆さんの質問にはお答えできないことがあり、申し訳なく思っております。
      m(_ _)m

  6. juchang より:

    mgo-tec 様

    またまたうっかりミスを犯してしまいました。
    スケッチ75行目の Firebase Cloud Functions URL の入力で、コピペがうまくいかず手入力をしたのですが、l と1を読み違えていることが判明しました。
    早速打ち変えて Realtime Database を確認したところ表示が出るようになりました。(お騒がせしてすみません)
    その後の動作確認では、「 ESP32 につないで」と話しかけると、「ESP32 から応答がありません、のちほどもう一度試して下さい」との答えとなっています。
    Dialogflow へ戻り内容をチェックしてみましたが特に問題は見当たりません。
    ゴールが見えてきたのでこれからじっくりと研究しようと思っています。
    今後ともご指導の程よろしくお願い致します。

    • mgo-tec mgo-tec より:

      juchangさん

      そうですか・・・。
      コピペは問題無くできると思うのですが。
      Cloud Shellコマンドライン上の、リンク文字列をコピペする場合、ターゲットの文字列だけをドラッグしようとするとリンク先へジャンプしてしまうので、それよりも1~2文字多めにドラッグしてコピペするとうまくいきます。
      動作不良があったら、半角スペースも含めて、タイプミスは入念にチェックした方が良いということですね。
      その他、一旦、テキストエディタに *.js 形式でソースコードをコピペしてエラーが無いかチェックしてみても良いと思います。

      あともうちょっとですね。
      がんばってください。

  7. juchang より:

    mgo-tec 様

    「センサー値を Google Home に喋らせる実験」を何とかクリアすることができました。
    出かけていて二日間ほど作業の中断があり、昨日再トライをしたところ Google Home からの反応がありました。
    今日、改めて動作確認をしましたが正常に動作しています。
    ここを直したらというものがないので、釈然としませんがとりあえず「良し」として次に進みたいと思います。
    色々とお手数をお掛け致しました、これからもご指導の程よろしくお願い致します。

    • mgo-tec mgo-tec より:

      juchangさん

      よかったよかった!
      やっと正常動作ですね。
      やっぱり、Deploy 不具合は Google Cloud 側だったようですね。
      パソコンと違い、Cloud はそういうものということです。

      そこまで出来れば、ESP32 でやれることの幅が一気に広がると思います。
      これから、いろいろと発展させて、面白いものができるとイイですね。

  8. su より:

    拍手。Google home に本当に必要なことを喋らせるのは相当苦労しそうですが参考に挑戦してみます。

    • mgo-tec mgo-tec より:

      suさん

      記事をご覧いただき、ありがとうございます。
      ただ、最近 Google Home を使っておらず、この記事を書いた当初よりも使い方が変わっている可能性があります。
      もし、変わっていたらコメント等でご連絡いただけると助かります。
      ただ、記事はすぐに修正できないかも知れませんのでご容赦くださいませ。

タイトルとURLをコピーしました