ESP32 単独でセンサー値を Google Home に喋らせる実験( Dialogflow , Firebase , Actions on Google 設定編 )

ESP32 ( ESP-WROOM-32 )

2017.11.15

【目次】

１１．Google Cloud Functions API の有効化

Firebase を設定する前に、Google Cloud Platform 画面で、Google Cloud Functions APIを有効化しておく必要があります。
これは、Firebase の Node.js で作成した関数をGoogle Cloud 上で実行させて、Dialogflow などと連携するためのものです。
要するに、クラウド関数API ということです。

まず、Google Cloud Platform 画面の左側メニューから「API とサービス」を選択し、ダッシュボードを開きます。

次に、下図の様に、「API とサービスの有効化」をクリック

次に、下図の様に、検索欄に「google cloud functions」と入力すると、Google Cloud Functions API ブロックが現れますので、それをクリック

そうしたら、「有効にする」をクリックします。

すると、しばらく時間がかかってから、下図の様になれば、Google Cloud Functions API の有効化ＯＫです。

１２．Google Cloud Shell の Node.js と NPM のバージョン確認

Google Cloud Shell には、予め Node.js と npm がインストールされているようです。
npm については私は正直言って良く分かりません。
ネットに情報が沢山あるので、調べてみて下さい。

では、Cloud Shell にインストールされている Node.js と npm のバージョンを調べてみます。
まず、以下のコマンドを入力してみてください。

node -v

そして、続けて、

npm -v

すると、下図の様にバージョンが表示されます。

実は、私は何度も最新バージョンにアップデートできないか試みました。
一旦成功したのですが、再ログインすると、元のバージョンに戻っていました。
どうやら、Google Cloud 上では、このバージョンでなければ使えないようです。
早く教えてよ！・・・って感じです。
無駄な時間を過ごしてしまいました・・・。

１３．Google Cloud に Firebase Tools をインストール

では、Cloud Shell 上に Firebase tools をインストールしていきます。

これについては、本家 Google Cloud のドキュメントにもありますので、下記のリンクも合わせてご覧ください。
前半は Dialogflow について書かれていて、後半は Firebase について書かれています。

https://developers.google.com/actions/dialogflow/first-app

まず、npm を使って、Firebase tools をインストールします。
Cloud Shell 上で、以下のコマンドを入力してください。

npm install -g firebase-tools

すると、下図の様にエラーが多量に出ると思います。

これは、パーミッション（権限）エラーです。
これについては、以下のリンクに対処方法が動画で解説されています。

Fixing npm permissions

その動画の通りに、
ls -la
sudo chown
コマンドを使って一つ一つ、パーミッションを変更していけば良いです。
理解するまでに苦労すると思いますので、私がやった方法を紹介します。

まず、以下のコマンドでユーザーネームを確認します。

whoami

すると、下図の様にユーザーネームが表示されます。

そのユーザーネームにパーミッションを変更します。

私の場合は、以下の２つのフォルダ全部を一括してパーミッションを変更しました。
それぞれ、１つずつ実行してください。

※これは１０分くらい時間がかかります。

sudo chown -R xxxxxxxx /usr/local/

sudo chown -R xxxxxxxx /usr/local/nvm

これで再び、以下のコマンドを試してみて下さい。

npm install -g firebase-tools

これでもエラーが出る場合は、npm がうまくインストールされていない場合があります。
以下のコマンドを入力してみてください。

npm install

それで、再度インストールしてみてください。

npm install -g firebase-tools

すると、下図の様に、ツリー表示の後にエラーが出なければＯＫです。

１４．Firebase ログイン

では、次は、Cloud Shell コマンドラインで、Firebase にログインします。
Google Cloud のドキュメントでは、
firebase login
だけのコマンドですが、firebase login だけではログインできません。
これは、ラズベリーパイなどのローカル Linux 環境がある場合のログインです。
Google Cloud Shell 上のログインでは以下のコマンドを入力してください。

firebase login --no-localhost

すると、下図の様に
Allow Firebase to collect anonymous CLI usage and error reporting information?と尋ねられるので、エラー情報を収集しても良ければ
Yes
と入力します。
その後、リンク文字列が表示されるので、それをドラッグしてクリップボードにコピーします。
このリンクをそのままクリックしてもエラーになりますので、注意してください。

そうしたら、テキストエディタ―にコピーしたリンクを貼り付けて、改行されていれば、その改行を削除し、全文字列を１行に編集します。
下図では全部塗りつぶしています。

そうしたら、その１行をコピーして、Google Chrome ブラウザの URL 欄に貼り付けて Enter してください。

すると、下図の画面になるので、ご自分の Google アカウントを選択

次に下図の画面になったら、許可をクリック

すると、下図の画面が出てくるので、それをコピーします。

そうすると、下図の様にFirebase にログイン成功すると思います。

次は、Firebase 初期化方法を説明します。

juchang より:

2018年1月27日 5:14 PM

mgo-tec 様

毎回、素晴らしい記事に感動しております。
「Google Home と ESP32 で、音声をテキスト表示させた WiFi 電光掲示板を作ってみた」は、特に興味深く、今回は何とか自力で完成させようと試みてきましたが、「１９．Firebase を Deploy する」のところで行き詰ってしまいました。
Deploy コマンドを入力すると、テキストと違うエラー表示が出ます。
functions predeploy error : Comand terminated with non-zero exit code1
(コマンドがゼロ以外の終了コード1で終了しました)
npm エラーの表示も出ていたので、「 npm install 」を入力すると、npm エラーの表示は消え、テキストの表示となりますが、再度 Deploy すると最初のエラー表示に戻ってしまいます。
index.js の書込みミスかと思い、確認をしましたが問題はないようです。
(ただ、私のPCではコピペができず、手入力したのが問題かも知れません)
気がかりな点がもう一つあります。
Firebase Tools のインストールのところで、何度か苦労して完成させたのですが、テキストにあるツリー表示が出ていません。
その後の、Firebase ログインに進めたので、気にはなっていたのですが現在に至っています。
ご指導の程よろしくお願い致します。

返信
- mgo-tec より:
  
  2018年1月27日 10:57 PM
  juchangさん
  
  いつも当ブログをご覧いただきありがとうございます。
  
  一番の沼、Google Cloud Platform についに浸りましたね！
  私は今でもこれに悩まされています。
  
  久々に Google Cloud Platform を起動して、Cloud Shell で firebase deploy してみましたが、juchangさんとは異なるエラーになりました。
  firebase-tools をアップデートしろとのメッセージだったので、
```
npm install -g firebase-tools
```
  を実行しました。
  案の定エラーになるので、
```
sudo chown -R User-Name /usr/local/nvm
```
  を実行しました。(User-Name はご自分のユーザー名にする）
  
  更にメッセージが npm -i ….を実行しろというメッセージだったので、それも実行。
  再度
```
npm install -g firebase-tools
```
  を実行して、ちょっとしたエラーだけになったので、それは無視して、
```
firebase deploy --only functions
```
  を実行してみたら、デプロイしてくれません。
  
  仕方なく、Cloud Shell を再起動し、再度
```
cd functions
```
  を入力して、functionsフォルダに移動し、
```
npm install -g firebase-tools
```
  を実行。
  エラーが出たら、
```
sudo chown -R User-Name /usr/local/nvm
```
  を実行し、再度
```
npm install -g firebase-tools
```
  を実行し、些細なエラーは無視して、
```
firebase deploy --only functions
```
  を実行したら、ようやくデプロイに成功しました。
  
  テストバージョンの Actions on Google は１～２週間くらい経つとデプロイ結果が消えてしまうようなので、再度 Dialogflow を起動し、integragions の Google Assistant をクリックして TEST をクリックすると、Actions on Google テストバージョンがアップデートされます。
  
  ただ、私の場合は、スマホの Google Assistant はＯＫだったのですが、Google Home 本体が認識してくれないという症状に陥りました。
  原因不明です。
  
  Google Cloud Platform や Dialogflow , Firebase , Actions on Google は異常な動作になった場合、一晩寝かせると正常に動くようになっている場合が多いです。
  Google ヘルプセンターの人もそれを認識しているそうです。
  まだ安定していませんので、気長に待ちましょう。
  
  ということで、私も現段階では原因不明のことが多いので、何か分かったら Twitter でツイートしたり、ブログのお知らせしたいと思います。
  因みに、npm 関連コマンドについては私はまだ不勉強なので、ネットで調べたりしている段階です。
  返信
- mgo-tec より:
  
  2018年2月1日 12:28 PM
  
  juchangさん
  
  ちょっと気になったことがあります。
  ソースコードをコピペできないとおっしゃっていましたが、コードを「Ctrlキー」+ 「Cキー」でコピーし、Google Cloud Shell のコマンドエディタ上で、「Ctrlキー」+「Vキー」で貼り付けられると思うのですが、いかがですか？
  一般的なパソコンの普通のショートカットキーでＯＫです。
  
  因みに、package.json などの手入力は、誤る危険性が高いです。
  カンマの場所や、「^」や「~」などの文字は見た目で間違えやすいです。
  私もこの記号はコピペしますね。
  パソコンやブラウザ環境、そして、フォントによっては表示が異なりますから・・・。
  
  また、firebase-admin や、firebase-functions は、頻繁にバージョンアップされているようなので、Cloud Shell コマンドラインのメッセージに合わせて、package.json に記述しているバージョンを変えてください。
  例えば、2018/1/31時点の package.json の例を以下のリンクに追加しました。
  
  https://www.mgo-tec.com/blog-entry-dialogflow-firebase-actions-on-google-esp32-sensor.html/4
  
  以上、ご確認ください。
  
  返信
juchang より:

2018年2月2日 4:57 PM

ngo-tec 様

毎回お手数をお掛け致します。
コピペの件、私の思い過ごしが判明し、現在は正常にコピペができております。
Deploy は、相変わらずの泥沼状態で、package.json のバージョン変更を行ってもエラーメッセージの至っておりません。
テキストにあるツリー表示が出ていないのも気になっており、一度最初から再設定することを考えています。
どの時点まで戻ればよいのかアドバイスをいただけると幸いです。

返信
- mgo-tec より:
  
  2018年2月2日 7:44 PM
  juchangさん
  
  やっぱり、Google Cloud Platform や Firebase は、ハードルが高いかもしれません。
  ある程度、プログラミングやWebクラウドページを使い慣れていないと、自己解決は難しいと思います。
  プログラミングを始めて間もない方にとっては、多くのことを一足飛びに超えてしまっているので、難解すぎると思います。
  
  因みに、私自身、Google Cloud Platform や Firebase は使い始めたばかりなので、正直、分からないことだらけです。
  ですから、まともな解決はできないと思います。
  確実な解決は、Google Cloud のヘルプセンターに問い合わせることですが、回答は１か月以上待たされますので、実用的ではありません。
  
  ただ、node.js などは、ネット上で沢山情報がありますので、エラーメッセージで検索をかけてみて下さい。
  英語版は Google 翻訳を使うと良いです。
  
  例えば、検索で、
```
Firebase Comand terminated with non-zero exit code1
```
  とすると、ある英語記事の検索結果では、ファイルパスのどこかに半角スペースが入ってしまうと、エラーになるようなことが書かれています。
  例えば、以下のように
```
C:\Users\Google Drive\Android\firebase\package.json
```
  Google と Drive の間に半角スペースがあるとエラーになるので、入れないようにという結果が出ました。
  通常、ファイルパスにスペースを入れてはいけません。
  このような入力はどこかにされていませんか？
  
  それ以上のことは、すべての Deploy 結果とエラーメッセージを見てみないと、私にはサッパリ分かりません。
  返信
juchang より:

2018年2月15日 5:36 PM

mgo-tec 様

相変わらず泥沼でもがき苦しんでいます。
Developer Platform Support へ問い合わせをしておりましたが、本日回答が来まして、Windows 固有のバグの可能性ありとのこと、下記のページを参照して欲しいとのことでした。
https://github.com/firebase/firebase-tools/issues/610
早速開いてみましたが、正直よくわかりません。
時間のある時にご覧いただきアドバイスをいただけると幸いです。
また、下記の方法を試して欲しいとのことなので、早速確認してみたいと思います。
・$ RESOURCE_DIR を %RESOURCE_DIR% に変更する。
今後ともご指導の程よろしくお願い致します。

返信
juchang より:

2018年2月15日 10:05 PM

mgo-tec 様

Deploy 成功！！
Developer Platform Support のアドバイスを試したところ Deploy を成功させることができました。
・$ RESOURCE_DIR を %RESOURCE_DIR% に変更する
→2018年1月31日付けで既に変更されていました。
・ESLint をオフにするために、firebase.json で linter スクリプトを実行する行をコメントアウトする
→この対策でトラブル解消となりました。

取り急ぎトラブル解消のご報告をさせていただきます。

返信
- mgo-tec より:
  
  2018年2月15日 11:44 PM
  
  juchang さん
  
  それは良かった！！！
  
  最近しばらく、Google Cloud Platform を使ていなかったのですが、私にはさっぱり分からないトラブルですね。
  GitHub の issue を見ると、まだかなりのトラブルがあるようですね。
  まだ開発途中のアプリなので、仕方ないのかもしれませんね。
  
  でも、正直、Google Support のスタッフは超多忙と思われ、あまりアテにしてなかったのですが、解決できる回答が来てホントに良かったですね。
  
  Arduino core for ESP32 もそうですが、何か問題があったら、issue を見てみるっていうことですね。
  今回は私自身も勉強になりました。
  
  この情報で、他の悩んでいる方々の力になると良いですね。
  Twitter でもこの情報を報告しておきますね。
  
  こちらこそ、情報ありがとうございました。
  m(_ _)m
  
  返信
juchang より:

2018年2月17日 4:00 PM

mgo-tec 様

初心者にはそう簡単にクリアできるプロジェクトではないということでしょうか。
一気に、Firebase Realtime Database と ESP32 の設定を終え、コンパイル書き込み実行すると、シリアルモニターの表示もテキスト通り(やったー！)。
しかし、Realtime Database の表示は ‘0’ のままです。
Action on Google の再設定に戻りテキストと見比べてみました。
特に間違いはないように見えるのですが、何かチェックするポイントはありませんでしょうか。
ご教示の程お願いいたします。

返信
- mgo-tec より:
  
  2018年2月17日 9:29 PM
  
  juchang さん
  
  これは超難関プロジェクトだと思います。
  
  私自身も何度もうまくいかず、かなり悩まされました。
  C言語や C++言語、nodeJS、json のルールや、特有の動作をある程度把握していないと、なかなかトラブルの原因追求が難しいです。
  それに、Cloud上のエディタのため、パソコン上では問題ない使い慣れた操作が、うまく反映されないことが多々あり、Cloudサービス特有の動作もあります。
  コピペなども動作も、通常のパソコン上とは異なることも多いです。
  Shell コマンド上ではドラッグ＆コピペの方法が独特だったり、ショートカットキーを使わないとペーストできなかったりといろいろです。
  
  私もまだ勉強中なので、方法が間違えているかもしれませんが、特に、node.js などは、Cloud Shell上で最新版があるよ、というメッセージが出て、その通りに最新版へアップデートしても、次に起動したときには何故か元のバージョンになっていたりします。
  これは Google Cloud の仕様っぽいのですが、Cloud上ではユーザーが簡単に最新版にアップデートできないようになっているようなのです。
  恐らく、Googleチームがテストして問題ないバーションでしか動作しないようになっているかと思われます。
  ラズベリーパイなどは、ユーザーの好きなバージョンに難無くインストールできるのですが・・・。
  
  更に、Firebase や Actions on Google はまだ開発途中で、日々バージョンアップしていて、それ用の対応が難しいです。
  この記事も数か月後には古くなって動かなくなっている可能性があります。
  そんなわけで、ビギナーの方には超難関のプロジェクトだと思います。
  
  因みに、先のコメント、または Twitter でも情報を流していて重複するかもしれませんが、Deploy を何度もやっていると、いくら Deploy が成功しても、結果が反映されない場合があると思います。
  その場合は、一晩、または１日～２日間をおいて、再度 Deploy すると反映される場合があります。
  これは、Googleチームも把握している問題だそうです。
  また、Dialogflow の integllation を再設定しないと反映されないとか、Actions on Google 画面の CHANGE VERSION を再設定しないと反映されないとかあります。
  
  ということで、うまくいかないことがあっても、私自身も分からないことが多々あり、プロジェクトを全て見てみないと何とも言えません。
  自己満足の趣味ブログで、本業の仕事や介護等の合間に書いているので、なかなか皆さんの質問にはお答えできないことがあり、申し訳なく思っております。
  m(_ _)m
  
  返信
juchang より:

2018年2月18日 2:42 PM

mgo-tec 様

またまたうっかりミスを犯してしまいました。
スケッチ75行目の Firebase Cloud Functions URL の入力で、コピペがうまくいかず手入力をしたのですが、l と1を読み違えていることが判明しました。
早速打ち変えて Realtime Database を確認したところ表示が出るようになりました。（お騒がせしてすみません）
その後の動作確認では、「 ESP32 につないで」と話しかけると、「ESP32 から応答がありません、のちほどもう一度試して下さい」との答えとなっています。
Dialogflow へ戻り内容をチェックしてみましたが特に問題は見当たりません。
ゴールが見えてきたのでこれからじっくりと研究しようと思っています。
今後ともご指導の程よろしくお願い致します。

返信
- mgo-tec より:
  
  2018年2月18日 8:14 PM
  
  juchangさん
  
  そうですか・・・。
  コピペは問題無くできると思うのですが。
  Cloud Shellコマンドライン上の、リンク文字列をコピペする場合、ターゲットの文字列だけをドラッグしようとするとリンク先へジャンプしてしまうので、それよりも１～２文字多めにドラッグしてコピペするとうまくいきます。
  動作不良があったら、半角スペースも含めて、タイプミスは入念にチェックした方が良いということですね。
  その他、一旦、テキストエディタに *.js 形式でソースコードをコピペしてエラーが無いかチェックしてみても良いと思います。
  
  あともうちょっとですね。
  がんばってください。
  
  返信
juchang より:

2018年2月25日 10:18 PM

mgo-tec 様

「センサー値を Google Home に喋らせる実験」を何とかクリアすることができました。
出かけていて二日間ほど作業の中断があり、昨日再トライをしたところ Google Home からの反応がありました。
今日、改めて動作確認をしましたが正常に動作しています。
ここを直したらというものがないので、釈然としませんがとりあえず「良し」として次に進みたいと思います。
色々とお手数をお掛け致しました、これからもご指導の程よろしくお願い致します。

返信
- mgo-tec より:
  
  2018年2月25日 10:56 PM
  
  juchangさん
  
  よかったよかった！
  やっと正常動作ですね。
  やっぱり、Deploy 不具合は Google Cloud 側だったようですね。
  パソコンと違い、Cloud はそういうものということです。
  
  そこまで出来れば、ESP32 でやれることの幅が一気に広がると思います。
  これから、いろいろと発展させて、面白いものができるとイイですね。
  
  返信
su より:

2018年7月4日 5:05 PM

拍手。Google home に本当に必要なことを喋らせるのは相当苦労しそうですが参考に挑戦してみます。

返信
- mgo-tec より:
  
  2018年7月4日 7:26 PM
  
  suさん
  
  記事をご覧いただき、ありがとうございます。
  ただ、最近 Google Home を使っておらず、この記事を書いた当初よりも使い方が変わっている可能性があります。
  もし、変わっていたらコメント等でご連絡いただけると助かります。
  ただ、記事はすぐに修正できないかも知れませんのでご容赦くださいませ。
  
  返信