PubSubトリガー設定方法はじめに
以前、データ分析基盤のアーキテクチャについて書かせて頂きました。
その際に、Google Cloudで時間指定の定期実行でデータ加工処理を実行していました。その方法であるPub/Subトリガーを使用したCloud Functionsでの時間指定実行の設定の流れをまとめてみます。
こんな方向けの記事となります
- Google CloudのPub/Subについて知りたい
- Pub/Subの具体的設定方法を知りたい
Google Cloudの Cloud Functionsとは
サーバーレスにアプリが実行できるサービス。
例えば、Cloud Functionsにコードを記述することでCloud StorageのデータをBigQueryに取り込むことやBigQueryのデータを加工することが可能です。
ファイル配置や時間指定のトリガーが設定できます。MAX9分でタイムアウトするので、小規模な処理に向いています。（私の会社はデータ量多くなかったのでこちらでまかなえてしまいました）
Cloud FunctionsのPubSub設定方法
Cloud FunctionsでPubSubを設定
- まずGoogle CloudでCloud Functionsを作成する
- Cloud Functionsを選択し「関数を作成」を選択する（初めはAPIの有効化が必要）
- 任意の関数名（下記では function-1）を入力し使用しているregionを選択する
- トリガータイプで「Cloud Pub/Sub」を選択しトピックを選択
- トピックがない場合、「トピックを作成する」で任意の名前のトピックを作成する
- 必要に応じ、割り当てメモリやタイムアウトを変更する
- 「次へ」で任意のコードを作成しデプロイ
Cloud Schedulerの設定
- 次にCloud Scheduler の設定を行う（時間指定の設定）
- Google CloudでCloud Schedulerをひらく
- 「ジョブのスケジュール設定」で作成開始
- 任意の名前を設定、regionを指定
- 「頻度」は cron で入力
- 毎週月曜AM9時であれば「0 9 * * 1」という感じです
- 頻度で設定した時刻に適したタイムゾーンを指定
- ターゲットタイプで「Pub/Sub」を指定
- Pub/Subトピックの設定で Cloud Functionsで設定したトピックを指定する
- メッセージは任意の文字で大丈夫です（start job とか入れていました）
- （オプションはいじったことありません
設定は以上となります！ cronで指定した時刻にCloud Functionsが実行されます。
もしプログラム学習でお困りでしたら受講生に1人ずつ現役のプロのパーソナルメンターがつく
TechAcademy [テックアカデミー] のご活用をぜひご検討ください！
Google Cloud関連記事
その他Google Cloud関連記事をこちらにまとめております。
よろしければご参考ください。
参考になれば幸いです☕
コメント