Google Cloudのデータ分析基盤のアーキテクチャ

Google Cloudのデータ分析基盤のアーキテクチャ はじめに

Google Cloudでデータ分析基盤を開発しました。その際に実現できたアーキテクチャが参考になればと思いまとめてみます。

内容

• Google Cloudで構築したデータ分析基盤のアーキテクチャ
• データの流れについて
• 処理を起動するトリガーとそのサービス

Google Cloudでやりたかったこと・状況

• Google Cloudでデータ分析基盤を実現する
• データの取込は自動連係と手動配置があるため、2パターンで処理を稼働したかった
  • 時間指定の定期実行
  • データ配置されたら処理実行
• 販売データが主なためデータ量はそんなに多くない

Google Cloudでのデータ分析基盤アーキテクチャ

データ分析基盤アーキテクチャ説明

• データの流れ
  • データがCloud Storageに入ってくる（主に販売データと商品マスタ）
  • Cloud Functionsで加工処理を実行し、Bigqueryにデータを収集していく
    • Cloud Functionsの処理実行トリガーは
      • Pub/Subで時間指定の定期実行
      • GCSトリガーでCloud Storageにデータが配置されたら処理実行
    • GAのデータはBigqueryに直投入
      • GA4でWEBページとアプリのログを収集していたのでそちらはBigQueryに連携
      • ノーコードでコンソール操作のみでデータコピーが可能
  • BigQueryからBIに連携し分析に活用
    • BIツールはTableauとLooker Studioを使用していたのでそちらに連携

補足

データ分析基盤に使用したそれぞれのサービスの機能説明をこちらに記載していますのでご参考ください。

参考になれば幸いです☕