Google CloudとAWSのデータ分析基盤のアーキテクチャ【DWH×MA】

はじめに

• TreasureData→Google Cloudへのデータ分析基盤移行
  • 詳細こちら（→　Google Cloudのデータ分析基盤のアーキテクチャ
• AWSでのMA基盤構築
  • 詳細こちら（→　AWSでメルマガ自動配信してみた話

について書かせて頂きました。

Google Cloudのデータ分析基盤とAWSのMA基盤を組み合わせた、最終的なアーキテクチャが参考になればと思いまとめてみました。

Google CloudとAWSのアーキテクチャ

アーキテクチャ説明

データの流れですが、

• データ分析基盤 （Google Cloud）
  • データがCloud Storageに入ってくる
  • Cloud Functionsで加工処理を実行し、Bigqueryにデータを収集していく
    • Cloud Functionsの処理は
      • Pub/Subで時間指定の定期実行
      • GCSトリガーでCloud Storageにデータが配置されたら処理実行
    • GAのデータはBigqueryに直投入
  • BigqueryからBIに連携し分析に活用
• MA（AWS）
  • DWHから配信したい対象者のリストをS3で受け取る
    • Cloud Functionsを実行しCloud Storage→S3へのデータ転送を行っていた
  • S3にある配信者リストを読みに行ってPinpointでメール配信する
    • S3からPinpointに配信者リストを取り込む　と
    • Pinpointでメール配信を実行する　はLambdaで処理をかいて実行させる
  • PinpointのUIで開封率などの基本指標が確認可能
  • Amazon Personalizeで購入履歴を学習させて配信者リストを作成する、ということもやっていた
    • Amazon PersonalizeはS3に配置したデータを読ませるだけで
      • ユーザー向けにパーソナライズされたリコメンドリストの作成
      • 類似アイテムリストの作成　などが可能

という形でデータを連携しておりました。

そのほかのGoogle Cloud関連記事こちらにございますのでよろしければご参考ください。

>Coffee Tech Blog Coogle Cloud関連記事

参考になれば幸いです☕