Google Cloud

GCSトリガーでのCSVインポートはじめに Google Cloudでデータ取込のパイプラインを開発しました。その際に、Cloud Storageにcsvが配置されたことをトリガーにBigQueryにデータ取込を実行する処理を作りま...

Google Cloudのデータ分析基盤開発 についてはじめに Google CloudでDWHの実装をしたことがありました。その際に、どのサービスを使用したらよいか（どのサービスを学習したらよいか）にとまどうことがありまし...

PubSubトリガー設定方法はじめに 以前、データ分析基盤のアーキテクチャについて書かせて頂きました。 その際に、Google Cloudで時間指定の定期実行でデータ加工処理を実行していました。その方法であるPub/S...

はじめに 以前、Google CloudでつくったDWHのアーキテクチャについて書かせて頂きました。 そちらのGCSトリガーのユースケースが参考になればと思いまとめてみます。 前提 Google...

はじめに GA4からBigQueryにデータを連携して顧客分析に活用していました。GA4から流れてくるデータはネストされた構造となっており、SQLで通常のSELECTでは使用できないデータ構造となっております。その際...

Cloud StorageからS3へデータ転送の背景 Google Cloudでデータを収集・加工し、AWSでメルマガの自動配信を行いました。 その際の、Cloud StorageからS3にデータを転送する際の...

Google Cloudのデータ分析基盤のアーキテクチャ はじめに Google Cloudでデータ分析基盤を開発しました。その際に実現できたアーキテクチャが参考になればと思いまとめてみます。 内容 Googl...

「Cloud FunctionsでBigqueryにSQLを実行するにはどうしたらよいか？」 本記事を見に来ていただいた方は、そのようなお悩みをお持ちではないでしょうか。Google CloudでのDWH開発経験をもとに、そちらの実...