Google Cloud CloudFunctionsでのPubSubトリガー設定方法
PubSubトリガー設定方法はじめに
以前、データ分析基盤のアーキテクチャについて書かせて頂きました。
その際に、Google Cloudで時間指定の定期実行でデータ加工処理を実行していました。その方法であるPub/S...
Google Cloud 
Tableau Tableauでデータ量の多い抽出データソースをパブリッシュする方法（増分更新）
Tableauで大規模データソースをパブリッシュしたかった背景
この記事を読んで頂いている方はご存じかと思いますが、Tableauには「抽出」「ライブ」というデータソースへの接続方法の違いがあります。（簡単にまとめていますの...
Tableau Tableauで週の始めを月曜始まりにする
はじめに
Tableauでダッシュボードを作成するときに、週の刻みを月曜始めにしたかったことがありました。デフォルトは日曜変更だったため変更方法にとまどいました。。
その際の対処法をメモがてらに記載します。
...
Google Cloud Google CloudのGCSトリガーによるレポーティングの自動化
はじめに
以前、Google CloudでつくったDWHのアーキテクチャについて書かせて頂きました。
そちらのGCSトリガーのユースケースが参考になればと思いまとめてみます。
前提
Google...
AWS Google CloudとAWSのデータ分析基盤のアーキテクチャ【DWH×MA】
はじめに
TreasureData→Google Cloudへのデータ分析基盤移行
詳細こちら（→ Google Cloudのデータ分析基盤のアーキテクチャ
AWSでのMA基盤構築
詳細こちら...
AWS Amazon PinpointでのMA基盤構築の話
Amazon Pinpointでやりたかったこと
出来るだけ安くMAツール的なものを入れたい（メルマガ配信を自動化したい）
配信→効果測定くらいが出来ればOKでリッチな機能はいらない
あわよくば配信のターゲティ...
Google Cloud BigqueryでのGoogle Analytics4のログデータ加工
はじめに
GA4からBigQueryにデータを連携して顧客分析に活用していました。GA4から流れてくるデータはネストされた構造となっており、SQLで通常のSELECTでは使用できないデータ構造となっております。その際...
Google Cloud Cloud StorageからS3へデータ転送
Cloud StorageからS3へデータ転送の背景
Google Cloudでデータを収集・加工し、AWSでメルマガの自動配信を行いました。
その際の、Cloud StorageからS3にデータを転送する際の...
Google Cloud Google Cloudのデータ分析基盤のアーキテクチャ
Google Cloudのデータ分析基盤のアーキテクチャ はじめに
Google Cloudでデータ分析基盤を開発しました。その際に実現できたアーキテクチャが参考になればと思いまとめてみます。
内容
Googl...
Python 【Python】Pandasライブラリ関数まとめ
PythonのPandasライブラリとは
Google Cloudでデータパイプラインを開発した際に、PythonライブラリであるPandasを記述していました。
Pandasは、Pythonでデータ分析やデー...