データアナリティクス事業本部のnkhrです。今回のブログでは、ETLの前処理を想定し、IFごとのS3ファイルに対して、共通の処理を実行するための構成（前処理自体は行っていません）を検証します。 具体的には、S3 Even […]…
AWS Lakeformationを使ってData Lakeを構成してみた
データアナリティクス事業本部のnkhrです。今回のブログでは、Data Lakeのアクセス管理やデータ管理を行うLake Formation機能を検証します。 Lake Formationを使うメリット Data Lak […]
Apache Airflow QuickStartを実行してみた
データアナリティクス事業本部のnkhrです。タイトルの通りApache AirflowのQuickStartをやってみたブログです。 Quick Startでは、以下の2つの実行方法を試すことができます。 Running […]
BigQueryへのクエリ発行・管理に「dbt CLI on Windows」を使ってみる
DA事業本部コンサルティングチームのnkhrです。 本エントリは、Google Cloud Advent Calendar 2021の19日目の記事です。dbtを使ってBigQueryのクエリを開発・管理するための環境設 […]
Snowflakeで共有されたテーブルの変更を追跡して別テーブルを自動更新する
DA事業本部のnkhrです。Snowflakeではアカウント間でデータ共有ができます。本ブログでは、共有されたテーブルに対して変更追跡を行うためのストリームオブジェクトを設定し、変更履歴をもとに別テーブルを自動で更新する […]…
Snowflakeデータ共有についてのまとめ
データアナリティクス事業部のnkhrです。本ブログでは、SnowflakeのData Sharing機能についてまとめました。 Data Sharing機能とは、他のアカウントとDatabase内のオブジェクトを共有する […]
AWS Systems Manager Automation用のRun BookをCfnで作成 ～EC2とRedshiftをまとめて起動・停止～
データアナリティクス(DA)事業部コンサルティングチームのnkhrです。 DWHのPoC環境（EC2+Redshift）のインスタンスを、使わないときに止めておくためのAutomation実行用SSM Document […]
Snowflakeが提供するガバナンス機能のまとめ
DA事業部コンサルティングチームのnkhrです。 センシティブなデータ（一部の人のみ参照可能）を扱う場合に利用できるSnowflakeのガバナンス機能を整理しました。本ブログでは、以下の内容を記載しています。 Snowf […]…
Snowflake Reader Accountの利用方法 ～Snowflake契約がないクライアントとデータを共有する～
データアナリティクス事業本部コンサルティングチームのnkhrです。 Snowflakeアカウントを持たないクライアント（グループ会社や取引先など）とデータを共有するために利用できる、Reader Accountについてま […]…
VS Code拡張機能を追加してCloudFormation開発環境をレベルアップする
データアナリティクス事業本部コンサルティンググループのnkhrです。 このブログでは、CloudFormation開発で利用できるVS Code拡張機能の設定について紹介します。今回実施した環境のバージョンは、下記の通り […]…