はじめに データアナリティクス事業本部のkobayashiです。 RedshiftのSUPER型を使用する案件がありその中でSUPER型のデータを扱う場合にいくつか気になる点があり、ドキュメントを調べながら対応しましたの […]…
CData SyncでRedshiftへレプリケーションする
はじめに データアナリティクス事業本部のkobayashiです。 自動データレプリケーションツール CData Sync を使うことで様々なSaas製品のデータをDWHに同期することやDBのデータをDHWに同期することで […]…
[小ネタ]Pythonの日付操作で一時的にロケールを変更する
はじめに データアナリティクス事業本部のkobayashiです。 様々な国のデータを扱う機会があり、そこに含まれているデータの日付データの形式が国ごとに異っていました。その日付データをPythonスクリプトの日付型dat […]…
AWS DMSを使ってAurora MySQLのデータをS3に出力してみた
はじめに データアナリティクス事業本部のkobayashiです。 Aurora MySQLクラスターのバイナリログを使ってレプリケートする必要があり、その手段としてをAWS DMS(Database Migration […]
Raspberry PiとNode-REDでSwitchBotの温湿度計データを取得する
はじめに データアナリティクス事業本部のkobayashiです。 自宅をスマートホーム化できるツールとしてSwitchBot社製の製品を個人的に購入して使用しています。今回はそのSwitchBot社の製品の中で温湿度を計 […]…
BigQuery MLの時系列データで休日効果を使ってみる
はじめに データアナリティクス事業本部のkobayashiです。 以前のエントリにてBigQuery MLで時系列データを扱いましたがARIMAモデルを作成する際にholiday effects(休日効果) が週周期でも […]
BigQueryの外部テーブルでAvroを扱った際にTIMESTAMPでハマった話
はじめに データアナリティクス事業本部のkobayashiです。 BigQueryでGoogleCloudStorageにおいたAvroファイルを外部テーブルのデータソースとして扱った際にデータ型がTIMESTAMPのカ […]
Session ManagerとEC2でPrivate環境にあるRedshiftに接続する
はじめに データアナリティクス事業本部のkobayashiです。 Publicサブネットを用意することができないPrivateサブネットだけの環境で手元のローカルマシーンからRedshiftへの接続を行う方法を検討したと […]…