はじめに データアナリティクス事業本部のkobayashiです。 以前のエントリにてBigQuery MLで時系列データを扱いましたがARIMAモデルを作成する際にholiday effects(休日効果) が週周期でも […]
Google Workflows で、BigQuery に SQL を実行するサーバレスなバッチ処理を実装してみた。
こんにちは、みかみです。 やりたいこと BigQuery に SQL を実行するバッチ処理を、サーバレスで実装したい Google Workflows を使ってバッチ実装してみたい BigQuery に投げる SQL は […]
Cloud Functionsから別のCloud Functionsを呼び出せるようにDeployment Managerで権限設定してみた
CX事業本部@大阪の岩田です。Cloud Functionsはデフォルトで「App Engineデフォルトサービスアカウント」を利用しますが、明示的に自作したサービスアカウントを利用したいケースもあると思います。今回サー […]…
GCPのサービスを活用してSlackのやりとりを分析してみよう
CX事業本部@大阪の岩田です。以前「AWSのサービスを活用してSlackのやりとりを分析してみよう」というテーマでLTさせて頂いたことがあるのですが、GCPでも似たようなことができないか挑戦してみました。 構成 今回構築 […]…
S3からBigQueryへの転送をリトライしてハマった部分を調査及び回避手順を検討してみた
BigQuery Data Transfer Service for Amazon S3にて転送設定を組んだものの、正常に取り込まれるケースとそうでないケースが混在する状態に陥っていました。公式ドキュメントにある転送設定 […]
BigQueryの外部テーブルでAvroを扱った際にTIMESTAMPでハマった話
はじめに データアナリティクス事業本部のkobayashiです。 BigQueryでGoogleCloudStorageにおいたAvroファイルを外部テーブルのデータソースとして扱った際にデータ型がTIMESTAMPのカ […]
AWSのアクセスキーをうっかりブログに掲載していないかGCPのCloud DLPでチェックしてみた
CX事業本部@大阪の岩田です。GCPのCloud DLPは様々な情報タイプ(infoType)をサポートしており、AWSのアクセスキーもサポートされています。今回実際にCloud DLPを使ってAWSのアクセスキーの流出 […]…
「AppStream 2.0」でSAML 2.0を使ったIDフェデレーションを設定する (Google Cloud Identity編)
みなさん、こんにちは! 福岡オフィスの青柳です。 Amazon AppStream 2.0では、アプリケーション利用者のユーザー認証方式として以下を用意しています。 AppStream 2.0ユーザープール (AppSt […]