こんにちは、みかみです。 やりたいこと BigQuery に SQL を実行するバッチ処理を、サーバレスで実装したい Google Workflows を使ってバッチ実装してみたい BigQuery に投げる SQL は […]
新感覚なELTツール「Meltano」を使ってSlackのデータをDWHに連携してみた
大阪オフィスの玉井です。 今回はMeltanoというツールをご紹介します。 Meltanoとは？ 公式から引用すると「DataOps時代におけるEL(T)ツール」だそうです。 … …私の個人的な感覚で説明しますが、絶妙な […]…
GoogleスプレッドシートをデータソースとするBigQuery外部テーブルをCLIで作成する
TL;DR テーブル定義ファイルをJSONで作る bq mk –external_table_definition BigQueryの外部テーブル Google Cloudが持つデータ分析基盤のひとつ BigQuery […]
GCPのサービスを活用してSlackのやりとりを分析してみよう
CX事業本部@大阪の岩田です。以前「AWSのサービスを活用してSlackのやりとりを分析してみよう」というテーマでLTさせて頂いたことがあるのですが、GCPでも似たようなことができないか挑戦してみました。 構成 今回構築 […]…
S3からBigQueryへの転送をリトライしてハマった部分を調査及び回避手順を検討してみた
BigQuery Data Transfer Service for Amazon S3にて転送設定を組んだものの、正常に取り込まれるケースとそうでないケースが混在する状態に陥っていました。公式ドキュメントにある転送設定 […]
BigQueryの外部テーブルでAvroを扱った際にTIMESTAMPでハマった話
はじめに データアナリティクス事業本部のkobayashiです。 BigQueryでGoogleCloudStorageにおいたAvroファイルを外部テーブルのデータソースとして扱った際にデータ型がTIMESTAMPのカ […]
AthenaからUNLOADにてORC形式で書き出した後にBigQuery Data Transfer Service for Amazon S3でBigQueryに取り込んでみた
今月始めにAmazon AthenaがUNLOADコマンドにてSELECTクエリによる結果をS3へ出力できるようになったのは記憶に新しいところです。 以前、BigQueryを通してGoogle DataStudioでの可 […]
Alteryx DesignerのGoogle BigQuery出力ツールを試してみた
こんにちは、スズです。 Alteryx Designerには標準で付属しているツールの他にAlteryx Galleryからダウンロードできるツールがあり、中にはAlteryx社が公式で提供しているツールもあります。今回 […]…