Google BigQuery

BigQueryへフィールドが一部欠落しているJSON Linesデータをエラー抑止の上で正常転送させてみた

S3からBigQueryへのJSON形式のデータ転送にてエラーが発生していました。JSON形式を使った時の制約自体は公式ドキュメントに記載されています。ただ、この内容に抵触していない筈なのに転送ができていない状況です。 […]…

はじめに本記事はクラスメソッドGoogle Cloud Advent Calendar 2021の21日目の記事です。 Google Cloudの請求データは、「お支払い（Billing）」コンソールで確認が可能です。 […]

DA事業本部コンサルティングチームのnkhrです。本エントリは、Google Cloud Advent Calendar 2021の19日目の記事です。dbtを使ってBigQueryのクエリを開発・管理するための環境設 […]

データアナリティクス事業本部・機械学習チームの貞松です。今回は初のGoogle Cloud関連です。本記事は「クラスメソッド Google Cloud Advent Calendar 2021」の12日目のエントリー […]

大阪オフィスの玉井です。 FivetranとBigQueryの組み合わせで使用しているユーザーさんが増えてきました。 BigQueryの重要な設定としてパーティションがありますが、何も意識せずにFivetranを使ってB […]…

データアナリティクス事業本部の笠原です。 AWSとGCPをVPN接続して、EC2からBigQueryへアクセスする方法を試してみました。以下、3つの記事に分けて掲載いたします。環境準備編 VPN構築編 PSC/DNS […]…

データアナリティクス事業本部の笠原です。 AWSとGCPをVPN接続して、EC2からBigQueryへアクセスする方法を試してみました。以下、3つの記事に分けて掲載いたします。環境準備編 VPN構築編 (この記事) […]…

データアナリティクス事業本部の笠原です。 AWSとGCPをVPN接続して、EC2からBigQueryへアクセスする方法を試してみました。以下、3つの記事に分けて掲載いたします。環境準備編 (この記事) VPN構築編 […]…

小ネタです。先日、日付やタイムスタンプのデータチェックに関する会話をした時に「そういえば日付の範囲指定って何か必要だっけ？」「実在する年月日の組み合わせはまぁマストですよね」「日付範囲の最大値チェックも要るんじゃ […]…

はじめにデータアナリティクス事業本部のkobayashiです。以前のエントリにてBigQuery MLで時系列データを扱いましたがARIMAモデルを作成する際にholiday effects(休日効果) が週周期でも […]