こんにちは。サービスグループの武田です。 Amazon Athena利用してますか？最近同僚にAthenaの機能を教えてもらったのでブログに認めておきます。 その機能とは$pathというカラムについてです。隠しカラムとし […]…
Amazon Athenaで週次の集計を行う
データアナリティクス事業本部の鈴木です。 今回は、Amazon Athenaで週次の集計を行う例を紹介します。 やりたいこと 時系列データを分析・利用する際に、ある程度まとまった期間で集計したいことがあります。 月次の場 […]…
AthenaからUNLOADにてORC形式で書き出した後にBigQuery Data Transfer Service for Amazon S3でBigQueryに取り込んでみた
今月始めにAmazon AthenaがUNLOADコマンドにてSELECTクエリによる結果をS3へ出力できるようになったのは記憶に新しいところです。 以前、BigQueryを通してGoogle DataStudioでの可 […]
datastudio-aws-athena-connectorを使ってGoogleデータスタジオのデータソースにAthenaを指定してみた
データ可視化手段のメンテナンス負荷軽減を目的にGoogle データスタジオを触ってみました。 事前に色々と聞いていたところでは、 データスタジオに用いるためBigQuery用のデータ書き出しがいる ストレージ料金がS3と […]…
[Apache Hudi x Athena 新機能] Merge On ReadテーブルをAthenaでクエリする
データ・アナリティクス事業本部の森脇です。 前回に引き続き、Apache Hudi x Amazon Athenaの新機能を試してみます。 前回の記事はこちら： [Apache Hudi] ブートストラップ機能で作成した […]
[レポート] AWSでスケーラブルかつセキュアなデータレイクを構築するためのベストプラクティス – Subsurface LIVE Summer 2021
米国時間2021年07月21日〜22日の計2日間、オンラインで開催された「Subsurface LIVE Summer 2021」では、主催となるDremio社のサービスやクラウドデータレイクに関する各種サービスやプロダ […]
[新機能] Amazon Athena UNLOADコマンドによるCSV、Parquet、Avro、ORC、JSON出力をサポートしました！
データアナリティクス事業本部コンサルティングチームの石川です。先日、Amazon Athenaが、UNLOADコマンドをサポートしました。SELECTクエリの結果をCSV、Parquet、Avro、ORC、JSONフォー […]
Amazon Athenaでカラムの値からJSONを作る
データアナリティクス事業本部の鈴木です。 Amazon Athenaで既存のカラムの値からJSON形式の新しいカラムを作成したかったので、方法を調べてみました。 やりたいこと 既存のカラムの値を要素に持つJSON形式のカ […]…