どーもsutoです。 LinkedIn製のOSSデータカタログ「DataHub」について、今回はRedshiftのメタデータの取り込みと、メタデータの削除を検証していきたいと思います。 Datahubの概要や過去の記事に […]…
【レポート】What’s new with Amazon Athena #reinvent #ANT307
どーもsutoです。本記事はAWS re:Invent 2021のセッション「What’s new with Amazon Athena 」のセッションレポートです。 すでにこのセッションはオンデマンドで公開されています […]
OSSデータカタログ「Datahub」をAWS EKSで簡単に構築できます
どーもsutoです。 LinkedIn製のOSSデータカタログ「DataHub」はクイックスタートの手順が簡易で、すぐにDatahubの機能を体験できるように開発が進んでいます。 通常のクイックスタートガイドではローカル […]…
【レポート】業務データにあわせた AWS AI/ML サービスのチューニング #reinvent #JAP301
どーもsutoです。本記事はAWS re:Invent 2021のセッション「業務データにあわせた AWS AI/ML サービスのチューニング」のセッションレポートです。 すでにこのセッションはオンデマンドで公開されてい […]…
DatahubのユーザープロファイルをカスタマイズしたDockerイメージを作ってデプロイしてみる
どーもsutoです。 LinkedIn製のOSSデータカタログ、DataHubに触れる機会があっていろいろ検証しています。 DataHubってどんな製品？という方は、弊社ブログでご紹介している記事があるのでそちらをご参照 […]…
AWS Glue DataBrewに関するビデオセッションを公開しました #devio2021
どーもsutoです。 DevelopersIO 2021 Decadeで「Glue DataBrewでデータをクリーニング、加工してみよう」というタイトルで登壇しました。 セッション概要 前半は、データの前処理の要素の1 […]
Amundsenにロードしたデータを削除するスクリプトを検証してみた
どーもsutoです。 今回はAmundsenにロードしたデータを削除するスクリプトを検証して、実際にデータ削除を行う手順をご紹介します。 Amundsenとは 概要やアーキテクチャについてはこちらの記事が参考になります。 […]…
OSSデータカタログAmundsenにOracleのメタデータをロードしてみた
どーもsutoです。 登録したデータに対し、「Google検索」のようにデータの検索ができるLyft社製のOSSデータカタログAmundsenというデータ検出およびメタデータエンジンがあります。 これまでにRedshif […]…
OSSデータカタログAmundsenにGlueメタデータをロードしてみた
どーもsutoです。 登録したデータに対し、「Google検索」のようにデータの検索ができるLyft社製のOSSデータカタログAmundsenというデータ検出およびメタデータエンジンがあります。 前回の記事ではAmund […]…
OSSデータカタログAmundsenにRedshiftメタデータをロードしてみた
どーもsutoです。 登録したデータに対し、「Google検索」のようにデータの検索ができるLyft社製のOSSデータカタログAmundsenというデータ検出およびメタデータエンジンがあります。 今回はEC2上にセットア […]…