どーもsutoです。 LinkedIn製のOSSデータカタログ「DataHub」について、今回はRedshiftのメタデータの取り込みと、メタデータの削除を検証していきたいと思います。 Datahubの概要や過去の記事に […]…
データマネジメント・ガバナンスの観点から見るGoogle Data Catalog
本記事では、データマネジメント・ガバナンスの推進に使えそうなGoogle Data Catalogの機能を見ていきます。 「激熱!1日1製品!最強のデータ系SaaSはどれだ決定戦」アドベントカレンダーにて、これまで20の […]…
データの信頼性を向上させるためのプラットフォーム「Datafold」を触ってみた
本記事では、Data Reliability PlatformのDatafoldを紹介していきます。 データ基盤内のデータ量やテーブル数が増えれば、それに伴いデータの品質を維持することも難しくなってきます。そこの課題を外 […]…
とにかくシンプルなデータカタログが欲しい人におすすめな「Select Star」のご紹介
本記事では、界隈で注目を集めてきているSelect Starというデータカタログの紹介とデモを実施していきます。 そもそも、「データカタログって何?」という方のために軽く説明しておきますと、データカタログとはざっくり、 […]…
安くマネージドなデータカタログを導入できる「Tree Schema」を触ってみた
本記事では、データカタログのTree Schemaの特徴を紹介しながら製品を触っていきます。 そもそも、「データカタログって何?」という方のために軽く説明しておきますと、データカタログとはざっくり、 データベース・データ […]…
オープンなコミュニティ志向のデータカタログ「data.world」を試してみた
本記事では、今注目されているデータカタログの一つ data.world について紹介とデモを行なっていきます。 そもそも、「データカタログって何?」という方のために軽く説明しておきますと、データカタログとはざっくり、 デ […]…
DatahubのユーザープロファイルをカスタマイズしたDockerイメージを作ってデプロイしてみる
どーもsutoです。 LinkedIn製のOSSデータカタログ、DataHubに触れる機会があっていろいろ検証しています。 DataHubってどんな製品?という方は、弊社ブログでご紹介している記事があるのでそちらをご参照 […]…
[動画公開] データ分析を支える技術 データ分析基盤 再入門 #devio2021
データアナリティクス事業本部のコンサルティングチームの石川です。先週より開催しているクラスメソッド主催のオンラインカンファレンス、Developers.IO 2021 DECADEにて「データ分析を支える技術 データ分析 […]…
Amundsenにロードしたデータを削除するスクリプトを検証してみた
どーもsutoです。 今回はAmundsenにロードしたデータを削除するスクリプトを検証して、実際にデータ削除を行う手順をご紹介します。 Amundsenとは 概要やアーキテクチャについてはこちらの記事が参考になります。 […]…
オープンソースのデータ管理システム「CKAN」を試してみた
こんにちは!DA(データアナリティクス)事業本部 サービスソリューション部の大高です。 最近「データカタログ」について調べていたのですが、自治体のオープンデータサイト「自治体オープンデータ」でも「データカタログ」を利用し […]…