どーもsutoです。 登録したデータに対し、「Google検索」のようにデータの検索ができるLyft社製のOSSデータカタログAmundsenというデータ検出およびメタデータエンジンがあります。 これまでにRedshif […]…
Pythonで利用できるSQLのリネージュ分析ツール「SQLLineage」を試してみた
こんにちは！DA(データアナリティクス)事業本部 サービスソリューション部の大高です。 データウェアハウスにおいて、データを「あるテーブル」から「あるテーブル」へSQLで投入するときに「データの流れを知りたい」というケー […]…
OSSデータカタログAmundsenにGlueメタデータをロードしてみた
どーもsutoです。 登録したデータに対し、「Google検索」のようにデータの検索ができるLyft社製のOSSデータカタログAmundsenというデータ検出およびメタデータエンジンがあります。 前回の記事ではAmund […]…
Netflix社製のメタデータ管理OSS「Metacat」を試してみた
データ・アナリティクス事業本部の森脇です。 データカタログ/メタデータ管理のためのOSSは色々ありますが、今回はNetflixが現在進行形で開発しているOSSの「Metacat」を試してみました。 Metacatとは M […]…
OSSデータカタログAmundsenにRedshiftメタデータをロードしてみた
どーもsutoです。 登録したデータに対し、「Google検索」のようにデータの検索ができるLyft社製のOSSデータカタログAmundsenというデータ検出およびメタデータエンジンがあります。 今回はEC2上にセットア […]…
[Immuta] Sensitive Data Detectionを使用して機密データを自動で把握する
大阪オフィスの玉井です。 Immutaの強力な機能の1つに、機密データの自動検知（Sensitive Data Detection）があります。今回は、こちらを紹介します。 Sensitive Data Detectio […]
[Immuta] グローバルサブスクリプションポリシーを設定して特定のユーザーには特定のデータしか使えないようにする
大阪オフィスの玉井です。 データガバナンスの観点において、「XXの人には、YYのデータしかアクセスさせない」というポリシーを定めなければいけない場面があると思います。ポリシーを適用しなければいけないデータが完全に固定であ […]…
クラウド型のデータガバナンス管理サービス「Immuta」を使ってみた
大阪オフィスの玉井です。 データガバナンスのためのWebサービスである「Immuta」を触ってみました。 Immutaとは？ 概要 ざっくりいうと、データのアクセスコントロールやデータガバナンスの問題を解決するサービス（ […]…