デジタルトランスフォーメーション（DX）は、企業の事業運営のあり方に大きな変革をもたらしました。ビジネスデータ、そしてその活用は、あらゆる企業活動およびそのデジタルプレゼンスにおいて、最も重要な要素の一つとみなされています。ビッグデータの進化に伴い、データ管理の手法も大きく様変わりしました。GDPRやCCPAといったコンプライアンス関連法規が施行された現在、データの発生源（ソース）やその健全性（データ・ハイジーン）を正確に把握・管理することは、極めて重要となっています。本ブログでは、データ管理における最も重要な手法である「データリネージ（Data Lineage）」と「データプロベナンス（Data Provenance）」の2つを比較・解説します。まずは、それぞれの概要から見ていきましょう。

データリネージとは何ですか？

データリネージとは、データの発生源から最終的な宛先までのデータの経路を追跡するプロセスです。

データリネージは、データの使用状況を把握し、データの健全性と最適な利用方法を維持する上で役立ちます。

つまり、データライフサイクル管理の概要を提供します。

データプロベナンスとは？

データプロベナンスとは、データが生成された当初の発生源から最終的な状態に至るまでの履歴を追跡することです。また、データプロベナンスの対象範囲はそれにとどまらず、以下の要素にまで及びます。

データの生成に影響を与える要因
データの発生源（ソース）
データがシステムに入力された際の方法

データプロベナンスは、データの健全性（データハイジーン）やデータコンプライアンスを維持する上で有用です。

要するに、データプロベナンスはデータの発生源およびその各段階に特化して焦点を当てた概念なのです。

データリネージとデータプロベナンス：様々な側面から解説するその違い

データリネージとデータプロベナンス：目的

データリネージツールの主要な目的は、データの生成からその利用終了に至るまでの、データライフサイクル全体の管理を行うことにあります。

一方、データプロベナンスの主要な目的は、具体的にデータの生成起点を追跡し、データを3つの主要な段階に分類・区分することにあります。これらの段階とは、「データ・イン・モーション（移動中のデータ）」、「データ・イン・プロセス（処理中のデータ）」、そして「データ・イン・レスト（静止データ）」です。

データリネージとデータプロベナンス：構成要素

データリネージの主要な構成要素には、Webポータル、データ取得ソース、およびデータ育成手法が含まれます。また、これらの構成要素には、データ適格性評価システム、CRMシステム、およびERPシステムも含まれます。

一方、データプロベナンスの主要な構成要素には、データリネージのすべての構成要素に加え、さらにいくつかの要素が含まれます。これらの追加要素とは、データ取得ソースおよびデータ入力方法の追跡機能のことです。

データリネージとデータプロベナンス：課題

データリネージにおける主な課題としては、膨大な量のデータの管理が挙げられます。また、データリネージ自体の維持管理、チャネルを横断した追跡、そして個別に分散したプロモーションシステムの統合なども課題となります。

一方、データプロベナンスにおける主な課題には、データリネージが抱える課題に加え、さらにいくつかの要素が含まれます。具体的には、大規模かつ複雑なワークフローへの対応や、データ保存の目的で実行プロセスを再現することなどが、追加の課題として挙げられます。

データリネージとデータプロベナンス：コンプライアンス要件

データリネージツールは、その性質上より高度な機能を備えており、規制コンプライアンスへの対応としてデータの提出が求められた際、いつでも迅速にこれを行うための支援を提供します。

一方、データプロベナンスツールはそれほど高度な機能を持たないため、コンプライアンス遵守のために必須となるデータを、迅速に作成・提示することはやや困難です。

データリネージとデータプロベナンス：主要ツール

主要なデータリネージツールには、以下のものがあります。

• Talend Open Studio
• Apatar
• CloverETL
• Kylo
• Dremio
• Jaspersoft ETL
• Octopai
• ASG Data Management

データプロベナンス・ツールには、以下のようなものがあります。

• CamFlow
• Jupyter
• Kepler
• RDataTracker
• Linux Provenance Modules
• Open Provenance Model
• Cloudera

データリネージ vs. データプロベナンス：価格設定

データリネージおよびデータプロベナンス関連のツールの大部分はオープンソースであり、要件に合わせて自由にカスタマイズすることが可能です。ただし、市場には有料の選択肢もいくつか存在します。

一般的に、データリネージツールは年間サブスクリプション型、あるいはユーザー数に応じた課金モデルを採用しています。ただし、詳細な費用については、各ベンダーに個別に問い合わせる必要があります。

データプロベナンスツールについても、通常は契約期間に基づく課金モデルや、ユーザー数に応じた課金モデルが採用されています。データリネージツールと同様に、詳細な見積もりについては、各ベンダーに別途問い合わせる必要があります。

主なポイント：

「データリネージ（Data Lineage）」と「データプロベナンス（Data Provenance）」という用語は非常に似通って聞こえますが、両者の間にはいくつかの重要な違いが存在します。

端的に言えば、データプロベナンス・システムとは、データリネージに加えて、入力ソース、入力方法、およびチャネルを組み合わせたものであると結論づけることができます。