データレイクとデータウェアハウスは、あらゆる組織にとって生命線とも言える存在です。より正確なデータを保有する組織は、他社に対して競争優位性を築き、成功を収める可能性が高まります。
近年、あらゆる組織が自社に適した形式でのデータ保存に注力しています。各組織はビジネス目的でのデータ分析を重視し、独自のデータウェアハウスを構築しています。
ユーザーはデータレイクとデータウェアハウスを広く活用していますが、その使い分けはそれぞれの目的に基づいています。
データレイクは、用途が特定されていない膨大なデータの集まりであるのに対し、データウェアハウスは、特定の目的のために構造化・フィルタリング・処理されたデータの格納庫であるという点で定義されます。
これら2つのうちどちらが優れているかについては、依然として議論が続いています。しかし、私の考えでは、データウェアハウスよりもデータレイクの方が優れています。そこで、データウェアハウスと比較した際のデータレイクの利点について見ていきましょう。
データレイクとデータウェアハウス：その違いとは？
データレイクとデータウェアハウスは、しばしば同義語として使われますが、同じものではありません。
両者の主な違いは、以下の4つの項目に分けて説明します。
データ構造：生データ（Raw）対 処理済みデータ（Processed）
データレイクとデータウェアハウスの最大の違いは、データの構造（生データか処理済みデータか）にあります。データレイクは生データや未処理のデータを格納するのに対し、データウェアハウスは処理・フィルタリングされたデータを格納します。
データレイクはデータウェアハウスに比べて容量が大きく、格納された生データや未処理データは、あらゆる目的に応じた分析や機械学習への活用に最適です。
データレイクを運用する際には、適切なデータ品質管理やデータガバナンスの体制を整える必要があります。
データウェアハウスは処理済みのデータのみを格納するため、経済性に優れています。
利用目的：未定か、それとも特定されているか
データレイクは利用目的が定義されていないため、あらゆる用途に適しています。対照的に、データウェアハウスは特定の目的のために処理済みのデータを受け入れる仕組みであり、ストレージを効率的に利用できます。
ユーザー：データサイエンティスト対ビジネス部門
データレイクには「生データ（ローデータ）」が格納されますが、こうした未加工のデータを分析するには専門的な知識が必要です。通常、データを理解し、具体的なビジネス用途に活用できる形に変換するには、データサイエンティストや、適切なスキル・ツールを持つ人材が求められます。
一方、処理・加工やフィルタリングが施されたデータであれば、チャート、スプレッドシート、表、プレゼンテーション資料などの形式で、ビジネス部門や個人を問わず誰でも利用可能です。こうしたデータを利用する際には、データの提示方法（見せ方）に慣れているだけで十分です。
アクセシビリティ：柔軟性か、それとも堅牢なセキュリティか
アクセシビリティとは、データリポジトリの利用しやすさを指します。データレイクのアーキテクチャには決まった構造がないため、利用における柔軟性が高いという特徴があります。
一方、データウェアハウスは外部からの侵入を許さない構造になっており、データの操作には多大なコストを要しますが、その分、非常に高いセキュリティが確保されています。
データレイクが利用される理由
統合データリポジトリ
必要な時に、様々な場所にあるデータにアクセスするのは非常に困難です。例えば、Salesforceの売上記録、データベース上の顧客情報、Google Analyticsのトラフィックデータなどが挙げられます。
これらすべてのデータを統合して分析しようとすると、作業は非常に複雑で困難なものになります。
データレイク（Data Lake）であれば、これらすべてのデータを一か所に集約し、統合的に分析することが可能です。これにより、データ探索や分析を行うための基盤が整います。
包括的なクエリ実行
多くの企業が利用するトランザクションデータは、クエリを実行しやすい形式で記録されていますが、APIの維持管理には多大なコストがかかります。一方、データをデータレイクに格納すれば、SQLが持つ強力な機能や柔軟性を最大限に活用できるようになります。
パフォーマンス
本番稼働中のデータベースに直接アクセスすると、アプリケーションのパフォーマンスに悪影響を及ぼす可能性があります。特に大量のデータを必要とするクエリは、トランザクション処理用のデータベースでは最適に動作しないことが多いためです。
データレイクは、そのようなアドホックな分析クエリに使用されます。データレイクのリソースをスケールアップすることで、さらに高速にデータをクエリできるようになります。
進捗
次の段階へ進むために必要なデータを一か所に集約することは、すべてのデータが単一のデータウェアハウスに存在する場合にのみ可能となります。
そのようなウェアハウスであれば、データレイクを基盤として適切なモデリングを実装できます。モデリングを行うことでデータのクレンジングがなされ、エラーの発生や作業の重複を抑えることが可能になります。
データレイクの活用によるメリット
データレイクを利用する最大の利点は、あらゆる種類のデータを低コストで一か所に集約・保存できることです。ビジネスにおいては、適切な意思決定を行うために、プロセスのあらゆる段階でデータを分析する必要があります。
データ品質の向上
データレイクが持つ強力な機能を活用し、適切なツールを用いることで、データの品質を高めることができます。
経済性
あらゆる種類のデータをデータレイクという一か所に集約することは、断片化されたシステムやトランザクション指向のデータウェアハウスを利用する場合に比べて、経済的です。
高度な分析
データウェアハウスとは異なり、データレイクでは、機械学習やディープラーニングのアルゴリズムを用いて、膨大かつ一貫性のあるデータを活用することが可能です。これはリアルタイムのデータ分析にも役立ちます。
単一のデータ基盤
データウェアハウスではデータが様々なソースから供給されますが、データレイクでは、構造化データ、非構造化データ、そして未加工（ロー）データがすべて一か所に統合されています。
結論
上記の表は、データレイクとデータウェアハウスの比較を分かりやすく示しています。これまでの議論から、データレイクを利用するメリットは明らかです。
データの民主化、コスト、分析機能、そしてSQLのパフォーマンスという点において、データレイクはデータウェアハウスよりも優れています。
一見単純なことのように思えるかもしれませんが、これら2つの用語の違いを理解することは、データから価値を引き出し、より適切なビジネス上の意思決定を行い、市場での競争優位性を獲得する上で極めて重要です。
