【Architecture】データプラットフォームの構成要素

今回の記事では、書籍を読むにあたり、読む前の私が考えるデータプラットフォームの構成要素についてメモを残しておきたいと思います。内容はあまり読者の方にとって有用でないかもしれませんが、あくまで読む前の自分の考えを記録することが目的ですので、ご理解いただければ幸いです。

記事のポイント

• データプラットフォームの構成要素

データプラットフォームの構成要素4つ

私が考えるデータプラットフォームの構成要素は、以下の4つです。

• データの収集
• データの統合
• データの公開
• メタデータの共有

データプラットフォームが構築される目的

構成要素の説明に入る前に、データプラットフォームが構築される目的について振り返っておきます。 データプラットフォームは、ビジネスの方針や戦略を立てる際に行われるデータ分析のための基盤と考えています。 具体的には、企業の日常業務とは切り離された形で、日常業務で使われるシステムのデータを集約・統合し、分析に活用します。

データの収集

業務システムには、ホスト系、オンプレミス環境に構築されたアプリケーション、SaaSサービス、IoTシステムなど多様なものがあります。それぞれの業務で必要なデータは個別に管理されているため、これらを一箇所に集める仕組みが必要です。

データの統合

収集されたデータはまだ各システム固有の形式のままのため、統一されたフォーマットや形式に変換し、データの利活用をしやすくします。そのためには、収集したデータを加工・変換し、データの形式やフォーマットを統一して、データプラットフォームに集められたデータを一貫した形に整える仕組みが必要です。

データの公開

統一されたフォーマットのデータは膨大な量になるため、利用目的に応じて集約や絞り込みを行い、利用者に提供する仕組みが必要です。

メタデータの共有

データプラットフォームに格納されているデータの内容や属性情報を整理・管理し、利用者が必要なデータを容易に見つけられるようにメタデータを公開する仕組みの提供も必要になります。

まとめと今後読み進めていく予定の書籍

今回、なぜこのような内容を書き始めたかというと、以下の書籍を購入したためです。 私は約4年前にデータプラットフォームの構築に携わりましたが、その時と現在で何が変わり、何が変わっていないのかをアップデートするため、まずは自分の理解を整理しました。

データプラットフォーム技術バイブル　〜要素技術の解説から実践的な構築法、利活用まで〜

今後、書籍を読み進める中で得られた新しい知見やアップデート情報を整理し、順次公開していきたいと思います。