【地味だけど知っておきたい！ 5分で解説 データエンジニアリングコラム①】～はじめに

このコラムについて

近年、デジタル・トランスフォーメーション（DX）が進み、多種多様なデータが活用・分析できるようになったことで、各企業でさまざまな取り組みが始まっています。
この記事を読まれている方のなかにも、DX推進やそれに伴うデータ活用のプロジェクトなどに関わることになった方がいらっしゃるのではないでしょうか。弊社にもそのような方からのデータ活用に関する相談が増えてきています。

「DXやデータ活用を進めたいのに、システムやツールが沢山あってよくわからない」
「あたらしいツールを学んだものの、いざ使うとなると手が動かない」
「システム担当者とのやりとりを、もう少し円滑に進めたい」
このコラムではこういったお悩み解消に役立つ情報をお届けします。

筆者はインテージデータをお客様が導入されているシステム上でご活用いただく支援をしてきました。このコラムでは、この経験を基に、地味だけど知っておきたい「データ活用の重要なステップ」や「データ活用の障壁と対策」に解説していきます。

データ活用の全体像

1回目はデータ活用の「全体像」について説明します。
データ活用といっても、様々なレイヤーがあるのはご存知でしょうか。レイヤーによってデータの取り扱いや位置づけが異なってきます。

データ活用を推進する立場の方は、BIツールでデータの集計・分析を行ったり、AIで予測を行ったりといった業務が多いかと思いますが、それはこのデータ活用の全体像のほんの一部です。データ活用を推進する上では、各レイヤーを正しく理解していく必要があります。

データ活用推進に関するご相談を受けていると、使っているシステムに新しいデータを入れたいが、システム担当者にどう相談すればいいかわからない、といったお悩みにしばしば出会います。知らない用語が多いということもありますが、一番の問題は、全体像が共通理解になっていないと、複数あるレイヤーのどの部分について話しているのかがわからず、その目的も検討がつかないことです。
全体像がわかると、知らない用語の見当がつき、システム関係者とのコミュニケーションが進めやすくなります。

それぞれについて、簡単に説明します。

①データソース

情報システムに取り込む前のデータです。
普段の業務で発生するデータやほかの組織のデータ、公開されているデータなどがこれに当たります。
さまざまな場所で発生・保管されているもので、内容やデータの形式、保存期間など統一性がなく多種多様となっています。

②データレイク

データソースから取得したデータをとにかく集めて貯めておく場所を「データレイク」と呼びます。
業務システムなどのデータはいつ無くなるか分からないので、使いそうなデータはとりあえずここに貯めておきます。
また、データを一ヵ所に貯めることで、あちこちの部署にデータを探しに行くような状況を解消できます。
一見すると地味ですが効果は抜群です。

逆に各組織で独立してデータを貯めることで、それぞれのデータが分断される状況を「データのサイロ化」と呼びます。

③データ活用基盤

データ活用をするシステムが使いやすいように準備をする場所です。②のバラバラな形式のデータを整形・加工してある程度の共通形式に変えます。

共通の形式にそろえたデータを保管している場所がDWH、利用したいシステムに合わせてデータをDWHからさらにカスタマイズしたものをDMと考えてください。

④データ活用フィールド

実際にデータを業務に活用する場面です。分析や予測、管理、など行う場所を指します。

③まではデータを利用するための準備でしたが、ここまできてようやくデータを業務に活用することができます。用途は様々です。

⑤インフラ

データを格納するデータベースやサーバー、データの移動や変換を自動化するデータパイプラインなど、データ活用を支えるシステムやツールを指します。

⑥データ

形は変えながらも各レイヤーに存在するデータを指します。

今回は、データ活用を推進する上で把握しておくべき「全体像」について説明しました。
次回以降は、今回紹介した全体像をベースに、ポイントに絞ったテーマで解説します。
みなさまのデータ活用のお悩み解消に少しでもお役立ていただけるコラムをお届けしたいと思います。

転載・引用について

◆本レポートの著作権は、株式会社インテージが保有します。
下記の禁止事項・注意点を確認の上、転載・引用の際は出典を明記ください 。
「出典：「インテージ 知る Gallery」●年●月●日公開記事」

◆禁止事項：
・内容の一部または全部の改変
・内容の一部または全部の販売・出版
・公序良俗に反する利用や違法行為につながる利用
・企業・商品・サービスの宣伝・販促を目的としたパネルデータ（＊）の転載・引用
（＊パネルデータ：「SRI」「SCI」「SLI」「キッチンダイアリー」「Car-kit」「MAT-kit」「Media Gauge」「i-SSP」など）

◆その他注意点：
・本レポートを利用することにより生じたいかなるトラブル、損失、損害等について、当社は一切の責任を負いません
・この利用ルールは、著作権法上認められている引用などの利用について、制限するものではありません

◆転載・引用についてのお問い合わせはこちら