ETL とは何ですか?

1 Zohoアナリティクス

参照: データ ガバナンス フレームワーク: 定義、重要性、および例 (TechRepublic)

ETL はどのように機能しますか?

この 3 段階のプロセスは次のようになります。

ステップ1：抽出

これには、同種または異種を問わず、様々なソースから関連データを収集することが含まれます。これらのデータソースは、リレーショナルデータベース、XML、JSON、フラットファイル、IMS、VSAMなど、様々な形式、あるいはWebクロールやスクリーンスクレイピングによって外部ソースから取得されたその他の形式など、様々な形式を使用している可能性があります。

多くのソリューションでは、中間データストレージが不要な場合、これらのデータソースを宛先データベースに直接ストリーミングすることが可能です。このステップ全体を通して、データ専門家は抽出されたすべてのデータの正確性と他のデータセットとの整合性を評価する必要があります。

ステップ2：変換

変換とは、抽出されたデータを最終ターゲットにロードできるようにするために適用される一連のルールまたは関数です。また、クレンジングメカニズムとしても適用でき、クリーンなデータのみが最終宛先に転送されることを保証します。

変換は、異なるシステム間での通信が必要となる場合があり、複雑で扱いにくい場合があります。例えば、あるシステムでは使用できる文字セットが別のシステムでは使用できないなど、互換性の問題が発生する可能性があります。

特定のデータウェアハウスまたはサーバーのビジネスニーズと技術ニーズを満たすには、複数の変換が必要になる場合があります。例としては、以下のようなものがあります。

• 自由形式の値のエンコード:「女性」を「F」にマッピングします。
• 特定の列のみを読み込むように選択する:行から「名前」と「住所」のみを選択します。
• データの正規化:名と姓を「名前」という 1 つの列に結合します。
• データの並べ替え:顧客 ID を昇順または降順で並べ替えます。
• 新しい計算値の導出:顧客あたりに販売された製品の平均を計算します。
• データのピボットと転置:列を行に変換します。

ステップ3: ロード

最後のステップは、変換された情報を最終ターゲットにロードすることです。ロード対象となるのは、単一のファイルのような単純なものから、データウェアハウスのような複雑なものまで多岐にわたります。一般的なロード先には、オンプレミスのデータウェアハウス、クラウドストレージソリューション、クラウドデータウェアハウスなどがあります。

このプロセスは、各組織とその移行プロジェクトの要件に応じて大きく異なります。

参照: データ品質とは? (TechRepublic)

ETLの利点

いくつかの利点があります:

• データの一貫性と品質：変換後も、様々なソースからのデータの一貫性が維持されます。変換中のクレンジング、エンリッチメント、検証によっても品質が向上します。
• スケーラビリティとパフォーマンス:大量のデータが効率的に処理され、ターゲット システムから変換処理がオフロードされることによってデータベースの負荷が軽減されます。
• セキュリティとコンプライアンス:プライバシーに関する法律や規制に準拠するために、変換中にデータを簡単にマスク、暗号化、匿名化できます。

参照: データ ガバナンス チェックリスト (TechRepublic Premium)

ETLの欠点

しかし、いくつかの欠点もあります。

• レイテンシとバッチ処理： ETLプロセスでは通常、バッチ処理が使用されます。これによりレイテンシが発生するため、ほぼ瞬時のデータ更新が必要なシナリオには適していません。
• 複雑さとメンテナンスのオーバーヘッド：複数のステップには複数のシステムが関与することが多く、複雑さを増します。また、ETLワークフローは、データソースの進化やビジネスニーズの変化に応じて定期的に更新する必要があります。これは、継続的なメンテナンスのオーバーヘッドにつながります。

参照: データ品質の測定方法 (TechRepublic)

ETLの活用方法

ETLはデータ統合と分析にとって重要なプロセスです。一般的なユースケースとしては、以下のようなものがあります。

• データウェアハウス： ETLパイプラインは、データベース、ファイル、APIなどのソースシステムからデータを抽出し、一貫した形式に変換してデータウェアハウスにロードするために使用されます。
• ビジネス インテリジェンス: BI ツールで使用されるデータ マートとウェアハウスにデータを入力するために使用されます。
• データ移行:組織が 1 つのシステムから別のシステムに移行する必要がある場合、移行中に頻繁に使用されます。
• データ統合:さまざまなソースからのデータをシームレスに統合するのに役立ちます。
• データのクレンジングとエンリッチメント：パイプラインは、データのクレンジングと標準化に使用されます。パイプラインは、不足している情報を組み込むことで、データをエンリッチメントします。
• バッチ処理: ETL ジョブは通常、スケジュールされた間隔で実行され、大量のデータを処理して、データ ウェアハウスが最新の状態に保たれるようにします。
• データ ガバナンスとコンプライアンス:データ法に準拠するために、変換プロセス中にデータを暗号化できます。
• リアルタイム ETL:従来の ETL は主にスケジュールされた間隔 (バッチ) で実行されますが、リアルタイム ETL は株式市場の更新など、即時の更新が必要なシナリオに使用されます。
• クラウド データ パイプライン:ツールを使用すると、クラウド プラットフォームとオンプレミス ストレージ間でのデータの移動が容易になります。

参照: データ品質を向上させるためのベストプラクティス (TechRepublic)

ETLとELT

ETLについてはすでに説明しました。

ELT では、文字は同じ単語を表しますが、さまざまなソースから抽出された生データは、データ ウェアハウスやデータ レイクなどのターゲット システムに直接ロードされ、変換が最終ステップになります。

ETL と ELT のどちらを選択するかは、組織のニーズ、データ量、複雑さ、インフラストラクチャ、パフォーマンスの考慮事項によって決まります。

参照: エンターテインメントにおけるデータガバナンス (TechRepublic)

データ移行を支援するETLツール

ETL ツールはクラウドまたはオンプレミスで実行でき、さまざまなプロセスを実行するときに視覚的なワークフローを作成するインターフェースが付属していることがよくあります。

以下は、クラウドベース、オンプレミス、ハイブリッド、オープンソースのツールのトップ 4 のおすすめです。

• AWS グルー。
• Azure データ ファクトリー。
• IBM データステージ。
• Google Cloud データフロー。

この記事は2023年1月に最初に公開されました。2024年3月に現在の著者によって更新されました。最新の更新は2025年6月にAntony Peytonによって行われました。