AIの基礎
ETLとは（Extract、Transform、Load）メソッドとユースケース
Unite.AI を Google の優先ソースに追加
ETLとは、「抽出、変換、読み込み」の略称です。これは、さまざまなソースからのデータを1つのリポジトリに統合するプロセスであり、データを処理して分析し、有用な情報を導き出すことができます。この有用な情報は、ビジネスがデータ駆動型の意思決定を行い、成長するのに役立ちます。
「データは新しい石油です。」
クライブ・ハンベイ、数学者
世界のデータ作成は指数関数的に増加しており、フォーブスによると、現在の速度で、人間は2年ごとにデータ作成を2倍に増やしています。結果として、モダンダタスタックは進化しました。データマートはデータウェアハウスに変換され、さらにデータレイクが作成されました。しかし、これらの異なるインフラストラクチャの中で、1つのプロセスは同じまま残りました。つまり、ETLプロセスです。
この記事では、ETLのメソッド、ユースケース、利点、およびこのプロセスがモダンダタランドスケープに与える影響について見ていきます。
ETLのメソッド
ETLにより、データをさまざまなソースから1つの場所に統合し、処理、分析、およびビジネスの利害関係者と共有することができます。レポート、分析、および機械学習モデルを使用した予測のために使用されるデータの完全性を確保します。3つのステップで構成されており、複数のソースからデータを抽出、変換、ビジネスインテリジェンスツールに読み込みます。これらのビジネスインテリジェンスツールは、ビジネスがデータ駆動型の意思決定を行うために使用されます。
抽出フェーズ
このフェーズでは、SQLクエリ、Pythonコード、DBMS（データベース管理システム）、またはETLツールを使用して、複数のソースからデータを抽出します。最も一般的なソースは次のとおりです。
- CRM（カスタマーリレーションシップマネジメント）ソフトウェア
- 分析ツール
- データウェアハウス
- データベース
- クラウドストレージプラットフォーム
- セールスおよびマーケティングツール
- モバイルアプリ
これらのソースは、構造化されたものもあれば、構造化されていないものもあります。したがって、この段階では、データの形式は統一されていません。
変換フェーズ
変換フェーズでは、抽出された生データを、ターゲットシステムで使用できる形式に変換およびコンパイルします。そのためには、生データを次の変換サブプロセスに従います。
- クリーンシング：一貫性のないデータや欠損データを処理します。
- 標準化：全体に一貫した形式を適用します。
- 重複除去：冗長なデータを削除します。
- 外れ値の検出：外れ値を検出して正規化します。
- ソート：データを効率性の高い形式で整理します。
データの変換に加えて、データの変換が必要な他の理由もあります。データにNull値が存在する場合は除去する必要があります。また、データには分析を悪影響を与える外れ値が存在することがあります。したがって、変換フェーズでこれらの問題に対処する必要があります。しばしば、ビジネスに価値をもたらさない冗長なデータに出会います。このようなデータは、システムのストレージスペースを節約するために、変換フェーズで削除されます。これらの問題は、変換フェーズで解決されます。
読み込みフェーズ
生データを抽出して変換プロセスを適用した後、ターゲットシステムに読み込みます。ターゲットシステムは、通常、データウェアハウスまたはデータレイクです。読み込みフェーズを実行する方法は2つあります。
- フルローディング：データを最初に一度にすべて読み込みます。技術的に複雑ではありませんが、時間がかかります。データのサイズが大きくない場合に適しています。
- インクリメンタルローディング：インクリメンタルローディングは、名前のとおり、インクリメンタルに実行されます。2つのサブカテゴリがあります。
- ストリームインクリメンタルローディング：データを一定間隔で読み込みます。通常は1日です。データが少量の場合に最適です。
- バッチインクリメンタルローディング：バッチタイプのインクリメンタルローディングでは、データをバッチで読み込み、2つのバッチ間で間隔を置きます。大きなデータの場合に最適です。高速ですが、技術的に複雑です。
ETLツールの種類
ETLは、手動で行うことも、ノーコードETLツールを使用することもできます。手動ETLの場合、自動化はほとんどありません。すべてのコードは、データサイエンティスト、データアナリスト、データエンジニアを含むチームによって作成されます。すべての抽出、変換、読み込みパイプラインは、すべてのデータセットに対して手動で設計されます。これにより、生産性とリソースの浪費が大幅に増加します。
代替案はノーコードETLです。これらのツールは、通常、ドラッグアンドドロップ機能を備えています。これらのツールは、コードの必要性を完全に排除し、非技術的な従業員でもETLを実行できるようにします。インタラクティブなデザインと包括的なアプローチにより、ほとんどのビジネスは、Informatica、Integrate.io、IBM Storage、Hadoop、Azure、Google Cloud Dataflow、およびOracle Data Integratorを使用してETL操作を実行します。
データ業界には、ノーコードETLツールが4種類あります。
- 商用ETLツール
- オープンソースETLツール
- カスタムETLツール
- クラウドベースETLツール
ETLのベストプラクティス
最適化されたETLパイプラインを確保するために、従うべきベストプラクティスとプロトコルがあります。以下に、ベストプラクティスについて説明します。
- データのコンテキストの理解：データの収集方法とメトリックの意味を正しく理解する必要があります。これにより、冗長な属性を削除する必要があることがわかります。
- 回復チェックポイント：パイプラインが破損し、データ漏洩が発生した場合、漏洩したデータを回復するためのプロトコルを用意する必要があります。
- ETLログブック：ETLサイクル前に、 durante、後に実行されたすべてのプロセスのレコードが含まれるETLログブックを維持する必要があります。
- 監査：一定間隔でデータをチェックして、データが望ましい状態であることを確認します。
- 小さなデータサイズ：データベースとテーブルのサイズを小さく保ち、データを水平方向に広げることで、処理速度が向上し、ETLプロセスが高速化します。
- キャッシュレイヤーの作成：キャッシュレイヤーは、最近使用されたデータをディスクに保存し、システムが要求したときに迅速にアクセスできる高速データストレージレイヤーです。このプラクティスにより、キャッシュされたデータがシステムによって要求されたときに時間を節約できます。
- 並列処理：ETLをシリアルプロセスとして扱うと、ビジネスの時間とリソースを大量に消費し、プロセス全体が非常に非効率的になります。解決策は、並列処理と複数のETL統合を同時に実行することです。
ETLのユースケース
ETLにより、ビジネスがさまざまな方法でスムーズかつ効率的に動作しますが、ここでは3つの最も一般的なユースケースについて説明します。
クラウドへのアップロード:
ローカルにデータを保存することは、高価な選択肢であり、ビジネスはサーバーの購入、維持、実行、および管理にリソースを費やす必要があります。これらの手間を避けるために、ビジネスはデータを直接クラウドにアップロードできます。これにより、貴重なリソースと時間が節約され、ETLプロセスの他の側面を改善するために再投資できます。
さまざまなソースからのデータの統合:
データは、組織内でさまざまなシステムに分散しています。データを1つの場所に統合して処理および分析し、後に利害関係者と共有するには、ETLプロセスを使用します。ETLにより、さまざまなソースからのデータが統一された形式で整理され、データの完全性が維持されます。
予測モデリング:
データ駆動型の意思決定は、成功したビジネス戦略の基盤です。ETLにより、ビジネスがデータを抽出、変換、機械学習モデルがリンクされたデータベースに読み込むことができます。これらの機械学習モデルは、ETLプロセスを経たデータを分析し、そのデータに基づいて予測を行います。
データランドスケープにおけるETLの将来
ETLは確かにデータアーキテクチャのバックボーンを担っていますが、Zero ETLの導入により、将来的にこの状況が変わる可能性があります。Zero ETLでは、従来の抽出、変換、読み込みプロセスは不要になり、データはターゲットシステムにほぼリアルタイムで転送されます。
データエコシステムには、さまざまな新しいトレンドが存在します。テクノロジートレンドについての知識を拡大するには、unite.aiを参照してください。
