マシンラーニングとAIの取り組みをデータ変換で強化する – 思想リーダー

データの種類、速度、容量が増えるほど、予測分析とモデリングを使用して成長を予測し、機会と改善の領域を特定することが実現可能になります。ただし、レポート、機械学習（ML）、人工知能（AI）ツールから最大の価値を得るには、組織が多くのソースからのデータにアクセスし、そのデータが高品質で信頼できるものであることを確認する必要があります。これは、ビッグデータをビジネス戦略に変換する最大の障害です。

データプロフェッショナルは、データを収集して検証して使用するために準備するのに多くの時間を費やしているため、データを分析し、ビジネス価値を導き出すという主な目的に集中する時間がほとんど残りません。驚くことではないですが、76パーセントのデータサイエンティストは、データ準備が仕事で最も楽しくない部分であると言っています。また、現在のデータ準備努力であるデータの手動作業と従来のETLは、ITプロフェッショナルからの手動作業を必要とし、ビッグデータの規模と複雑さに対処するには十分ではありません。

AIの力を利用したい会社は、これらの退屈で主に手動でのプロセスから脱却し、結果として「ゴミ入力、ゴミ出力」のリスクを増大させます。代わりに、複数のソースと形式からの生データを抽出して結合して正規化し、ビジネスロジックとメトリックを追加して分析のために準備するデータ変換プロセスが必要です。複雑なデータ変換を使用すると、AI/MLモデルがクリーンで正確なデータに基づいて信頼できる結果を生成することが保証されます。

ELTを使用したクラウドの力の活用

今日、データを準備して変換する最も適した場所は、Amazon Redshift、Google BigQuery、Microsoft Azure Synapse、またはSnowflakeなどのクラウドデータウェアハウス（CDW）です。従来のデータウェアハウスアプローチでは、データをロードする前に抽出して変換する必要がありますが、CDWはクラウドのスケーラビリティとパフォーマンスを利用して、より高速なデータインジェストと変換を可能にし、多くの異なるデータソースからのデータをCDW内で変換する前にロードすることができます。

理想的には、ELTモデルは、最初にデータをCDWの生ステージングデータ用に予約されたセクションに移動します。そこから、CDWはデータ統合とETLジョブのために利用可能なほぼ無限のコンピューティングリソースを使用して、ステージングされたデータをクリーンアップ、集約、フィルタリング、結合できます。次に、データは、データベースのボールトまたはスタースキーマなどの別のスキーマに変換できます。たとえば、レポートと分析のためにデータを最適化します。

ELTアプローチを使用すると、CDW内で生データを複製して、必要に応じて後で準備して変換することもできます。これにより、スキーマを読み取って、需要に応じて特定の変換を生成するビジネスインテリジェンスツールを使用できます。実質的に、同じデータを新しい用途が見つかるにつれて複数の方法で変換できます。

マシンラーニングモデルの高速化

これらの実際の例は、2つの会社が異なる業界でCDW内のデータ変換を使用してAIイニシアチブを推進する方法を示しています。

ブティックマーケティングおよび広告代理店は、顧客がよりよく特定して理解して動機付けるのを助けるために、独自の顧客管理プラットフォームを構築しました。CDW内でのデータ変換により、プラットフォームはリアルタイムの顧客データをチャネル全体にわたって統合し、360度の顧客ビューを生成して、AI/MLモデルに基づいてより一貫性のある、適切な、パーソナライズされた顧客とのやり取りを行うことができます。

72カ国で3,700万人の顧客に1億回の配達を行うグローバル物流会社は、日常業務を推進するために大量のデータが必要です。CDW内のデータ変換を採用することで、会社は1年間で200のマシンラーニングモデルを展開しました。これらのモデルは1日あたり50万回の予測を生成し、効率を大幅に改善し、インバウンドコールセンターのコールを40パーセント削減する優れた顧客サービスを提供しています。

開始のためのベストプラクティス

クラウド内のデータ変換の力を使用してAI/MLイニシアチブをサポートしたい会社は、特定のユースケースとニーズを理解する必要があります。データを使用して何を行うか（配達ルートの最適化による燃料費の削減、リアルタイムで顧客サービスエージェントに次のベストオファーを提供することによる売上の強化など）から始めて、どのデータが関連する結果を生成するかを逆算することで、プロセスを逆算して、どのデータがAI/MLプロジェクトのモデルを構築するために必要かを特定できます。

一度、AI/MLプロジェクトに必要なデータを決定すると、データを使用するために適したクラウドネイティブELTソリューションが必要です。次のソリューションを探します:

• ベンダー中立で、現在のテクノロジースタックと連携することができる

• テクノロジースタックの変更に合わせてスケールアップおよびスケールダウンして適応できる柔軟性がある

• 複数のデータソースからの複雑なデータ変換を処理できる

• 使用した分だけ支払うペイアスユーゴーモデルを提供する

• 好みのCDW用に特別に設計されており、ジョブをより迅速に実行し、データをシームレスに変換できるCDWの機能を最大限に活用できる

CDWの共通の特性に合わせて設計されたクラウドデータ変換ソリューションは、一貫したエクスペリエンスを提供するかもしれませんが、選択したCDWの強力な差別化機能を活用できるのは、CDWの機能を活用してジョブをより迅速に実行し、データをシームレスに変換できるソリューションのみです。正しいソリューションを使用すると、よりクリーンで信頼できるデータをより短い時間でより多くのソースからAI/MLプロジェクトを強化でき、より迅速で信頼性の高い結果が生成され、以前実現できなかったビジネス価値とイノベーションが実現できます。