AIおよびMLの取り組みをデータ変換で強化する – 思想家

データの種類、速度、量が増えるほど、予測分析とモデリングを使用して成長を予測し、改善の機会を特定することが容易になります。ただし、レポート、機械学習（ML）、人工知能（AI）ツールから最大の価値を得るには、組織が多くのソースからのデータにアクセスし、データが高品質で信頼できるものであることを確認する必要があります。これが、ビッグデータをビジネス戦略に変換する最大の障害であることがよくあります。

データプロフェッショナルは、データを収集して検証して使用するために大量の時間を費やしているため、データを分析してビジネス価値を生み出すという彼らの主な目的に集中する時間がほとんどありません。驚くことではありませんが、76パーセントのデータサイエンティストは、データの準備が仕事で最も楽しくない部分であると言います。また、現在のデータ準備努力であるデータの手動作業と伝統的なETLは、ビッグデータの規模と複雑さに対処するには不十分です。

AIの力を利用したい企業は、これらの退屈でほとんど手動で行われるプロセスから脱却し、代わりに、複数のソースと形式からの生データを抽出して結合および正規化し、ビジネスロジックとメトリクスを追加して分析のために準備します。複雑なデータ変換を使用することで、AI/MLモデルはクリーンで正確なデータに基づいて信頼性の高い結果を生成することができます。

ELTを使用したクラウドの力を活用する

データを準備して変換するには、Amazon (AMZN ) Redshift、Google (GOOGL ) BigQuery、Microsoft Azure Synapse、またはSnowflakeなどのクラウドデータウェアハウス（CDW）が最適な場所です。伝統的なデータウェアハウスアプローチでは、データを抽出して変換する必要がありますが、CDWはクラウドのスケーラビリティとパフォーマンスを利用して、より迅速なデータインジェストと変換を可能にし、データを複数の異なるソースから抽出してCDW内で変換することができます。

理想的には、ELTモデルは、データをCDWの生データステージングセクションに最初に移動します。そこから、CDWはデータ統合とETLジョブのために利用可能なほぼ無限のコンピューティングリソースを使用して、ステージングされたデータをクリーンアップ、集約、フィルタリング、および結合できます。データは、データベースやStar Schemaなどの別のスキーマに変換できます。レポートと分析のために最適化できます。

ELTアプローチを使用すると、CDW内で生データを後で準備して変換するために複製することもできます。これにより、スキーマを読み取って特定の変換をオンデマンドで生成するビジネスインテリジェンスツールを使用できます。つまり、データを新しい用途に発見するにつれて、同じデータをさまざまな方法で変換できます。

機械学習モデルの高速化

これらの実際の例は、2つの企業が異なる業界でCDW内のデータ変換を使用してAIイニシアチブを推進する方法を示しています。

ブティックマーケティングおよび広告代理店は、クライアントが顧客をよりよく特定、理解、動機付けるのを助けるために、独自の顧客管理プラットフォームを構築しました。CDW内のデータを変換することで、プラットフォームはリアルタイムの顧客データをチャネル間で統合して、AI/MLモデルに情報を提供する360度の顧客ビューを作成できます。

72カ国で3700万人の顧客に1億回の配達を行うグローバル物流企業は、毎日50万回の予測を行う200の機械学習モデルを1年で展開しました。これらのモデルは、効率性を向上させ、顧客サービスを向上させ、インバウンドコールセンターの呼び出しを40パーセント削減しました。

開始のためのベストプラクティス

クラウド内のデータ変換の力を使用してAI/MLイニシアチブをサポートしたい企業は、特定のユースケースとニーズを理解する必要があります。データを使用して何を行うか（配達ルートの最適化による燃料費の削減、リアルタイムで次のベストオファーを提供することで販売を促進するなど）を考えて、プロセスを逆から設計して、どのデータが関連する結果をもたらすかを特定することができます。

AI/MLプロジェクトに必要なデータを決定したら、データを使用可能な状態にするためのクラウドネイティブELTソリューションが必要です。以下の条件を満たすソリューションを探します。

• ベンダー中立で、現在のテクノロジースタックと連携できる

• テクノロジースタックの変更に合わせてスケールアップまたはスケールダウンできる

• 複数のデータソースからの複雑なデータ変換を処理できる

• 使用した分だけ支払う価格モデルを提供する

• 好みのCDWに最適化されており、ジョブをより迅速に実行してデータをシームレスに変換できる

CDWの共通の特性を対象としたクラウドデータ変換ソリューションは、一貫したエクスペリエンスを提供するかもしれませんが、好みのCDWの強力な差別化機能を有効にするソリューションのみが、洞察までの時間を短縮する高パフォーマンスを提供できます。適切なソリューションにより、よりクリーンで信頼できるデータをより多くのソースからより短い時間でAI/MLプロジェクトを強化し、より迅速で信頼性の高い結果を生成して、以前に実現できなかったビジネス価値とイノベーションを生み出すことができます。