AIイニシアチブには完全なデータは必要ない：エンタープライズAIの実践的アプローチ

エンタープライズAI市場は、2030年までに204億ドルに達すると予測されている。92％の組織は、次の3年間でAI投資を増やす予定である。しかし、MITの調査によると、AIプロジェクトの90％はパイロット段階を超えることができない。主要な原因はモデル精度ではなく、データ品質である。

取締役会では、ChatGPTとClaudeを比較検討している。しかし、間違った質問をしている。実際の問題は、組織のデータがAI実装に適しているかどうかである。大多数の企業は、断片化された、不一致な、コンテキストが欠如したデータ基盤の上に高度なAI機能を構築している。

これは高額な失敗につながる。金融機関は、収益金額を妄想するチャットボットを展開する。小売業者は、販売終了された製品を推奨するレコメンドエンジンを実装する。製造業者は、基本的な運用上の質問に答えることができない予測分析に投資する。これらの失敗は、基礎となるデータ準備を省略して高度なモデルを実装しようとすることから生じる。

データ複雑性の課題を理解する

エンタープライズデータは3つのカテゴリに分けられる。各カテゴリには、異なる準備アプローチが必要である。AIの成功を決定づけるのは、これらの違いを理解することである。

構造化データは、明確な行と列を持つデータベースやスプレッドシートに格納される。多くの組織は、整理されたトランザクションシステムがAI準備を意味すると仮定する。しかし、この仮定は問題を生み出す。AIシステムは、データの断片化ではなく、コンテキストのギャップのために構造化データに苦労する。AIが複数のデータベーステーブルにわたる「ProductID」フィールドに出会うと、明示的な指示なしにはこれらの関係を理解できない。結果として、AIはデータにアクセスするが、有意義に分析することができない。

非構造化データは、反対の課題と機会を提示する。このカテゴリには、電子メール、文書、プレゼンテーション、ビデオ、その他の人間が生成したコンテンツが含まれる。ここに、ほとんどの組織の知識が存在する。従来の分析ツールは、非構造化データに苦労する。現代のAIシステムは、これを処理するように設計されている。成功には、体系的な準備が必要である。組織は、数千のPDFをアップロードして、有意義な洞察を期待することはできない。有効な実装には、コンテンツのセグメント化、メタデータの作成、および検索の最適化が必要である。

半構造化データは、複雑な中間領域を占める。JSONファイル、システムログ、およびレポートは、整理された要素と物語的コンテンツを混合する。一般的な間違いは、これらのソースを純粋に非構造化として扱うことであるが、これにより、貴重な整理されたコンポーネントが失われる。AIの成功実装には、構造化要素を解析し、非構造化の洞察を保存し、そしてそれらを再組み合わせて包括的な分析を行うことが必要である。

各データタイプには、特定の準備戦略が必要である。AIシステムは、この複雑さを処理するように構成する必要がある。組織がすべてのデータを均一に扱うと、AI実装が1つのデータタイプで優れており、他のデータタイプでは失敗することになる。

AIパフォーマンスを妨げるコンテキストギャップ

コンテキストは、AIの成功において最も重要な要素である。しかし、これは最も一般的に見過ごされるものである。人間のアナリストは、データ解釈に数十年のビジネス知識を持ち込む。四半期報告書をレビューするとき、彼らは「収益」が米国の売上後の税金を表すことを理解している。AIシステムは、そのような理解を持たない。明示的なコンテキストなしでは、AIは「47%」を収益金額として解釈するかもしれないが、実際の値は470万ドルである。結果として、根本的に欠陥のあるビジネス推奨が行われる。

コンテキストギャップは、基本的なデータ解釈を超える。各組織は、一般的なメトリックに対して独自の定義を開発する。「顧客獲得コスト」は、スタートアップと確立された企業ではまったく異なることを意味する。「顧客離れ率」の計算は、業界や企業によって大きく異なる。AIシステムは、これらの組織的ニュアンスについて明示的な指示を受ける必要があるため、有意義な洞察を提供することができる。

従来のドキュメンテーションアプローチは、AI実装に失敗する。サーバー上に保存された静的なデータ辞書は、AIシステムにとって不可視であり、すぐに古くなってしまう。成功した組織は、AIが活発に参照できる「生きた」ドキュメンテーションを作成する。これは、ビジネスルールが進化するにつれて自動的に更新される。

ここで、自動化と人間の入力のバランスが重要となる。機械は、技術的な関係を特定することに優れている。データベースシステム全体でテーブルAがテーブルBに接続されていることを認識する。ただし、ビジネスコンテキストは、人間の専門知識によってのみ提供される。人間は、特定のメトリックが重要である理由、計算方法、および正常なパフォーマンス範囲と懸念されるパフォーマンス範囲を説明する。AIの成功実装には、自動発見と人間の知識キュレーションの組み合わせが必要である。

AI時代のリスクの増大

AI実装は、従来のデータ問題を前例のないスケールとスピードで増幅させる。従来のデータガバナンスの課題は、AIシステムが組織の境界を越えて情報にアクセス、処理、および共有するときに、指数関数的に複雑になる。

人間のユーザー用に設計されたアクセス制御メカニズムは、AIシステムには不十分である。従来のセキュリティモデルは、セールスアナリストに特定のフォルダへのアクセスを許可するかもしれない。しかし、AIアシスタントは、無害なように見えるクエリを介して、機密情報を承認されていないユーザーに意図的に公開する可能性がある。カスタマーサービスAIは、競合他社の価格データにアクセスし、それをクライアントコミュニケーションで共有する可能性がある。組織は、AIがさまざまなコンテキストで共有できることと共有できないことを理解するための、十分に洗練されたセキュリティフレームワークが必要である。

GDPRコンプライアンスは、人間がデータ駆動型の決定を下したときに難しいものであった。現在、組織は、AIアルゴリズムが特定の結論に到達した方法を説明する必要がある。彼らは、自動化された決定の監査証跡を維持する必要がある。彼らは、AIトレーニングデータがプライバシーレギュレーションに準拠していることを確認する必要がある。「説明の権利」は、決定者が人間のアナリストではなくアルゴリズムシステムである場合に、新しい意味を持ちます。

信頼を築くには、新しいテストと監視のアプローチが必要である。従来の品質保証は、システムが予想される条件下で正しく機能するかどうかに焦点を当てていた。AIシステムは、失敗するタイミング、失敗の程度、および失敗の理由を検出するために、継続的な監視が必要である。組織は、システムのパフォーマンスメトリックだけでなく、AIの決定ごとにリアルタイムの監視を実装する必要がある。

フィードバックループは、改善に重要となる。ユーザーがAIの応答を修正すると、その修正は貴重なトレーニングデータを表す。ただし、組織がそれを体系的に収集して組み込む場合にのみである。ユーザーのフィードバックを収集し、修正を検証し、AIの動作をそれに応じて更新するプロセスが必要である。

ビルド対バイヤー決定をナビゲートする

組織は、内部のAI能力を開発するか、外部のプラットフォームとパートナーシップするかという選択に直面する。各アプローチには、組織の能力と戦略的目標に一致する必要がある独自の利点と課題がある。

内部AI能力を開発することは、最大の制御とカスタマイズの可能性を提供する。組織は、独自の要件に合わせてシステムを開発できる。彼らは、データとアルゴリズムの完全な所有権を保持する。ただし、リソース要件は大きい。内部開発の成功には、データエンジニア、AIスペシャリスト、ドメインエキスパートのチームが必要である。開発には12〜24か月かかる。隠れたコストには、急速に進化するAIテクノロジーに追随すること、24時間体制でシステムを維持すること、およびタイムラインの遅れを幹部に説明することが含まれる。

プラットフォームソリューションは、より迅速な実装と技術的なオーバーヘッドの削減を約束する。組織は、データをアップロードし、基本的な設定を構成し、すぐにAIの洞察を生成し始めることができる。ただし、組織は、プラットフォームの機能を慎重に評価し、それを独自の要件と比較検討する必要がある。重要な考慮事項には、データ形式の互換性、業界特有の理解、データセキュリティとプライバシーの保護、および既存のシステムとの統合機能が含まれる。

多くの組織にとって、ハイブリッドアプローチが最も効果的である。プラットフォームソリューションから始めることで、企業はAIの価値を迅速に証明し、同時に独自の要件について学ぶことができる。組織が何が機能するかを理解した後、内部開発と継続的なプラットフォーム使用のどちらが適切かについて、十分な情報に基づいた決定を下すことができる。

前進するための実用的なフレームワーク

AIの成功実装は、野心的な計画ではなく、誠実な評価から始まる。組織は、既存のデータアセットをインベントリ化することから始めるべきである。このプロセスは、通常、予想よりも多くの複雑さと一貫性の欠如を明らかにする。包括的なAI変換を試みるのではなく、AIが明確な価値を提供できる特定の、測定可能な問題を特定することが成功した企業である。

基礎作業には、重要な努力が必要であるが、必須である。これには、データのクリーンアップ、コンテキストのドキュメンテーション、 アクセス制御の実装、および明確に定義された成功メトリックを持つパイロットテストが含まれる。組織は、現実的なタイムラインを計画する必要がある。数か月または数年という単位で考える。段階的に機能を構築する。

基礎作業を完了し、競合他社がAIモデルを選択することに焦点を当てている間に、企業は大きな利点を得ることができる。技術の選択は、AIシステムを成功させるために必要な準備よりもはるかに重要である。

待機のコスト

AI革命は、組織の準備に関係なく進行する。企業は、適切なデータ準備に今投資するか、後で大きなコストと複雑さで対処することを選択することができる。AIのリーダーとなる企業は、成功は最も洗練されたモデルを選択することではなく、どのAIシステムでも有意義なビジネス価値を提供できるデータ基盤を構築することにあることを早期に認識する。

エンタープライズリーダーが直面する質問は、どのAIテクノロジーを実装するかではなく、どのAI実装でも成功させるために必要な困難な作業を組織が行っているかである。AIの機能は毎月進化する。持続可能な競争優位性は、将来に起こり得る技術的進歩をサポートできるだけの堅牢なデータ基盤を持つ企業に属する。