AIイニシアチブには完全なデータは必要ない：実用主義者の視点から見たエンタープライズAI

エンタープライズAI市場は、2030年までに204億ドルに達する。92％の組織は、次の3年間でAI投資を増やす予定である。ただし、MITの研究によると、AIプロジェクトの90％はパイロット段階を超えて進まない。且つ、主な原因はモデルソフィスティケーションではなく、データ品質である。

取締役会では、ChatGPTとClaudeを比較検討している。しかし、彼らは間違った質問をしている。実際の問題は、組織のデータがどのAI実装にも準備されているかどうかである。大多数の会社は、断片化された、不一致な、コンテキストが乏しいデータ基盤の上に洗練されたAI機能を構築している。

これは、悲劇的な失敗につながる。金融機関は、収益金額を妄想するチャットボットを展開する。小売業者は、販売終了した製品を推奨するレコメンドエンジンを実装する。製造業者は、基本的な運用上の質問に答えることができない予測分析に投資する。これらの失敗は、基礎となるデータ準備を省略して高度なモデルを実装しようとすることから生じる。

データ複雑性課題の理解

エンタープライズデータは、3つのカテゴリに分類される。各カテゴリには、異なる準備アプローチが必要である。这些違いを理解することは、AIの成功を決定する。

構造化データは、見慣れたものである。情報は、明確な行と列を持つデータベースとスプレッドシートに格納されている。多くの組織は、整理されたトランザクションシステムがAI準備完了を意味すると仮定する。この仮定は、問題を生み出す。AIシステムは、構造化データに苦労するが、それは不整理のためではなく、コンテキストギャップのためである。当AIが複数のデータベーステーブル間の「ProductID」フィールドに遭遇するとき、それらの関係を明示的に指示されなければ理解できない。結果として、AIはデータにアクセスするが、有意義に分析できない。

非構造化データは、反対の課題と機会を提示する。このカテゴリには、電子メール、ドキュメント、プレゼンテーション、ビデオ、その他の人間が生成したコンテンツが含まれ、組織の知識の大部分がここに存在する。従来の分析ツールは、非構造化データに苦労する。現代のAIシステムは、それを処理するように設計されている。成功には、体系的な準備が必要である。組織は、数千のPDFをアップロードして有意義な洞察を期待することはできない。有効な実装には、コンテンツセグメンテーション、メタデータ作成、および検索最適化が必要である。

セミ構造化データは、複雑な中間領域を占める。JSONファイル、システムログ、レポートは、整理された要素と物語的コンテンツを混合する。一般的な間違いは、これらのソースを純粋に非構造化として扱うことであり、貴重な整理された要素を失う。AIの実装に成功するには、構造化要素を解析しながら非構造化インサイトを保存し、それらを再結合して包括的な分析を行う必要がある。

各データタイプには、特定の準備戦略が必要である。AIシステムは、この複雑さを処理するように構成する必要がある。組織がすべてのデータを均一に扱うと、AIの実装は1つのデータタイプで優れており、他のタイプでは失敗する。

AIパフォーマンスを妨げるコンテキストギャップ

コンテキストは、AIの成功における最も重要な要素である。同時に、最も一般的に見落とされるものである。人間の分析者は、データ解釈にビジネス知識を数十年蓄積してきた。四半期報告書を確認するとき、人間は「収益」が米国の税引後売上をドルで表すことを理解している。AIシステムにはそのような理解がない。明示的なコンテキストなしで、AIは「47%」を収益金額と解釈するかもしれないが、実際の値は470万ドルである。これにより、根本的に欠陥のあるビジネス推奨が生じる。

コンテキストギャップは、基本的なデータ解釈を超える。各組織は、共通のメトリックに対して独自の定義を開発する。「顧客獲得コスト」は、スタートアップと既存の企業ではまったく異なることを意味する。「顧客離れ率」の計算は、業界や会社によって大きく異なる。AIシステムは、有意義な洞察を提供するために、これらの組織的ニュアンスについて明示的な指示が必要である。

従来の文書化アプローチは、AIの実装に失敗する。サーバーに保存された静的なデータ辞書は、AIシステムには不可視であり、すぐに古くなってしまう。成功した組織は、AIが活発に参照できる「生きた」文書化を作成する。この文書化は、ビジネスルールが進化するにつれて自動的に更新される。

ここで、自動化と人間の入力のバランスが重要となる。機械は、技術的な関係を特定することに優れている。機械は、データベースシステム全体で列AがテーブルBに接続されていることを認識する。ただし、ビジネスコンテキストは、人間の専門知識だけが提供できる。人間は、特定のメトリックがなぜ重要であり、どのように計算されるか、また正常なパフォーマンス範囲と懸念されるパフォーマンス範囲の違いを説明する。AIの実装に成功するには、自動化された発見と人間の知識キュレーションを組み合わせる必要がある。

AI時代の増大するリスク

AIの実装は、従来のデータ問題を前例のないスケールとスピードで増幅させる。従来のデータガバナンスの課題は、AIシステムが組織の境界を越えて情報にアクセス、処理、および共有するときに、指数関数的に複雑になる。

人間のユーザー用に設計されたアクセス制御メカニズムは、AIシステムには不十分である。従来のセキュリティモデルは、セールスアナリストに特定のフォルダーへのアクセスを許可するかもしれないが、AIアシスタントは、無害なように見えるクエリを介して機密情報を承認されていないユーザーに公開する可能性がある。顧客サービスAIは、競合他社の価格データにアクセスしてクライアントコミュニケーションで共有する可能性がある。組織は、AIがさまざまなコンテキストで共有できるものと共有できないものを理解するために十分に洗練されたセキュリティフレームワークが必要である。

AIシステムが個人の影響を受ける決定を下す場合、コンプライアンス要件は大幅に複雑になる。GDPRコンプライアンスは、人間がデータ駆動型の決定を下したときは難しかったが、今では組織は、AIアルゴリズムが特定の結論に到達した方法を説明する必要がある。組織は、自動化された決定の監査ログを維持し、AIトレーニングデータがプライバシーレギュレーションに準拠していることを確認する必要がある。「説明の権利」は、意思決定者が人間の分析者ではなくアルゴリズムシステムである場合、新しい意味合いを持つ。

信頼を築くには、新しいアプローチがテストと監視に必要である。従来の品質保証は、システムが予想される条件下で正しく機能するかどうかに焦点を当てていた。AIシステムは、失敗するタイミング、重大性、および理由を検出するために継続的な監視を必要とする。組織は、システムパフォーマンスメトリックだけでなく、AIの各決定に対してリアルタイム監視を実装する必要がある。

フィードバックループは、改善に重要となる。ユーザーがAIの応答を修正すると、その修正は貴重なトレーニングデータを表す。ただし、組織がそれを収集して体系的に組み込む場合に限る。これには、ユーザーフィードバックの収集、修正の検証、およびAIの動作の更新のためのプロセスが必要である。

ビルド対バイヤー決定のナビゲーション

組織は、内部AI能力を開発するか、外部プラットフォームと提携するかという選択に直面する。各アプローチには、組織の能力と戦略的目標に一致する必要がある、独自の利点と課題がある。

内部AI能力を構築することで、最大の制御とカスタマイズの可能性が得られる。組織は、独自の要件に正確に合わせたシステムを開発できる。データとアルゴリズムの完全な所有権を維持できる。ただし、リソース要件は大きい。内部開発の成功には、データエンジニア、AIスペシャリスト、ドメインエキスパートのチームが必要である。開発には12〜24か月かかる。隠れたコストには、急速に進化するAIテクノロジーに最新の状態を維持すること、システムを24時間体制で維持すること、およびタイムラインの遅れを経営陣に説明することが含まれる。

プラットフォームソリューションは、より迅速な実装と技術的なオーバーヘッドの軽減を約束する。組織はデータをアップロードし、基本的な設定を構成して、AIの洞察を生成し始めることができる。ただし、組織は、プラットフォームの機能を慎重に評価し、それを独自の要件と比較検討する必要がある。重要な考慮事項には、データ形式の互換性、業界特有の理解、データセキュリティとプライバシーの保護、および既存のシステムとの統合機能が含まれる。

多くの組織にとって、ハイブリッドアプローチが最も効果的である。プラットフォームソリューションから始めることで、企業はAIの価値を迅速に証明しながら、独自の要件について学ぶことができる。組織が何が機能するかを理解した後、内部開発とプラットフォーム使用のどちらが適切かについて十分な情報に基づいた決定を下すことができる。

前進するための実用的なフレームワーク

AIの実装に成功するには、野心的な計画ではなく、誠実な評価から始める必要がある。組織は、既存のデータアセットのインベントリを作成することから始めるべきである。このプロセスは、予想よりも多くの複雑さと不一致を明らかにすることが多い。全面的AI変革を試みるのではなく、成功した企業は、AIが明確な価値を提供できる、特定の、測定可能な問題を特定する。

基礎作業には、多大な労力が必要となるが、不可欠である。これには、データクリーンアップ、コンテキスト文書化、アクセス制御の実装、および明確に定義された成功メトリックを持つパイロットテストが含まれる。組織は、現実的なタイムラインを計画する必要がある。週ではなく、数ヶ月または数年を考えること。

基礎作業を完成し、競合他社がAIモデルを選択することに焦点を当てている間に、企業は大きな優位性を獲得する。技術の選択は、AIシステムを成功させるために必要な準備よりもはるかに重要ではない。

待機のコスト

AI革命は、組織の準備に関係なく進行する。企業は、現在適切なデータ準備に投資するか、後に大幅に高くて複雑なコストで解決しようとするかを選択できる。AIのリーダーとなる企業は、早期に成功は、最も洗練されたモデルを選択することではなく、どのAIシステムでも有意義なビジネス価値を提供できるデータ基盤を構築することにあることを認識する。

エンタープライズのリーダーが直面する質問は、どのAIテクノロジーを実装するかではなく、組織がどのAI実装でも成功するために必要な難しい作業を行ったかどうかである。AIの機能は毎月向上する。持続可能な競争上の優位性は、将来に発生するであろうどの技術的進歩でもサポートできるだけの堅固なデータ基盤を持つ企業に属する。