95%のAIイニシアチブがゼロのROIをもたらす理由

MITの最近の研究によると、95%の組織はゼロのROIをもたらすAIイニシアチブを持っていることがわかりました。大量の投資にもかかわらず、計測可能なP&Lへの影響はありません。ヘッドラインは失敗率に焦点を当てていましたが、本当の問題は技術が機能するかどうかではありません。Large Language Modelsは強力で、利用可能で、急速に改善されています。問題は、企業がそれらをどのように使用しようとするかです。

ほとんどの組織は、AIエージェントに同じアプローチをとります。既存のプロセスにAIを追加し、魔法のように機能することを期待します。しかし、機能しない場合は、モデルを責めます。しかし、失敗はAIが関与する前に発生しています。

私は、AIワークフローを構築する企業でこのパターンを繰り返し見ています。チームは可能性に興奮し、開発に突入し、同じ予測可能な障害に遭遇します。5%の成功と95%の失敗の違いは、幸運や予算ではありません。AIエージェントの価値を殺す6つの重要なミスの回避です。

あなたのデータは思っているよりも汚い

ほとんどのチームは、データを持っていることはAIの準備ができていることを意味すると考えています。彼らはデータレイク、CRM、慎重に維持されたデータベースを指し、成功は保証されていると仮定します。次に、すべてをLLMに投入し、エージェントがガベージ出力を生成したり、予算を数日で費やしたりする理由を不思議に思います。

汚いデータは汚いエージェントを作ります。 生のデータベースダンプ、HTML埋め込まれたエクスポート、または構造化されていないテキストブロブをAIエージェントに送信する場合、失敗するように設定しています。モデルは関連のないフィールド、フォーマットのアーティファクト、または大量のデータによって混乱します。

チームは、47のフィールドを持つ顧客レコードを送信しますが、決定に重要なのは3つだけです。彼らは、ゼロの意味のある値を追加するUUIDを含めます。彼らは、クリーンで構造化された情報ではなく、内部ツールからスクラップしたHTMLをエージェントに送信します。

予想よりも早く制限に当たる

すべてのチームは、コンテキストの制限に当たることはないと信じています。 「私たちはわずか数人の顧客レコードしか処理していない」と彼らは言います。 「どうして難しいでしょうか？」 しかし、彼らのエージェントがフルな会話履歴を含む500のサポートチケットを分析する必要があるとすると、突然、100万トークンの上限に当たることになります。

大きなコンテキストは、誰もが予想するよりも早く蓄積します。 エスカレーションを処理する顧客サポートエージェントは、チケット履歴、ナレッジベースの記事、以前のやり取り、製品ドキュメントへのアクセスが必要になる場合があります。 これは、1回のリクエストあたり数十万トークンになります。 同時ユーザーに乗じると、インフラストラクチャのコストは急激に増加します。

ナイーブなアプローチは、モデルにすべてを送信し、最善を祈ることです。賢いチームは、リクエストをチャンクに分割し、各ピースを要約し、要約の要約で操作します。 この階層的な要約は、リクエストを管理可能なままに保ち、エージェントが良好的な決定を下すために必要な重要な情報を保持します。

セキュリティは早くも複雑になる

チームは、AIエージェントの個性と能力に興奮し、基本的なガイドラインを書き、保護されていると考えています。 実際には、AIエージェントは従来のアプリケーションとは根本的に異なるセキュリティ思考が必要です。

AIエージェントはだまされ、操作され、従来のセキュリティモデルを破壊する方法で操作できます。 ユーザーの入力には、プロンプトを上書きする隠された指示が含まれる場合があります。 エージェントは、ガイドラインを無視し、見てはいけないデータにアクセスしたり、意図した範囲外のアクションを実行するように説得される可能性があります。

賢い実装では、エージェントが行うことができることとできないことを明確に定義する必要があります。 状態を変更するすべてのこと (データの書き込み、電子メールの送信、APIの呼び出しなど) に対して、提案-正当化-承認ワークフローが必要です。 エージェントは何をしたいか、そしてなぜそうしたいかを説明し、次に人間の承認を待ちます。 これにより、AIの利点を維持しながら、自動化の暴走を防ぐことができます。

何が実際に機能するか

数百のAIエージェントの実装を観察してきたところ、6つの実践が成功した展開と高価な失敗を区別しています。

第一に、データの清潔性があります。コンパクトなJSONを送信し、型を付けてスキーマを固定します。UUID、HTML、重複したフィールド、または決定に重要でない機密情報を除去します。可能であれば、機密データをメタデータに置き換えます。モデルは焦点を当て、ペイロードのサイズ、コスト、待ち時間を削減します。

第二に、コンテキストの管理があります。予想よりも早くトークンの制限に当たることになります。リクエストを小さなチャンクに分割し、各チャンクを要約し、要約で操作します。この階層的なアプローチは、リクエストを管理可能なままに保ち、必要なコンテキストを保持します。

第三に、プロンプトの安全性があります。エージェントが行うことができることとできないことを明確に定義します。状態を変更するすべてのことに対して、提案-正当化-承認ワークフローを実装します。すべてのユーザーコンテンツを信頼できないものとして扱い、コードとリンクを除去し、モデルにユーザーテキストに隠された指示に従わないように指示します。プロンプトと出力を継続的に監視し、異常またはポリシーの違反を検出して、境界が時間の経過とともに有効であることを確認します。

第四に、コストの管理があります。リクエストごととワークフローごとにトークンとコストの予算を設定します。ツールとプロンプトごとのトークンの使用状況をログに記録して、早期に後退を検出します。規律がなければ、請求書の暴走や待ち時間のスパイクに直面することになります。

第五に、品質保証があります。実際のインシデントとエッジケースのプライベート評価セットを保持します。精度、リコール、後退を追跡します。新しいモデルは、通常、悪い方法で驚かせます。重要なワークフローでは、温度をゼロに近づけて、シードされたバックエンドを使用して一貫した出力を生成します。

第六に、ガバナンスがあります。情報の流れが開始される前に、データの共有契約を締結します。共有されるもの、保護されるもの、誰が責任を負うかを明確にします。これは、法的保護だけではありません。データを真剣に受け止めていることを示す信頼のシグナルです。

なぜほとんどのチームが間違うのか

AIエージェントのプロジェクトは、ROIをもたらさないのは、チームが間違ったことに焦点を当てているからです。データの品質を無視して、どのモデルを使用するかについて執着しています。基本的なセキュリティコントロールを省略して、複雑なワークフローを構築しています。コストの管理なしにエージェントを展開し、請求書が急激に増加するとパニックに陥ります。

成功した5%は、AIエージェントが単なるソフトウェアではなく、新しいカテゴリのデジタルワーカーであることを理解しています。彼らは、クリーンダータ、明確な境界、そして常に監視が必要です。これらの基本を正しく行うと、AIエージェントは強力な生産性の乗数になります。間違えると、95%と同様に、高価なAI投資がゼロの測定可能なROIをもたらした理由を不思議に思うことになります。