AIイニシアチブの95%がゼロのROIをもたらす理由

MITの最近の研究によると、95%の組織は生成的なAIイニシアチブからゼロのリターンを得ていることがわかった。測定可能なP&Lへの影響がないにもかかわらず、多大な投資を行っている。見出しは失敗率に焦点を当てていたが、本当の質問は技術が機能するかどうかではない。Large Language Modelsは強力で、利用可能で、急速に改善されている。問題は、企業がそれらをどのように使用しようとするかである。

大多数の組織は、AIエージェントに同じアプローチをとっている。既存のプロセスにAIを追加し、魔法のような効果を期待する。しかし、それが機能しない場合、モデルを責める。しかし、失敗はAIが関与する前に発生する。

私はこのパターンを繰り返し、企業がAIワークフローを構築するのを見てきた。チームは可能性に興奮し、開発に突入するが、同じ予測可能な障害に直面する。5%の成功と95%のゼロROIの違いは、幸運や予算ではなく、AIエージェントの価値を殺す6つの重要なミスの回避にある。

あなたのデータは思ったよりも汚い

大多数のチームは、データを持っていることはAIに適していることを意味すると考えている。彼らはデータレイク、CRM、慎重に維持されたデータベースを指し、成功は保証されていると仮定する。次に、すべてをLLMにダンプし、エージェントがガベージ出力を生み出すか、予算を数日で消費することを不思議に思う。

汚いデータは汚いエージェントを作る。もし、あなたが生のデータベースダンプ、HTML埋め込まれたエクスポート、または構造化されていないテキストブロブをAIエージェントに送信している場合、あなたはそれを失敗させることになる。モデルは、関連のないフィールド、フォーマットのアーティファクト、純粋なボリュームによって混乱し、困惑する。

チームは、通常、決定に重要なのは3つだけである47フィールドの顧客レコードを送信する。彼らは、ゼロのセマンティック価値を追加するが、貴重なトークンを消費するUUIDを含める。彼らは、クリーンで構造化された情報の代わりに、内部ツールからスクラップしたHTMLをエージェントに送信する。

あなたは予想よりも早く制限に当たる

すべてのチームは、コンテキストの制限に当たることはないと信じている。「私たちはわずか数人の顧客レコードしか処理していない」と彼らは言う。「どれほど難しいことがあるだろうか？」次に、彼らのエージェントは500のサポートチケット、各チケットにフルな会話履歴を含む、を分析する必要があり、突然、彼らは100万トークンの上限に当たる。

大きなコンテキストは、誰もが予想するよりも早く蓄積する。エスカレーションを処理する顧客サポートエージェントは、チケット履歴、ナレッジベースの記事、以前のやり取り、製品ドキュメントへのアクセスが必要になるかもしれない。那は、各リクエストで容易に数十万のトークンになる。同時ユーザーにそれを掛けると、インフラストラクチャのコストは制御不能になる。

ナイーブなアプローチは、モデルにすべてを送信し、最善を祈ることである。賢いチームは、リクエストをチャンクに分割し、各ピースを要約し、次に要約の要約で動作する。这种階層的な要約は、リクエストを管理可能なままに保ちながら、エージェントが良い決定を下すために必要な重要な情報を保持する。

セキュリティはすぐに複雑になる

チームは、AIエージェントの個性と能力に興奮し、基本的なガイドラインを書き、保護されていると考える。しかし、実際には、AIエージェントは従来のアプリケーションとは根本的に異なるセキュリティ思考を必要とする。

AIエージェントはだまされ、操作され、従来のセキュリティモデルを破壊する方法で操作されることができる。ユーザーの入力には、慎重に作成されたプロンプトを上書きする隠された指令が含まれることがある。エージェントは、ガイドラインを無視し、見てはいけないデータにアクセスしたり、意図した範囲外のアクションを取ったりすることができる。

賢い実装には、エージェントが何ができるかできないかを厳密に定義する必要がある。状態を変更するすべてのものについては、書き込む、メールを送る、API呼び出しを行うには、提案-正当化-承認ワークフローが必要である。エージェントは何をしたいか、そしてなぜしたいかを説明し、次に人間の承認を待つ。こうすることで、AIの利点を維持しながら、暴走する自動化を防ぐことができる。

何が実際に機能するか

数百のAIエージェントの実装を観察してきたが、6つの実践が成功した展開と高価な失敗を区別している。

第一に、データの清潔性がある。コンパクトで、型付けされたJSONを固定スキーマで送信する。UUID、HTML、重複フィールド、または決定に重要でない機密情報を除去する。可能であれば、機密データをメタデータに置き換える。これにより、モデルは焦点を維持し、ペイロードのサイズ、コスト、待ち時間を削減する。

第二に、コンテキスト管理である。你は予想よりも早くトークン制限に当たる。リクエストを小さなチャンクに分割し、各チャンクを要約し、次に要約で動作する。この階層的なアプローチにより、リクエストは管理可能なままに保ちながら、必要なコンテキストを保持する。

第三に、プロンプトの安全性である。エージェントが何ができるかできないかを厳密に定義する。状態を変更するすべてのものについては、提案-正当化-承認ワークフローを実装する。すべてのユーザーコンテンツを信頼できないものとして扱い、コードとリンクを除去し、モデルにユーザーテキストに隠された指令に従うことを決してしないように指示する。プロンプトと出力の異常またはポリシーの違反を含む動作を継続的に監視し、境界が時間の経過とともに有効なままであることを確認する。

第四に、コストの管理である。リクエストごととワークフローごとのトークンとコストの予算を設定する。ツールとプロンプトによるトークンの使用をログに記録し、早期に後退を検出する。規律がなければ、採用が増加するにつれて、暴走する請求書または待ち時間のスパイクに直面することになる。

第五に、品質保証である。実際のインシデントとエッジケースのプライベート評価セットを保持する。精度、リコール、後退を追跡する。新しいモデルは、通常、悪い方法で驚かせる。重要なワークフローについては、一貫した出力を得るために、温度をゼロに近づけ、シードされたバックエンドを使用する。

第六に、ガバナンスである。情報が流れる前に、データ共有契約を締結する。共有されるもの、保護される方法、誰が責任を負うかを明確にする。これは、法的なカバーだけではなく、データを真剣に受け止めていることを示す信号である。

なぜ大多数のチームが失敗するのか

AIエージェントのプロジェクトは、ROIをもたらさないのは、チームが間違ったことに焦点を当てているからである。彼らは、データの品質を無視しながら、どのモデルを使用するかについて執念している。彼らは、基本的なセキュリティコントロールを省略しながら、複雑なワークフローを構築する。彼らは、コストの管理なしにエージェントを展開し、請求書が急上昇したときにパニックになる。

成功した5%は、AIエージェントは単なるソフトウェアではなく、新しいカテゴリのデジタルワーカーであり、異なる管理慣行が必要であることを理解している。彼らは、クリーンなデータ、明確な境界、そして常に監督が必要である。基礎を正しく設定すると、AIエージェントは強力な生産性の乗数になる。間違えると、ゼロの測定可能なリターンをもたらした高価なAI投資について、95%がなぜ失敗したのかを疑問に思うことになる。