Akshat Agrawal, GenAI アーキテクト、NeenOpal Akshat Agrawal GenAI アーキテクト、NeenOpal

企業のAIパイロットが本稼働前に停滞する理由：モデルではなく、ハーネスです

モデルは決して難しい部分ではなかった。ビルドの中から、生産はモデル周りの層で勝ち負けが決まる：回収、接地、ルーティング、評価。大手企業のAIに関するすべての調査は同じ壁を描写している：企業はモデルにアクセスでき、パイロットを実行でき、デモで何か印象的なものを見せることができるが、ほとんどの場合、生産には到達しない。報告書は、外側から、幹部がアンケートに答えるという観点からそのギャップを説明している。これは、ビルドの内部からの観点であり、パイロットが生産に到達するか、静かに死にます。すべての人が測定しているギャップ数字はすでに馴染み深いものになっている。 デロイトの企業におけるAIの現状によると、AIへのアクセスはほぼ普遍的になっているが、約4分の1の企業のみが実験の40％以上を生産に移行しており、約5分の1の企業のみが自律エージェントの成熟したガバナンスを報告している。 MITのプロジェクトNANDAは、より率直に言っている：数百の展開の中で、圧倒的な多数は測定可能な財務収入を生み出さなかった。 ガートナーは予測している：多くのジェネレーティブAIプロジェクトは、プルーフ・オブ・コンセプト段階後に放棄されるだろうと予測しており、データの品質の低さ、コストの増加、ビジネス価値の不明確さを理由としている。これらの調査結果をまとめると、単一の形が浮かび上がる。ボトルネックは、モデルへのアクセスではありません。その問題はすでに解決されています。ボトルネックは、デモで機能するモデルと、常に、すべてのユーザーに対して、リアルな負荷の下で、間違えることのリアルな結果を持つシステムの間の距離です。注意すべき事項：多くのパイロットは、エンジニアリングとは無関係な理由で出荷されません：実際的なビジネスケースがない、使用可能なデータがない、幹部の後援がない、または誰もモデル化していない総コストです。これらを別にします。以下は、技術的に実在するパイロット、デモで説得力を持つパイロット、そして本物のユースケースの背後にあるパイロットですが、まだ生産に到達しないパイロットについてです。そうした場合、決定的な要因はほとんどの場合、モデルではありません。調査データが教えてくれないのは、実際にその距離をどのように埋めるかということです。その答えは、アンケートにありません。ビルドの決定されたエンジニアリングの後、システムが信頼できるものになる前に、デモがすべての人の印象を与える前にあります。パターン：決定的な修正はほとんどの場合、モデルではありません私たちが話すことができる企業のAIエンゲージメントでは、一定のパターンが成り立っています：停滞したパイロットが最終的に生産に到達した場合、そこに到達するための変更は、ほとんどの場合、より優れたモデルではありませんでした。それは、モデル周りの層でした：情報が回収され、接地され、出力がユーザーに到達する前にチェックされ、正しいモデルにルーティングされ、評価され続けます。私たちはこれをハーネス層と呼んでいます。エージェントは、実用的には、ツールへのアクセスを持つモデルであり、ハーネスは、そのモデルがコンテキストを回収し、ツールを使用し、生み出すものに対して責任を負うすべてのものです：回収、接地チェック、モデルルーティング、ガードレール、評価。これらのコンポーネントは、孤立して機能しません。特定のユースケースのために、意図的に組み合わせる必要があります。その組み合わせられた規律が、エージェントハーネシングであり、そこで実際に生産性が勝ち負けが決まるのです。これは、プルーフ・オブ・コンセプトの罠を再定義します。チームは、すでに機能している部分を最適化し続けることで停滞します。新しいモデルをスワップし、プロンプトを再エンジニアし、次のフロンティアリリースを待ちますが、実際の故障点は、デモがストレスを与えないシステムの部分にあります。接地は、より賢いモデルではなく、エージェントを出荷するのに十分な安全性を提供します保険の分野で構築した レコメンデーションおよびアドバイザリーエージェントを考えてみましょう。そこでは、自信を持って間違った答えはグリッチではなく、責任です。そうした場合の最初の直感は、利用可能な最も優れたモデルに手を伸ばし、能力が安全性を買うと仮定することです。しかし、それはそうではありません。より流暢なモデルは、より説得力のある幻覚を生み出しますが、規制されたコンテキストでは、それは悪いこと、良いことではありません。システムを出荷可能にしたのはハーネスでした：管理された、テナントセーフなソースのみから回収を設計し、生成されたクレームをソースに対して検証する接地チェック、そして、サポートされていないものを主張するよりも、却下することを好む検証ステップ。結果は、LLMのみのベースラインに対して80～90パーセントの幻覚の測定された削減で、95パーセント以上の接地精度で、P95レイテンシーの下で2秒を保持し、安全性レイヤーがシステムを遅く感じさせないようにしました。モデル選択と安全性を等しくするすべての人のための反直感的な教訓：接地と検証レイヤーがガバナンスです。ポリシードキュメントと承認委員会は重要ですが、モデルが推論時のファクトリゼーションを止めることはできません。回収と検証ハーネスは止められます。私たちの展開では、技術的な接地レイヤーが実際のガバナンスメカニズムです：「AIはものをでっち上げるべきではない」という原則が、システムの実行可能な特性になる場所です。AIコストは、モデルルーティングで決まりますパイロットが死ぬ2番目の場所は、予算レビューです。システムは美しく機能し、まだ、トークン経済学が、千のユーザーと数十のユースケースに掛け算されると、所有権の総コストの問題になることがあります。ここでも、直感は、1つの強力なモデルを選択し、すべてをそのモデルを通じてルーティングするというものですが、それが間違いです。大企業のワークロードのほとんどは、混合です：リクエストの多くはルーチンワークであり、少数は真正に難しいものです。すべてのリクエストをフロンティアモデルに送信することは、ルーチンワークのトライアージュに対してフロンティア価格を支払うことを意味しますが、より小さく、安価なモデルが完璧に処理することができます。私たちが実行した サードパーティLLM APIへの移行から Amazon Bedrock への移行では、モデルの交換ではなく、モデルレイヤーの再構築から利益が得られました。各タスクを適切なモデル階層にルーティングし、Bedrockネイティブのコストとガバナンスコントロールを組み合わせると、AIインフラストラクチャコストが42パーセント削減され、コンプライアントコンテンツの生成が60パーセント高速化され、アプリケーションを再構築する必要はありませんでした。この原則を拡張すると、それが複合します。階層化された「アドバイザー」アーキテクチャ、安価なモデルが大部分のリクエストをトライアージュして処理する、フロンティアモデルは真正に必要な場合にのみ予約される、ルーティングを1回限りの節約から構造的な節約に変えます。このパターンは、エージェントの運用に対する企業のAIコストを60～80パーセント削減させてきました。また、一部の展開では85パーセント削減させてきました。ポイントは、見出しパーセンテージではありません。AIシステムのコストは、モデルを選択したことによって決まるのではなく、アーキテクチャによって決まるということです。これが調査データに不可視である理由これらは、調査にクリーンに現れません。調査は、結果について幹部に尋ね、メカニズムについてエンジニアに尋ねません。「パイロットは生産に到達しましたか？」は、幹部が答えることができるはい/いいえの質問です。「具体的に何がそこに到達させたのですか？」は、ビルドチームのみが答えることができる質問であり、答えはほとんどの場合、「より優れたモデルを見つけた」というものではありません。それは、ほとんどの場合、「モデル周りの層を修正した」というものです。その不一致は、プルーフ・オブ・コンセプトの罠の奇妙な持続を説明しています。業界は、モデル問題を診断し続け、モデルソリューションを購入し続けていますが、実際の制約は、回収、接地、ルーティング、評価にあります：デモが見せない、基盤モデル起動広告が宣伝しない、地味な配管です。また、ガバナンスとデリバリースピードが、想像されているほど反対ではないことを説明しています。一般的な物語は、ガバナンスを出荷のブレーキとして扱います。私たちの経験では、それはほぼ反対です：システムをガバナンス可能にする作業は、システムを信頼できるものにする作業であり、実際のユーザーの前に置くことができるものです。ハーネスレイヤーで行われるガバナンスは、ビルドを遅くするものではありません。出荷を可能にするものです。パイロットが停滞している場合の意味ジェネレーティブAIプロジェクトがプルーフ・オブ・コンセプトのlimboに座っている場合、最も役立つことは、モデルを見てみるという衝動に抵抗することです。モデルは、すでに十分に良い部分です。代わりに、周りの層を見てみましょう： 回収と接地：システムは、管理された、検証可能なソースから回答しているか、訓練から即興で作成していますか？ 検証：ユーザーが見る前に、出力がチェックされることがありますか、モデルが信頼性を直接通過しますか？ ルーティング：すべてのリクエストがフロンティア価格を支払っているか、作業が最も安いモデルにマッチングされていますか、それがうまく機能しますか？ 評価：品質は、自分のベンチマークに対して継続的に測定されていますか、デモで1回検証されただけで、2回目はありませんか？ 2026年にパイロットから生産に移行する組織は、最も優れたモデルへのアクセスを持っているのではありません。誰でもそれを持っています。ハーネスにエンジニアリングの努力を費やし、実際に生産が勝ち負けが決まる場所に理解を向けた組織です。