あなたのAIエージェントはビジネスを理解していないため失敗する

昨年、アブサ銀行は、金融犯罪検出モデルの構築から本稼働までに120日かかった。しかし、同じ銀行は現在、15日で新しいモデルを展開できる。規制環境、取引量、コンプライアンス要件は同じだが、驚くべき進歩だ。

しかし、プライスウォーターハウスクーパースの調査 によると、56%の企業のCEOはAI投資から重大な財務上の利益を得ていない。企業のリーダーに話を聞くと、AIエージェントを導入してワークフローを自動化すれば、すぐにROIが見込めるという話を聞く。しかし、18ヶ月と数百万ドル後、ビジネスへの影響は見られない。欠けている要素はドメインコンテキスト、内部ビジネス上の決定を下すためにエージェントに必要な、運用上の根拠のある理解であり、エージェントが間違えたときに何をするかということだ。

エージェントがアドバイスを停止して行動を開始するとき

ガートナー によると、2027年までに、50%のビジネス上の決定はAIエージェントによって増強または自動化される。最近まで、AIの役割はアドバイスすることであり、従業員が決定を下すことだった。最悪のシナリオは、見逃された洞察、遅れた決定、またはアラートに対する対応の欠如だった。エージェントの場合、結果はより深刻だ。

世界的大手製薬会社のバイオロジクス工場では、検査官がラボドアをスキャンすると、自動的に正しい検査ワークフローが起動し、部屋の機器と仕様に合わせて調整される。エージェントは検査をシーケンス化し、参照資料を提示し、検査官が確認できるようにする。GxP規制工場では、すべての検査は監査可能でなければならないため、エージェントは実際の結果をもたらす環境で運用負荷を担っている。

現在のガバナンスフレームワークは、人間が単一システムの出力を確認する周期的なモデルレビューのために構築された。現在、エージェントはタスクを他のエージェントに渡し、ワークフローを調整し、誰も気が付く前にプロセスチェーン全体に悪影響を及ぼす。

汎用エージェントが壁に当たる理由

汎用エージェントは、制御された条件下では真正に印象的なものに見える。しかし、企業運用では、制約、相互依存関係、明らかな判断が必要となる。誰もが床で働いたことがあり、モデルが教えられていないものは見えにくい。

世界的大手食品・飲料会社のカテゴリマネージャーは、異なるスケールで同じ問題に直面した。96%の市場シェアがあり、伝統的なレバーはもう残っていない。カテゴリマネージャーは、100以上のデータソースを統合し、1,000以上の属性をストアごとに定義し、AIモデルがショッパーの行動プロファイルを構築できるようにした。結果は、3つのショッパークラスター、週次の小売パートナーとのスプリント、8%のインクリメンタルセールス増加、35%のシェルフリセット高速化だった。

これは、エージェントがすでにプランオグラムとは何か、ショッパークラスターとは何か、プロモーションの変更が隣接するカテゴリにどのように波及するかを理解していたからだ。汎用モデルは、業界固有の語彙を教え込む必要があり、12〜18ヶ月かかる。企業にはその時間がない。

なぜガバナンスをアーキテクチャする必要があるのか

現在の説明責任フレームワークは、モデル出力の説明と周期的なレビューのために構築された。エージェントがワークフロー内で不可逆的なアクションをトリガーする場合に何が起こるかについては構築されていない。

中央・東ヨーロッパ市場で事業を展開する保険会社と協力したことがある。コンプライアンス上の決定を下す際には、各市場の規制要件を考慮する必要がある。顧客のデューディリジェンスの決定は、入力、モデル、出力、承認者の記録が含まれるライブレコードとして追跡される。同社のAIシステムは、1つの市場ではコンプライアンスのある取引をルーティングできるが、別の市場ではコンプライアンスのある取引をルーティングできない。コンプライアンスアナリストの手動による判断は必要ない。

これは、アブサが15日で本稼働のAMLシステムを展開できるアーキテクチャと同じだ。スピードが組み込まれているため、銀行はすぐに政策バージョンを規制当局に渡すことができる。

ガバナンスレイヤーに早期に投資する企業は、18ヶ月後でもエージェントを大規模に実行している。デプロイ後にこれをコンプライアンスの実行として扱う企業は、再構築しなければならない。

ドメインインテリジェンスはファインチューニングではない

有能な基礎モデルは、単独で企業の成果を確実に提供できない。企業の運用には、深い、狭い専門知識が必要だ。2つを混同することは、業界に時間とリソースを費やしたが、まだ最も一般的な間違いだ。

ドメインインテリジェンスは、RAG（Retrieval-Augmented Generation）を適用したり、汎用モデルをファインチューニングしたりすることではない。エージェントが情報を処理できるグロサリーストアと、ビジネスが5,000個の個別に調整されたプランオグラムを750以上のストアに展開した方法を理解するエージェントとの違いだ。

このような運用上の流暢さは、ドメイン固有のトレーニングデータ、実際の運用上の制約を中心に構築された意思決定ロジック、価格変更がマージンにどのように影響するか、商品の変更が棚の利用可能性にどのように影響するか、そしてそれがショッパーのロイヤルティにどのように影響するかを含む知識レイヤーから来る。アメリカの大手スーパーマーケットチェーンでは、このつながれた推論が2億ドルのインクリメンタルプロフィットをもたらした。

このような根拠付けや、すでに仕事をしているパートナーから得ることは、データ、ドメインの専門知識、機関的判断をコード化するための規律のある前払いコストだ。如果この根拠付けが急いで行われると、実証実験ではドメインに精通しているように見えるエージェントが、初めて本稼働のエッジケースで壊れる。

企業のエージェントを正しく構築することの意味

企業が有能なモデルを既存のワークフローにドロップし続けると、ROIが現れないことを取締役会に認めることになる。MIT によると、企業がジェネレーティブAIに投資したにもかかわらず、95%の組織がゼロのリターンを得ている。ROIが見つからない企業に属したくない場合は、最初の日からドメインインテリジェンスを構築し、ガバナンスをアーキテクチャに組み込み、エージェントに具体的な成果を責任付ける。

エージェントの背後にあるモデルは、皮肉にも、最も耐久性のない部分だ。より優れたモデルが来季からリリースされる。現在使用している会社またはその競合他社からだ。次のモデルリリースで変わらないのは、あなたのエージェントがあなたのビジネスを理解しているかどうかだ。你のビジネスを理解しているエージェントを構築する必要がある。成功するエージェントは、市場で最も有能な汎用エージェントではないが、あなたのビジネスにさらに多くのことを行うためにあなたの信頼を得るだろう。

原文記事の参照元: en.wikipedia.org [1] · aws.amazon.com [2] · mlq.ai [3]