AIの信頼性問題：誰も話したくない話

AIの信頼性についての主な物語はシンプルだ：モデルは妄想を生み出す。したがって、企業がモデルから最大の利益を得るには、モデルを改善する必要がある。パラメータを増やす。トレーニングデータを改善する。強化学習を増やす。整合性を高める。

しかし、最先端のモデルがより優れたものになっても、信頼性に関する議論は消え去らない。企業のリーダーはまだ、エージェントがコアシステム内で意味のある行動を取ることを許可することをためらっている。取締役会はまだ「信頼できるか？」と尋ねている。

しかし、妄想は主にモデル問題ではない。コンテキスト問題だ。企業のインフラストラクチャ上でエージェントを動作させる際に、安全に推論するために必要な構造的可視性を提供していない。すると、モデルが推測したときに非難する。

実際の信頼性ギャップは、重みではなく、情報層にある。

イメージングなしの外科医

イメージングなしで外科手術を想像してみよう。MRIもCTスキャンもなし。リアルタイムの組織可視化もなし。ただ、解剖学の一般的な理解とメスだけ。最も熟練した外科医でも推測を余儀なくされる。近似する。確率的推論に頼る。

これが現在の企業AIエージェントが行っていることだ。

AIシステムがワークフローを変更したり、ERPルールを更新したり、ツール間で自動化をトリガーしたりするように求められたとき、環境の完全な依存関係グラフを持っていないことが多い。使用されていないフィールドがどのダウンストリームダッシュボードをパワーするかを見えない。どの自動化がそのバリデーションルールを参照するかを見えない。第二次的影響を信頼性高くシミュレートできない。

したがって、大規模言語モデルが行うように、予測する。予測は理解ではない。構造的コンテキストなしで予測することは、妄想のように見える。

間違った議論を続ける

AIコミュニティは、モデル中心の信頼性議論に陥っている。スケーリング法に関する論文。思考の連鎖プロンプティングに関する研究。リトリーバル増強技術。評価ベンチマーク。

すべて必要だ。すべて価値がある。しかし、欠けているものに注目してください：企業システムトポロジーの議論。

企業コンテキストでの信頼性は、単に「モデルが正しいテキストを生成する」ということではない。システムが安全で、追跡可能で、予測可能な変更を行うことを意味する。

これは根本的に異なる要件だ。

OpenAIとAnthropicがモデルパフォーマンスの評価を公開すると、推論タスク、コードベンチマーク、または知識リコールの精度を測定する。これらは有用な信号だ。しかし、AIエージェントが15年間の自動化負債を蓄積したライブ収益システムを安全に変更できる能力を測定していない。

問題は、モデルが構文的に正しいコードを書くことができるかどうかではない。環境へのコードのデプロイを理解するかどうかだ。

生きたシステムはエントロピーを蓄積する

企業システムは静的なデータベースではない。生きたシステムだ。新しい統合ごとに痕跡が残る。キャンペーンごとにフィールドが導入される。各「クイックフィックス」は追加の自動化レイヤーを導入する。時間の経過とともに、これらのレイヤーは誰も完全に理解していない方法で相互作用する。

これは成長の機能だ。複雑な適応システムは自然にエントロピーを蓄積する。MITスローンスクールの研究は、長い間、組織内の非対称情報が運用リスクを高める方法を強調してきた。同時に、ガートナーは、データの品質が悪いと、組織に平均で$12.9百万の年間コストをもたらすと推定している。

さて、構造的不透明性を最初に解決せずに、自律エージェントをその環境に挿入することを想像してみよう。

予測不可能な結果に驚く必要はない。エージェントは悪意的でも愚かでもない。盲目だ。暗闇の中で構築している。

リトリーバルは十分ではない

いくつかの人々は、リトリーバル増強生成（RAG）がこの問題を解決するだろうと主張する。モデルにドキュメントへのアクセスを提供する。スキーマの説明を与える。APIに接続する。

それは役に立つ。

しかし、ドキュメントはトポロジーではない。

ワークフローが「どのように」動作「すべき」であることを説明するPDFは、17の他の自動化と実際に相互作用する方法のリアルタイムグラフではない。

企業の現実は、企業のドキュメントとほとんど一致しない。

2023年のCommunications of the ACMに掲載された研究は、ソフトウェア開発におけるロバストなドキュメントの重要性を強調している。システムはその物語よりも速く進化する。

したがって、AIエージェントにドキュメントを提供する場合、部分的または理想化された地図を提供することになる。

部分的な地図は、自信を持った間違いを生み出す。

エージェントレイヤーは実際の安全レイヤーだ

私たちは、安全性を、整合性トレーニング、ガードレール、レッドチーム、ポリシーフィルタと見なしている。しかし、企業コンテキストでは、安全性はコンテキスト依存である。以下のことがわかっている:

• このフィールドに依存するものは何ですか?
• どの自動化がこのオブジェクトを参照しますか?
• どのダウンストリームレポートが壊れるでしょうか?
• 誰がこのプロセスを所有していますか?
• いつ最後に変更されましたか?
• 現在の構成に先行する歴史的な変更は何ですか?

このレイヤーなしで、AIエージェントは基本的にブラックボックスの中で即興で動作している。 このレイヤーがあると、エージェントは実行前に影響をシミュレートできる。 妄想と信頼性の違いは、可視性の問題であることが多い。

モデルが非難される理由

なぜ、議論はモデルに焦点を当てているのか。モデルは読みやすいからだ。パーセプトロンを測定できる。ベンチマークスコアを比較できる。スケーリング曲線を議論できる。トレーニングデータの品質について議論できる。

企業内の情報トポロジーは、はるかに汚い。クロスファンクショナルな調整が必要だ。ガバナンスの規律が必要だ。組織は自身のシステムの蓄積された複雑さに直面することを強いられる。

「モデルが準備できていない」と言うことは、「インフラストラクチャが不透明だ」と言うよりも簡単だ。

しかし、AIエージェントがコンテンツ生成から運用実行に移行するにつれて、この枠組みは危険になる。

モデルだけに信頼性を求める場合、環境を意味的に認識できないエージェントを継続的に展開することになる。

自律性にはコンテキストが必要

Anthropicの最近の実験は、構造化されたコンテキストと永続的なメモリを提供された場合、AIシステムが複雑なタスクを跨いで調整できることを示している。能力のフロンティアは急速に進化している。しかし、この種の自律性は、環境の認識なしでは脆い。

自律走行車は、強力なニューラルネットワークだけに頼っていない。リダール、カメラ、地図システム、リアルタイム環境センシングに依存している。モデルはより広い認識スタックの1層だ。

企業のAIには、同等のものが必要だ。APIへのアクセスだけではなく、ドキュメントだけではなく、システム依存関係の構造化されたダイナミックな理解が必要だ。

それが存在しない限り、妄想に関する議論は続く。

見えないリスク：過信

現在の枠組みには、もう1つの微妙なリスクがある。

モデルが改善されると、出力はより流暢になり、より説得力があり、より権威的になる。

流暢さは過信を増幅する。

エージェントがコンテキストなしでシステムを変更すると、失敗はすぐには明らかにならないかもしれない。報告の不一致、コンプライアンスのギャップ、または収益予測のエラーとして、数週間後に表面化するかもしれない。モデルは有能に見えるので、組織はその運用安全性を過大評価するかもしれない。実際の故障モードは、妥当な計算ミスだ。

妥当な計算ミスは、暗闇の中で繁栄する。

信頼性の質問を再構成する

「モデルが十分か？」と尋ねるのではなく、「エージェントは安全に動作するために十分な構造的コンテキストを持っているか？」と尋ねるべきだ。ベンチマークの精度を測るのではなく、環境の可視性を測定するべきだ。パラメータ数について議論するのではなく、システムの不透明性を監査するべきだ。

AIの信頼性の次のフロンティアは、単に大きなモデルだけではない。コンテキストレイヤーが豊かだ。

これには以下が含まれる：

• 企業システムの依存関係グラフ
• リアルタイムの変更追跡
• 所有権マッピング
• 歴史的な構成認識
• 実行前の影響シミュレーション

これらはすべて、華々しいものではない。ソーシャルメディアではトレンドにならない。しかし、これが信頼性を勝ち取る場所だ。

ライトを点けた状態で構築する

企業のリーダーは、エージェントに運用権限を与える前に信頼性を要求することに正当だ。ただし、進むべき道は、妄想のないモデルを待つことではない。

可視性インフラストラクチャを投資することだ。知的行動を可能にする。

ジュニア管理者に、依存関係を理解することなく生産システムを変更することを許可しないようにする。AIエージェントにも許可しないべきだ。

目標は、盲点を減らすことだ。

エージェントが構造的認識で動作すると、妄想率は、モデルが変わったからではなく、推測する表面が縮小したために低下する。

予測は推論になる。推論はシミュレーションになる。シミュレーションは安全な実行になる。

避けられないシフト

次の5年間で、AIスタックは2つの層に分岐する。1つの層はモデル能力に焦点を当てる：推論の深さ、多モーダルな流暢さ、コスト効率。もう1つの層は、情報的/コンテキスト依存トポロジーに焦点を当てる：システムグラフ、メタデータインテリジェンス、ガバナンスフレームワーク。

信頼性をモデル選択の演習として扱う組織は苦労するだろう。

信頼性をアーキテクチャの特性として扱う組織は、リスクを減らして進むだろう。

妄想に関する議論は、後見のうちに古いものになるだろう。実際の話は、可視性についてだ。

AIは本質的に無謀ではない。

暗い部屋で動作しているだけだ。

それを解決するまで、知的システムを構築していない。強力な予測器を不透明な環境の中で構築しているだけだ。

それが意味するのは、進歩にもかかわらず、AIはまだ暗闇の中で構築されているということだ。