Soji Mathew Joseph, 創設者兼CEO、TrustLoop Soji Mathew Joseph 創設者兼CEO、TrustLoop

AIの監視には3つの盲点がある — そしてほとんどの企業はそれらを監視していない

企業内のAIの安全性に関する会話のほとんどは、間違ったターゲットに向けられている。チームは、どのモデルを使用するかについて週間を費やし、それを電子メール、支払い、顧客データベース、コードに接続するが、誰かがそれを止めることができるかどうかを尋ねる、より単純な質問をすることを止めることはない。数字は、これがすぐに高くつくことになることを示唆している。ガートナーによると、2028年までに、少なくとも15%のルーチンワークの決定がAIによって自律的に行われることになるが、2024年にはほとんどなかった。同社はまた、2027年末までに40%以上のエージェントAIプロジェクトが中止されることを警告しており、その理由の1つはリスク管理が弱いことである。再度読んでみてください。プロジェクトが終了するのは、モデルが悪いからではなく、誰もそれらを管理する方法を構築しなかったからである。私は生業としてAIのガバナンスシステムを構築しているので、同じギャップを繰り返し見ている。3つのギャップがある。ほとんどの企業はそれらを適切に監視していないし、多くの企業はまったく監視していない。エージェントは大きなもの誰もが自律エージェントについて心配しているが、ほとんどの人は間違った部分について心配している。エージェントの不安定な点は、推論することではない。行動することである。返金を提案するのではなく、実際に返金する。メールを下書きするのではなく、実際に送信する。モデルに一連のツールを渡すと、実際のシステムに手を加えて変更する能力を与えることになる。間違えると、失敗は不器用な文章ではありません。金銭的損失、またはデータベースから静かにテーブルが削除されることになる。さらに、鋭い刃物がある。プロンプトインジェクションは、LLMアプリケーションのOWASPリスクリストのトップに位置しており、当然のことである。モデルに間違ったテキストを与えると、誰も頼んでいないことをするように説得できる。モデルが話すことしかできない場合、それは厄介事である。モデルがツールを呼び出すことができる場合、それはAPIキーを持った攻撃者である。標準的な回答は、エージェントが行うすべてのことをログに記録し、ログを監視することである。いいえ。ログはすでに発生したことの説明である。金庫が空になった後のCCTV映像は、盗難事件の調査には役立つが、盗難を防ぐには役に立たない。誰も言及しない静かなもの2番目の盲点はスライドに乗せられることはない。なぜなら、それは面白くないからだ。ただのAPIコールである。エージェントでも、フレームワークでもない。サービスの中のどこかにあるコードの1行が、プロンプトを組み立ててモデルに送信するだけである。実際の運用環境にあるほとんどのAIはこうなっているが、全体のスタックの中で最も管理されていない部分である。なぜなら、それがとても普通だからだ。サービスの中の3層下にあるHTTPリクエストで、AIポリシーを聞いたこともないエンジニアによって書かれたものである。顧客のデータをサードパーティのモデルに送信したり、ダウンストリームでアクションを開始したりするかもしれないが、誰もチェックせず、独立したものが記録もしていない。人々は混沌としたもの3番目の盲点は人々で、それが最もひどいものである。スタッフは、タスクをChatGPTやClaudeに貼り付けることでより迅速に作業ができることを既に発見しているので、毎日そうしている。実話である。Cyberhavenの実際の職場での使用状況の調査によると、従業員の相当数が機密会社データをChatGPTに貼り付けていることがわかり、多くは会社が見ることができないアカウントから行われている。注意喚起の話を聞きたい場合は、サムスンがそれである。2023年、同社は従業員がChatGPTに社有のソースコードを3回貼り付けたため、社内でのジェネレーティブAIの使用を禁止した。1ヶ月未満の間に3回も。悪意のある行為ではなかった。デバッグを速くしたいと考えていた優秀なエンジニアだった。トラップはそこにある。漏洩は生産性と同じように見える。古いデータ損失ツールではそれを検知できない。ブラウザタブへのコピー&ペーストだからだ。実際に機能するもの3つを並べると、解決策はエージェントに特有のものではなく、1つのアイデアになる。AIが何かをする前に、それを管理することである。難しい道のりで学んだ、本当に重要な数々のこと。アクションの前に座り、後ろに座るのではない。 これが全てのゲームであり、私がオブザーバビリティとガバナンスは同じ言葉ではないと主張する理由である。昨日エージェントが4万ポンドを移動したことを示すダッシュボードは、損失レポートである。転送を停止して人間が確認できるものは、コントロールである。セットアップが何が起こったかしか示さない場合、監視していない。後知恵である。1つのチェックポイントを使用し、ツールごとに1つずつ使用しない。 エージェント、APIコール、スタッフがチャットボットに貼り付けることは、3つの別々の問題のように感じられるので、企業は3つの別々のツールを購入し、ツールの間のギャップで悪いことが起こる。AIが行うすべてのことを、どこから来ても、同じゲートを通過させる必要がある。AIが上書きできないログを保持する。 何かをするシステムが、唯一の記録者でもある場合、記録を持っていない。日記を持っている。EUのAI法の記録保存要件、第12条は、高リスクシステムが行ったことをシステム以外の誰かによって再構築できるように存在する。実践的には、事実後でも静かに変更できない、ログを記録することである。大きな、取り消しできないコールには人間を置く。 すべてにそうする必要はない。そうすると、承認を rubber stamp するまで、承認に人を溺れさせることになる。金銭の移動、データのエクスポート、レコードの削除は、待機して人間が確認する必要がある。EUのAI法は、高リスクシステムのための人間の監視を義務付けている。覚えておくべきことは、監視は、実際に「いいえ」と言う時間と文脈を持っている場合のみ有効であるということである。誰も読まない承認は、ただの演技である。正直な自己診断3つは、コーナーケースではない。ほとんどの企業が現在AIを実行している普通の方法である。静かに、ネットもほとんどない。次の数年間で、醜い事件なしに切り抜けるチームは、美しいチャートを持っているチームではありません。AIが行うすべてのことを、エージェント、APIコール、貼り付けられた段落が、起こる前に1つのゲートを通過することを決めたチームである。自分のセットアップを迅速にテストしたい場合は、2つの質問に正直に答える。3つの表面のうち、どれを見ることができるか。見ることができるもののうち、どれを止めることができるか。多くの企業にとって、2番目の質問の正直な答えはゼロである。最初に修正するべき数字である。