ループの中の人間はガバナンスではない

AIのリスクに対する明らかな答えは、「ループの中に人間を置く」ことです。しかし、このフレーズは難しい部分を隠しています。

ループの中の人間は、ループが設計されている場合にのみ機能します。そうでない場合、人間は次の3つの失敗のいずれかになります:

• ボトルネックです。AIの出力のレビューには、手動で作業するのと同じ時間がかかるからです。
• ゴム印です。レビュアーは過負荷で、証拠を見たり、ビジネスの文脈を理解したりできないので、承認をクリックしてキューを動かすために承認します。
• または3番目の失敗: クランプゾーンです。ループの中に人間を追加することで、機関は責任者を指名しますが、その人物に実際の管理権限、時間、権限、停止システムの能力、次の実行への変更の方法を与えません。結果は人間に落ちますが、決定の基盤は変わらないままです。

ここで、エンタープライズAIの周りの会話の多くが間違っています。人間が作業をレビューするかどうかについて話し合いますが、レビューの設計については話し合いません。人間を追加することでガバナンスが作られるという仮定をします。実際にはそうではありません。ガバナンスは、レビュアーが有意義な管理権限、有意義な可視性、決定後にシステムを改善する能力を持っているかどうかに依存します。人間のレビューは価値がありますが、判断が重要な場所に配置され、有意義な判断を下すための十分なコンテキストが与えられている場合にのみです。

検証ゲートはレビューステップ以上のものです

ゲートは一時停止ボタンではありません。検証インターフェイスです。

エージェントまたは自動化が提案を生成した場合 – ドラフト応答、推奨アクション、分類、支払承認、ケースルート、返金パケット、または却下書簡 – レビュアーはすぐに何が起こるかとその理由を理解する必要があります。

実際の検証ゲートには、重要なものを示す必要があります: 提案されたアクション、裏付けとなる情報、チェックされたルール、ビジネス遷移、使用される権限、書き込まれる監査レコード、レビューをトリガーした不確実性または例外、承認、編集、拒否、またはエスカレーションのための選択肢。

これらの要素はすべて理由があるために存在します。提案されたアクションは、システムが何をするつもりかを説明します。裏付けとなる証拠は、理由を説明します。ルールと権限は、推奨が組織のポリシーに適合しているかどうかを示します。不確実性は、レビュアーに何故人間がループに入ったのかを教えます。まとめて、レビューを推測から検証に変えます。

レビュアーがこれらをすべて手動で再構築しなければならない場合、ゲートは構築されていません。

ゲートの目的は、間違いが起こる前にそれを止めることだけではありません。2番目の目的はより重要です。機関の判断を捉えます。

ここで、エンタープライズの展開が複合し始めます。実際の承認、編集、拒否、またはエスカレーションの決定はすべて機関の判断を捉えます – ただし、ゲートがなぜそうであるかを捉える場合にのみです。

承認はデータではありませんが、検証はそうです。

スタンプだけがついたクリックは何も捉えません。検査された、編集された、拒否された、またはエスカレーションされた決定と理由コードは、次のバージョンのシステムが学習できる信号を捉えます。レビュアーが見ないで承認をクリックすると、システムは何も学びません。レビュアーが編集、拒否、エスカレーションし、理由を与えると、機関は判断を捉えます。

時間の経過とともに、これらの判断は組織の最も貴重な資産の1つになります。ポリシーが不明確な場所、ワークフローが一貫して崩壊する場所、例外が最も頻繁に発生する場所、自動化がより自信を持って行われるべき場所、またはより制限されるべき場所を明らかにします。目的は、単により多くの作業を自動化することではありません。将来の決定の質を向上させるために、経験豊富な人が今日判断を下す方法を捉えることです。

責任は名前のある所有者以上のものです

その違いは、組織が責任について考える方法を変えます。

ゲートだけでは不十分です。名前のある所有者だけでは不十分です。監査ログだけでは不十分です。

責任には結果の受け入れが必要です: 間違いは、将来の行動を変更できる場所に着地する必要があります。

エンタープライズAIを結果のある作業に展開する前に、組織は5つの質問をしなければなりません:

1. このアクションが間違っている場合、誰が結果を受け取りますか?
2. その人物またはシステムは、アクションの前に有意義な管理権限を持っていましたか?
3. 責任のある所有者は、エージェントまたは自動化を検査、制限、オーバーライド、または停止できますか?
4. 責任は、所有者が実際に持っていた管理権限に比例していますか?
5. 次の実行の前に何が変わりますか: スキル、ルール、許可、ワークフロー、自動化、検証ゲート、理由コード、トレーニング、または信頼クラス?

有意義な管理権限のない人間ゲートはガバナンスではありません。クランプゾーンです。

ループは、 捕獲された判断が何かを変更するまで閉じられません: スキル、ルール、許可、エスカレーション閾値、自動化、テスト、レビューアインターフェイス、トレーニングプラン、監査サンプル、または信頼クラス。次のバージョンのシステムを変更しない結果は、学習ではなく、インシデントです。組織は、毎回の有意義なレビューが次のシステムバージョンを変更するときに改善されます。ポリシーを改良することによって、許可を強化することによって、自動化を改善することによって、または検証エクスペリエンス自体を強化することによってです。

ガードレールは失敗を防ぎます。評価は信頼を築きます。

組織はまた、ガードレールと評価を区別する必要があります。彼らは解決する必要のある異なる問題を持っています。

1. ガードレールは実行時に動作を強制します。スキーマチェック、不安全なパラメータブロッカー、許可チェック、PIIレダクション、プロンプトインジェクション防御、ツール使用制限は、起こる前に不安全な動作を防ぐために存在します。
2. 評価は、時間の経過とともにパフォーマンスを測定します。品質、ドリフト、ツールの選択、エスカレーションの品質、コスト、待機時間、ポリシーのコンプライアンスを調べます。システムが信頼に値するかどうかを組織に伝えます。

1つは現在の決定を保護します。他は将来の決定を改善します。

ガードレールと評価は異なる目的を持ち、責任者も異なります。プラットフォームはポリシーを強制します。オペレーターは結果を評価します。共に、システムを改善するためにガバナンスを犠牲にすることなくフィードバックループを作成します。

システムはポリシー、請求書レコード、裏付けとなる文書、以前のケース、組織のプレイブックを取得します。トライアージュパケットを準備し、重大性を提案し、不足している証拠を特定し、ルールが必要とすれば不正行為のサブケースを開きます。調整者は提案された動き、裏付けとなる証拠、理由コード、監査レコード、承認の結果を見ることができます。複数のシステムからケースを再構築するのではなく、レビュアーは推奨自体を検証することに集中できます。検証後、自動化はケースを更新し、支払いを発行し、追加の文書を要求するか、または作業を終了します。

請求ワークフローは、実践でこれがどのように機能するかを示しています。エージェントはプロセスを覚えていません。公開されたマップの中で動作しました。

アーキテクチャは作業に従うべきです

同じ原則は、作業自体がどのように組織化されているかに関係なく適用されます。すべてのエンタープライズ問題は同じ形をしていますが、ガバナンスはそれを反映する必要があります。作業は目標、ケース、安定したワークフローから始まることがあります。アーキテクチャは作業に従うべきです。逆にではなく。

目標主導の展開は、指定されたパスではなく結果から始まります。顧客のエスカレーションを解決します。アカウントのチャーンリスクを削減します。この不正行為シグナルを調査します。この更新プランを準備します。目的地は明確ですが、ルートは新しい情報が利用可能になるにつれて変更される可能性があります。マスターエージェントは作業を分解し、承認されたエージェントとツールを使用し、承認された自動化を呼び出し、管理された境界内で人間の作業を割り当てます。その強みは適応性です。そのリスクは、制約のない適応性が予測不可能性になることです。

そのため、柔軟なシステムには、より強力なガバナンスが必要です。明確なワークフローの境界、自動化の許可、決定権、監査レコード、エスカレーションのルールは、AIがより能力を持つにつれてより重要になります。エージェントが自分のパスを決定するための自由度が増えるにつれて、機関はそれが動作する境界をより慎重に定義する必要があります。

エンタープライズAIは、ループの中に人間がいるという理由だけで成功することはありません。

それが成功するのは、機関がループ自体を構築する方法を学ぶからです。