AIが正しいのにプロセスが間違っている場合

金融サービスでよくあるシナリオを想像してみましょう。契約のレビューにAIを導入します。数百ページ、繰り返しの条項、通常、従業員が数日かけて行う作業です。モデルはリスクと正しい段落への参照を特定します。しかし、出力は合計しません。

問題は、契約フォルダにあることがわかります。ファイルは、contract_v1.docx、contract_v2.docx、contract_final.docx、contract_final2.docx、contract_finalfinal_THIS_ONE.docxという名前で並んでいます。

AIは、最も最近保存されたファイルを選択しました。しかし、そのファイルは、誰かが間違えて先週開いて自動保存した古いバージョンでした。

モデルは、設計どおりに動作しました。しかし、プロセスはそれを裏切ったのです。

モデルが問題ではない場合

前の記事で、私はAIの失敗はモデル外のガバナンス、所有権、意思決定構造で始まることが多いと主張しました。しかし、ガバナンスは問題の部分にすぎません。AIシステムが、古い文書、非公式の例外、または人間の作業の遅いペースに設計された承認パスに依存するプロセスに基づいている場合、AIシステムは苦労するでしょう。

AIシステムが貧弱な結果を生み出す場合、モデルは最初の容疑者です。モデルは、妄想した、タスクを誤解した、または弱いプロンプトを受け取ったのかもしれません。しかし、モデルは設計どおりに動作した場合もあります。失敗は、情報を提供するプロセスまたは出力を処理できない組織で発生しました。

AIの導入は、常に存在していたが、見えなかったプロセスの問題を明らかにします。診断ツールのように、人間が無意識に補っていた、文脈の欠如、所有権の不明確さ、文書化されていない作業のやり方を暴露します。

容量のないスピード

AIは、出力を加速するだけでなく、エスカレーション、意思決定のリクエスト、問題の発見も加速します。モデルはリアルタイムに異常を検知します。金曜日の午後に誰かがログを確認するのではなく、すぐに検知します。

組織はこのペースに適応していません。承認プロセス、エスカレーションパス、意思決定権限はすべて、人間のスピードに調整されていました。AIが組織が吸収できるよりも速く出力を生み出す場合、3つのことが起こり得ます。

• AIは決定を待ちます。効率性の向上が無効になります。
• 従業員はAIの出力を無視し、古いプロセスに戻ります。
• 従業員は、スピードを維持する圧力に駆られて、適切に確認せずに決定を下します。

一部の従業員は、安全性を感じるために、手動でのチェックに戻ります。他の従業員は、テクノロジーが約束するスピードを維持する圧力に駆られて、確認せずに結果を承認します。どちらの場合も、組織は責任ある決定を下すスピードが上がらないまま、出力が速くなります。

所有権も曖昧になる可能性があります。異常を検知し、モデルが間違っているかどうかを判断し、問題をエスカレートする責任者は誰ですか? 明確な答えがない場合、AIはバックグラウンドで動作を続け、誰も真正に所有していない出力を生み出します。

これは、より広範な組織的な問題を反映しています。 Forbesの分析によると、テクノロジーが組織の準備をするよりも早くワークフローを変える場合、結果は効率性ではなく、過労になるということです。AIはプロセスの1段階を加速するかもしれませんが、その価値は、周囲の組織がAIが出力するものを吸収して活用できるかどうかに依存します。

書き留められなかった沈黙の知識

マーティンが会社のサプライヤーとの契約には、2,000ユーロ未満の支払いについての例外があるとします。3年前に口頭で合意されたものの、文書化されませんでした。会社が支払い承認を自動化するためにAIを導入すると、システムは支払いをブロックします。書面の契約書によると、正しくはブロックします。

これは、組織の知識が人々の頭の中に住み、システムの中にない場合です。すべての会社にはこのような知識があります。しかし、どの会社も、このような知識がどれだけあるかを知りません。

AIは、利用可能な知識のみを使用できます。マーティンの例外は、システムの観点からは存在しません。文脈がなければ、AIの決定は技術的には正しいですが、運用的には間違っている可能性があります。

マッキンゼーも、エージェントAIの導入における同様の課題を特定しています。有効なAIエージェントを構築するには、従業員の頭の中にある専門知識を標準的な手順にコード化する必要があります。言い換えれば、AIの導入は、組織がプロセスにどれだけ依存しているかを初めて見る機会になるかもしれません。

真実の偽の源

最も危険なAIの出力は、必ずしも明らかに間違っているものではありません。それは、信頼性が高く、専門的に提示された答えですが、古い情報から生成されたものです。

多くの部門は、長年にわたって、同じ文書の複数のバージョンを使用して運営してきました。法務のジェーンは、どのバージョンが権威あるものかを常に知っていました。AIは、残念ながら、そんなことは知りません。

AIにバージョンを区別するルールが与えられなければ、システムは受け取った文書に疑問を抱く理由はありません。したがって、AIのレビューは正しく実行されますが、間違った文書に対してです。那は、レビューが全くないよりも悪い場合があります。出力は信頼性が高く見えますが、実際はそうではありません。

経験豊富な従業員は、真実がどこにあるかを知り、混沌の中を航海できます。しかし、システムは、どの情報が現在、承認済み、関連性があるかを判断するための信頼できる方法が必要です。

書き留められなかった知識、信頼性のない文書、人間のスピードに基づいて構築された承認プロセスは、別々の問題のように見えます。しかし、すべての根底には同じ原因があります。AIによって作成されたものではありませんが、AIによってこれらの問題を無視することは難しくなります。

エージェントを構築する前に回答する質問

エージェントを導入する前に、組織は3つの質問に答えることができるはずです。

どの決定は、書き留められなかった知識に依存していますか?

これは、経験豊富な従業員が説明することなく適用する、例外、ショートカット、判断を特定することを意味します。インタビューだけではこの知識をすべて明らかにできない可能性があります。組織は、実際の作業の実施方法を観察し、公式のプロセスと比較する必要があるかもしれません。

システムは、どのようにして現在、承認済み、関連性のある情報を特定しますか?

エージェントに更多の文書を提供するだけでは問題を解決できません。承認された契約とドラフト、または有効なポリシーと古いポリシーを区別できない場合です。バージョニング、所有権、承認状態、保持ルールは、システムがどのソースを基準とするかを判断するのに十分に明確でなければなりません。

既存の承認およびエスカレーションプロセスは、エージェントの出力の量とスピードを吸収できるか?

チームは、エージェントが完了できる作業の量だけでなく、レビュー、例外、エスカレーションの量も見積もらなければなりません。 NIST AIリスク管理フレームワークは、AIシステムの人間による監視の役割と責任を明確に定義することを推奨しています。これらは、システムの導入前に、従業員がそれに圧倒される前に設計される必要があります。

これらは、1回だけ答える質問ではありません。プロセスは変化し、文書は古くなり、書き留められなかった例外は再び蓄積されます。したがって、準備は、導入前にのみ確立されるのではなく、維持される必要があります。

AIの準備はプロセスから始まる

AIの準備は、テクノロジーのテストだけではありません。組織がプロセスを明確にし、テクノロジーがそれらの中で動作できるようにしたかどうかのテストです。

組織をAIに準備するには、モデルを選択したり、エージェントを構築したりするだけでなく、所有権を明確にし、権威ある情報を特定し、例外を文書化し、出力のレビュー、エスカレーション、実行方法を再設計する必要があります。

これは難しい作業ですが、失敗した導入は、組織がそれを行うことを強いられるでしょう。変数は、タイミングだけです。