言語モデルはどこで止めるべきか：給与計算、入学審査など、ミスが許されない分野のためのAI設計

ここ数年、誤った回答が金銭的な代償を伴う製品にAIを組み込んできました。具体的には、ミスが誰かの銀行口座に影響するオーストラリア市場向けのAI給与計算コンプライアンスプラットフォームと、学生のその後の4年間を左右しかねない、マッチングの精度が低いと問題が生じる大学入学支援製品です。どちらの設計でも、決め手となった問いは同じでした。決定論的な仕組みに引き継ぐ前に、言語モデルにどこまで任せるべきでしょうか。

米国では給与計算の5件に1件に誤りがあり、訴訟に発展した場合の費用を除いても、1件あたりの平均損失額は291ドルに上ります。EUのAI法では、入学審査の決定や雇用管理に用いられるAIが、ハイリスクカテゴリーに分類されています。

数字の管理はルールに任せる

金額や法的責任が関わる事項はすべて決定論的なルールに委ね、モデルはそのルールに沿って解釈し、説明するにとどめます。それ以上のことはさせません。

給与計算プラットフォームでは、給与計算のルールとAIとの間に明確な境界を設けることを目指しました。まず給与計算の専門家が、構造化された形式で支給ルールを定義します。次にシステムがそのルールを処理し、そこから生じうるあらゆるシナリオを生成します。このシナリオ一式が、モデルの判断の基準となります。モデルが新たなルールを作成したり、既存のルールを変更したり、使用する情報源を選んだりすることはできません。関連するルールセットを検索し、料率表を参照し、使用したシナリオを提示することだけができます。ルールの作成、シナリオの生成、情報源の選択は、すべてAIレイヤーの外で行います。

入学支援製品も同じ考え方に基づいています。所在地の要件、予算の上限、教育機関の状況、資格要件の基準は、モデルがランキングに影響を与える前にルールとして適用されます。たとえば、学生がカリフォルニア州内の大学に通う必要があると伝えた場合、モデルが州外の大学をほかの点で有力な候補と判断したとしても、その条件を覆すことはできません。モデルが扱うのは、より柔軟な希望条件と説明です。おおむね正しければよいとは言えない領域では、決定論的なロジックが安全策となります。

検索拡張でモデルの回答を根拠づける――ただし限界もある

検索拡張生成（RAG）を使うと、回答をモデルが学習時に取り込んだ情報ではなく、組織独自のポリシーに基づかせることができます。しかし、その効果は過大に評価されています。スタンフォード大学のRegLabが、RAGを用いた商用の法律調査ツールを検証したところ、それでも17%から33%の割合で幻覚が発生しました。検索によってモデルが回答できる範囲は狭まりますが、それでも誤答することはあります。

私はそれを実際に経験しました。給与計算プラットフォームで、ある事例に適用される正しい雇用裁定をシステムが見つけたにもかかわらず、モデルは残業ルールを誤って解釈しました。正しい情報源が検索されていたのに、回答は誤っていました。その後、モデルが自ら判断できる範囲を大幅に厳しく制限しました。重要な給与計算ルールは明示的な業務ロジックに移し、すべての回答に根拠資料を求め、失敗した事例を基にしたテストも追加しました。適切な情報にアクセスできても、モデルがそれをどう使うかを制御しなければ意味がありません。

すべての回答を追跡可能にする

回答を生成する前に、システムは使用したルールブックとそのバージョンを、モデルやその他のリクエストの詳細とともに正確に記録します。AIの回答が社内ポリシーに基づいていたと言うだけでは、検証は困難です。特定の協定の第7版を使って生成され、その版が保存されていてほかの版と比較できると示せれば、はるかに強い証拠になります。また、モデルとツールの呼び出しもすべて追跡します。ユーザーが何を尋ねたか、何が検索されたか、どのツールが実行されたか、モデルが何を返したか、途中でエラーが起きたかを記録します。サポートへの問い合わせがあれば、誤った回答がどこから生じたのかを正確に確認できます。チャットボットが作り出した割引を航空会社に適用するよう裁定機関が命じた2024年のAir Canadaをめぐる裁定は、こうした対応を怠った場合の代償を示しています。

影響が及ぶ場面には人を関与させる

NISTの生成AIプロファイルでは、システムが単独で行う処理と、人の関与が必要な処理の境界を、ガバナンス上の判断事項として扱っています。システムの確信が持てない場合、情報が食い違う場合、または判断がユーザーに大きな影響を与える可能性がある場合は、人による確認に回します。入学審査では、学生のプロフィールが通常と異なる場合や、学生の必須条件を満たしていると明確に判断できない推薦を、カウンセラーの確認対象として通知します。この手順により、一見妥当に見えても学生のプロフィールにある制約を見落としていた推薦が見つかり、いずれの事例もシステムの改善に反映されました。どちらの製品も、それだけで最終決定を下すことはありません。推薦を判断材料として用いる前にカウンセラーの意見が必要であり、給与計算システムが作成する給与明細もすべて、発行前に承認を受ける必要があるものとして通知されます。人による確認をすべてのリクエストに求めるわけではありません。目指すのは、通常のケースを確信を持って自動化し、システムが不確実と判断する十分な理由がある場合に人を関与させることです。

現時点でモデルに任せられることを見極める

私は、あらゆるワークフローに実用的な基準を当てはめています。誤った出力が人に届く前に検出して取り消せるなら、その工程はモデルに任せられます。ルールに照らして回答を確認できるなら、その判断はルールに委ね、モデルには説明させます。誤った出力が誰かに気づかれる前に給与や入学審査の判断に影響するなら、その工程を任せる準備はできていません。

規則集を前にした解釈者として、言語モデルはこれまでで最も優れている。ミスに厳しい分野では、言語モデルが担うべきなのは解釈までだ。