Vals AIの法律扶助ベンチマーク、地域に根差した支援ではAIモデルに課題

NextLadder VenturesとVals AIは2026年11月10日、司法アクセス・ベンチマークを発表し、252件の法律扶助シナリオを対象に、信頼できる最初の相談窓口となるための基準である80％に達したAIモデルは23モデルのうち一つもなかったと報告した。

ベンチマークの結果と評価方法からは、法律を説明する能力と、実際に役立つ支援先を見つける能力との間に大きな隔たりがあることが分かる。Vals AIによると、一般的な法律説明では、モデルは専門家が設定した評価基準の78～87％を満たした一方、地域の法律扶助プログラム、裁判所のセルフヘルプセンター、特定の書式など、具体的な支援先を特定する課題では30～50％にとどまった。21モデルは、最終回答の少なくとも70％で、LawHelp.org、ABAのFind Legal Help、211などの全国規模の窓口を挙げており、該当する地域のプログラムや窓口を一貫して特定できていなかった。

共同発表によると、Qwen 3.8 Maxが評価基準の76.4％を満たして首位となり、Claude Sonnet 5.5が74.9％、Wonder Fullが74.7％で続いた。ただし、3モデルの成績はいずれも互いの誤差範囲内にある。このように数値が接近しているため、順位だけで明確な首位を決めることはできない。

Vals AIのリサーチサイエンティスト、Meghana Kotcherlakota氏は、法律事務所や企業顧客に焦点を当てた法律分野のAIベンチマークとの違いについて、次のように述べた。「最も支援を必要とする人々に、これらのモデルが個々の問題ごとにどれだけ役立つかを示し、改善が進んでいるかを追跡するために、司法アクセス・ベンチマークを構築しました。」

今回の発表では、Legal Services Corporationの2022年の司法格差調査を踏まえて結果を位置づけている。同調査によると、低所得の米国人は、民事上の法的問題の92％について、法的支援を受けられなかった、または十分な支援を受けられなかった。支援を求めなかった人のうち、46％は費用を理由に挙げた。この調査では、NORC at the University of Chicagoが約5,000人の成人を対象に実施したアンケートと、同法人の資金提供を受ける法律扶助団体のデータが用いられた。

ベンチマークによる初回相談対応の評価方法

このベンチマークでは、各モデルを、受付担当者や裁判所のセルフヘルプセンターのような最初の相談窓口に見立て、法律上の助言ではなく、一般的な法律情報を提供させた。法律実務家2人が実際の相談内容を提示し、その後、法律扶助の専門家6人が担当州に合わせて内容を調整した。対象となった州は、カリフォルニア州、ルイジアナ州、バージニア州、ニューヨーク州、メリーランド州、テキサス州である。専門家は、会話の中でモデルが尋ねない限り提示されない背景情報、難易度評価、平均15.4項目の独立した評価基準からなるルーブリックに加え、最初に提示する質問も作成した。

データセット全体には504件のシナリオが含まれ、公開テストセットと非公開の検証セットに均等に分けられた。評価対象の各モデルはウェブを検索し、ページを開き、GPT-5が模擬する相談者に質問できた。その後、自動評価システムのDecider v1.2が会話全体を採点した。提供されたのは、評価対象モデルが求めた情報だけであり、模擬相談者がほかの情報を付け加えたり、誤った前提に異議を唱えたりすることはなかった。モデルのスコアは、テストシナリオ全体で満たしたルーブリックの評価基準の割合を合算したものだった。

会話の進め方と情報源の選択から課題が明らかに

モデルが読んだページのうち、42％を占めたのは法令、裁判所規則、判例であり、法律扶助団体や非営利団体のセルフヘルプサイトは10％だった。Vals AIは、この傾向がスコアの差につながっていると指摘する。法令を読めば一般的な説明はできるが、次に利用者が連絡すべき団体や裁判所の窓口の名称までは分からない。

Vals AIによる会話分析では、やり取りの平均は約3.5回だった。大半のモデルは、質問をするとしても、その前に最初の回答で一通りの説明をしていた。GPT-6.1 Solは、最初の回答の末尾に88％の割合で質問を置いたものの、必要な事実を尋ねたかどうかを測るルーブリックの「情報引き出し」項目では68.1％で18位だった。この対照から、質問の頻度が高くても、専門家が指定した事実を必ずしも引き出せるとは限らないことが分かる。質問をしなかったモデルの中には、利用者の居住州や、すでに裁判所命令が出ているかどうかといった情報を推測したものもあった。

Vals AIの分野別結果では、住宅および家主・借主間の問題が全モデルを通じて75.4％と最も高かった。一方、公的給付に関する問題は57.3％で最も低かったが、このカテゴリーのシナリオは5件にすぎなかった。家族法のシナリオは110件で、平均は71.2％だった。その内訳では、面会交流が61.3％、児童保護機関が関わる親族による養育が63.0％だった。

発表に含まれた2つの事例は、こうした弱点が案内にどう影響したかを示している。ルイジアナ州の少額訴訟で、口頭による返済の約束が問題となった事例では、債務が不動産に関係するかを尋ねたモデルは8つにとどまり、提訴期限の10年が過ぎると回収できなくなると警告したモデルは4つ、請求書式や手数料免除の申請書式を入手できる裁判所書記官のウェブサイトを案内したモデルは3つだった。退去後の敷金返還が問題となったニューヨーク市の事例では、専門家のルーブリックが避けるよう注意していた、裁判外で請求書を送る手順を勧めたとして14モデルが減点された。市のRight to Counselプログラムを案内したモデルは4つにとどまった。

無料プランと有料モデルのスコア

大手チャットボット提供事業者を対象にした別の比較では、Vals AIが無料枠に該当すると推定したモデル群の平均スコアは69.7％で、プレミアムモデルの70.4％を下回った。Claude Sonnet 5.5はClaude Opus 5.5を1.2パーセントポイント上回り、xAIのプレミアムモデルだけが、同社の無料枠モデルに対して明確な優位性を示した。ただし、比較における各モデルのプラン区分は推定であり、各提供事業者による確認済みの対応関係ではない。また、同一のAPIテストでは、一般消費者向けチャットボットの振る舞いを完全には捉えられない。オープンウェイトモデルは対象から除外された。

両組織は、現場の実務担当者が残された課題を理解できるよう、より包括的な分析と追加の概要資料の作成に協力していると述べた。こうしたシステムを評価する法律扶助団体にとって、実務上の示唆は、法律を説明することは初回対応の性能を構成する要素の一つにすぎないということだ。このベンチマークでは、モデルが事案の展開を左右する事実を掘り起こせるか、さらに、地域に即した具体的な次の対応を提示できるかも評価している。