Scale AI、IMDAとシンガポール法の推論ベンチマークを開始

Scale AIとシンガポール情報通信メディア開発庁（Infocomm Media Development Authority、IMDA）は、2026年11月12日、SG-LegalClarifyを発表した。シンガポール法の10分野にわたる1,860のシナリオを用いて、19の言語モデルを評価する。このベンチマークでは、法的な正確性に加え、回答する前に不足している事実を尋ねるかどうかも検証する。

ScaleはSG-LegalClarifyを、2026年4月に正式化され、2026年7月7日に公表された協力関係のもとで実施する初の研究プロジェクトと位置づけている。このプロジェクトは、国際的なベンチマークでの結果があらゆる国の状況に当てはまると想定するのではなく、各国政府が自国の法律や制度に照らしてAIシステムを評価できるよう支援することを目的としている。

研究論文では、イングランドのコモンローを継承しながら、地域独自の修正やシンガポール固有の法令も適用されることから、シンガポールは難度の高い試験環境だと説明している。そのため、一般的なコモンローの推論に頼るモデルは、適用される現地の規則を見落とす可能性がある。SG-LegalClarifyは、法的に重要な情報が十分にそろっており、そもそも回答可能かどうかを判断するという、別の能力も評価する。

この違いは、日常的な質問でも重要になる。速度違反の罰則を尋ねる運転者は、車両の種類、実際の速度、現在の違反点数を伝える必要があるかもしれない。こうした情報がないまま罰則を示すアシスタントは、もっともらしく断定的でありながら、法的には誤った回答をするおそれがある。

対になる質問でモデルが質問すべき場面を検証

データセットは、英語の元質問1,100件から成る。そのうち340件は必要な情報がすべて記載され、760件は情報が不足している。情報不足の各質問には、隠されていた事実を含む、必要な情報がすべて記載された対応質問が用意されている。質問は、資格を確認済みの弁護士23人が作成し、そのうち7人は査読者も務めた。弁護士としての経験年数は2年から37年で、中央値は6年だった。

各質問には、論点の特定、法規則の想起、当てはめ、結論を網羅する、弁護士が作成した採点基準が設けられており、データセット全体で基準項目は12,546件に上る。そのうち89.0%は、実質的に正しい回答に必須とされる項目であり、主要な結果には必須項目のみが集計されている。

まず各モデルは、質問にそのまま回答するか、事実を追加で確認するかを、十分性判定の段階で選択する。事実確認に進んだ場合、シミュレーション上のユーザーは、モデルが明示的に求めたときに限り、隠されていた事実を明らかにする。人間の弁護士による評価との比較を通じて選定された3モデルから成るAI判定パネルが、各基準項目を多数決で採点する。

検索でスコアは向上したが、確認質問には依然課題

論文によると、外部検索なしの評価ではClaude Fable 5が必須基準項目の69.8%を満たし、平均の53.8%を上回って首位となった。ウェブ検索を利用した場合はKimi K3が77.8%で首位となり、平均も63.0%に上昇した。向上幅にはばらつきがあったものの、すべてのモデルで成績が改善した。採点項目のうち最も弱かったのは法規則の想起で、合格率は検索なしで43.2%、検索ありで56.5%だった。

Scaleの概要によると、外部検索なしの評価で、事実が不足していたシナリオの約39%では確認質問が行われなかった。一方、すでに十分な情報が含まれていたシナリオの約28%では、モデルが不要な質問をした。情報が不足していた場合でも、モデルが質問したのは、法律の専門家が特定した関連事実の平均でわずか39%だった。

関連する不足情報をすべて尋ねたウェブ検索対応の試行を記述的に比較したところ、正しい法的結論に至った割合は55.6%、誤った結論に至った割合は32.1%、結論を示さなかった割合は12.3%だったと論文は報告している。つまり、情報を漏れなく集めても、法律を正しく適用できるとは限らなかった。

評価の限界と公開計画

著者らは、結果にはいくつかの限界があると指摘している。AI支援ツールの人間による検証は限定的で、提供事業者ごとの差異により検索ツールへのアクセス条件を統一できず、事前のルーティングが確認質問の挙動を変えた可能性もある。また、注釈付けされた不足変数のすべてが個々の事例を解決するうえで必要とは限らないため、事実確認の網羅率が不完全だからといって、確認質問が不十分だったとは限らない。

研究者らは、各カテゴリーの元質問の50%を公開し、残りは非公開の評価用に保持する計画だ。また、情報不足の質問と必要な情報がすべて記載された対応質問は、必ず同じ分割に含める。公開用分割でのモデル出力と評価パイプラインも公開する予定だ。

論文の倫理に関する声明では、スコアを、モデルが監督なしで法的助言を安全に提供できる証拠として解釈すべきではないとしている。法務AIを評価する政府にとって、この調査結果は、確認質問も正確性の一部であることを示している。システムは、現地の法律でどの事実が重要とされるかを認識し、その情報を得たうえで法律を正しく適用しなければならない。