Scale AI 与新加坡资讯通信媒体发展局推出新加坡法律推理基准

Scale AI与新加坡资讯通信媒体发展局（IMDA）于2026年11月12日推出了 SG-LegalClarify，该基准对19种语言模型进行了测试，涵盖新加坡法律10个领域的1,860个情境。此基准既考察法律准确性，也评估模型是否会在作答前询问缺失的事实。

Scale 将 SG-LegalClarify 描述为一项合作下的首个研究项目。这项合作于2026年4月正式确立，并于2026年7月7日公开介绍。该项目旨在帮助各国政府依据本国法律和制度评估人工智能系统，而不是假定国际基准上的结果适用于每个国家和地区。

研究论文指出，新加坡是一个要求严苛的测试环境，因为源自英国的普通法与本地修订条文及新加坡特有的成文法并行。一味依赖通用普通法推理的模型，因而可能遗漏适用的本地法律规则。SG-LegalClarify 还测试另一项独立能力：判断查询是否包含足够的法律实质性信息，以便作答。

这一区别在日常查询中同样重要。询问超速处罚的驾驶者，可能需要提供车辆类型、实际车速以及现有的扣分记录。若助手在缺少这些细节的情况下给出处罚结果，答案听起来可能权威十足，实际上却不符合法律规定。

成对问题检验模型何时会提问

该数据集从1,100个英文原始问题开始构建：340个信息完整，760个信息不足。每个信息不足的问题都有一个包含其隐藏事实的信息完整对应问题。问题由23名经过核实的律师撰写，其中7人还担任审阅者。他们的法律从业年限为2至37年，中位数为6年。

每个问题都配有律师编写的评分细则，涵盖争点识别、规则回忆、法律适用和结论；整个数据集共设有12,546项评分标准。其中，89.0%是给出实质正确答案所必须满足的标准；摘要结果仅统计这些必需项。

首先，充分性关卡会要求每个模型在直接作答和收集事实之间作出选择。在收集事实的流程中，模拟用户只有在模型明确提出请求时才会披露隐藏事实。研究人员通过与人类律师评估结果进行比较，选出由三个模型组成的人工智能评审小组；该小组以多数票对每项评分标准进行评判。

搜索提升了得分，但澄清能力仍显不足

论文报告称，在闭卷测试中，Claude Fable 5 表现领先，满足了69.8%的必需评分标准，而平均值为53.8%。启用网络搜索后，Kimi K3 以77.8%的成绩领先，平均值升至63.0%；所有模型的表现都有提升，但提升幅度不一。规则回忆是得分最低的部分：未使用搜索时通过率为43.2%，使用搜索时为56.5%。

Scale 的摘要报告称，在缺少事实的闭卷测试情境中，约39%的情况下模型没有提出澄清问题；而在信息已足够的情境中，约28%的情况下模型提出了不必要的问题。当事实缺失时，模型平均只会询问法律专家认定的相关事实中的39%。

论文对启用网络搜索的测试进行了描述性比较：在模型询问了所有相关缺失事实的测试中，55.6%得出了正确的法律结论，32.1%得出了错误结论，12.3%则未给出结论。因此，即使完整收集了信息，也不能确保正确适用法律。

评估局限与发布计划

作者指出，这些结果存在若干局限：对人工智能辅助工具的人工验证有限；由于服务提供商之间存在差异，无法为其提供完全相同的搜索工具访问权限；而预先路由可能改变了模型的澄清行为。并非所有标注为缺失的变量都是解决某个案例所必需的，因此，未能询问所有事实并不必然意味着澄清不足。

研究人员计划在每个类别中公开50%的原始问题，其余问题则保留用于私有评估，并确保每组信息不足与信息完整的问题始终划分在同一数据子集中。他们还计划发布公开子集上的模型输出以及评估流程。

论文的伦理声明指出，不应将这些分数解读为模型适用于无监督法律建议的证据。对于评估法律人工智能的政府而言，研究结果表明，澄清能力也是准确性问题的一部分：系统必须识别本地法律认定哪些事实具有实质意义，并在取得这些事实后正确适用相关法律。