Vals AI 法律援助基准测试发现，模型在提供本地帮助方面表现不足

NextLadder Ventures 和 Vals AI 于 2026 年 11 月 10 日宣布推出“司法可及性基准测试”，报告指出，在 252 个法律援助场景中，23 个 AI 模型无一达到 80% 的门槛，无法被视为可靠的首要求助渠道。

基准测试结果和方法显示，模型在解释法律与帮助人们找到实际援助方面表现悬殊。Vals AI 报告称，对于一般法律解释，模型符合专家标准的比例为 78% 至 87%；但在识别具体资源方面，这一比例仅为 30% 至 50%，例如当地法律援助项目、法院自助服务中心或特定表格。至少 70% 的最终答复中，有 21 个模型提到了全国性目录，包括 LawHelp.org、美国律师协会（ABA）的 Find Legal Help 或 211，却未能始终指出相关的本地项目或办事处。

联合公告显示，Qwen 3.8 Max 以符合 76.4% 标准的成绩位居第一，其次是Claude Sonnet 5.5，成绩为 74.9%，以及 Wonder Full，成绩为 74.7%；三者的成绩都处于彼此的误差范围内。成绩如此接近，意味着数值排名并不能确定哪一个模型明显领先。

Vals AI 研究科学家 Meghana Kotcherlakota 将这一项目与那些聚焦律师事务所和企业客户的法律 AI 基准测试作了对比：“我们构建‘司法可及性基准测试’，是为了展示这些模型能否逐个问题地为最需要帮助的人提供服务，并追踪它们是否有所进步。”

公告将测试结果置于法律服务公司（Legal Services Corporation）《2022 年司法鸿沟研究》的背景下加以讨论。该研究发现，在低收入美国人遇到的民事法律问题中，有 92% 未能获得法律帮助，或获得的帮助不足。在没有寻求帮助的人当中，46% 表示原因是费用。该研究使用了芝加哥大学 NORC 对约 5,000 名成年人开展的调查，以及由该公司资助的法律援助组织提供的数据。

基准测试如何评估首要求助服务

基准测试将每个模型设定为首要求助渠道，类似于接待工作人员或法院自助服务中心，提供一般法律信息，而非法律建议。两名法律从业者提供了真实场景中的问题，之后六名法律援助专家将这些问题调整为适用于指定州的版本：加利福尼亚州、路易斯安那州、弗吉尼亚州、纽约州、马里兰州和得克萨斯州。专家编写了开场问题、只有在对话中被问及后才会提供的背景事实、难度评级，以及评分细则；每份评分细则平均包含 15.4 项彼此独立的标准。

完整数据集包含 504 个场景，平均分配到公开测试集和非公开验证集。每个受测模型都可以搜索网络、打开网页，并向由 GPT-5 模拟的客户提问；随后，由自动评判程序 Decider v1.2 对完整对话进行评分。系统只提供受测模型所请求的信息，模拟客户既不会补充其他细节，也不会质疑错误假设。模型的得分，是其在所有测试场景中符合评分细则标准的比例汇总值。

对话方式和信息来源选择暴露出不足

模型阅读的网页中，法规、法院规则和判例法占 42%，法律援助和非营利组织的自助服务网站占 10%。Vals AI 将这一分布与得分差距联系起来：阅读法规有助于生成一般性摘要，却不能告诉用户下一步应该联系哪个组织或法院办事处。

Vals AI 对对话的分析发现，平均每次对话约有 3.5 轮交流。大多数模型在首次回复中就给出完整答案，然后才提问——如果它们会提问的话。GPT-6.1 Sol 有 88% 的时间在首次回复结尾提出问题，但在衡量模型是否询问必要事实的评分项目“信息引出”中，它以 68.1% 的得分排名第 18。两者的反差表明，频繁提问并不一定能问出专家指定的事实。有些模型没有提问，有时便自行假设用户所在的州，或假设法院是否已下达命令等细节。

Vals AI 按主题统计的结果显示，在所有模型中，住房及房东与租户相关场景得分最高，为 75.4%；公共福利得分最低，为 57.3%，不过这一类别仅包含五个场景。家庭法类别包含 110 个场景，平均得分为 71.2%；其中，探视权场景得分为 61.3%，涉及儿童保护服务的亲属照护场景得分为 63.0%。

公告中的两个案例说明了这些弱点如何影响模型提供的指引。在路易斯安那州一个涉及口头还款承诺的小额索赔案件中，只有 8 个模型询问债务是否涉及房地产，4 个模型提醒用户，10 年的起诉期限一旦届满便无法追回欠款，另有 3 个模型指引用户前往法院书记官的网站，查找索赔表格和费用减免表格。在纽约市一个涉及已搬离租户的押金场景中，14 个模型因建议采取庭外发送催款函这一做法而被扣分；专家评分细则明确警告不要这样做。只有 4 个模型将租户转介至市政府的“获得法律代理权”项目。

免费版与高级版模型的得分

在对主要聊天机器人提供商进行的另一项比较中，Vals AI估算的免费版组平均得分为69.7%，而高级版模型为70.4%。Claude Sonnet 5.5的得分比Claude Opus 5.5高1.2个百分点；只有xAI的高级版模型明显优于该提供商的免费版模型。比较中对版本层级的划分只是估算，并非经提供商确认的对应关系；相同的API测试也无法充分反映消费者使用聊天机器人的实际表现；此外，比较未纳入开放权重模型。

这些机构表示，双方正在合作开展更全面的分析，并撰写另一份简报，帮助一线从业者了解尚存的差距。对于正在评估这些系统的法律援助机构而言，实际意义在于：解释法律只是模型首次接触时表现的一部分；这项基准测试还会评估模型能否发现可能改变案件走向的事实，并给出具体的本地后续步骤。