Vals AI 법률 지원 벤치마크, 지역별 지원 안내에서 AI 모델의 한계 확인

NextLadder Ventures와 Vals AI는 2026년 11월 10일 사법 접근성 벤치마크를 발표하고, 252개 법률 지원 시나리오를 대상으로 평가한 AI 모델 23개 가운데 신뢰할 수 있는 첫 문의 창구의 기준인 80%를 충족한 모델은 하나도 없었다고 밝혔다.

벤치마크 결과와 방법론은 법률을 설명하는 능력과 실질적인 도움을 찾는 능력 사이에 뚜렷한 격차가 있음을 보여 준다. Vals AI에 따르면, 일반적인 법률 설명에서는 모델들이 전문가 평가 기준의 78~87%를 충족했지만, 지역 법률 지원 프로그램, 법원 셀프 헬프 센터 또는 특정 양식과 같은 구체적인 지원 정보를 찾아내는 데서는 30~50%만 충족했다. 21개 모델은 관련 지역 프로그램이나 사무실을 일관되게 찾아내는 대신, LawHelp.org, ABA의 Find Legal Help 또는 211을 포함한 전국 단위 안내처를 최종 답변의 최소 70%에서 언급했다.

공동 발표에 따르면 Qwen 3.8 Max가 평가 기준의 76.4%를 충족해 1위를 차지했고, Claude Sonnet 5.5가 74.9%, Wonder Full이 74.7%로 뒤를 이었다. 세 모델의 점수는 서로의 오차 범위 안에 있었다. 점수가 이처럼 비슷하게 모여 있어 수치상 순위만으로 뚜렷한 선두 모델을 가릴 수는 없다.

Vals AI의 연구 과학자인 Meghana Kotcherlakota는 로펌과 기업 고객에 초점을 맞춘 법률 AI 벤치마크와 이번 프로젝트의 차이를 다음과 같이 설명했다. “우리는 Access to Justice Benchmark를 통해 도움이 가장 절실한 사람들이 문제별로 이 모델들로부터 얼마나 나은 지원을 받는지 보여 주고, 모델의 성능이 개선되는지도 추적하고자 했습니다.”

이번 발표는 Legal Services Corporation의 2022년 사법 격차 연구를 기준으로 결과를 설명한다. 이 연구에 따르면 저소득층 미국인은 민사 법률 문제의 92%에서 법률 지원을 전혀 받지 못했거나 충분히 받지 못했다. 도움을 구하지 않은 사람 가운데 46%는 비용을 이유로 들었다. 이번 연구는 NORC at the University of Chicago가 성인 약 5,000명을 대상으로 실시한 설문조사와 해당 기관의 지원금을 받는 법률 지원 단체의 데이터를 바탕으로 했다.

벤치마크의 첫 문의 지원 평가 방식

이 벤치마크에서 각 모델은 접수 담당자나 법원 셀프 헬프 센터처럼 처음 문의를 받는 창구 역할을 맡아 법률 자문이 아닌 일반적인 법률 정보를 제공했다. 법률 실무자 2명이 실제 상황에 기반한 질문을 마련했고, 이후 법률 지원 전문가 6명이 이를 각자 배정받은 주에 맞게 수정했다. 해당 주는 캘리포니아, 루이지애나, 버지니아, 뉴욕, 메릴랜드, 텍사스였다. 전문가들은 대화에서 질문을 통해 확인하기 전까지 공개되지 않는 도입 질문과 배경 정보, 난이도 평가, 그리고 평균 15.4개의 독립 평가 기준으로 구성된 채점표를 작성했다.

전체 데이터 세트는 504개 시나리오로 구성되며, 공개 테스트 세트와 비공개 검증 세트에 절반씩 배정됐다. 평가 대상 모델은 웹을 검색하고 페이지를 열어 볼 수 있었으며, GPT-5로 구현된 모의 의뢰인에게 질문할 수도 있었다. 이후 자동 심사 도구인 Decider v1.2가 대화 전체를 채점했다. 평가 대상 모델이 요청한 정보만 제공됐으며, 모의 의뢰인은 다른 세부 정보를 추가하거나 잘못된 가정에 이의를 제기하지 않았다. 모델 점수는 테스트 시나리오 전반에서 충족한 채점 기준의 비율을 합산해 산출했다.

대화 방식과 출처 선택에서 드러난 격차

모델이 읽은 페이지 가운데 법령, 법원 규칙, 판례가 42%를 차지했고, 법률 지원 단체와 비영리단체의 셀프 헬프 사이트는 10%를 차지했다. Vals AI는 이러한 경향이 점수 차이와 관련 있다고 설명한다. 법령을 읽으면 일반적인 요약은 할 수 있지만, 사용자가 다음 단계에서 연락해야 할 단체나 법원 사무실의 이름까지 알려 주지는 못한다.

Vals AI의 대화 분석 결과, 평균 대화 횟수는 약 3.5회였으며, 대부분의 모델은 질문을 하더라도 그 전에 첫 답변에서 완결된 답을 제시했다. GPT-6.1 Sol은 첫 답변의 88%를 질문으로 끝냈지만, 필수 사실을 확인하기 위한 질문을 했는지를 측정하는 평가 항목인 정보 확인 점수는 68.1%로 18위에 그쳤다. 이는 질문을 자주 한다고 해서 전문가들이 지정한 사실을 반드시 확인하는 것은 아니라는 점을 보여 준다. 질문을 하지 않은 모델은 때때로 사용자의 거주 주나 법원 명령이 이미 내려졌는지 등을 임의로 가정했다.

Vals AI의 주제별 결과에서 주거 및 임대인·임차인 관련 시나리오는 모든 모델을 통틀어 75.4%로 가장 높은 점수를 기록했다. 공공 복지 급여는 57.3%로 가장 낮았지만, 해당 범주에는 시나리오가 5개뿐이었다. 가족법 시나리오는 110개로 평균 71.2%를 기록했다. 이 가운데 면접교섭은 61.3%, 아동보호 서비스가 관련된 친족 위탁 돌봄은 63.0%였다.

발표 자료의 두 사례는 이러한 약점이 안내에 어떤 영향을 미쳤는지 보여 준다. 구두로 상환을 약속한 루이지애나주의 소액 청구 사건에서는 8개 모델만이 채무가 부동산과 관련된 것인지 물었다. 4개 모델은 10년의 제소 기한이 지나면 변제받을 수 없다고 경고했고, 3개 모델은 청구서와 수수료 면제 신청서 양식을 확인할 수 있도록 법원 서기 웹사이트를 안내했다. 이사를 마친 임차인이 관련된 뉴욕시 보증금 사례에서는 전문가 채점 기준이 부적절하다고 경고한 법정 밖 요구서 발송 절차를 권한 14개 모델이 감점됐다. 임차인을 시의 Right to Counsel 프로그램으로 안내한 모델은 4개뿐이었다.

무료 모델과 유료 모델의 점수

주요 챗봇 제공업체들을 별도로 비교한 결과, Vals AI가 추정한 무료 이용 등급 모델군의 평균 점수는 69.7%였으며 프리미엄 모델은 70.4%였다. Claude Sonnet 5.5는 Claude Opus 5.5보다 1.2퍼센트포인트 높은 점수를 기록했으며, 자사 제공업체의 무료 등급 모델보다 뚜렷한 우위를 보인 것은 xAI의 프리미엄 모델뿐이었다. 비교에 사용된 등급 구분은 추정치일 뿐 제공업체별 모델 대응 관계가 확인된 것은 아니며, 동일한 API 테스트만으로는 일반 소비자가 챗봇을 사용하는 방식을 온전히 파악할 수 없다. 오픈 웨이트 모델은 비교 대상에서 제외됐다.

단체들은 현장 실무자들이 여전히 남아 있는 격차를 이해하는 데 도움이 되도록 더 포괄적인 분석과 추가 브리프를 공동으로 작성하고 있다고 밝혔다. 이러한 시스템을 평가하는 법률 지원 단체에 실질적으로 시사하는 바는, 법률을 설명하는 능력이 최초 접촉 단계에서의 성과 중 한 부분에 불과하다는 점이다. 이 벤치마크는 모델이 사건의 향방을 바꿀 수 있는 사실을 찾아내고 구체적인 지역별 다음 단계를 제시하는지도 평가한다.