Scale AI, IMDA와 함께 싱가포르 법률 추론 벤치마크 출시

Scale AI와 싱가포르 정보통신미디어개발청(Infocomm Media Development Authority, IMDA)은 2026년 11월 12일 SG-LegalClarify를 선보였다. 이 벤치마크는 싱가포르 법률의 10개 분야에 걸친 1,860개 시나리오에서 언어 모델 19종을 평가한다. 법률적 정확성뿐 아니라 모델이 답변에 앞서 빠진 사실을 질문하는지도 살펴본다.

Scale은 SG-LegalClarify를 2026년 4월 공식화되고 2026년 7월 7일 공개적으로 발표된 협력의 첫 연구 사업이라고 설명한다. 이 프로젝트는 국제 벤치마크에서 얻은 결과가 모든 국가의 환경에 그대로 적용된다고 가정하는 대신, 각국 정부가 자국의 법과 제도에 비추어 AI 시스템을 평가하도록 돕기 위한 것이다.

연구 논문은 잉글랜드 보통법을 계승한 체계가 현지의 수정 사항 및 싱가포르 고유의 법률과 함께 적용된다는 점에서 싱가포르가 까다로운 시험대라고 설명한다. 따라서 일반적인 보통법 추론에 의존하는 모델은 해당 사안에 적용되는 현지 규칙을 놓칠 수 있다. SG-LegalClarify는 별도의 역량도 평가한다. 즉, 질문에 답하기에 법적으로 중요한 정보가 충분히 포함되어 있는지 판단하는 능력이다.

이러한 구분은 일상적인 질문에서도 중요하다. 과속 벌금을 묻는 운전자는 차량 종류와 실제 주행 속도, 기존 벌점 정보를 제공해야 할 수 있다. 이런 세부 정보 없이 벌금을 제시하는 도우미는 권위 있어 보이지만 법적으로는 틀린 답변을 내놓을 수 있다.

짝을 이룬 질문으로 모델이 언제 질문하는지 평가

데이터세트는 영어로 작성된 원본 질문 1,100개로 구성된다. 이 중 340개는 정보가 충분히 명시되어 있고 760개는 정보가 부족하다. 정보가 부족한 각 질문에는 누락된 사실을 포함한, 정보가 충분히 명시된 대응 질문이 있다. 검증된 변호사 23명이 질문을 작성했으며, 그중 7명은 검토도 맡았다. 이들의 법률 경력은 2년에서 37년까지였고, 중앙값은 6년이었다.

각 질문에는 변호사가 작성한 채점 기준표가 있으며, 쟁점 파악, 법률 규칙 회상, 적용 및 결론을 평가한다. 데이터세트 전체에는 기준 항목이 12,546개 포함되어 있다. 이 가운데 89.0%는 실질적으로 올바른 답변을 위해 필수이며, 주요 결과에는 필수 항목만 집계된다.

먼저 충분성 관문을 통해 각 모델은 직접 답변할지, 추가 사실을 수집할지 선택한다. 사실을 수집하는 경로에서는 모델이 명시적으로 요청한 경우에만 모의 사용자가 숨겨진 사실을 알려준다. 인간 변호사의 평가와 비교해 선정한 AI 심사 모델 3종으로 구성된 패널이 다수결로 각 기준 항목을 채점한다.

검색으로 점수는 올랐지만 추가 확인은 여전히 미흡

논문에 따르면 검색 없이 진행한 평가에서는 Claude Fable 5가 필수 기준 항목의 69.8%를 충족해 선두를 차지했으며, 평균은 53.8%였다. 웹 검색을 사용했을 때는 Kimi K3가 77.8%로 앞섰고 평균은 63.0%로 상승했다. 모델마다 향상 폭은 달랐지만 모두 점수가 올랐다. 검색을 사용하지 않았을 때 43.2%, 사용했을 때 56.5%의 통과율을 기록한 법률 규칙 회상은 가장 취약한 평가 항목이었다.

Scale의 요약에 따르면 검색 없이 진행한 평가에서 사실이 누락된 시나리오의 약 39%에 대해 모델이 확인 질문을 하지 않았다. 반면 이미 정보가 충분한 시나리오의 약 28%에서는 불필요한 질문을 했다. 사실이 누락된 경우에도 모델이 질문한 관련 사실은 법률 전문가가 파악한 사실의 평균 39%에 불과했다.

모델이 웹 검색을 사용할 수 있는 시험에서 누락된 관련 사실을 모두 요청한 경우를 설명적으로 비교한 결과, 논문은 55.6%가 올바른 법률적 결론에 도달했고 32.1%는 잘못된 결론에 도달했으며 12.3%는 결론을 제시하지 않았다고 보고한다. 따라서 정보를 빠짐없이 수집했다고 해서 법을 올바르게 적용할 수 있는 것은 아니었다.

평가의 한계와 공개 계획

저자들은 결과에 몇 가지 한계가 있다고 지적한다. AI 보조 도구에 대한 사람의 검증이 제한적이었고, 제공업체별 차이로 인해 모든 모델에 동일한 검색 도구를 제공할 수 없었으며, 사전 라우팅이 추가 확인 행동에 영향을 미쳤을 수 있다. 주석이 달린 누락 변수라고 해서 모두 특정 사례를 해결하는 데 필요한 것은 아니므로, 사실 요청 범위가 불완전하다고 해서 반드시 추가 확인이 미흡했다고 볼 수는 없다.

연구진은 각 범주에 속한 원본 질문의 50%를 공개하고 나머지는 비공개 평가용으로 보유할 계획이다. 이때 정보가 부족한 질문과 정보가 충분히 명시된 질문의 각 쌍은 동일한 분할에 포함한다. 공개 분할에서의 모델 출력과 평가 파이프라인도 공개할 예정이다.

논문의 윤리 성명은 점수를 모델이 감독 없이 제공하는 법률 조언에 안전하다는 증거로 해석해서는 안 된다고 밝힌다. 법률 AI를 평가하는 정부가 주목해야 할 점은 정확성 평가에 추가 확인도 포함된다는 것이다. 시스템은 현지 법률상 어떤 사실이 중요한지 파악한 다음, 그 사실을 확보한 뒤 해당 법률을 올바르게 적용해야 한다.