A Scale AI lança um benchmark de raciocínio jurídico de Singapura com a IMDA

Scale AI e a Infocomm Media Development Authority (IMDA) de Singapura apresentaram o SG-LegalClarify em 12 de novembro de 2026. O benchmark testa 19 modelos de linguagem em 1.860 cenários distribuídos por 10 áreas do direito de Singapura. Ele avalia tanto a precisão jurídica quanto a capacidade dos modelos de solicitar informações que faltam antes de responder.

A Scale descreve o SG-LegalClarify como a primeira iniciativa de pesquisa no âmbito de uma colaboração formalizada em abril de 2026 e descrita publicamente em 7 de julho de 2026. O projeto pretende ajudar governos a avaliar sistemas de IA com base em suas próprias leis e instituições, em vez de presumir que os resultados obtidos em benchmarks internacionais se aplicam a todos os contextos nacionais.

O artigo de pesquisa apresenta Singapura como um teste exigente, pois a tradição herdada da common law inglesa convive com adaptações locais e leis específicas de Singapura. Assim, um modelo que se apoie em um raciocínio genérico de common law pode não identificar a norma local aplicável. O SG-LegalClarify também avalia uma habilidade distinta: determinar se uma consulta contém informações juridicamente relevantes suficientes para que seja possível respondê-la.

Essa distinção é importante em consultas comuns. Um motorista que pergunte sobre a penalidade por excesso de velocidade talvez precise informar o tipo de veículo, a velocidade real e os pontos de demérito já registrados. Um assistente que indique uma penalidade sem esses detalhes pode dar uma resposta que soa categórica, mas está juridicamente incorreta.

Perguntas pareadas testam quando os modelos pedem esclarecimentos

O conjunto de dados começa com 1.100 perguntas originais em inglês: 340 com todas as informações necessárias e 760 com informações insuficientes. Cada pergunta com informações insuficientes tem uma pergunta correspondente, completa, que inclui os fatos omitidos. Vinte e três advogados com credenciais verificadas elaboraram as perguntas, e sete deles também atuaram como revisores. A experiência jurídica desses profissionais variava de dois a 37 anos, com mediana de seis anos.

Cada pergunta tem uma rubrica elaborada por um advogado, que abrange a identificação da questão, a recuperação da regra jurídica, sua aplicação e a conclusão; ao todo, o conjunto de dados contém 12.546 critérios. Desses critérios, 89,0% são obrigatórios para que uma resposta esteja correta quanto ao conteúdo; os resultados destacados contabilizam apenas os itens obrigatórios.

Primeiro, uma etapa de suficiência faz cada modelo escolher entre responder diretamente e coletar informações. No fluxo de coleta de informações, um usuário simulado revela fatos omitidos apenas quando o modelo os solicita explicitamente. Um painel de três modelos de IA avaliadores, selecionados por meio de comparações com avaliações feitas por advogados, atribui uma nota a cada critério por maioria de votos.

A busca melhorou as pontuações, mas o esclarecimento continuou fraco

O artigo relata que o Claude Fable 5 liderou os testes sem busca na web, atendendo a 69,8% dos critérios obrigatórios, contra uma média de 53,8%. Com a busca na web, o Kimi K3 ficou na liderança, com 77,8%, e a média subiu para 63,0%; todos os modelos melhoraram, embora os ganhos variassem. A recuperação das regras foi o componente com pior desempenho na avaliação, com taxas de aprovação de 43,2% sem busca e de 56,5% com busca.

O resumo da Scale informa que, em aproximadamente 39% dos cenários sem busca na web em que faltavam informações, os modelos não fizeram perguntas para esclarecer a questão. Já em aproximadamente 28% dos cenários que continham informações suficientes, os modelos fizeram perguntas desnecessárias. Quando faltavam informações, os modelos perguntaram, em média, sobre apenas 39% dos fatos relevantes identificados por especialistas em direito.

Em uma comparação descritiva de testes com acesso à web nos quais os modelos solicitaram todos os fatos relevantes que faltavam, o artigo relata que 55,6% chegaram à conclusão jurídica correta, 32,1% chegaram a uma conclusão incorreta e 12,3% não apresentaram conclusão. Portanto, a coleta completa de informações não garantiu a aplicação correta da lei.

Limitações da avaliação e planos de divulgação

Os autores apontam várias limitações dos resultados: a validação humana dos assistentes de IA foi limitada, as diferenças entre provedores impediram o acesso uniforme às ferramentas de busca, e o roteamento prévio pode ter alterado o comportamento dos modelos ao pedir esclarecimentos. Nem toda variável ausente anotada é necessária para resolver um caso; portanto, a cobertura incompleta dos pedidos de informações não indica automaticamente que os esclarecimentos foram insuficientes.

Os pesquisadores planejam divulgar 50% das perguntas originais de cada categoria e reservar o restante para uma avaliação privada, mantendo cada par de perguntas com informações insuficientes e completas na mesma divisão. Também está prevista a divulgação das respostas dos modelos na divisão pública e do fluxo de avaliação.

A declaração de ética do artigo afirma que as pontuações não devem ser interpretadas como evidência de que um modelo é seguro para fornecer aconselhamento jurídico sem supervisão. Para os governos que avaliam sistemas de IA jurídica, os resultados mostram que a solicitação de esclarecimentos faz parte da questão da precisão: um sistema precisa reconhecer quais fatos são relevantes segundo a legislação local e, depois de obtê-los, aplicar essa legislação corretamente.