Benchmark de assistência jurídica da Vals AI constata que os modelos deixam a desejar na ajuda local

A NextLadder Ventures e a Vals AI anunciaram o Benchmark de Acesso à Justiça em 10 de novembro de 2026, informando que nenhum dos 23 modelos de IA atingiu o limite de 80% para ser um primeiro ponto de contato confiável nos 252 cenários de assistência jurídica.

Os resultados e a metodologia do benchmark revelam uma grande diferença entre explicar a lei e encontrar ajuda prática. Segundo a Vals AI, os modelos atenderam a 78% a 87% dos critérios dos especialistas para explicações jurídicas gerais, mas a apenas 30% a 50% para identificar recursos específicos, como um programa local de assistência jurídica, um centro de autoatendimento judicial ou um formulário específico. Vinte e um modelos mencionaram um diretório nacional — incluindo LawHelp.org, o Find Legal Help da ABA ou o 211 — em pelo menos 70% de suas respostas finais, em vez de identificar de forma consistente o programa ou escritório local pertinente.

O anúncio conjunto coloca o Qwen 3.8 Max em primeiro lugar, com 76,4% dos critérios atendidos, seguido por Claude Sonnet 5.5, com 74,9%, e Wonder Full, com 74,7%; os três estão dentro da margem de erro uns dos outros. Essa proximidade significa que a ordem numérica não estabelece um líder claro.

Meghana Kotcherlakota, cientista de pesquisa da Vals AI, comparou o projeto a benchmarks de IA jurídica voltados a escritórios de advocacia e clientes corporativos: “Criamos o Benchmark de Acesso à Justiça para mostrar, problema por problema, até que ponto esses modelos atendem às pessoas que mais precisam de ajuda e acompanhar se eles melhoram.”

O comunicado contextualiza os resultados com o estudo Justice Gap de 2022 da Legal Services Corporation, que constatou que americanos de baixa renda não receberam assistência jurídica ou receberam assistência insuficiente em 92% de seus problemas jurídicos civis. Entre aqueles que não buscaram ajuda, 46% citaram o custo. A pesquisa recorreu a uma consulta com aproximadamente 5.000 adultos realizada pela NORC na University of Chicago e a dados de organizações de assistência jurídica financiadas pela corporação.

Como o benchmark avaliou a ajuda no primeiro contato

O benchmark considera cada modelo um primeiro ponto de contato, semelhante a um profissional de triagem ou a um centro de autoatendimento judicial, que fornece informações jurídicas gerais, e não aconselhamento jurídico. Dois profissionais do direito forneceram consultas do mundo real; em seguida, seis especialistas em assistência jurídica as adaptaram aos estados designados: Califórnia, Luisiana, Virgínia, Nova York, Maryland e Texas. Os especialistas elaboraram perguntas iniciais, fatos contextuais que permaneceriam ocultos a menos que fossem suscitados pela conversa, avaliações de dificuldade e rubricas com uma média de 15,4 critérios independentes.

O conjunto de dados completo contém 504 cenários, divididos igualmente entre o conjunto público de testes e um conjunto privado de validação. Cada modelo avaliado podia pesquisar na web, abrir páginas e fazer perguntas a um cliente simulado pelo GPT-5 antes que o Decider v1.2, um avaliador automatizado, atribuísse uma nota à conversa completa. Foram fornecidas apenas as informações solicitadas pelo modelo avaliado, e o cliente simulado não acrescentou outros detalhes nem contestou suposições incorretas. A pontuação de cada modelo foi a proporção agregada dos critérios da rubrica atendidos nos cenários de teste.

As escolhas de conversa e de fontes revelaram lacunas

Estatutos, regras judiciais e jurisprudência representaram 42% das páginas consultadas pelos modelos, enquanto sites de assistência jurídica e de autoatendimento de organizações sem fins lucrativos corresponderam a 10%. A Vals AI relaciona esse padrão à diferença entre as pontuações: a leitura de estatutos pode embasar um resumo geral, mas não informa o nome da organização ou do escritório judicial que o usuário deve contatar em seguida.

A análise das conversas feita pela Vals AI constatou uma média de cerca de 3,5 trocas, e a maioria dos modelos apresentou uma resposta completa já na primeira réplica, antes de fazer perguntas — quando fazia alguma. O GPT-6.1 Sol terminou sua primeira resposta com uma pergunta em 88% das vezes, mas ficou em 18º lugar na obtenção de informações, com 68,1%; essa medida da rubrica avalia se o modelo pediu os fatos necessários. O contraste mostra que fazer perguntas com frequência não significa necessariamente obter os fatos especificados pelos especialistas. Os modelos que não perguntavam às vezes presumiam detalhes, como o estado em que o usuário morava ou se já havia uma ordem judicial.

Nos resultados por tema da Vals AI, os cenários de moradia e de relações entre locadores e inquilinos tiveram a maior pontuação entre todos os modelos, com 75,4%, enquanto os benefícios públicos obtiveram a menor, com 57,3%, embora essa categoria contivesse apenas cinco cenários. O direito de família contou com 110 cenários e teve média de 71,2%; dentro dessa área, os casos de visitação alcançaram 61,3%, e os de cuidados por parentes envolvendo serviços de proteção à criança, 63,0%.

Dois exemplos do anúncio mostram como essas deficiências afetaram as orientações. Em um caso de pequenas causas na Luisiana envolvendo uma promessa verbal de pagamento de dívida, apenas oito modelos perguntaram se a dívida estava relacionada a imóveis, quatro alertaram que o vencimento do prazo de 10 anos para ajuizar a ação impediria a recuperação do valor, e três encaminharam o usuário ao site do cartório judicial para obter formulários de reclamação e de isenção de taxas. Em um cenário de depósito de segurança na cidade de Nova York, envolvendo um inquilino que já havia se mudado, 14 modelos perderam pontos por recomendar uma etapa de envio extrajudicial de uma carta de cobrança, contra a qual a rubrica dos especialistas alertava, e apenas quatro encaminharam o inquilino ao programa Right to Counsel da cidade.

Pontuações dos modelos gratuitos e premium

Em uma comparação separada entre os principais provedores de chatbots, o grupo estimado de modelos gratuitos da Vals AI teve média de 69,7%, ante 70,4% dos modelos premium. Claude Sonnet 5.5 obteve uma pontuação 1,2 ponto percentual superior à de Claude Opus 5.5, e apenas o modelo premium da xAI apresentou uma vantagem clara sobre o modelo gratuito de seu provedor. As classificações por nível da comparação são estimativas, não correspondências confirmadas com os provedores, e os testes idênticos de API não conseguem reproduzir totalmente o comportamento dos chatbots voltados ao consumidor; os modelos de pesos abertos foram excluídos.

As organizações disseram estar colaborando em uma análise mais abrangente e em um resumo adicional, destinados a ajudar os profissionais da linha de frente a compreender as lacunas restantes. Para organizações de assistência jurídica que avaliam esses sistemas, a implicação prática é que explicar a lei é apenas uma parte do desempenho no primeiro contato: o benchmark também avalia se os modelos identificam fatos capazes de mudar o caso e indicam um próximo passo específico e local.