La evaluación de Vals AI sobre asistencia jurídica revela que los modelos se quedan cortos a la hora de ofrecer ayuda local

NextLadder Ventures y Vals AI anunciaron la evaluación Access to Justice Benchmark el 10 de noviembre de 2026 e informaron que ninguno de los 23 modelos de IA alcanzó el umbral del 80 % necesario para ser un primer punto de contacto fiable en 252 situaciones de asistencia jurídica.

Los resultados y la metodología de la evaluación muestran una marcada diferencia entre explicar la ley y encontrar ayuda práctica. Vals AI informa que los modelos cumplieron entre el 78 % y el 87 % de los criterios de los expertos en explicaciones jurídicas generales, pero solo entre el 30 % y el 50 % al identificar recursos específicos, como un programa local de asistencia jurídica, un centro de ayuda de los tribunales o un formulario concreto. En al menos el 70 % de sus respuestas finales, 21 modelos mencionaron un directorio nacional —como LawHelp.org, Find Legal Help de la ABA o el 211— en lugar de identificar sistemáticamente el programa u oficina local pertinente.

El anuncio conjunto sitúa a Qwen 3.8 Max en primer lugar, con un 76,4 % de los criterios cumplidos, seguido de Claude Sonnet 5.5, con un 74,9 %, y Wonder Full, con un 74,7 %; los resultados de los tres están dentro del margen de error de los otros. Esta agrupación significa que el orden numérico no establece un líder claro.

Meghana Kotcherlakota, científica investigadora de Vals AI, diferenció el proyecto de las evaluaciones de IA jurídica centradas en bufetes y clientes corporativos: «Creamos Access to Justice Benchmark para mostrar hasta qué punto estos modelos ayudan a las personas que más lo necesitan, problema por problema, y para seguir de cerca si mejoran».

El comunicado sitúa los resultados en el contexto del estudio Justice Gap de 2022 de Legal Services Corporation, que concluyó que las personas estadounidenses de bajos ingresos no recibieron ayuda jurídica o recibieron ayuda insuficiente en el 92 % de sus problemas jurídicos civiles. Entre quienes no buscaron ayuda, el 46 % mencionó el costo. La investigación se basó en una encuesta de aproximadamente 5.000 adultos realizada por NORC en la University of Chicago y en datos de organizaciones de asistencia jurídica financiadas por la corporación.

Cómo se evaluó la ayuda en el primer punto de contacto

La evaluación plantea que cada modelo sea un primer punto de contacto, similar a un trabajador de admisión o a un centro de ayuda de los tribunales, que proporciona información jurídica general y no asesoramiento legal. Dos profesionales del derecho aportaron consultas de situaciones reales; después, seis expertos en asistencia jurídica las adaptaron a los estados que tenían asignados: California, Luisiana, Virginia, Nueva York, Maryland y Texas. Los expertos redactaron preguntas iniciales, determinaron qué datos de contexto debían mantenerse ocultos a menos que la conversación los hiciera aflorar, asignaron niveles de dificultad y crearon rúbricas con un promedio de 15,4 criterios independientes.

El conjunto de datos completo contiene 504 situaciones, repartidas por igual entre el conjunto público de prueba y el conjunto privado de validación. Cada modelo evaluado podía buscar en la web, abrir páginas y hacer preguntas a un cliente simulado por GPT-5 antes de que Decider v1.2, un evaluador automatizado, calificara la conversación completa. Solo se proporcionaba la información solicitada por el modelo evaluado, y el cliente simulado no añadía otros datos ni cuestionaba las suposiciones erróneas. La puntuación de cada modelo correspondía a la proporción conjunta de criterios de la rúbrica que cumplió en las situaciones de prueba.

Las decisiones sobre la conversación y las fuentes dejaron al descubierto deficiencias

Las leyes, las normas judiciales y la jurisprudencia representaron el 42 % de las páginas que leyeron los modelos, mientras que los sitios de autoayuda de organizaciones de asistencia jurídica y entidades sin fines de lucro representaron el 10 %. Vals AI relaciona este patrón con la diferencia entre las puntuaciones: leer leyes puede ayudar a elaborar un resumen general, pero no permite identificar el nombre de la organización o de la oficina judicial a la que debería dirigirse el usuario.

El análisis de las conversaciones de Vals AI registró un promedio de aproximadamente 3,5 intercambios. La mayoría de los modelos ofrecía una respuesta completa en su primer mensaje, antes de hacer preguntas, si es que las hacía. GPT-6.1 Sol terminaba su primera respuesta con una pregunta el 88 % de las veces, pero ocupó el puesto 18, con un 68,1 % en la categoría de obtención de información, que mide si el modelo preguntó por los datos necesarios. Este contraste muestra que hacer preguntas con frecuencia no necesariamente permitía obtener los datos especificados por los expertos. A veces, los modelos que no preguntaban daban por sentados detalles como el estado donde vivía el usuario o si ya existía una orden judicial.

En los resultados por tema de Vals AI, las situaciones relacionadas con la vivienda y las relaciones entre propietarios e inquilinos obtuvieron la puntuación más alta entre todos los modelos, con un 75,4 %, mientras que las prestaciones públicas registraron la más baja, con un 57,3 %, aunque esta categoría incluía solo cinco situaciones. El derecho de familia aportó 110 situaciones y obtuvo un promedio del 71,2 %; dentro de esta categoría, las visitas alcanzaron un 61,3 % y el cuidado por familiares con intervención de los servicios de protección infantil, un 63,0 %.

Dos ejemplos del anuncio muestran cómo estas deficiencias afectaron la orientación ofrecida. En un caso de menor cuantía en Luisiana relacionado con una promesa verbal de devolver un préstamo, solo ocho modelos preguntaron si la deuda estaba relacionada con bienes inmuebles; cuatro advirtieron que el vencimiento del plazo de 10 años para presentar la reclamación impediría recuperar el dinero, y tres dirigieron al usuario al sitio web del secretario judicial para obtener formularios de reclamación y de exención de tasas. En una situación de Nueva York relacionada con el depósito de garantía de un inquilino que ya se había mudado, se penalizó a 14 modelos por recomendar que se enviara una carta de reclamación extrajudicial, un paso desaconsejado por la rúbrica de los expertos, y solo cuatro remitieron al inquilino al programa Right to Counsel de la ciudad.

Puntuaciones de los modelos gratuitos y prémium

En una comparación aparte de los principales proveedores de chatbots, el grupo de modelos gratuitos estimado por Vals AI obtuvo un promedio del 69.7%, frente al 70.4% de los modelos prémium. Claude Sonnet 5.5 obtuvo una puntuación 1.2 puntos porcentuales superior a Claude Opus 5.5, y solo el modelo prémium de xAI mostró una ventaja clara frente al modelo gratuito de su proveedor. La asignación de modelos a cada nivel en la comparación es estimada, no corresponde a una clasificación confirmada por los proveedores, y las pruebas idénticas con API no pueden reflejar por completo el comportamiento de los chatbots de consumo; se excluyeron los modelos de pesos abiertos.

Las organizaciones afirmaron que están colaborando en un análisis más exhaustivo y en un informe adicional, con el objetivo de ayudar a los profesionales de primera línea a comprender las brechas que persisten. Para las organizaciones de asistencia jurídica que evalúan estos sistemas, la implicación práctica es que explicar la ley es solo una parte del desempeño en el primer contacto: el benchmark también evalúa si los modelos descubren hechos que pueden cambiar el caso y ofrecen un paso siguiente específico a nivel local.