Scale AI lanza con IMDA un referente de evaluación del razonamiento jurídico en Singapur

Scale AI y la Infocomm Media Development Authority de Singapur (IMDA) presentaron SG-LegalClarify el 12 de noviembre de 2026, una evaluación de 19 modelos lingüísticos en 1.860 escenarios de 10 ámbitos del derecho de Singapur. El referente examina tanto la precisión jurídica como si los modelos solicitan los datos que faltan antes de responder.

Scale describe SG-LegalClarify como la primera iniciativa de investigación en el marco de una colaboración formalizada en abril de 2026 y presentada públicamente el 7 de julio de 2026. El proyecto busca ayudar a los gobiernos a evaluar los sistemas de IA conforme a sus propias leyes e instituciones, en lugar de dar por sentado que los resultados obtenidos en referentes internacionales son aplicables a todos los contextos nacionales.

El artículo de investigación presenta a Singapur como un caso de prueba exigente, ya que el derecho anglosajón heredado de Inglaterra convive con modificaciones locales y leyes específicas de Singapur. Por ello, un modelo que se base en principios generales del derecho anglosajón puede pasar por alto la norma local aplicable. SG-LegalClarify también evalúa una capacidad distinta: determinar si una consulta contiene suficiente información jurídicamente pertinente para poder responder.

Esta distinción es importante en las consultas cotidianas. Es posible que un conductor que pregunta por una sanción por exceso de velocidad deba indicar el tipo de vehículo, la velocidad real y los puntos de demérito que ya tiene. Un asistente que imponga una sanción sin esos datos puede dar una respuesta que parezca autoritativa, pero que sea jurídicamente incorrecta.

Las preguntas emparejadas evalúan cuándo los modelos piden más información

El conjunto de datos parte de 1.100 preguntas originales en inglés: 340 con toda la información necesaria y 760 con información insuficiente. Cada pregunta incompleta tiene una pregunta equivalente con todos los datos, incluidos los que faltaban en la primera. Veintitrés abogados habilitados redactaron las preguntas y siete de ellos también participaron como revisores. Su experiencia jurídica oscilaba entre dos y 37 años, con una mediana de seis.

Cada pregunta cuenta con una rúbrica redactada por un abogado que abarca la identificación de las cuestiones jurídicas, la recuperación de las normas, su aplicación y la conclusión; en total, el conjunto de datos incluye 12.546 criterios. De ellos, el 89,0 % es obligatorio para que una respuesta sea correcta en lo sustancial; los resultados principales solo contabilizan los criterios obligatorios.

En primer lugar, un filtro de suficiencia hace que cada modelo elija entre responder directamente y recabar más datos. Si opta por recabarlos, un usuario simulado solo revela los datos ocultos cuando el modelo los solicita explícitamente. Un panel de tres modelos de IA que actúan como jueces —seleccionados mediante comparaciones con evaluaciones de abogados— califica cada criterio por mayoría de votos.

La búsqueda mejoró los resultados, pero la aclaración siguió siendo deficiente

El artículo indica que Claude Fable 5 encabezó las pruebas sin búsqueda, al cumplir el 69,8 % de los criterios obligatorios, frente a un promedio del 53,8 %. Con búsqueda web, Kimi K3 lideró con un 77,8 % y el promedio subió al 63,0 %; todos los modelos mejoraron, aunque en distinta medida. La recuperación de las normas fue el componente con peores resultados, con tasas de aprobación del 43,2 % sin búsqueda y del 56,5 % con ella.

El resumen de Scale indica que, en aproximadamente el 39 % de los escenarios sin búsqueda que presentaban datos faltantes, los modelos no formularon ninguna pregunta aclaratoria. A su vez, hicieron preguntas innecesarias en aproximadamente el 28 % de los escenarios que ya contenían información suficiente. Cuando faltaban datos, los modelos preguntaron, en promedio, por solo el 39 % de los datos pertinentes identificados por expertos jurídicos.

En una comparación descriptiva de las pruebas con búsqueda web en las que los modelos solicitaron todos los datos pertinentes que faltaban, el artículo informa que el 55,6 % llegó a la conclusión jurídica correcta, el 32,1 % llegó a una conclusión incorrecta y el 12,3 % no ofreció ninguna conclusión. Por tanto, recabar toda la información no garantizó una aplicación correcta de la ley.

Límites de la evaluación y planes de publicación

Los autores señalan varios límites de los resultados: la validación humana de los asistentes de IA fue limitada, las diferencias entre proveedores impidieron que todos tuvieran acceso a las mismas herramientas de búsqueda y el enrutamiento previo pudo haber alterado el comportamiento de aclaración. No todas las variables faltantes anotadas son necesarias para resolver un caso, por lo que no solicitar todos los datos señalados no indica automáticamente que la aclaración haya sido insuficiente.

Los investigadores tienen previsto publicar el 50 % de las preguntas originales de cada categoría y reservar el resto para evaluaciones privadas, manteniendo cada par de preguntas incompletas y completas dentro de la misma partición. También planean publicar las respuestas de los modelos correspondientes a la partición pública y el flujo de evaluación.

La declaración de ética del artículo señala que los resultados no deben interpretarse como prueba de que un modelo sea seguro para ofrecer asesoramiento jurídico sin supervisión. Para los gobiernos que evalúan la IA jurídica, los hallazgos convierten la aclaración en parte de la cuestión de la precisión: un sistema debe reconocer qué datos son pertinentes según la legislación local y, una vez obtenidos, aplicar correctamente esa legislación.