Dónde debe detenerse el modelo de lenguaje: diseñar IA para nóminas, admisiones y otros ámbitos donde los errores tienen consecuencias

Llevo varios años incorporando IA a productos en los que una respuesta equivocada tiene un costo: una plataforma de cumplimiento de la normativa de nóminas impulsada por IA para el mercado australiano, donde un error acaba en la cuenta bancaria de alguien, y un producto de admisiones universitarias, donde una mala combinación puede marcar los próximos cuatro años de un estudiante. La pregunta que determinó la arquitectura fue la misma en ambos casos: ¿hasta dónde se debe permitir que llegue el modelo de lenguaje antes de que intervenga algo determinista?

Una de cada cinco nóminas de EE. UU. contiene un error, con un costo promedio de 291 dólares por cada una, sin contar los litigios. La Ley de IA de la UE incluye entre sus categorías de alto riesgo la IA utilizada para tomar decisiones de admisión y gestionar el empleo.

Deja que las reglas controlen las cifras

Las reglas deterministas controlan todo lo que implica una cifra en dólares o una consecuencia legal; el modelo interpreta y explica a partir de esas reglas, y nada más.

En la plataforma de nóminas, nuestro objetivo era establecer un límite claro entre las reglas de nómina y la IA. Primero, los especialistas en nóminas definen las reglas de pago en un formato estructurado. Después, el sistema procesa esas reglas y genera todos los escenarios posibles que pueden derivarse de ellas. El conjunto completo de escenarios se convierte en la fuente de verdad del modelo. El modelo no puede crear reglas nuevas, modificar las existentes ni decidir qué fuentes utilizar. Solo puede recuperar el conjunto de reglas pertinente, consultar las tablas de tarifas y citar el escenario que utilizó. La creación de reglas, la generación de escenarios y la selección de fuentes quedan completamente fuera de la capa de IA.

El producto de admisiones sigue la misma lógica: los requisitos de ubicación, los límites presupuestarios, la condición de la institución y los umbrales de elegibilidad se aplican como reglas antes de que el modelo pueda influir en una clasificación. Si un estudiante dice que debe asistir a una universidad en California, una institución de otro estado no puede prevalecer solo porque al modelo le parezca una opción muy adecuada por otros motivos. El modelo se ocupa de las preferencias menos estrictas y de las explicaciones, mientras que la lógica determinista actúa como salvaguarda siempre que no sea aceptable acertar solo aproximadamente.

La recuperación fundamenta las respuestas del modelo, hasta cierto punto

La generación aumentada por recuperación mantiene las respuestas vinculadas a las políticas propias de la organización, en lugar de a lo que el modelo haya asimilado durante el entrenamiento. También se le atribuyen más virtudes de las que tiene. Cuando el RegLab de Stanford puso a prueba herramientas comerciales de investigación jurídica basadas en RAG, estas siguieron alucinando entre el 17 % y el 33 % de las veces. La recuperación acota lo que el modelo puede decir, pero aun así puede equivocarse.

Lo aprendí de primera mano. En la plataforma de nóminas, una vez el sistema encontró el laudo laboral correcto para un caso, pero el modelo interpretó mal las reglas sobre horas extra. Se había recuperado la fuente adecuada y, aun así, la respuesta era incorrecta; después de eso, fuimos mucho más estrictos con lo que el modelo podía decidir por su cuenta. Incorporamos reglas importantes de nómina a la lógica empresarial explícita, exigimos que cada respuesta estuviera respaldada por material fuente y añadimos pruebas basadas en el caso que había fallado. Tener acceso a la información correcta solo ayuda si también se controla cómo la utiliza el modelo.

Haz que cada respuesta sea rastreable

Antes de generar una respuesta, el sistema registra exactamente qué reglamento y qué versión se utilizaron, junto con el modelo y otros detalles de la solicitud. Es difícil verificar que una respuesta de IA se haya basado en la política de la empresa. En cambio, afirmar que se generó utilizando la versión 7 de un acuerdo específico, que se ha conservado y puede compararse con otras versiones, constituye una prueba mucho más sólida. También rastreamos cada llamada al modelo y a las herramientas: qué preguntó el usuario, qué información se recuperó, qué herramientas se ejecutaron, qué respondió el modelo y qué errores se produjeron. Cuando recibimos una consulta de soporte, podemos ver exactamente de dónde surgió una respuesta incorrecta. La resolución sobre Air Canada de 2024, en la que un tribunal obligó a la aerolínea a respetar un descuento inventado por su chatbot, muestra cuánto cuesta la alternativa.

Involucra a las personas cuando hay consecuencias

El Perfil de IA generativa del NIST considera que decidir qué hace un sistema por sí solo y qué requiere la intervención de una persona es una decisión de gobernanza. Derivamos un caso a una persona cuando el sistema tiene dudas, cuando hay información contradictoria o cuando la decisión podría afectar significativamente al usuario. En admisiones, se señala para que lo revise un orientador cualquier perfil estudiantil inusual o recomendación que no cumpla claramente los requisitos innegociables del estudiante. Este paso ha permitido detectar recomendaciones que parecían razonables a primera vista, pero pasaban por alto una restricción del perfil del estudiante, y cada caso se ha utilizado para mejorar el sistema. Ninguno de los dos productos toma decisiones definitivas por sí solo. Se necesita la opinión de un orientador antes de confiar en una recomendación, y cada recibo de nómina que genera el sistema se señala para su aprobación antes de enviarlo. La revisión humana no está pensada para todas las solicitudes. El objetivo es automatizar con confianza los casos rutinarios e involucrar a una persona cuando haya buenos motivos para que el sistema tenga dudas.

Decidir qué puede hacer el modelo por sí solo hoy

Aplico una prueba práctica a cualquier flujo de trabajo. Si un resultado incorrecto puede detectarse y corregirse antes de que llegue a una persona, el modelo puede encargarse de ese paso. Si la respuesta puede verificarse con una regla, la regla manda y el modelo la explica. Si un resultado incorrecto llegaría a un recibo de sueldo o a una decisión sobre una solicitud de admisión antes de que alguien lo viera, ese paso aún no está listo.

Los modelos de lenguaje son los mejores intérpretes que jamás hemos puesto frente a un reglamento. En los ámbitos donde los errores se castigan, deben detenerse en la interpretación.