Tu IA quizá siga siendo demasiado educada para corregirte como es debido

Los sistemas de IA en los que podemos confiar para obtener información precisa —aunque esa información no sea algo que nos haga felices— deben ser capaces de «llevarnos la contraria» ante nuestras protestas hasta que estemos dispuestos a aceptar las noticias o los hechos desagradables.

La IA no es muy buena en esto; como los modelos de vanguardia están diseñados para el público consumidor, tienden a mostrarse deferentes y, de hecho, a la adulación servil.

Ha surgido una línea de investigación destacada para abordar el problema, pero estudios recientes han concluido que podemos manipular fácilmente a la IA para que vuelva a adularnos si nos cuestiona; que la IA cede ante la autoridad humana aun cuando es manifiestamente incorrecta; y que la técnica habitualmente eficaz del aprendizaje por refuerzo en realidad agrava este problema en particular.

El hecho de que la deferencia esté entrelazada con la cortesía en distintas culturas parece significar que hablar con franqueza es imposible en un contexto de servicio>consumidor: el cliente siempre tiene la razón, incluso cuando está a punto de caer por un precipicio.

Lo correcto, lo incorrecto y los «matices»

En fin, ojalá pudiera decirles que la tanda de artículos de esta semana incluye alguno que realmente suponga un avance en este tema. Por desgracia, lo único que estamos obteniendo es más información sobre cómo los modelos que sí «llevan la contraria» e intentan hacer que sus amos humanos acepten la verdad siguen sin hacerlo particularmente bien*; y sobre cómo, incluso cuando sí están dispuestos a decirle la verdad al poder (es decir, a ustedes), apenas lo hacen en un susurro ahogado.

El nuevo artículo es fruto de una amplia colaboración académica en la que participaron la University of Washington, el Allen Institute for AI, LMU Munich, UC Berkeley, Stanford University y la University of Wisconsin-Madison.

Titulado Oponerse entre la paja: los modelos de lenguaje responden de forma ambigua e ineficaz a los errores factuales, el argumento central de este nuevo estudio es que, incluso cuando los modelos de IA reconocen que una afirmación del usuario es falsa, a menudo no la corrigen con claridad, sino que esconden sus objeciones entre reservas, elogios y acuerdos parciales.

Un ejemplo de Gemini 2.5 Pro que responde en hindi a una solicitud de artículos académicos basada en una premisa falsa. Los resaltados en verde indican afirmación, mientras que los rosas indican oposición. En este caso, el modelo combina elogios con objeciones indirectas, en lugar de rechazar claramente la afirmación. Fuente

En siete modelos y cinco idiomas, los investigadores observaron que esta «ambigüedad» puede hacer que los usuarios sigan creyendo la información errónea original, aunque la IA la haya cuestionado técnicamente.

Dado que el uso y el grado de adulación varían según el idioma, los diez autores aprovecharon que comparten cinco lenguas maternas para idear un método de evaluación que incluye inglés, alemán, chino, hindi y yoruba: idiomas que abarcan desde las categorías con muchos recursos hasta las de pocos recursos. Señalan lo siguiente:

«Presentamos un marco de etiquetado de respuestas a nivel de frase, validado por personas, para descubrir detalles precisos sobre cómo los modelos de lenguaje se oponen a las entradas falsas y/o las respaldan. Desarrollamos y aplicamos nuestro marco a las respuestas de modelos en cinco idiomas: inglés, alemán, chino, hindi y yoruba.

«Observamos que, cuando los modelos sí contradicen las afirmaciones falsas de los usuarios, tienden a expresarse de forma indirecta y a combinar sus respuestas con afirmaciones que las respaldan; esta indirectividad es mayor en hindi y yoruba que en los demás idiomas analizados».

En un estudio a gran escala con 300 participantes, los investigadores descubrieron que las correcciones ambiguas de los modelos de IA podían dejar intactas las ideas erróneas de los usuarios, en lugar de cuestionarlas de manera eficaz.

En una prueba se determinó que las respuestas de los modelos a consultas para obtener información tenían un promedio de 46,7 líneas, y que las frases correctivas aparecían en solo dos o tres de ellas; esto significa que, incluso cuando la IA objeta una afirmación falsa, puede ser difícil encontrar la objeción.

Los investigadores también descubrieron que era más probable que los modelos cuestionaran la información errónea cuando se les pedía explícitamente que la verificaran que cuando esta aparecía en solicitudes de información corrientes. Las afirmaciones atribuidas a libros de texto solían generar menos resistencia que las atribuidas a amigos.

En el 29,4 % de las respuestas a consultas para obtener información, los modelos combinaron correcciones con afirmaciones que respaldaban lo dicho, una proporción que llegó al 60,1 % en el caso de Gemini 2.5 Pro; en ocasiones, esto adoptó la forma de un «sándwich de cumplidos», con objeciones ocultas entre comentarios tranquilizadores.

Como posible solución, los investigadores probaron una intervención sencilla para animar a los modelos a «esperar un momento» antes de responder. En algunos casos, esto aumentó su disposición a cuestionar afirmaciones falsas, pero también incrementó las objeciones incorrectas a afirmaciones verdaderas.

El estudio sugiere que lograr que la IA reconozca un error es solo parte del problema, y que conseguir que lo comunique constituye un desafío distinto por sí mismo.

Método

El material de prueba se obtuvo del referente Massive Multitask Language Understanding (MMLU) de 2021, en su versión multilingüe de OpenAI. Conocido como MMMLU, el conjunto de datos multilingüe abarca materias académicas como biología e historia.

Las preguntas de opción múltiple de la colección se convirtieron en afirmaciones fácticas: las tres respuestas incorrectas se utilizaron para generar afirmaciones falsas y la respuesta correcta, para generar una verdadera.

De este modo, se creó un conjunto de datos de 35.120 afirmaciones en cinco idiomas a partir de 1.756 elementos de referencia de MMMLU traducidos dos veces para cada idioma. Para los experimentos, se seleccionó una muestra más pequeña y equilibrada por materia, compuesta por 2.685 afirmaciones falsas y 895 verdaderas.

Los modelos de lenguaje evaluados fueron los de código cerrado Gemini2.5 Pro y GPT-5.5, junto con cinco modelos de pesos abiertos: Mistral Small 4; Qwen 3.5 9B; Qwen 3.5 27B; Gemma 4 E4B; y Aya Expanse 32B.

En el primero de los tres tipos de indicaciones utilizados para evaluar los modelos, se presentó una afirmación para verificar directamente su veracidad; en el segundo, se planteó que un estudiante buscaba recursos de estudio relacionados con una afirmación; y, en el tercero, que un profesor solicitaba artículos académicos sobre ese mismo tema.

En las indicaciones dirigidas al estudiante, las afirmaciones se atribuían a libros de texto, profesores, amigos, internet o a ninguna fuente especificada. En las dirigidas al profesor, se atribuían a sus propias investigaciones, a colegas, amigos, internet o a ninguna fuente especificada; la disposición de los modelos a cuestionar afirmaciones falsas se evaluó a partir de estas distintas atribuciones.

Las tres plantillas de indicaciones utilizadas en el estudio: verificación directa de hechos (verificar); solicitudes de recursos de estudio (principiante); y solicitudes de artículos académicos (experto). En las plantillas se sustituyeron las atribuciones de fuentes y los detalles específicos de cada materia.

Las respuestas de los modelos se clasificaron en cuatro categorías: refutación explícita, cuando se cuestionaba directamente una afirmación falsa; oposición indirecta, cuando se expresaba desacuerdo o duda sin rechazarla abiertamente; elogio, cuando se elogiaba la afirmación o el enfoque del usuario; y confirmación, cuando se daba por válida la afirmación.

Ejemplos de frases utilizadas por los modelos para rechazar, cuestionar, elogiar o confirmar las afirmaciones de los usuarios en los cinco idiomas evaluados. Cuando corresponde, se ofrecen traducciones al inglés.

Cada respuesta se examinó frase por frase para poder identificar los elogios, los acuerdos y los desacuerdos, incluso cuando aparecían juntos en una misma respuesta.

Resultados

Los resultados confirmaron hallazgos anteriores: cuando se les pide verificar afirmaciones falsas, los modelos que las identifican correctamente tienen menos probabilidades de cuestionarlas si se les solicita información o asesoramiento. Esta diferencia se denominó «brecha de oposición» y se calculó comparando la frecuencia con que se cuestionaban afirmaciones falsas en pruebas de verificación directa con la frecuencia con que se cuestionaban en solicitudes habituales de información.

Comparación de la frecuencia con que siete modelos de lenguaje cuestionaron afirmaciones falsas en solicitudes de verificación directa de hechos frente a solicitudes de información, en cinco idiomas. Los valores negativos indican una menor oposición en las respuestas a solicitudes de información. El naranja y el azul representan, respectivamente, las indicaciones dirigidas a estudiantes y profesores, mientras que los símbolos distinguen las fuentes atribuidas. Las barras de error indican intervalos de confianza del 95 %.

Como se muestra arriba, los dos modelos Qwen 3.5 presentaron una brecha menor que los demás en los idiomas evaluados, lo que indica que eran más constantes al corregir la información errónea, independientemente de cómo se formulara la pregunta. Los resultados también muestran cómo la aparente autoridad de la fuente influyó en ellos: las afirmaciones falsas atribuidas a libros de texto recibieron menos oposición que las atribuidas a amigos, una tendencia observada en todos los idiomas.

Cuando se les pedía información, en lugar de verificar hechos, los modelos eran menos propensos a rechazar de plano las afirmaciones falsas y más propensos a responder con objeciones indirectas, elogios o confirmaciones. Incluso los modelos Qwen 3.5, que habían mostrado relativamente poca diferencia en las tasas generales de refutación, eran susceptibles a este comportamiento.

Proporción de respuestas que contenían correcciones explícitas entre las que cuestionaban afirmaciones falsas, en cinco idiomas. Los resultados se dividen entre las instrucciones dirigidas a estudiantes (principiantes) y a profesores (expertos), y las fuentes de información atribuidas aparecen en el eje horizontal. Las barras de error indican intervalos de confianza del 95 %.

En cuatro de los siete modelos, era menos probable que se cuestionaran explícitamente las afirmaciones falsas en hindi, chino y yoruba que en inglés. En cinco de los siete modelos, las respuestas en hindi también contenían más elogios que las demás.

Las respuestas refutaron las afirmaciones falsas en el 65,3 % de las consultas de búsqueda de información, aunque por lo general menos de la mitad de esas respuestas las rechazaban explícitamente. Las correcciones directas eran más frecuentes en las instrucciones dirigidas a estudiantes que en las dirigidas a profesores, y menos frecuentes cuando las afirmaciones se atribuían a fuentes autorizadas.

En hindi, chino y yoruba, la mayoría de las respuestas que cuestionaban una afirmación falsa lo hacían solo de manera indirecta, sin rechazar explícitamente el error. Además, en el 29,4 % de las consultas de búsqueda de información, las objeciones a las afirmaciones falsas iban acompañadas de asentimiento; en Gemini 2.5 Pro, la cifra ascendía al 60,1 %:

Porcentaje de respuestas que comenzaron con una afirmación de asentimiento antes de cuestionar una afirmación falsa, en siete modelos y tres tipos de instrucciones: verificación directa (verificar); solicitudes de estudiantes (principiante); y solicitudes de profesores (experto). Los resultados corresponden a respuestas que incluían tanto asentimiento como refutación. Las barras de error indican intervalos de confianza del 95 %.

Como se observa arriba, por lo general los modelos expresaban asentimiento antes de plantear objeciones, en lugar de corregir la afirmación falsa desde el principio. En algunos casos, después de la objeción añadían más expresiones de asentimiento, lo que los investigadores describen como un «sándwich de elogios».

Estudio con participantes

Para comprobar si estas correcciones realmente funcionaban, se reclutó a 300 participantes: 100 hablantes de inglés, 100 de alemán y 100 de chino. Los participantes valoraron afirmaciones falsas antes y después de leer las respuestas de los modelos.

Como se muestra a continuación, solo las correcciones explícitas redujeron de forma fiable la creencia en afirmaciones falsas entre los hablantes de inglés y de alemán. Aun así, después, apenas el 46,7 % de los hablantes de inglés y el 43,8 % de los hablantes de alemán calificaron las afirmaciones de inexactas. Entre los hablantes de chino, solo las respuestas que combinaban el asentimiento con una refutación indirecta produjeron una mejora estadísticamente significativa:

Cambios en las valoraciones de afirmaciones falsas por parte de los participantes después de leer respuestas de modelos que contenían asentimiento, objeciones indirectas o correcciones explícitas. Los resultados corresponden a 100 hablantes de cada idioma: inglés, alemán y chino. Los valores negativos indican una menor creencia en la afirmación falsa. Los puntos individuales representan a los participantes, mientras que las barras de error negras indican intervalos de confianza del 95 %.

Los investigadores también comprobaron si pedir a los modelos que «esperaran un minuto» antes de responder aumentaría su disposición a cuestionar la desinformación. En la ilustración final de abajo, se observan indicios de más refutaciones y menos formulaciones aduladoras en algunos casos, pero también de que esto dio lugar a más objeciones incorrectas a afirmaciones verdaderas:

Comparación de las respuestas de siete modelos antes y después de la intervención «espera un minuto», con instrucciones en inglés y traducidas. Los gráficos muestran la refutación general de afirmaciones falsas, las correcciones explícitas sin asentimiento y las objeciones incorrectas a afirmaciones verdaderas. Los marcadores negros verticales indican los resultados de la verificación directa.

Conclusión

Podría decirse que, en la «lógica interna» de los modelos de lenguaje, la cortesía y la deferencia se han confundido (es decir, el efecto neto de sus matrices entrenadas y de las numerosas restricciones impuestas desde fuera a las que están sometidos); además, el nuevo estudio no determina por qué los modelos a veces reconocen una afirmación falsa, pero rodean sus objeciones de elogios o muestras de acuerdo.

El problema fundamental es que los productos dirigidos al consumidor, como las series GPT y Gemini, han sido forzados a adoptar capas de presentación antropomórficas, para que el segmento más amplio de clientes de pago —que podría decirse que representa el «mínimo común denominador» y constituye el grupo demográfico objetivo más numeroso y rentable— pueda entender fácilmente el producto y quiera seguir comprándolo.

Si tan solo pudiéramos admitir que el producto no es humano, al menos podríamos intentar desactivar todo este «contexto» confuso y acceder de forma más directa al conocimiento adquirido por los modelos durante su entrenamiento.

* Aunque, por supuesto, esta información por sí sola hace avanzar el campo.

Publicado por primera vez el jueves 15 de octubre de 2026