Los gráficos llamativos pueden hacer que incluso la investigación ‘mala’ parezca confiable

Una nueva investigación encuentra que agregar gráficos elaborados y complejos puede hacer que las personas confíen en decisiones sesgadas de la inteligencia artificial, incluso cuando son claramente injustas.

Aunque la práctica de “cegar a alguien con ciencia” precede significativamente a la actual era de la inteligencia artificial, es posible que se esté perfeccionando en esta era, no solo porque el reciente crecimiento de las presentaciones de artículos científicos ha hecho que la relación señaligeno/ruido sea desfavorable, y los “trucos baratos” sean más comunes.

Fiel al antiguo adagio “mentiras, mentiras condenadas y estadísticas”, la herramienta central utilizada para engañar o confundir a los lectores, al presentar nuevos sistemas y evidencia científica que explica o justifica las afirmaciones que los rodean, son gráficos y visualizaciones de datos.

En un estudio de 2019 sobre el efecto de los gráficos en los participantes en Pensilvania rural, los autores del trabajo observaron:

‘Las personas que fueron afectadas por el abuso o la adicción se inclinaron hacia los gráficos que representaban esas sustancias. Las personas a menudo determinaron la calidad de un gráfico que contenía información geográfica en función de lo fácil o difícil que era encontrar su estado de origen.

‘Otras personas tendieron a valorar los gráficos no en función de su propia comprensión, sino de la eficacia percibida del gráfico para comunicarse con otras personas.

‘Finalmente, un participante incluso sugirió que prestaría más atención a las visualizaciones de fuentes de noticias locales que nacionales.’

Algunos de los gráficos mostrados a los habitantes de Pensilvania rural en un estudio de 2019. Fuente

El efecto hipnótico de los gráficos de datos se está volviendo especialmente pertinente en la nueva era de aprendizaje automático, donde la confianza es crucial para el mantenimiento de la economía de la inteligencia artificial (y, posiblemente, para evitar un crash).

La colaboración de 2024 entre EE. UU. y el Reino Unido Trust Junk and Evil Knobs: Calibrating Trust in AI Visualization introdujo la idea de Trust Junk: una visualización de XAI “que no tiene una conexión significativa con el modelo o los datos subyacentes [y] se utiliza para mejorar la confianza”:

Del papel ‘Trust Junk and Evil Knobs: Calibrating Trust in AI Visualization’, un ejemplo de datos que se manipulan para servir a un propósito previo (derecha), en lugar de ser mostrados explícitamente (izquierda). Este tipo de enfoque ‘fomenta la dependencia excesiva y abruma al usuario mientras proporciona una ilusión de control’, según el papel. Fuente

Un estudio rápido

Desde que se planteó el concepto de Trust Junk, no se ha probado; una omisión que se aborda en un nuevo artículo de EE. UU., en el que se presentaron a los participantes los resultados de un supuesto estudio de inteligencia artificial, sobre cuál de un grupo de candidatos probablemente aprobaría un examen de barra de abogados en EE. UU.

Si se miraba con cuidado, se podía notar que los criterios de filtrado eran a) todos los hombres negros y b) todos los demás, con la predicción de que todos los hombres negros fallarían el examen :

Del nuevo artículo: un estímulo anotado utilizado en los experimentos de los autores, que muestra una decisión del modelo (C) sobre si un candidato (B) aprobará el examen de barra, junto con componentes explicativos que funcionan como ‘basura de confianza’ (A, D, E, F). El modelo es discriminatorio, pero la cantidad creciente de información explicativa en gran medida irrelevante lleva a los participantes a estar de acuerdo más con sus resultados y a juzgarlo como justo. Fuente

La mayoría de los participantes estuvieron de acuerdo con las predicciones del modelo y lo calificaron como justo y confiable, con el acuerdo, la confianza y la percepción de justicia aumentando a medida que se agregaban más gráficos y detalles irrelevantes, incluso cuando menos personas notaron el sesgo racista obvio.

Algunos usuarios objetaron el estudio, pero no por razones aparentemente relacionadas con el tema central:

‘Notamos 19 instancias en las que los participantes describieron explícitamente nuestro modelo como justo (por ejemplo, [un participante] dijo: “Es justo porque no tiene sesgo racial o de género”). Sin embargo, los participantes ocasionalmente expresaron incomodidad con el modelo. [Un participante] dijo que estaba preocupado por “qué tipo de oscuridad la gente podría usar para ello”.’

A pesar de todo, en tres grupos de estudio dentro de los participantes, cada grupo fue sometido a cantidades crecientes de Trust Junk, y no uno de ellos identificó el verdadero problema.

Los autores concluyen*:

‘En resumen, encontramos que la basura de confianza funcionó: los participantes fueron “calmados” por la información irrelevante o “adormecidos” por la gran cantidad de datos en las explicaciones.

‘Todo esto ocurrió en el contexto de un modelo que era superficial y profundamente injusto, precisamente el caso en el que esperaríamos que la XAI permitiera a las audiencias legas tomar decisiones precisas.’

Dado que se nos está aconsejando cada vez más que verifiquemos qué nos dice la inteligencia artificial (ya sea por motivos sospechosos o por salidas con errores), podemos estar inclinados a profundizar más allá de los titulares y analizar el material de las investigaciones, los informes trimestrales de las empresas y otros formatos de entrega de información lejos de ser neutrales.

Pero ¿estamos preparados para prestar más atención a los gráficos “calmantes” que nos aseguran la precisión, o al menos para restar importancia a la “niebla de veracidad” que una lluvia de gráficos puede evocar?

El nuevo artículo se titula “La ‘basura de confianza’ conduce a un apoyo infundado a modelos predictivos altamente discriminatorios“, y proviene de tres investigadores de la Universidad Northeastern en Boston, Massachusetts. Un sitio web suplementario también ha sido puesto a disposición.

Método

Los autores realizaron un experimento entre sujetos (es decir, diferentes participantes asignados a diferentes condiciones) sobre la “basura de confianza” en las explicaciones de la XAI, para probar si cantidades crecientes de detalles técnicamente correctos pero irrelevantes podrían persuadir a los usuarios de que un modelo sesgado era justo y útil.

Los estímulos se basaron en trabajos anteriores, y los paneles de XAI resultantes combinaron múltiples técnicas de explicación en una sola interfaz.

Para la mencionada salida “sesgada”, los investigadores desarrollaron explicaciones “basura” para el estudio, con explicaciones deliberadamente temáticas sobre técnicas de presentación de datos engañosas:

‘Proporcionamos una cantidad excesiva de información para nuestra tarea de clasificación binaria. Nuestra inclusión de grandes cantidades de detalles complejos pero en última instancia irrelevantes pretendía abrumar a los participantes del estudio en lugar de proporcionar datos genuinamente útiles.

‘Esta técnica [metafóricamente] adormece al usuario para que acepte su propia incapacidad para comprender completamente los datos […].’

El estudio se basa en controversias anteriores sobre la calificación de la inteligencia artificial en los exámenes del Bachillerato Internacional y el Nivel Avanzado de Certificado General, utilizando el conjunto de datos de la Ley de Admisiones de la Escuela de Derecho Bar Passage, que contiene datos demográficos, académicos y de resultados para 20.000 candidatos de 1991 a 1997.

Este conjunto de datos se utilizó para construir un modelo intencionalmente sesgado, que predecía el fracaso para los candidatos negros, mientras que aprobaba a todos los demás; sin embargo, el modelo aún logra una precisión del 93,7%, debido a desequilibrios de clases en raza y género.

Una estrategia de “apelación a la autoridad” también se probó, con señales de apariencia impresionante, como una afiliación a una universidad prestigiosa, el tamaño del conjunto de datos y la precisión engañosa, se agregaron.

Además, se omitieron las medidas que habrían expuesto la dependencia del modelo de la raza y el género, y solo se presentaron resultados favorables. Un pequeño conjunto de candidatos similares se presentó junto con sus resultados reales del examen, en lugar de las predicciones del modelo, y esto ayudó a ocultar el patrón consistente de fracaso asignado a los candidatos negros.

Para moldear aún más la forma en que los participantes interpretaron el sistema, la información se presentó de una manera que los llevó a formar explicaciones simples pero engañosas de cómo funcionaba el modelo. Se mostraron detalles sobre todas las características disponibles, creando la impresión de que muchos factores influyeron en la decisión, aunque solo la raza y el género se utilizaron. Un énfasis cínico en los atributos individuales también alentó a los participantes a construir historias plausibles pero incorrectas sobre por qué un candidato se predecía que aprobaría o suspendería.

Las ‘víctimas’

En el grupo de prueba, cada explicación se asignó a uno de los tres niveles de Trust Junk en tres condiciones de estudio: los participantes en la condición Base solo vieron la procedencia básica, un perfil de candidato y la decisión del modelo; los de la condición Modelo también vieron estadísticas de precisión; y los de Todo también vieron histogramas de características y perfiles de candidatos similares extraídos del conjunto de datos de entrenamiento.

El estudio fue aprobado por un comité de revisión institucional y se llevó a cabo en Prolific, con participantes pagados a $15 por hora, y asignados aleatoriamente a las condiciones.

Cada participante revisó ocho perfiles de candidatos al examen de barra en orden aleatorio y juzgó si cada uno aprobaría, con acuerdo utilizado como una métrica de confianza, seguida de cuestionarios para evaluar la confianza y una muestra final de 28, 27 y 28 participantes en las condiciones Base, Modelo y Todo.

Los autores plantearon que agregar más información aparentemente rica pero en última instancia distraída o incompleta podría “lavar la cara” al modelo creando una confianza infundada en sus resultados. Esperaban que los participantes en las condiciones Modelo y Todo mostraran un mayor acuerdo y una percepción más fuerte de justicia, confiabilidad y utilidad que los de la condición Base. También analizaron las explicaciones escritas de los participantes, para ver cómo daban sentido a las decisiones del modelo, centrándose en si notaron su sesgo o lagunas en la información proporcionada.

Resultados de las pruebas

En cuanto al acuerdo del modelo, los participantes humanos identificaron el resultado correcto el 66,6% de las veces, pero estuvieron de acuerdo con el modelo el 73,9% de las veces, mostrando una tendencia a seguir las decisiones del modelo incluso cuando eran incorrectas. Este efecto se fortaleció a medida que se agregaba más detalle explicativo, con la condición más detallada que aumentó el acuerdo al 82,6%, y aumentó la probabilidad de que los participantes se sometieran incorrectamente al modelo:

Puntuaciones agregadas para el acuerdo (izquierda), la confianza (centro) y la satisfacción (derecha); los participantes en la condición ‘Todo’, expuestos a contenido explicativo adicional irrelevante para la justicia, informaron puntuaciones significativamente más altas en todas las medidas, a pesar de que el modelo permaneció idéntico y claramente injusto.

Las calificaciones de confianza variaron significativamente según la condición, con los participantes en la condición Todo informando una confianza más alta (M = 25,3) que los de la condición Base (M = 16,8), mientras que la condición Modelo (M = 20,1) no difirió significativamente de ninguna de las dos.

La satisfacción con la explicación difirió significativamente según la condición, con los participantes en la condición Todo informando una satisfacción más alta (M = 34,2) que los de las otras dos condiciones (M = 26,4).

Los participantes calificaron la justicia utilizando cuatro preguntas en una escala de siete puntos, que cubrían el sesgo de género, el sesgo general y la ética, sin diferencias significativas entre las condiciones en estas medidas:

Distribución de las calificaciones de los participantes en las condiciones para la justicia percibida en raza y género, ausencia de sesgo y ética general. Se encuentra que niveles más altos de detalles explicativos están asociados con calificaciones ligeramente más altas de justicia y sesgo libre, a pesar de que el modelo subyacente permanece sin cambios y es injusto.

Una diferencia se produjo en la justicia a través de la raza, donde el grupo Base calificó el modelo como el menos justo (M = 3,9), mientras que tanto el grupo Modelo como el grupo Todo lo calificaron más alto (M = 4,8). De mayor preocupación es que la mayor proporción de participantes que juzgaron el modelo claramente injusto como justo provino de los dos grupos que se les mostró más detalles explicativos, que también fueron los menos propensos a reconocer su sesgo.

Control de calidad

Las respuestas cualitativas mostraron que los participantes a los que se les dio la menos información fueron más propensos a notar problemas con el modelo, particularmente su dependencia de la raza y el género. También fueron más propensos a decir que faltaban detalles importantes.

Por el contrario, aquellos que se les mostraron explicaciones más elaboradas plantearon estas preocupaciones con menos frecuencia. Sin embargo, solo tres participantes en todas las condiciones demostraron incluso una comprensión parcial de los factores clave que impulsaban las decisiones del modelo; y ninguno identificó completamente cómo funcionaba.

Gráficos que muestran con qué frecuencia los participantes informaron posible sesgo de raza o género y información explicativa faltante en las condiciones, con niveles más altos de detalles explicativos asociados con menos participantes que notaron el sesgo o informaron información faltante, a pesar de que el modelo dependía solo de la raza y el género.

Muchos participantes describieron explícitamente el modelo como justo, con 19 respuestas de este tipo registradas, a pesar de su sesgo claro.

Al mismo tiempo, surgieron algunas inquietudes, con varios participantes expresando preocupación sobre cómo se podría utilizar un sistema de este tipo, y 15 respuestas cuestionando si el modelo podría capturar realmente la complejidad de los candidatos individuales.

Los autores afirman:

‘Solo una minoría de participantes describió el modelo como injusto o sesgado. Los pocos participantes que informaron preocupaciones con el modelo no pudieron articular con precisión por qué el modelo era defectuoso, y, en ausencia de información crucial del modelo, recurrieron a razonamientos informales, a menudo incorrectos, para explicar por qué el modelo podría estar mal o ser injusto.’

El artículo concluye*^†:

‘Mientras que algunos de los problemas que descubrimos se pueden abordar mediante una mayor alfabetización en datos en las audiencias, la educación sola no es suficiente (incluso los expertos en inteligencia artificial autodenominados malinterpretan o no entienden las técnicas de XAI).

‘Repetimos la afirmación de Hullman et al.: el éxito de las explicaciones de la inteligencia artificial solo se puede evaluar justamente cuando se consideran los objetivos de dichas explicaciones.

‘Instamos a la comunidad a prestar atención a los objetivos retóricos de las explicaciones de la XAI y su poder manipulador como artefactos persuasivos intrínsecos.’

Conclusión

A medida que se aclara la medida en que los modelos de vanguardia están inclinados a ‘decorar’ declaraciones con gráficos falsos, es cada vez más obvio no solo que los gráficos generados por la inteligencia artificial no deben confiarse para respaldar la autoridad, sino que el efecto general ‘ambiental’ de las visualizaciones asociadas es algo que debemos comenzar a descartar, al igual que la fe en la fotografía se ha erosionado con el advenimiento de los deepfakes.

Este es un desarrollo alarmante, ya que constituye otro ‘punto de fatiga’ en la voluntad del público para evaluar rigurosamente lo que ve y escucha en los medios, y arriesga una especie de ‘acquiescencia terminal’ en la desinformación.

* Mi sustitución de las citas en línea de los autores por hipervínculos.

^† Formato original de los autores, no mío.

Publicado por primera vez el lunes 20 de julio de 2026