Utilizando alucinaciones de IA para evaluar la realidad de las imágenes

Nueva investigación de Rusia propone un método no convencional para detectar imágenes generadas por IA poco realistas – no mejorando la precisión de los grandes modelos de visión-lenguaje (LVLM), sino aprovechando intencionalmente su tendencia a alucinar.

El enfoque novedoso extrae múltiples ‘hechos atómicos’ sobre una imagen utilizando LVLM, luego aplica inferencia de lenguaje natural (NLI) para medir sistemáticamente las contradicciones entre estas declaraciones – efectivamente convirtiendo los defectos del modelo en una herramienta de diagnóstico para detectar imágenes que desafían el sentido común.

Dos imágenes del conjunto de datos WHOOPS! junto con declaraciones generadas automáticamente por el modelo LVLM. La imagen de la izquierda es realista, lo que lleva a descripciones consistentes, mientras que la imagen inusual de la derecha hace que el modelo alucine, produciendo declaraciones contradictorias o falsas. Fuente: https://arxiv.org/pdf/2503.15948

Cuando se le pide evaluar la realidad de la segunda imagen, el LVLM puede ver que algo está mal, ya que el camello representado tiene tres jorobas, lo que es desconocido en la naturaleza.

Sin embargo, el LVLM inicialmente confunde >2 jorobas con >2 animales, ya que esta es la única forma en que podrías ver tres jorobas en una ‘imagen de camello’. Luego procede a alucinar algo aún más improbable que tres jorobas (es decir, ‘dos cabezas’) y nunca detalla lo que parece haber desencadenado sus sospechas – la improbable joroba extra.

Los investigadores del nuevo trabajo encontraron que los modelos LVLM pueden realizar este tipo de evaluación de forma nativa, y en igualdad con (o mejor que) los modelos que han sido ajustados para una tarea de este tipo. Dado que el ajuste es complicado, costoso y bastante frágil en términos de aplicabilidad descendente, el descubrimiento de un uso nativo para uno de los mayores obstáculos en la actual revolución de la IA es un giro refrescante en las tendencias generales de la literatura.

Evaluación Abierta

La importancia del enfoque, afirman los autores, es que puede ser desplegado con marcos de código abierto. Si bien un modelo avanzado y de gran inversión como ChatGPT puede (el documento concede) potencialmente ofrecer mejores resultados en esta tarea, el valor real de la literatura para la mayoría de nosotros (y especialmente para las comunidades de aficionados y VFX) es la posibilidad de incorporar y desarrollar nuevas innovaciones en implementaciones locales; por el contrario, todo lo destinado a un sistema de API comercial propietario está sujeto a retirada, aumentos de precios arbitrarios y políticas de censura que es más probable que reflejen las preocupaciones corporativas de la empresa que las necesidades y responsabilidades del usuario.

El nuevo documento se titula No luches contra las alucinaciones, úsalas: Estimación de la realidad de las imágenes utilizando NLI sobre hechos atómicos, y proviene de cinco investigadores de Skolkovo Institute of Science and Technology (Skoltech), Moscow Institute of Physics and Technology, y las empresas rusas MTS AI y AIRI. El trabajo tiene una página acompañante en GitHub.

Método

Los autores utilizan el conjunto de datos WHOOPS! israelí/estadounidense para el proyecto:

Ejemplos de imágenes imposibles del conjunto de datos WHOOPS! Es notable cómo estas imágenes ensamblan elementos plausibles, y que su improbabilidad debe calcularse en base a la concatenación de estos aspectos incompatibles. Fuente: https://whoops-benchmark.github.io/

El conjunto de datos comprende 500 imágenes sintéticas y más de 10,874 anotaciones, diseñadas específicamente para probar la comprensión de la razón común y la comprensión compositiva de los modelos de IA. Fue creado en colaboración con diseñadores encargados de generar imágenes desafiantes a través de sistemas de texto a imagen como Midjourney y la serie DALL-E – produciendo escenarios difíciles o imposibles de capturar naturalmente:

Más ejemplos del conjunto de datos WHOOPS! Fuente: https://huggingface.co/datasets/nlphuji/whoops