Nuestras habilidades subconscientes de detección de deepfakes podrían impulsar sistemas automatizados futuros

Nueva investigación de Australia sugiere que nuestro cerebro es hábil para reconocer deepfakes sofisticados, incluso cuando creemos conscientemente que las imágenes que estamos viendo son reales.

El hallazgo implica además la posibilidad de utilizar las respuestas neuronales de las personas a caras deepfake (en lugar de sus opiniones declaradas) para entrenar sistemas automatizados de detección de deepfakes. Dichos sistemas se entrenarían en las características de deepfake de las imágenes, no en estimaciones confusas de plausibilidad, sino en nuestros mecanismos perceptivos instintivos para el reconocimiento de la identidad facial.

‘Aunque el cerebro puede ‘reconocer’ la diferencia entre caras reales y realistas, los observadores no pueden distinguir conscientemente entre ellas. Nuestros hallazgos sobre la disociación entre la respuesta cerebral y el comportamiento tienen implicaciones para cómo estudiamos la percepción de caras falsas, las preguntas que planteamos al preguntar sobre la identificación de imágenes falsas y las posibles formas en que podemos establecer estándares de protección contra el mal uso de imágenes falsas.’

Los resultados surgieron en rondas de pruebas diseñadas para evaluar la forma en que las personas responden a imágenes falsas, incluyendo imágenes de caras claramente falsas, coches, espacios interiores y caras invertidas (es decir, boca abajo).

Variaciones y enfoques para los experimentos, que involucraron a dos grupos de sujetos de prueba que necesitaban clasificar una imagen mostrada brevemente como ‘falsa’ o ‘real’. La primera ronda se llevó a cabo en Amazon Mechanical Turk, con 200 voluntarios, mientras que la segunda ronda involucró a un número menor de voluntarios que respondieron a las pruebas mientras estaban conectados a máquinas de EEG. Fuente: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

El artículo afirma:

‘Nuestros resultados demuestran que, dado solo un vistazo breve, los observadores pueden detectar caras falsas. Sin embargo, tienen más dificultades para distinguir caras reales de caras falsas y, en algunos casos, creen que las caras falsas son más reales que las caras reales.

‘Sin embargo, utilizando EEG de resolución temporal y métodos de clasificación de patrones multivariable, encontramos que fue posible decodificar tanto caras realistas como no realistas de caras reales utilizando la actividad cerebral.

‘Esta disociación entre el comportamiento y las respuestas neuronales para caras realistas proporciona nuevas pruebas importantes sobre la percepción de caras falsas, así como implicaciones que involucran la creciente clase de caras generadas por GAN.’

El artículo sugiere que el nuevo trabajo tiene ‘varias implicaciones’ en ciberseguridad aplicada, y que el desarrollo de clasificadores de aprendizaje de deepfakes debería estar impulsado por la respuesta subconsciente, medida en lecturas de EEG en respuesta a imágenes falsas, en lugar de la estimación consciente del espectador sobre la veracidad de una imagen.

Los autores comentan*:

‘Esto es reminiscente de hallazgos que indican que las personas con prosopagnosia que no pueden clasificar o reconocer caras como familiares o no familiares, sin embargo, muestran respuestas autónomas más fuertes a caras familiares que a caras no familiares.

‘De manera similar, lo que hemos demostrado en este estudio es que, aunque pudimos decodificar con precisión la diferencia entre caras reales y caras realistas desde la actividad neural, esa diferencia no se vio comportamentalmente. En cambio, los observadores identificaron incorrectamente el 69% de las caras reales como falsas.’

El nuevo trabajo se titula ¿Eres real? Decodificando caras generadas por IA realistas desde la actividad neural, y proviene de cuatro investigadores de la Universidad de Sydney, la Universidad de Macquarie, la Universidad de Sydney Occidental y la Universidad de Queensland.

Datos

Los resultados surgieron de un examen más amplio de la capacidad humana para distinguir imágenes falsas manifiestas, hiperrealistas (pero aún falsas) y reales, llevado a cabo en dos rondas de pruebas.

Los investigadores utilizaron imágenes creadas por Redes Adversarias Generativas (GAN), compartidas por NVIDIA.

Imágenes de caras humanas generadas por GAN puestas a disposición por NVIDIA. Fuente: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

Los datos consistieron en 25 caras, coches y dormitorios, en niveles de renderizado que variaban desde ‘no realistas’ hasta ‘realistas’. Para la comparación de caras (es decir, para material no falso adecuado), los autores utilizaron selecciones del conjunto de datos de origen de NVIDIA’s Flickr-Faces-HQ (FFHQ) dataset. Para la comparación de los demás escenarios, utilizaron material del conjunto de datos LSUN.

Las imágenes se presentarían finalmente al sujeto de prueba ya sea de la manera correcta o invertida, y en una variedad de frecuencias, con todas las imágenes redimensionadas a 256×256 píxeles.

Después de que se reunió todo el material, se curaron 450 imágenes de estímulo para las pruebas.

Ejemplos representativos de los datos de prueba.

Pruebas

Las pruebas en sí se llevaron a cabo inicialmente en línea, a través de jsPsych en pavlovia.org, con 200 participantes que juzgaban varios subconjuntos de los datos de prueba totales. Las imágenes se presentaron durante 200 ms, seguidas de una pantalla en blanco que persistiría hasta que el espectador tomara una decisión sobre si la imagen mostrada brevemente era ‘falsa’ o ‘real’. Cada imagen se presentó solo una vez, y toda la prueba tardó de 3 a 5 minutos en completarse.

La segunda ronda, más reveladora, utilizó sujetos en persona conectados a monitores de EEG, y se presentó en la plataforma Psychopy2. Cada una de las veinte secuencias contenía 40 imágenes, con 18,000 imágenes presentadas en todo el conjunto de datos de prueba.

Los datos de EEG recopilados se decodificaron mediante MATLAB con la herramienta CoSMoMVPA, utilizando un esquema de validación cruzada de un elemento bajo Análisis Discriminante Lineal (LDA).

El clasificador LDA fue el componente que pudo hacer la distinción entre la reacción cerebral a estímulos falsos y la opinión del sujeto sobre si la imagen era falsa.

Resultados

Interesados en ver si los sujetos de prueba de EEG podían discriminar entre caras falsas y reales, los investigadores agregaron y procesaron los resultados, encontrando que los participantes podían distinguir fácilmente caras reales de caras no realistas, pero aparentemente luchaban para identificar caras falsas realistas generadas por GAN. Si la imagen estaba invertida parecía hacer poca diferencia.

Discriminación conductual de caras reales y generadas sintéticamente, en la segunda ronda.

Sin embargo, los datos de EEG contaron una historia diferente.

El artículo establece:

‘Aunque los observadores tuvieron problemas para distinguir caras reales de caras falsas y tendieron a sobreclasificar caras falsas, los datos de EEG contenían información de señal de respuesta relevante para esta distinción, que difirió significativamente entre caras realistas y no realistas, y esta señal de respuesta pareció estar limitada a una etapa relativamente corta de procesamiento.’

Aquí la disparidad entre la precisión de EEG y la opinión reportada de los sujetos (es decir, sobre si las imágenes de caras eran falsas) no son idénticas, con las capturas de EEG que se acercan más a la verdad que la percepción manifiesta de las personas involucradas.

Los investigadores concluyen que, aunque los observadores pueden tener problemas para identificar tácitamente caras falsas, estas caras tienen ‘representaciones distintas en el sistema visual humano’.

La disparidad encontrada ha llevado a los investigadores a especular sobre la posible aplicabilidad de sus hallazgos para mecanismos de seguridad futuros:

‘En un entorno aplicado, como la ciberseguridad o los deepfakes, examinar la capacidad de detección para caras realistas podría ser mejor perseguido utilizando clasificadores de aprendizaje automático aplicados a datos de neuroimagen en lugar de apuntar al rendimiento conductual.’

Concluyen:

‘Comprender la disociación entre el cerebro y el comportamiento para la detección de caras falsas tendrá implicaciones prácticas para la forma en que abordamos la propagación potencialmente perjudicial y universal de información generada artificialmente.’

* Mi conversión de citas en línea a hipervínculos.

Publicado por primera vez el 11 de julio de 2022.