Nos compétences subconscientes en détection profonde des faux pourraient alimenter les futurs systèmes automatisés

Une nouvelle étude australienne suggère que notre cerveau est capable de reconnaître les deepfakes sophistiqués, même lorsque nous croyons consciemment que les images que nous voyons sont réelles.

Cette découverte suggère également la possibilité d'utiliser les réponses neuronales des individus aux visages truqués (plutôt que leurs opinions exprimées) pour former des systèmes automatisés de détection de ces truquages. Ces systèmes seraient formés aux caractéristiques des images truquées, non pas à partir d'estimations confuses de leur plausibilité, mais à partir de nos mécanismes perceptifs instinctifs de reconnaissance faciale.

« Bien que le cerveau puisse « reconnaître » la différence entre un visage réel et un visage réaliste, les observateurs ne peuvent pas les distinguer consciemment. Nos conclusions sur la dissociation entre la réponse cérébrale et le comportement ont des implications sur la façon dont nous étudions la perception des faux visages, les questions que nous posons lorsque nous interrogeons sur l'identification des fausses images et les moyens possibles d'établir des normes de protection contre l'utilisation abusive de fausses images. »

Les résultats sont apparus lors de séries de tests conçus pour évaluer la façon dont les gens réagissent aux fausses images, y compris les images de visages manifestement faux, de voitures, d'espaces intérieurs et de visages inversés (c'est-à-dire à l'envers).

Différentes itérations et approches ont été utilisées pour les expériences, impliquant deux groupes de sujets devant classer une image brièvement affichée comme « fausse » ou « réelle ». La première phase s'est déroulée sur Amazon Mechanical Turk, avec 200 volontaires, tandis que la seconde phase impliquait un nombre plus restreint de volontaires répondant aux tests tout en étant branchés à des appareils EEG. Source : https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

Le papier affirme :

«Nos résultats démontrent qu'avec seulement un bref aperçu, les observateurs peuvent être en mesure de repérer de faux visages. Cependant, ils ont plus de mal à distinguer les vrais visages des faux visages et, dans certains cas, ils pensent que les faux visages sont plus réels que les vrais visages.

«Cependant, en utilisant des méthodes d'EEG résolues dans le temps et de classification des modèles multivariés, nous avons découvert qu'il était possible de décoder à la fois des visages irréalistes et réalistes à partir de visages réels en utilisant l'activité cérébrale.

« Cette dissociation entre le comportement et les réponses neuronales pour les visages réalistes apporte de nouvelles preuves importantes sur la perception des faux visages ainsi que des implications impliquant la classe de plus en plus réaliste des visages générés par GAN. »

L'article suggère que le nouveau travail a « plusieurs implications » dans la cybersécurité appliquée, et que le développement de classificateurs d'apprentissage deepfake devrait peut-être être guidé par la réponse subconsciente, telle que mesurée sur les lectures EEG en réponse à de fausses images, plutôt que par l'estimation consciente par le spectateur de la véracité d'une image.

Les auteurs commentent* :

«Cela rappelle les découvertes selon lesquelles les personnes atteintes de prosopagnosie qui ne peuvent pas classer ou reconnaître comportementalement les visages comme familiers ou inconnus affichent néanmoins des réponses autonomes plus fortes aux visages familiers que des visages inconnus.

De même, cette étude a démontré que, même si nous pouvions décoder avec précision la différence entre visages réels et visages réalistes grâce à l'activité neuronale, cette différence n'était pas perceptible au niveau comportemental. Au contraire, les observateurs ont identifié à tort 69 % des visages réels comme étant des faux.

Quand vous vous déconnectez, votre profil nouveau travail est intitulé Es-tu sérieux? Décodage de visages réalistes générés par l'IA à partir de l'activité neuronale, et provient de quatre chercheurs de l'Université de Sydney, de l'Université Macquarie, de l'Université Western Sydney et de l'Université du Queensland.

Date

Les résultats ont émergé d'un examen plus large de la capacité humaine à distinguer les images manifestement fausses, hyperréalistes (mais toujours fausses) et réelles, réalisées au cours de deux séries de tests.

Les chercheurs ont utilisé des images créées par les réseaux antagonistes génératifs (GAN), a partagé la publication de par Nvidia.

Images de visage humain générées par le GAN mises à disposition par NVIDIA. Source: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

Les données comprenaient 25 visages, voitures et chambres, à des niveaux de rendu allant de « irréaliste » à « réaliste ». Pour la comparaison des visages (c'est-à-dire pour des images non falsifiées), les auteurs ont utilisé des sélections issues des données sources de NVIDIA, Flickr-Faces-HQ (FFHQ). jeu de données. Pour comparer les autres scénarios, ils ont utilisé du matériel de la LSUN jeu de données.

Les images seraient finalement présentées au sujet de test soit dans le bon sens, soit inversées et à une gamme de fréquences, avec toutes les images redimensionnées à 256 × 256 pixels.

Une fois tout le matériel assemblé, 450 images de stimuli ont été sélectionnées pour les tests.

Exemples représentatifs des données d'essai.

Tests

Les tests eux-mêmes ont d'abord été effectués en ligne, via jsPsych sur pavlovia.org, avec 200 participants jugeant divers sous-ensembles du total des données de test recueillies. Les images ont été présentées pendant 200 ms, suivies d'un écran vide qui persistait jusqu'à ce que le spectateur décide si l'image flashée était réelle ou fausse. Chaque image n'a été présentée qu'une seule fois et l'ensemble du test a duré 3 à 5 minutes.

Le deuxième cycle, plus révélateur, a utilisé des sujets en personne équipés de moniteurs EEG et a été présenté sur le Psychopie2 plateforme. Chacune des vingt séquences contenait 40 images, avec 18,000 XNUMX images présentées sur toute la tranche des données de test.

Les données EEG recueillies ont été décodées via MATLAB avec la boîte à outils CoSMoMVPA, à l'aide d'un validation croisée leave-one-out schéma sous analyse discriminante linéaire (LDA).

Le classificateur LDA était le composant capable de faire la distinction entre la réaction cérébrale aux faux stimuli et l'opinion du sujet sur le fait que l'image était fausse.

Résultats

Intéressés de voir si les sujets du test EEG pouvaient faire la distinction entre les faux et les vrais visages, les chercheurs ont agrégé et traité les résultats, constatant que les participants pouvaient facilement distinguer les visages réels des visages irréalistes, mais avaient apparemment du mal à identifier les faux visages réalistes générés par le GAN. Que l'image soit à l'envers ou non semblait faire peu de différence.

Discrimination comportementale des visages réels et synthétiques, au second tour.

Cependant, les données EEG ont raconté une histoire différente.

Le papier déclare:

« Bien que les observateurs aient eu du mal à distinguer les vrais visages des faux et aient eu tendance à surclasser les faux visages, les données EEG contenaient des informations de signal pertinentes pour cette distinction qui différaient de manière significative entre réaliste et irréaliste, et ce signal semblait être limité à une étape de traitement relativement courte. »

Ici, la disparité entre la précision de l'EEG et l'opinion rapportée des sujets (c'est-à-dire si les images du visage étaient fausses ou non) n'est pas identique, les captures EEG se rapprochant plus de la vérité que la perception manifeste des personnes impliquées.

Les chercheurs concluent que même si les observateurs peuvent avoir du mal à identifier tacitement les faux visages, ces visages ont des « représentations distinctes dans le système visuel humain ».

La disparité constatée a amené les chercheurs à spéculer sur l'applicabilité potentielle de leurs découvertes pour les futurs mécanismes de sécurité :

« Dans un contexte appliqué tel que la cybersécurité ou les Deepfakes, l'examen de la capacité de détection de visages réalistes pourrait être mieux poursuivi en utilisant des classificateurs d'apprentissage automatique appliqués aux données de neuroimagerie plutôt qu'en ciblant les performances comportementales. »

Ils concluent:

« Comprendre la dissociation entre le cerveau et le comportement pour la détection de faux visages aura des implications pratiques sur la manière dont nous abordons la propagation potentiellement préjudiciable et universelle des informations générées artificiellement. »

* Ma conversion des citations en ligne en hyperliens.

Première publication le 11 juillet 2022.