Nos compétences subconscientes de détection de deepfakes pourraient alimenter les systèmes automatisés futurs

De nouvelles recherches en Australie suggèrent que notre cerveau est habile à reconnaître des deepfakes sophistiqués, même lorsque nous croyons consciemment que les images que nous voyons sont réelles.

La découverte implique en outre la possibilité d’utiliser les réponses neuronales des gens aux visages de deepfakes (plutôt que leurs opinions déclarées) pour former des systèmes automatisés de détection de deepfakes. De tels systèmes seraient formés sur les caractéristiques de deepfakes des images, et non sur des estimations confuses de plausibilité, mais sur nos mécanismes perceptuels instinctifs pour la reconnaissance de l’identité faciale.

‘[B]ien que le cerveau puisse « reconnaître » la différence entre les visages réels et les visages réalistes, les observateurs ne peuvent pas consciemment les distinguer. Nos résultats sur la dissociation entre la réponse cérébrale et le comportement ont des implications pour la façon dont nous étudions la perception des faux visages, les questions que nous posons lorsqu’on demande l’identification des images fausses, et les moyens possibles pour établir des normes de protection contre les abus d’images fausses.’

Les résultats sont issus de séries de tests conçus pour évaluer la façon dont les gens réagissent aux images fausses, y compris des images de visages manifestement faux, de voitures, d’espaces intérieurs et de visages inversés (c’est-à-dire à l’envers).

Différentes itérations et approches pour les expériences, qui ont impliqué deux groupes de sujets de test ayant besoin de classer une image présentée brièvement comme « fausse » ou « réelle ». Le premier tour a eu lieu sur Amazon Mechanical Turk, avec 200 volontaires, tandis que le deuxième tour a impliqué un nombre plus petit de volontaires répondant aux tests tandis qu’ils étaient connectés à des machines EEG. Source: https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

L’article affirme:

‘Nos résultats démontrent que, même avec un simple coup d’œil, les observateurs peuvent être capables de repérer les visages faux. Cependant, ils ont plus de mal à distinguer les visages réels des visages faux et, dans certains cas, croient que les visages faux sont plus réels que les visages réels.

‘Cependant, en utilisant des méthodes d’analyse EEG et de classification multivariable, nous avons constaté qu’il était possible de décoder à la fois les visages irréalistes et les visages réalistes à partir des visages réels en utilisant l’activité cérébrale.

‘Cette dissociation entre le comportement et les réponses neuronales pour les visages réalistes fournit de nouvelles preuves importantes sur la perception des faux visages, ainsi que des implications concernant la classe de plus en plus réaliste des visages générés par GAN.’

L’article suggère que les nouvelles recherches ont « plusieurs implications » en matière de cybersécurité appliquée, et que le développement de classificateurs d’apprentissage de deepfakes devrait peut-être être guidé par la réponse subconsciente, telle que mesurée sur les enregistrements EEG en réponse aux images fausses, plutôt que par l’estimation consciente de la véracité d’une image.

Les auteurs commentent*:

‘Ceci est rappelé par les résultats qui montrent que les individus avec une prosopagnosie qui ne peuvent pas classifier ou reconnaître les visages comme familiers ou non familiers affichent néanmoins des réponses autonomes plus fortes aux visages familiers qu’aux visages non familiers non familiers.

‘De même, ce que nous avons montré dans cette étude est que, même si nous pouvions décoder avec précision la différence entre les visages réels et les visages réalistes à partir de l’activité neuronale, cette différence n’a pas été visible dans le comportement. Au lieu de cela, les observateurs ont incorrectement identifié 69 % des visages réels comme étant faux.’

Les nouvelles recherches sont intitulées Êtes-vous réel? Décodage de visages réalistes générés par IA à partir de l’activité neuronale, et proviennent de quatre chercheurs de l’Université de Sydney, de l’Université Macquarie, de l’Université de Sydney occidental et de l’Université du Queensland.

Données

Les résultats sont issus d’un examen plus large de la capacité humaine à distinguer les images manifestement fausses, hyper-réalistes (mais toujours fausses) et réelles, mené à travers deux séries de tests.

Les chercheurs ont utilisé des images créées par des réseaux antagonistes génératifs (GAN), partagées par NVIDIA.

Images de visages humains générées par GAN mises à disposition par NVIDIA. Source: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

Les données comprenaient 25 visages, voitures et chambres, à des niveaux de rendu allant de « non réaliste » à « réaliste ». Pour la comparaison des visages (c’est-à-dire pour un matériel non faux approprié), les auteurs ont utilisé des sélections à partir des données sources de l’ensemble de données Flickr-Faces-HQ (FFHQ) de NVIDIA dataset. Pour la comparaison des autres scénarios, ils ont utilisé du matériel de l’ensemble de données LSUN.

Les images seraient finalement présentées au sujet de test soit dans le bon sens, soit à l’envers, et à une gamme de fréquences, avec toutes les images redimensionnées à 256×256 pixels.

Une fois que tout le matériel a été assemblé, 450 images de stimulus ont été curées pour les tests.

Exemples représentatifs des données de test.

Tests

Les tests eux-mêmes ont été initialement menés en ligne, via jsPsych sur pavlovia.org, avec 200 participants évaluant divers sous-ensembles des données de test totales. Les images ont été présentées pendant 200 ms, suivies d’un écran vide qui a persisté jusqu’à ce que le spectateur prenne une décision quant à savoir si l’image présentée était « fausse » ou « réelle ». Chaque image n’a été présentée qu’une seule fois, et l’ensemble du test a pris 3-5 minutes pour être terminé.

La deuxième série de tests, plus révélatrice, a utilisé des sujets en personne équipés de moniteurs EEG, et a été présentée sur la plate-forme Psychopy2. Chacune des vingt séquences contenait 40 images, avec 18 000 images présentées dans l’ensemble des données de test.

Les données EEG collectées ont été décodées via MATLAB avec la boîte à outils CoSMoMVPA, en utilisant un schéma de validation croisée laissant un de côté sous Analyse Discriminante Linéaire (LDA).

Le classificateur LDA était le composant qui a pu faire la distinction entre la réaction cérébrale aux stimuli faux et l’opinion du sujet sur la fausseté de l’image.

Résultats

Intéressés à savoir si les sujets de test EEG pouvaient discerner les visages faux des visages réels, les chercheurs ont agrégé et traité les résultats, constatant que les participants pouvaient discerner facilement les visages réels des visages non réalistes, mais semblaient avoir du mal à identifier les visages réalistes générés par GAN. Le fait que l’image soit à l’envers ou non semblait avoir peu d’importance.

Discrimination comportementale des visages réels et des visages générés par ordinateur, lors de la deuxième série de tests.

Cependant, les données EEG ont raconté une histoire différente.

L’article indique:

‘Bien que les observateurs aient eu du mal à distinguer les visages réels des visages faux et tendent à surestimer les visages faux, les données EEG contenaient des informations de signal pertinentes pour cette distinction qui diffèrent de manière significative entre les visages réalistes et non réalistes, et ce signal semblait être limité à une étape de traitement relativement courte.’

Ici, la disparité entre la précision des EEG et l’opinion déclarée des sujets (c’est-à-dire quant à savoir si les images de visages étaient fausses ou non) ne sont pas identiques, les captures EEG se rapprochant de la vérité plus que la perception manifeste des personnes impliquées.

Les chercheurs concluent que, même si les observateurs peuvent avoir du mal à identifier tacitement les visages faux, ces visages ont « des représentations distinctes dans le système visuel humain ».

La disparité constatée a conduit les chercheurs à spéculer sur la possibilité d’application de leurs résultats pour les mécanismes de sécurité futurs:

‘Dans un contexte appliqué tel que la cybersécurité ou les deepfakes, examiner la capacité de détection pour les visages réalistes pourrait être mené à bien en utilisant des classificateurs d’apprentissage automatique appliqués aux données d’imagerie cérébrale plutôt que de viser les performances comportementales.’

Ils concluent:

‘Comprendre la dissociation entre le cerveau et le comportement pour la détection des faux visages aura des implications pratiques pour la façon dont nous abordons la propagation potentiellement nuisible et universelle d’informations générées artificiellement.’

* Ma conversion des citations en ligne en hyperliens.

Publié pour la première fois le 11 juillet 2022.