Les deepfakes plus petits peuvent être la plus grande menace

Les outils d’IA conversationnelle tels que ChatGPT et Google Gemini sont maintenant utilisés pour créer des deepfakes qui ne swap pas les visages, mais qui peuvent réécrire l’histoire entière à l’intérieur d’une image de manière plus subtile. En changeant les gestes, les accessoires et les arrière-plans, ces éditions trompent à la fois les détecteurs d’IA et les humains, augmentant les enjeux pour repérer ce qui est réel en ligne.

Dans le climat actuel, en particulier à la suite de législations importantes telles que la loi TAKE IT DOWN, beaucoup d’entre nous associent les deepfakes et la synthèse d’identité basée sur l’IA à la pornographie non consensuelle et à la manipulation politique – en général, des distorsions grossières de la vérité.

Cela nous amène à nous attendre à ce que les images manipulées par l’IA soient toujours destinées à un contenu à haute visibilité, où la qualité du rendu et la manipulation du contexte peuvent réussir à atteindre un coup de crédibilité, au moins à court terme.

Historiquement, cependant, des altérations beaucoup plus subtiles ont souvent eu un effet plus sinistre et durable – telles que les trucs photographiques d’avant-garde qui ont permis à Staline de retirer ceux qui étaient tombés en disgrâce des archives photographiques, comme satirisé dans le roman de George Orwell 1984, où le protagoniste Winston Smith passe ses journées à réécrire l’histoire et à créer, détruire et « modifier » des photos.

Dans l’exemple suivant, le problème avec la deuxième image est que nous « ne savons pas ce que nous ne savons pas » – que l’ancien chef de la police secrète de Staline, Nikolaï Iejov, occupait l’espace où il n’y a maintenant qu’une barrière de sécurité:

Maintenant vous le voyez, maintenant il est… vaporisé. La manipulation photographique de l’époque de Staline retire un membre du parti disgracié de l’histoire. Source: Domaine public, via https://www.rferl.org/a/soviet-airbrushing-the-censors-who-scratched-out-history/29361426.html

Des courants de ce type, souvent répétés, persistent de nombreuses manières; non seulement culturellement, mais également dans la vision par ordinateur, qui dérive des tendances à partir de thèmes et de motifs statistiquement dominants dans les ensembles de données d’entraînement. Pour donner un exemple, le fait que les smartphones aient abaissé les barrières à l’entrée et massivement réduit le coût de la photographie, signifie que leur iconographie est devenue inévitablement associée à de nombreux concepts abstraits, même lorsque cela n’est pas approprié.

Si les deepfakes classiques peuvent être perçus comme un acte d’« agression », les altérations perverses et persistantes des médias audiovisuels sont plus proches du « gaslighting ». De plus, la capacité de ce type de deepfakes à passer inaperçus les rend difficiles à identifier via les systèmes de détection de deepfakes à l’état de l’art (qui recherchent des changements grossiers). Cette approche est plus proche de l’eau qui érode la roche sur une période prolongée que d’un rocher lancé à la tête.

MultiFakeVerse

Les chercheurs australiens ont tenté de remédier au manque d’attention portée aux « deepfakes subtils » dans la littérature en créant un nouvel ensemble de données important de manipulations d’images centrées sur les personnes qui modifient le contexte, l’émotion et la narration sans changer l’identité fondamentale du sujet:

Exemples tirés de la nouvelle collection, paires réelles/fausses, avec certaines altérations plus subtiles que d’autres. Notez, par exemple, la perte d’autorité de la femme asiatique, en bas à droite, lorsque son stéthoscope de médecin est supprimé par l’IA. Dans le même temps, le remplacement du bloc-notes du médecin par une tablette graphique n’a pas d’angle sémantique évident. Source: https://huggingface.co/datasets/parulgupta/MultiFakeVerse_preview

Intitulé MultiFakeVerse, la collection se compose de 845 826 images générées via des modèles de langage de vision (VLM), qui peuvent être consultés en ligne et téléchargés, avec autorisation.

Les auteurs déclarent:

‘Cette approche basée sur les VLM permet des altérations sémantiques et sensibles au contexte telles que la modification des actions, des scènes et des interactions homme-objet plutôt que des échanges d’identité synthétiques ou des éditions de région spécifiques qui sont courantes dans les ensembles de données existants.

‘Nos expériences révèlent que les modèles de détection de deepfakes à l’état de l’art et les observateurs humains ont du mal à détecter ces manipulations subtiles mais significatives.’

Les chercheurs ont testé les humains et les systèmes de détection de deepfakes les plus avancés sur leur nouvel ensemble de données pour voir à quel point ces manipulations subtiles pouvaient être identifiées. Les participants humains ont eu du mal, classifiant correctement les images comme réelles ou fausses seulement environ 62 % du temps, et ont eu encore plus de difficultés à identifier quelles parties de l’image avaient été altérées.

Les détecteurs de deepfakes existants, formés principalement sur des ensembles de données de remplacement de visage ou de peinture plus évidents, se sont également comportés mal, échouant souvent à enregistrer que toute manipulation avait eu lieu. Même après affinage sur MultiFakeVerse, les taux de détection sont restés bas, exposant à quel point les systèmes actuels ont du mal à gérer ces éditions narratives subtiles.

Le nouvel article est intitulé Multiverse Through Deepfakes: The MultiFakeVerse Dataset of Person-Centric Visual and Conceptual Manipulations, et provient de cinq chercheurs de l’Université Monash à Melbourne et de l’Université Curtin à Perth. Le code et les données associées ont été publiés sur GitHub, en plus de l’hébergement Hugging Face mentionné précédemment.

Méthode

L’ensemble de données MultiFakeVerse a été construit à partir de quatre ensembles d’images du monde réel mettant en scène des personnes dans des situations diverses: EMOTIC; PISC, PIPA, et PIC 2.0. En partant de 86 952 images originales, les chercheurs ont produit 758 041 versions manipulées.

Les cadres Gemini-2.0-Flash et ChatGPT-4o ont été utilisés pour proposer six éditions minimales pour chaque image – éditions conçues pour altérer subtilement la façon dont la personne la plus importante dans l’image serait perçue par un spectateur.

Les modèles ont été instruits pour générer des modifications qui feraient apparaître le sujet naïf, fière, remorseful, inexpérimenté, ou nonchalant, ou pour ajuster un élément factuel dans la scène. Avec chaque édition, les modèles ont également produit une expression de référence pour identifier clairement la cible de la modification, garantissant que le processus d’édition ultérieur pourrait appliquer les changements à la personne ou à l’objet correct dans chaque image.

Les auteurs précisent:

‘Notez que l’expression de référence est un domaine largement exploré dans la communauté, qui signifie une phrase qui peut désambiguïser la cible dans une image, par exemple, pour une image avec deux hommes assis à un bureau, l’un parlant au téléphone et l’autre regardant des documents, une expression de référence appropriée pour le dernier serait l’homme à gauche tenant un papier.’

Une fois les éditions définies, la manipulation réelle de l’image a été effectuée en demandant aux modèles de vision de langage d’appliquer les changements spécifiés tout en laissant le reste de la scène intact. Les chercheurs ont testé trois systèmes pour cette tâche: GPT-Image-1; Gemini-2.0-Flash-Image-Generation; et ICEdit.

Après avoir généré 22 000 images d’exemple, Gemini-2.0-Flash est apparu comme la méthode la plus cohérente, produisant des éditions qui se fondent naturellement dans la scène sans introduire d’artefacts visibles; ICEdit a souvent produit des faux plus évidents, avec des défauts flagrants dans les régions modifiées; et GPT-Image-1 a parfois affecté des parties non intentionnelles de l’image, en partie en raison de sa conformité aux rapports de sortie fixes.

Analyse d’image

Chaque image manipulée a été comparée à son originale pour déterminer à quel point l’image avait été altérée. Les différences au niveau des pixels entre les deux versions ont été calculées, avec un petit bruit aléatoire filtré pour se concentrer sur les éditions significatives. Dans certaines images, seules de petites zones ont été affectées; dans d’autres, jusqu’à quatre-vingts pour cent de la scène ont été modifiées.

Pour évaluer à quel point le sens de chaque image a changé à la lumière de ces altérations, des légendes ont été générées pour les images originales et manipulées à l’aide du modèle de vision de langage ShareGPT-4V.

Ces légendes ont ensuite été converties en embeddings à l’aide de Long-CLIP, permettant une comparaison de la manière dont le contenu avait divergé entre les versions. Les changements sémantiques les plus importants ont été observés dans les cas où les objets proches ou directement impliqués dans la personne avaient été modifiés, car ces petites ajustements pouvaient considérablement changer la façon dont l’image était interprétée.

Gemini-2.0-Flash a ensuite été utilisé pour classer le type de manipulation appliquée à chaque image, en fonction de l’endroit et de la façon dont les éditions ont été effectuées. Les manipulations ont été regroupées en trois catégories: person-level les éditions impliquaient des changements dans l’expression faciale du sujet, sa pose, son regard, ses vêtements ou d’autres caractéristiques personnelles; object-level les éditions affectaient les objets liés à la personne, tels que les objets qu’ils tenaient ou avec lesquels ils interagissaient au premier plan; et scene-level les éditions impliquaient des éléments de l’arrière-plan ou des aspects plus larges du décor qui n’impliquaient pas directement la personne.

Le pipeline de génération de l’ensemble de données MultiFakeVerse commence avec des images réelles, où les modèles de vision de langage proposent des éditions narratives ciblant les personnes, les objets ou les scènes. Ces instructions sont ensuite appliquées par les modèles d’édition d’images. Le panneau de droite montre la proportion de manipulations de niveau personne, objet et scène à travers l’ensemble de données. Source: https://arxiv.org/pdf/2506.00868

Puisque les images individuelles pouvaient contenir plusieurs types d’éditions à la fois, la distribution de ces catégories a été cartographiée à travers l’ensemble de données. Environ un tiers des éditions ciblaient uniquement la personne, environ un cinquième affectaient uniquement la scène, et environ un sixième étaient limités aux objets.

Évaluation de l’impact perceptive

Gemini-2.0-Flash a été utilisé pour évaluer à quel point les manipulations pourraient altérer la perception d’un spectateur dans six domaines: émotion, identité personnelle, dyna miques de pouvoir, narrative de scène, intention de manipulation, et préoccupations éthiques.

Pour émotion, les éditions étaient souvent décrites avec des termes tels que joyeux, engageant ou abordable, suggérant des changements dans la façon dont les sujets étaient encadrés émotionnellement. En termes de narration, des mots tels que professionnel ou différent indiquaient des changements dans l’histoire ou le décor implicite:

Gemini-2.0-Flash a été invité à évaluer à quel point chaque manipulation affectait six aspects de la perception du spectateur. Gauche: structure de prompt d’exemple guidant l’évaluation du modèle. Droite: nuages de mots résumant les changements d’émotion, d’identité, de narration de scène, d’intention, de dynamique de pouvoir et de préoccupations éthiques à travers l’ensemble de données.

Les descriptions des changements d’identité incluaient des termes tels que jeune, ludique et vulnérable, montrant à quel point les changements mineurs pouvaient influencer la façon dont les individus étaient perçus. L’intention derrière de nombreuses éditions a été étiquetée comme persuasive, trompeuse ou esthétique. Alors que la plupart des éditions ont été jugées comme soulevant uniquement des préoccupations éthiques modérées, une petite fraction a été considérée comme ayant des implications éthiques modérées ou graves.

Exemples de MultiFakeVerse montrant à quel point les petites éditions déplacent la perception du spectateur. Les boîtes jaunes mettent en évidence les régions modifiées, avec analyse des changements d’émotion, d’identité, de narration et de préoccupations éthiques.

Métriques

La qualité visuelle de la collection MultiFakeVerse a été évaluée à l’aide de trois métriques standard: Rapport signal-bruit de pic (PSNR); Indice de similarité structurelle (SSIM); et Distance de Fréchet pour l’inception (FID):

Scores de qualité d’image pour MultiFakeVerse mesurés par PSNR, SSIM et FID.

Le score SSIM de 0,5774 reflète un degré modéré de similarité, cohérent avec l’objectif de préserver la majeure partie de l’image tout en appliquant des éditions ciblées; le score FID de 3,30 suggère que les images générées maintiennent une qualité et une diversité élevées; et une valeur PSNR de 66,30 décibels indique que les images conservent une bonne fidélité visuelle après manipulation.

Étude utilisateur

Une étude utilisateur a été menée pour voir à quel point les gens pouvaient repérer les faux subtils dans MultiFakeVerse. Dix-huit participants ont été présentés à cinquante images, réparties à parts égales entre des exemples réels et manipulés couvrant une gamme d’éditions. Chaque personne a été invitée à classer si l’image était réelle ou fausse, et, si fausse, à identifier quel type de manipulation avait été appliqué.

L’exactitude globale pour décider si l’image était réelle ou fausse était de 61,67 pour cent, ce qui signifie que les participants ont mal classé les images plus d’un tiers du temps.

Les auteurs déclarent:

‘En analysant les prédictions humaines des niveaux de manipulation pour les images fausses, l’intersection moyenne entre les prédictions et les niveaux de manipulation réels était de 24,96 %.

‘Cela montre qu’il est non trivial pour les observateurs humains d’identifier les régions de manipulation dans notre ensemble de données.’

La construction de l’ensemble de données MultiFakeVerse a nécessité d’importants ressources computationnelles: pour générer les instructions d’édition, plus de 845 000 appels d’API ont été effectués vers les modèles Gemini et GPT, avec ces tâches de prompt coûtant environ 1 000 dollars; produire les images basées sur Gemini a coûté environ 2 867 dollars; et générer des images à l’aide de GPT-Image-1 a coûté environ 200 dollars. Les images ICEdit ont été créées localement sur un GPU NVIDIA A6000, achevant la tâche en environ 24 heures.

Tests

Avant les tests, l’ensemble de données a été divisé en ensembles de formation, de validation et de test en sélectionnant d’abord 70 % des images réelles pour la formation; 10 pour cent pour la validation; et 20 pour cent pour les tests. Les images manipulées générées à partir de chaque image réelle ont été attribuées au même ensemble que leur originale.

Autres exemples de contenu réel (gauche) et altéré (droite) de l’ensemble de données.

Les performances de détection de faux ont été mesurées à l’aide de l’exactitude au niveau de l’image (si le système classe correctement l’ensemble de l’image comme réelle ou fausse) et des scores F1. Pour la localisation des régions manipulées, l’évaluation a utilisé la courbe de précision-rappel, les scores F1 et l’intersection sur l’union.

L’ensemble de données MultiFakeVerse a été utilisé contre les principaux systèmes de détection de deepfakes sur l’ensemble de test complet, avec les cadres concurrents étant CnnSpot; AntifakePrompt; TruFor; et le modèle de vision de langage basé sur SIDA. Chaque modèle a été évalué en mode zero-shot, en utilisant ses poids pré-entraînés originaux sans ajustement supplémentaire.

Deux modèles, CnnSpot et SIDA, ont ensuite été affinés sur les données d’entraînement MultiFakeVerse pour évaluer si la rééducation améliorait les performances.

Résultats de détection de deepfakes sur MultiFakeVerse dans des conditions zero-shot et affinées. Les nombres entre parenthèses montrent les changements après affinage.

Sur ces résultats, les auteurs déclarent:

‘[Les] modèles formés sur des faux plus anciens basés sur le remplissage de masque ont du mal à identifier nos faux basés sur l’édition VLM, en particulier, CNNSpot tend à classifier presque toutes les images comme réelles. AntifakePrompt a la meilleure performance zero-shot avec 66,87 % d’exactitude moyenne par classe et 55,55 % de score F1.

‘Après affinage sur notre ensemble d’entraînement, nous observons une amélioration des performances à la fois pour CNNSpot et SIDA-13B, avec CNNSpot dépassant SIDA-13B en termes d’exactitude moyenne par classe (de 1,92 %) ainsi que de score F1 (de 1,97 %).’

SIDA-13B a été évalué sur MultiFakeVerse pour mesurer à quel point il pouvait localiser avec précision les régions manipulées au sein de chaque image. Le modèle a été testé à la fois en mode zero-shot et après affinage sur l’ensemble de données.

Dans son état d’origine, il a atteint un score d’intersection sur l’union de 13,10, un score F1 de 19,92 et une courbe de précision-rappel de 14,06, reflétant de faibles performances de localisation.

Après affinage, les scores ont été améliorés à 24,74 pour l’intersection sur l’union, 39,40 pour le score F1 et 37,53 pour la courbe de précision-rappel. Cependant, même avec une formation supplémentaire, le modèle a toujours eu du mal à trouver exactement où les éditions avaient été effectuées, mettant en évidence à quel point il est difficile de détecter ces types de changements ciblés et petits.

Conclusion

La nouvelle étude expose un point aveugle à la fois dans la perception humaine et la perception de la machine: alors que beaucoup du débat public autour des deepfakes s’est concentré sur les échanges d’identité à sensation, ces « éditions narratives » plus discrètes sont plus difficiles à détecter et potentiellement plus corrosives à long terme.

À mesure que des systèmes tels que ChatGPT et Gemini jouent un rôle plus actif dans la génération de ce type de contenu, et à mesure que nous nous impliquons nous-mêmes de plus en plus dans la modification de la réalité de nos propres flux de photos, les modèles de détection qui s’appuient sur la détection de manipulations grossières peuvent offrir une défense inadéquate.

Ce que MultiFakeVerse démontre n’est pas que la détection a échoué, mais qu’au moins une partie du problème peut se déplacer vers une forme plus difficile et plus lente: une où de petits mensonges visuels s’accumulent insidieusement.

Publié pour la première fois jeudi 5 juin 2025