Exposant les petites mais significatives éditions IA dans les vidéos réelles

En 2019, la présidente de la Chambre des représentants des États-Unis, Nancy Pelosi, a été victime d’une attaque de type deepfake de basse technologie, lorsque des vidéos réelles d’elle ont été éditées pour la faire apparaître ivre – un incident irréel qui a été partagé plusieurs millions de fois avant que la vérité ne soit révélée (et, potentiellement, après que certains dégâts à son capital politique aient été causés par ceux qui n’ont pas suivi l’histoire).

Bien que cette fausse représentation n’ait nécessité que des éditions audiovisuelles simples, plutôt que tout IA, elle reste un exemple clé de la façon dont des changements subtils dans la sortie audiovisuelle réelle peuvent avoir un effet dévastateur.

À l’époque, la scène des deepfakes était dominée par les systèmes de remplacement de visage basés sur auto-encodeurs qui avaient fait leurs débuts à la fin de 2017 et qui n’avaient pas significativement amélioré leur qualité depuis. De tels systèmes auraient eu du mal à créer ce type d’altérations petites mais significatives, ou à poursuivre de manière réaliste des axes de recherche modernes tels que l’édition d’expression:

Le cadre « Neural Emotion Director » de 2022 change l’humeur d’un visage célèbre. Source: https://www.youtube.com/watch?v=Li6W8pRDMJQ

Les choses sont maintenant tout à fait différentes. L’industrie du cinéma et de la télévision est sérieusement intéressée par l’altération de performances réelles en post-production à l’aide d’approches d’apprentissage automatique, et la facilitation par l’IA du perfectionnisme a posteriori a même fait l’objet de critiques récentes.

En anticipant (ou en créant) cette demande, la scène de recherche sur la synthèse d’images et de vidéos a proposé une large gamme de projets qui offrent des « éditions locales » de captures de visage, plutôt que des remplacements directs: des projets de ce type incluent Diffusion Video Autoencoders; Stitch it in Time; ChatFace; MagicFace; et DISCO, entre autres.

Édition d’expression avec le projet MagicFace de janvier 2025. Source: https://arxiv.org/pdf/2501.02260

Nouveaux visages, nouvelles rides

Cependant, les technologies d’activation se développent beaucoup plus rapidement que les méthodes de détection. Presque toutes les méthodes de détection de deepfakes qui apparaissent dans la littérature sont à la poursuite des méthodes de deepfakes d’hier avec les jeux de données d’hier. Jusqu’à cette semaine, aucune d’entre elles n’avait abordé le potentiel croissant des systèmes IA à créer de petites et locales altérations dans les vidéos.

Maintenant, un nouveau document de l’Inde a remédié à cela, avec un système qui cherche à identifier les visages qui ont été édités (plutôt que remplacés) par des techniques basées sur l’IA:

Détection de modifications locales subtiles dans les deepfakes: une vidéo réelle est altérée pour produire des faux avec des changements nuancés tels que des sourcils levés, des traits de genre modifiés et des déplacements d’expression vers le dégoût (illustré ici avec un seul cadre). Source: https://arxiv.org/pdf/2503.22121

Le système des auteurs vise à identifier les deepfakes qui impliquent des manipulations faciales localisées et subtiles – une classe de faux jusqu’alors négligée. Plutôt que de se concentrer sur les incohérences globales ou les correspondances d’identité, l’approche cible des changements fins tels que de légers déplacements d’expression ou de petites éditions de caractéristiques faciales spécifiques.

La méthode utilise le délimiteur d’unités d’action (AUs) dans le système de codage d’expression faciale (FACS), qui définit 64 zones individuelles modifiables possibles dans le visage, qui forment ensemble des expressions.

Certains des 64 éléments constitutifs de l’expression dans le FACS. Source: https://www.cs.cmu.edu/~face/facs.htm

Les auteurs ont évalué leur approche contre une variété de méthodes d’édition récentes et rapportent des gains de performance constants, à la fois avec des jeux de données plus anciens et avec des vecteurs d’attaque beaucoup plus récents:

‘En utilisant des fonctionnalités basées sur les AU pour guider les représentations vidéo apprises par des auto-encodeurs masqués (MAE), notre méthode capture efficacement les changements localisés cruciaux pour la détection d’éditions faciales subtiles.

‘Cette approche nous permet de construire une représentation latente unifiée qui encode à la fois les éditions localisées et les altérations plus larges dans les vidéos centrées sur le visage, offrant une solution complète et adaptable pour la détection de deepfakes.’

Le nouvel article est intitulé Détection de manipulations de deepfakes localisées en utilisant des représentations vidéo guidées par les unités d’action, et provient de trois auteurs de l’Institut indien de technologie à Madras.

Méthode

Conformément à l’approche adoptée par VideoMAE, la nouvelle méthode commence par appliquer la détection de visage à une vidéo et échantillonner des cadres espacés uniformément centrés sur les visages détectés. Ces cadres sont ensuite divisés en petites divisions 3D (c’est-à-dire des patchs activés dans le temps), chacun capturant des détails spatiaux et temporels locaux.

Schéma de la nouvelle méthode. La vidéo d’entrée est traitée avec la détection de visage pour extraire des cadres espacés uniformément et centrés sur le visage, qui sont ensuite divisés en patchs « tubulaires » et passés à travers un encodeur qui fusionne des représentations latentes de deux tâches prétextes pré-entraînées. Le vecteur résultant est ensuite utilisé par un classifieur pour déterminer si la vidéo est réelle ou fausse.

Chaque patch 3D contient une fenêtre de pixels de taille fixe (c’est-à-dire 16×16) à partir d’un petit nombre de cadres consécutifs (c’est-à-dire 2). Cela permet au modèle d’apprendre les mouvements et les changements d’expression à court terme – et non seulement à quoi ressemble le visage, mais comment il bouge.

Les patchs sont intégrés et codés positionnellement avant d’être passés dans un encodeur conçu pour extraire des fonctionnalités qui peuvent distinguer les vidéos réelles des fausses.

Les auteurs reconnaissent que cela est particulièrement difficile lorsqu’il s’agit de manipulations subtiles, et abordent ce problème en construisant un encodeur qui combine deux types de représentations apprises, en utilisant un mécanisme d’attention croisée pour les fusionner. Cela est destiné à produire un espace de fonctionnalités plus sensible et plus généralisable pour la détection d’éditions localisées.

Tâches prétextes

La première de ces représentations est un encodeur entraîné avec une tâche d’auto-encodage masqué. Avec la vidéo divisée en patchs 3D (la plupart étant masqués), l’encodeur apprend ensuite à reconstruire les parties manquantes, le forçant à capturer des modèles spatiaux et temporels importants, tels que le mouvement facial ou la cohérence dans le temps.

L’entraînement de la tâche prétexte implique de masquer des parties de la vidéo d’entrée et d’utiliser un ensemble encodeur-décodeur pour reconstruire soit les cadres d’origine, soit des cartes d’unités d’action par cadre, selon la tâche.

Cependant, l’article observe que cela ne fournit pas suffisamment de sensibilité pour détecter les éditions fines, et les auteurs introduisent donc un deuxième encodeur entraîné pour détecter les unités d’action faciales (AUs). Pour cette tâche, le modèle apprend à reconstruire des cartes d’AU denses pour chaque cadre, à nouveau à partir d’entrées partiellement masquées. Cela l’encourage à se concentrer sur l’activité musculaire localisée, où se produisent de nombreuses éditions de deepfakes subtiles.

D’autres exemples d’unités d’action faciales (FAUs, ou AUs). Source: https://www.eiagroup.com/the-facial-action-coding-system/

Une fois que les deux encodeurs sont pré-entraînés, leurs sorties sont combinées à l’aide d’une attention croisée. Au lieu de simplement fusionner les deux ensembles de fonctionnalités, le modèle utilise les fonctionnalités basées sur les AU comme requêtes qui guident l’attention sur les fonctionnalités spatiales et temporelles apprises à partir de l’auto-encodage masqué. En effet, l’encodeur d’unités d’action indique au modèle où regarder.

Le résultat est une représentation latente fusionnée qui vise à capturer à la fois le contexte de mouvement plus large et le détail d’expression localisé. Cet espace de fonctionnalités combiné est ensuite utilisé pour la tâche de classification finale: prédire si une vidéo est réelle ou manipulée.

Données et tests

Mise en œuvre

Les auteurs ont mis en œuvre le système en pré-traitant les vidéos d’entrée avec le cadre de détection de visage FaceXZoo basé sur PyTorch, en obtenant 16 cadres centrés sur le visage à partir de chaque clip. Les tâches prétextes ci-dessus ont ensuite été entraînées sur le jeu de données CelebV-HQ , composé de 35 000 vidéos faciales de haute qualité.

À partir de l’article source, des exemples du jeu de données CelebV-HQ utilisé dans le nouveau projet. Source: https://arxiv.org/pdf/2207.12393

La moitié des exemples de données ont été masqués, forçant le système à apprendre des principes généraux plutôt que de sur-ajuster les données sources.

Pour la tâche de reconstruction de cadre masqué, le modèle a été entraîné pour prédire les régions manquantes des cadres de vidéo en utilisant une perte L1, en minimisant la différence entre le contenu d’origine et le contenu reconstruit.

Pour la deuxième tâche, le modèle a été entraîné pour générer des cartes pour 16 unités d’action faciales, chacune représentant des mouvements musculaires subtils dans des zones telles que les sourcils, les paupières, le nez et les lèvres, à nouveau supervisé par une perte L1.

Après le pré-entraînement, les deux encodeurs ont été fusionnés et affinés pour la détection de deepfakes en utilisant le jeu de données FaceForensics++, qui contient à la fois des vidéos réelles et manipulées.

Le jeu de données FaceForensics++ a été la pierre angulaire de la détection de deepfakes depuis 2017, bien qu’il soit maintenant considérablement obsolète en ce qui concerne les dernières techniques de synthèse faciale. Source: https://www.youtube.com/watch?v=x2g48Q2I2ZQ

Pour tenir compte de l’équilibre des classes, les auteurs ont utilisé Focal Loss (une variante de cross-entropy loss), qui met l’accent sur les exemples les plus difficiles pendant l’entraînement.

Tous les entraînements ont été effectués sur une seule carte graphique RTX 4090 avec 24 Go de VRAM, avec une taille de lot de 8 pour 600 époques (examen complet des données), en utilisant des points de départ pré-entraînés de VideoMAE pour initialiser les poids de chaque tâche prétexte.

Tests

Des évaluations quantitatives et qualitatives ont été effectuées par rapport à diverses méthodes de détection de deepfakes: FTCN; RealForensics; Lip Forensics; EfficientNet+ViT; Face X-Ray; Alt-Freezing; CADMM; LAANet; et BlendFace’s SBI. Dans tous les cas, le code source était disponible pour ces cadres.

Les tests se sont concentrés sur les deepfakes édités localement, où seule une partie d’un clip source a été modifiée. Les architectures utilisées étaient les auto-encodeurs de vidéo de diffusion (DVA); Stitch It In Time (STIT); Disentangled Face Editing (DFE); Tokenflow; VideoP2P; Text2Live; et FateZero. Ces méthodes emploient une diversité d’approches (diffusion pour DVA et StyleGAN2 pour STIT et DFE, par exemple)

Les auteurs déclarent:

‘Pour garantir une couverture complète de différentes manipulations faciales, nous avons incorporé une large gamme de caractéristiques et d’éditions d’attributs. Pour l’édition de caractéristiques faciales, nous avons modifié la taille des yeux, la distance entre les yeux et les sourcils, le rapport du nez, la distance entre le nez et la bouche, le rapport des lèvres et le rapport des joues. Pour l’édition d’attributs faciaux, nous avons varié les expressions telles que le sourire, la colère, le dégoût et la tristesse.

‘Cette diversité est essentielle pour valider la robustesse de notre modèle sur une large gamme d’éditions localisées. Au total, nous avons généré 50 vidéos pour chacune des méthodes d’édition mentionnées ci-dessus et validé la forte généralisation de notre méthode pour la détection de deepfakes.’

Les anciens jeux de données de deepfakes ont également été inclus dans les tests, notamment Celeb-DFv2 (CDF2); DeepFake Detection (DFD); DeepFake Detection Challenge (DFDC); et WildDeepfake (DFW).

Les métriques d’évaluation étaient la surface sous la courbe ROC (AUC); la précision moyenne; et le score F1 moyen F1.

À partir de l’article: la comparaison sur les deepfakes localisés récents montre que la méthode proposée surpasse toutes les autres, avec un gain de 15 à 20 pour cent en termes d’AUC et de précision moyenne par rapport à l’approche la plus proche.

Les auteurs fournissent également une comparaison visuelle de détection pour les vues manipulées localement (reproduite uniquement en partie ci-dessous, en raison du manque d’espace):

Une vidéo réelle a été modifiée en utilisant trois manipulations locales différentes pour produire des faux qui ressemblaient visuellement à l’original. Les cadres représentatifs sont présentés ici avec les scores de détection de faux moyens pour chaque méthode. Alors que les détecteurs existants ont eu du mal avec ces éditions subtiles, le modèle proposé a systématiquement attribué des probabilités de faux élevées, indiquant une sensibilité plus grande aux changements localisés.

Les chercheurs commentent:

‘Les méthodes de détection existantes, [LAANet], [SBI], [AltFreezing] et [CADMM], subissent une baisse significative de performance sur les méthodes de génération de deepfakes les plus récentes. Les méthodes actuelles SOTA présentent des AUC aussi bas que 48-71%, démontrant leurs faibles capacités de généralisation aux deepfakes récents.

‘D’un autre côté, notre méthode démontre une généralisation robuste, atteignant un AUC dans la plage de 87-93%. Une tendance similaire est visible dans le cas de la précision moyenne. Comme le montre [ci-dessous], notre méthode atteint également systématiquement de hautes performances sur les jeux de données standard, dépassant 90% d’AUC et étant compétitive avec les modèles récents de détection de deepfakes.’

Les performances sur les jeux de données traditionnels de deepfakes montrent que la méthode proposée reste compétitive avec les approches de pointe, indiquant une forte généralisation sur une gamme de types de manipulation.

Les auteurs observent que ces derniers tests impliquent des modèles qui pourraient raisonnablement être considérés comme obsolètes, et qui ont été introduits avant 2020.

À titre de représentation visuelle plus étendue des performances du nouveau modèle, les auteurs fournissent un tableau étendu à la fin, dont nous n’avons pas l’espace de reproduire ici:

Dans ces exemples, une vidéo réelle a été modifiée en utilisant trois éditions locales pour produire des faux qui ressemblaient visuellement à l’original. Les scores de confiance moyens sur ces manipulations montrent, selon les auteurs, que la méthode proposée a détecté les faux de manière plus fiable que les autres approches de pointe. Veuillez vous référer à la dernière page du PDF source pour les résultats complets.

Les auteurs soutiennent que leur méthode atteint des scores de confiance supérieurs à 90 pour cent pour la détection d’éditions localisées, tandis que les méthodes de détection existantes restent en dessous de 50 pour cent pour la même tâche. Ils interprètent cet écart comme une preuve à la fois de la sensibilité et de la généralisabilité de leur approche, et comme une indication des défis auxquels sont confrontées les techniques actuelles pour faire face à ce type de manipulations faciales subtiles.

Pour évaluer la fiabilité du modèle dans des conditions réelles, et selon la méthode établie par CADMM, les auteurs ont testé ses performances sur des vidéos modifiées avec des distorsions courantes, notamment des ajustements de saturation et de contraste, du flou gaussien, de la pixellisation et des artefacts de compression basés sur les blocs, ainsi que du bruit additif.

Les résultats ont montré que la précision de détection est restée en grande partie stable à travers ces perturbations. La seule baisse notable s’est produite avec l’ajout de bruit gaussien, ce qui a causé une légère baisse de performance. Les autres altérations ont eu un effet minimal.

Une illustration de la façon dont la précision de détection change sous différentes distorsions de vidéo. La nouvelle méthode est restée résistante dans la plupart des cas, avec seulement une petite baisse d’AUC. La baisse la plus importante s’est produite lorsque du bruit gaussien a été introduit.

Ces résultats, proposent les auteurs, suggèrent que la capacité de la méthode à détecter les manipulations localisées n’est pas facilement perturbée par les dégradations typiques de la qualité de la vidéo, soutenant ainsi sa robustesse potentielle dans des conditions pratiques.

Conclusion

La manipulation par IA existe principalement dans la conscience publique sous la forme traditionnelle de deepfakes, où l’identité d’une personne est imposée sur le corps d’une autre personne, qui peut effectuer des actions contraires aux principes du propriétaire de l’identité. Cette conception est lentement mise à jour pour reconnaître les capacités plus insidieuses des systèmes de vidéos génératives (dans la nouvelle génération de deepfakes vidéo), et aux capacités des modèles de diffusion latente (LDM) en général.

Ainsi, il est raisonnable de s’attendre à ce que le type d’édition locale dont traite le nouveau document ne retienne l’attention du public que lorsque se produira un événement charnière de type Pelosi, puisque les gens sont distraits de cette possibilité par des sujets plus faciles à mettre en avant, tels que la fraude de deepfake vidéo.

Cependant, tout comme l’acteur Nic Cage a exprimé des préoccupations constantes quant à la possibilité que les processus de post-production « révisent » la performance d’un acteur, nous devrions peut-être encourager une plus grande prise de conscience de ce type d’« ajustement subtil » de la vidéo – ne serait-ce que parce que nous sommes par nature incroyablement sensibles aux très petites variations d’expression faciale, et parce que le contexte peut changer considérablement l’impact des petits mouvements faciaux (considérez l’effet perturbateur de simplement esquisser un sourire à un enterrement, par exemple).

Publié pour la première fois le mercredi 2 avril 2025