Fidélité vs. Réalisme dans les Vidéos Deepfake

Tous les praticiens de deepfake ne partagent pas le même objectif: l’impulsion du secteur de la recherche sur la synthèse d’images – soutenue par des protagonistes influents tels qu’Adobe, NVIDIA et Facebook – est de faire progresser l’état de l’art afin que les techniques d’apprentissage automatique puissent éventuellement recréer ou synthétiser l’activité humaine à haute résolution et dans les conditions les plus difficiles (fidélité).

En revanche, l’objectif de ceux qui souhaitent utiliser les technologies de deepfake pour répandre des informations erronées est de créer des simulations plausibles de personnes réelles par de nombreuses méthodes autres que la simple véracité des visages deepfake. Dans ce scénario, des facteurs tels que le contexte et la plausibilité sont presque égaux à la capacité d’une vidéo à simuler des visages (réalisme).

Cette approche de « tour de passe-passe » s’étend à la dégradation de la qualité d’image finale d’une vidéo deepfake, de sorte que la vidéo entière (et non seulement la partie trompeuse représentée par un visage deepfake) a une apparence cohérente qui est précise pour la qualité attendue du médium.

« Cohérent » ne signifie pas nécessairement « bon » – il suffit que la qualité soit cohérente dans l’original et le contenu inséré, altéré, et qu’elle corresponde aux attentes. En termes de sortie de streaming VOIP sur des plateformes telles que Skype et Zoom, la barre peut être remarquablement basse, avec des vidés saccadés, des artefacts de compression, ainsi que des algorithmes de « lissage » conçus pour réduire leurs effets – qui en eux-mêmes constituent une gamme supplémentaire d’effets « non authentiques » que nous avons acceptés comme corollaires aux contraintes et aux excentricités de la diffusion en direct.

DeepFaceLive en action: cette version de streaming du logiciel de deepfake DeepFaceLab peut fournir un réalisme contextuel en présentant des faux dans le contexte d’une qualité de vidéo limitée, avec des problèmes de lecture et d’autres artefacts de connexion récurrents. Source: https://www.youtube.com/watch?v=IL517EgYH8U

Dégradation Intégrée

En effet, les deux packages de deepfake les plus populaires (tous deux dérivés du code source controversé de 2017) contiennent des composants destinés à intégrer le visage deepfake dans le contexte de la « vidéo historique » ou de qualité inférieure en dégradant le visage généré. Dans DeepFaceLab, le paramètre bicubic_degrade_power accomplit cela, et dans FaceSwap, le réglage « grain » dans la configuration Ffmpeg aide également à l’intégration du faux visage en préservant le grain lors de l’encodage*.

Le réglage « grain » dans FaceSwap aide à une intégration authentique dans le contenu vidéo non HQ et le contenu hérité qui peut présenter des effets de grain de film relativement rares de nos jours.

Souvent, au lieu d’une vidéo deepfake complète et intégrée, les deepfakers sortent une série de fichiers PNG avec des canaux alpha, chaque image ne montrant que le visage synthétique, de sorte que le flux d’images peut être converti en vidéo sur des plateformes avec des capacités d’effets de dégradation plus sophistiquées, telles qu’Adobe After Effects, avant que le faux et les éléments réels soient réunis pour la vidéo finale.

En plus de ces dégradations intentionnelles, le contenu des travaux de deepfake est fréquemment recompressé, soit algorithmiquement (où les plateformes de médias sociaux cherchent à économiser la bande passante en produisant des versions plus légères des téléchargements des utilisateurs) sur des plateformes telles que YouTube et Facebook, soit en retraitant l’œuvre originale en GIF animés, sections de détails ou d’autres flux de travail diversifiés qui traitent la sortie originale comme un point de départ et introduisent une compression supplémentaire.

Contextes Réalistes de Détection de Deepfake

Avec cela en tête, un nouvel article de Suisse a proposé une révision de la méthodologie derrière les approches de détection de deepfake, en enseignant aux systèmes de détection à apprendre les caractéristiques du contenu de deepfake lorsqu’il est présenté dans des contextes dégradés intentionnellement.

Augmentation de données stochastique appliquée à l’un des ensembles de données utilisés dans le nouvel article, présentant du bruit gaussien, une correction gamma et un flou gaussien, ainsi que des artefacts de compression JPEG. Source: https://arxiv.org/pdf/2203.11807.pdf

Dans le nouvel article, les chercheurs soutiennent que les packages de détection de deepfake les plus avancés s’appuient sur des conditions de référence irréalistes pour le contexte des métriques qu’ils appliquent, et que la sortie de deepfake « dégradée » peut tomber en dessous du seuil de qualité minimum pour la détection, même si son contenu « crasseux » réaliste est susceptible de tromper les spectateurs en raison d’une attention correcte au contexte.

Les chercheurs ont institué un nouveau processus de dégradation de données « réel » qui parvient à améliorer la généralisabilité des détecteurs de deepfake de pointe, avec seulement une perte marginale de précision sur les taux de détection d’origine obtenus par des données « propres ». Ils proposent également un nouveau cadre d’évaluation qui peut évaluer la robustesse des détecteurs de deepfake dans des conditions réelles, étayé par des études d’ablation exhaustives.

L’article est intitulé Une Nouvelle Approche pour Améliorer la Détection de Deepfake Basée sur l’Apprentissage dans des Conditions Réalistes, et provient de chercheurs du Groupe de Traitement de Signal Multimédia (MMSPG) et de l’École Polytechnique Fédérale de Lausanne (EPFL), tous deux basés à Lausanne.

Confusion Utile

Les efforts antérieurs pour intégrer la sortie dégradée dans les approches de détection de deepfake comprennent le réseau de neurones Mixup, une offre de 2018 de MIT et FAIR, et AugMix, une collaboration de 2020 entre DeepMind et Google, toutes deux des méthodes d’augmentation de données qui tentent de « troubler » le matériel de formation d’une manière qui est susceptible d’aider à la généralisation.

Les chercheurs de la nouvelle étude notent également des études antérieures qui ont appliqué du bruit gaussien et des artefacts de compression aux données de formation afin d’établir les limites de la relation entre une fonction dérivée et le bruit dans lequel elle est intégrée.

La nouvelle étude propose un pipeline qui simule les conditions compromises de l’acquisition d’images et de la compression ainsi que les algorithmes divers qui peuvent davantage dégrader la sortie d’image. En incorporant ce flux de travail réel dans un cadre d’évaluation, il est possible de produire des données de formation pour les détecteurs de deepfake qui sont plus résistantes aux artefacts.

La logique conceptuelle et le flux de travail pour la nouvelle approche.

Le processus de dégradation a été appliqué à deux ensembles de données populaires et réussis utilisés pour la détection de deepfake: FaceForensics++ et Celeb-DFv2. De plus, les cadres de détection de deepfake de pointe Capsule-Forensics et XceptionNet ont été formés sur les versions altérées des deux ensembles de données.

Les détecteurs ont été formés avec l’optimiseur Adam pendant 25 et 10 époques respectivement. Pour la transformation de l’ensemble de données, 100 cadres ont été échantillonnés aléatoirement à partir de chaque vidéo de formation, avec 32 cadres extraits pour les tests, avant l’ajout des processus de dégradation.

Les distorsions prises en compte pour le flux de travail étaient le bruit, où un bruit gaussien à moyenne nulle a été appliqué à six niveaux variables; la redimension, pour simuler la résolution réduite des prises de vue extérieures typiques, qui peuvent typiquement affecter les détecteurs; la compression, où des niveaux de compression JPEG variables ont été appliqués à l’ensemble des données; le lissage, où trois filtres de lissage typiques utilisés dans le « débruitage » sont évalués pour le cadre; l’amélioration, où le contraste et la luminosité ont été ajustés; et les combinaisons, où n’importe quelle combinaison de trois des méthodes mentionnées ci-dessus a été appliquée simultanément à une seule image.

Tests et Résultats

Lors des tests des données, les chercheurs ont adopté trois métriques: Précision (ACC); Surface sous la courbe ROC (AUC); et score F1.

Les chercheurs ont testé les versions formées de manière standard des deux détecteurs de deepfake contre les données altérées et les ont trouvés défaillants:

« En général, la plupart des distorsions réalistes et des processus sont extrêmement préjudiciables aux détecteurs de deepfake basés sur l’apprentissage formés de manière normale. Par exemple, la méthode Capsule-Forensics montre des scores AUC très élevés sur les ensembles de test FFpp et Celeb-DFv2 non compressés après formation sur les ensembles de données respectifs, mais subit ensuite une chute de performance drastique sur les données modifiées de notre cadre d’évaluation. Des tendances similaires ont été observées avec le détecteur XceptionNet. »

En revanche, la performance des deux détecteurs a été nettement améliorée en étant formés sur les données transformées, avec chaque détecteur maintenant plus capable de détecter des médias trompeurs non vus.

« Le schéma d’augmentation de données améliore considérablement la robustesse des deux détecteurs et, dans le même temps, ils maintiennent de hautes performances sur les données non modifiées d’origine. »

Comparaisons de performances entre les ensembles de données bruts et augmentés utilisés à travers les deux détecteurs de deepfake évalués dans l’étude.

L’article conclut:

« Les méthodes de détection actuelles sont conçues pour atteindre les meilleures performances possibles sur des benchmarks spécifiques. Cela entraîne souvent un sacrifice de la capacité de généralisation à des scénarios plus réalistes. Dans cet article, un schéma d’augmentation de données soigneusement conçu basé sur le processus de dégradation d’images naturelles est proposé. »

« Des expériences approfondies montrent que la technique simple mais efficace améliore considérablement la robustesse du modèle contre diverses distorsions réalistes et opérations de traitement dans les flux de travail d’imagerie typiques. »

* La correspondance du grain dans le visage généré est une fonction de transfert de style pendant le processus de conversion.

Publié pour la première fois le 29 mars 2022. Mis à jour à 20h33 (heure de l’Est) pour clarifier l’utilisation du grain dans Ffmpeg.