Les chercheurs identifient un trait résilient des deepfakes qui pourrait aider à la détection à long terme

Depuis l’émergence des premières solutions de détection de deepfakes en 2018, le secteur de la recherche en vision par ordinateur et en sécurité a cherché à définir une caractéristique essentielle des vidéos deepfakes – des signaux qui pourraient résister aux améliorations des technologies de synthèse faciale populaires (telles que les packages de deepfakes basés sur auto-encodeurs comme DeepFaceLab et FaceSwap, et l’utilisation de Réseaux Adverses Génératifs pour recréer, simuler ou modifier des visages humains).

De nombreux “indices” tels que le manque de clignement des yeux sont devenus obsolètes en raison des améliorations des deepfakes, tandis que l’utilisation potentielle de techniques de provenance numérique (telles que l’initiative Content Authenticity Initiative menée par Adobe ) – y compris les approches basées sur la blockchain et le marquage numérique des photos sources potentielles – nécessiterait des changements importants et coûteux dans le corps existant d’images sources disponibles sur Internet, ou nécessiterait un effort de coopération notable entre les nations et les gouvernements pour créer des systèmes de surveillance et d’authentification.

Il serait donc très utile de discerner un trait fondamental et résilient dans le contenu d’image et de vidéo qui présente des visages humains modifiés, inventés ou échangés; une caractéristique qui pourrait être déduite directement à partir de vidéos falsifiées, sans vérification à grande échelle, hachage d’actifs cryptographiques, vérification de contexte, évaluation de plausibilité, routines de détection d’artefacts ou d’autres approches fastidieuses de détection de deepfakes.

Deepfakes dans le cadre

Une nouvelle collaboration de recherche entre la Chine et l’Australie croit avoir trouvé ce “grail” sous la forme de perturbation de régularité.

Les auteurs ont conçu une méthode de comparaison de l’intégrité spatiale et de la continuité temporelle des vidéos réelles par rapport à celles qui contiennent du contenu deepfake, et ont constaté que toute sorte d’ingérence deepfake perturbe la régularité de l’image, même de manière imperceptible.

Ceci est en partie dû au fait que le processus de deepfake décompose la vidéo cible en images et applique l’effet d’un modèle de deepfake formé dans chaque image (substituée). Les distributions de deepfakes populaires agissent de la même manière que les animateurs, à cet égard, en accordant plus d’attention à l’authenticité de chaque image qu’à la contribution de chaque image à l’intégrité spatiale et à la continuité temporelle globales de la vidéo.

À partir du document: A) Différences entre les types de données. Ici, on voit que les perturbations de p-fake modifient la qualité spatio-temporelle de l’image de la même manière qu’un deepfake, sans substituer d’identité. B) Analyse du bruit des trois types de données, montrant comment p-fake imite la perturbation deepfake. C) Visualisation temporelle des trois types de données, avec des données réelles démontrant une plus grande intégrité dans les fluctuations. D) La visualisation T-SNE des fonctionnalités extraites pour les vidéos réelles, fausses et p-fake. Source: https://arxiv.org/pdf/2207.10402.pdf

Ceci n’est pas la façon dont un codec vidéo traite une série d’images lorsqu’un enregistrement d’origine est réalisé ou traité. Afin d’économiser de l’espace de fichier ou de rendre une vidéo adaptée à la diffusion en continu, une quantité énorme d’informations est supprimée par le codec vidéo. Même à ses paramètres de qualité les plus élevés, le codec allouera des images clés (une variable qui peut être définie par l’utilisateur) – des images entières, pratiquement non compressées, qui se produisent à un intervalle prédéfini dans la vidéo.

Les images interstitielles entre les images clés sont, dans une certaine mesure, estimées comme une variante des images, et réutiliseront autant d’informations que possible à partir des images clés adjacentes, plutôt que d’être des images complètes en soi.

À gauche, une image clé complète, ou ‘i-frame’, est stockée dans la vidéo compressée, au prix d’une certaine quantité d’espace de fichier; à droite, une image interstitielle ‘delta’ réutilise toute partie applicable de l’image clé plus riche en données. Source: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

De cette façon, le bloc (contenant x nombre d’images, en fonction des paramètres d’image clé) est sans doute l’unité la plus petite considérée dans une vidéo compressée typique, plutôt que toute image individuelle. Même l’image clé elle-même, connue sous le nom de i-frame, fait partie de cette unité.

En termes d’animation traditionnelle, un codec effectue une sorte d’interpolation, les images clés servant de poteaux pour les images interstitielles dérivées, connues sous le nom de delta frames.

En revanche, la superposition de deepfake consacre une attention et des ressources énormes à chaque image individuelle, sans tenir compte du contexte plus large, et sans tenir compte de la façon dont la compression et le codage basé sur les blocs affectent les caractéristiques de la “vidéo authentique”.

Un regard plus approfondi sur la discontinuité entre la qualité temporelle d’une vidéo authentique (à gauche) et la même vidéo lorsqu’elle est perturbée par des deepfakes (à droite).

Bien que certains des meilleurs deepfakers utilisent un post-traitement extensif, dans des packages tels qu’After Effects, et bien que la distribution DeepFaceLab ait une certaine capacité native à appliquer des procédures de “fusion” telles que le flou de mouvement, un tel tour de passe-passe ne modifie pas la discordance entre la qualité spatiale et temporelle des vidéos authentiques et deepfakes.

Le nouvel article est intitulé Détection de deepfake par création de perturbation de régularité spatio-temporelle, et provient de chercheurs de l’Université Tsinghua, du Département de technologie de vision par ordinateur (VIS) de Baidu Inc., et de l’Université de Melbourne

‘Faux’ vidéos fausses

Les chercheurs derrière l’article ont intégré la fonctionnalité de la recherche dans un module plug-and-play nommé Générateur de pseudo-fake (Générateur de p-fake), qui transforme les vidéos réelles en vidéos fausses, en les perturbant de la même manière que le processus de deepfake réel, sans effectuer de véritables opérations de deepfake.

Les tests indiquent que le module peut être ajouté à tous les systèmes de détection de deepfakes existants à pratiquement zéro coût de ressources, et qu’il améliore notablement leurs performances.

La découverte pourrait aider à résoudre l’un des autres obstacles dans la recherche sur la détection de deepfakes: le manque de jeux de données authentiques et à jour. Puisque la génération de deepfakes est un processus élaboré et chronophage, la communauté a développé un certain nombre de jeux de données de deepfakes au cours des cinq dernières années, dont beaucoup sont plutôt obsolètes.

En isolant la perturbation de régularité comme un signal agnostique de deepfake pour les vidéos modifiées post-facto, la nouvelle méthode permet de générer des échantillons et des jeux de données illimités qui se concentrent sur cet aspect des deepfakes.

Vue d’ensemble du bloc STE, où la convolution temporelle canal par canal est utilisée comme un stimulus pour générer des encodages améliorés spatio-temporellement, aboutissant à la même signature que même un deepfake très convaincant produirait. Par cette méthode, des ‘fausses’ vidéos fausses peuvent être générées qui présentent les mêmes caractéristiques de signature que toute vidéo modifiée, de style deepfake, et qui ne dépendent pas de distributions particulières, ou d’aspects volatils tels que le comportement des fonctionnalités ou les artefacts algorithmiques.

Tests

Les chercheurs ont mené des expériences sur six jeux de données notés utilisés dans la recherche sur la détection de deepfakes: FaceForensics++ (FF++); WildDeepFake; Prévisualisation du défi de détection de deepfakes (DFDCP); Celeb-DF; Détection de deepfakes (DFD); et Face Shifter (FSh).

Pour FF++, les chercheurs ont formé leur modèle sur le jeu de données d’origine et testé chacun des quatre sous-ensembles séparément. Sans utiliser de matériel de deepfake dans la formation, la nouvelle méthode a surpassé les résultats de l’état de l’art.

La méthode a également pris la première place lorsqu’elle a été comparée au jeu de données FF++ C23 compressé, qui fournit des exemples présentant les artefacts de compression que l’on peut rencontrer dans des environnements de visualisation de deepfakes réels.

Les auteurs commentent:

‘Les performances dans FF++ valident la faisabilité de notre idée principale, tandis que la généralisabilité reste un problème majeur des méthodes de détection de deepfakes existantes, car les performances ne sont pas garanties lors du test sur des deepfakes générés par des techniques non vues.

‘Considérons en outre la réalité de la course aux armements entre les détecteurs et les forgers, la généralisabilité est un critère important pour mesurer l’efficacité d’une méthode de détection dans le monde réel.’

Bien que les chercheurs aient mené un certain nombre de sous-tests (voir l’article pour plus de détails) sur la “robustesse” et en variant les types de vidéos d’entrée (c’est-à-dire réelles, fausses, p-fake, etc.), les résultats les plus intéressants proviennent du test de performance entre les jeux de données.

Pour cela, les auteurs ont formé leur modèle sur la version “réelle” c23 de FF++ et l’ont testé contre quatre jeux de données, obtenant, selon les auteurs, de meilleures performances sur tous.

Résultats du défi de données croisées. L’article note que SBI utilise une approche similaire à celle des auteurs, tandis que, selon les chercheurs, p-fake montre de meilleures performances pour la perturbation de régularité spatio-temporelle.

L’article indique:

‘Sur le plus difficile Deepwild, notre méthode dépasse la méthode SOTA d’environ 10 points de pourcentage en termes de pourcentage AUC. Nous pensons que c’est dû à la grande diversité de deepfakes dans Deepwild, qui fait que d’autres méthodes échouent à généraliser bien à partir de deepfakes vus.’

Les métriques utilisées pour les tests étaient le score d’exactitude (ACC), la zone sous la courbe de caractéristique de fonctionnement du récepteur (AUC) et le taux d’erreur égal (EER).

Contre-attaques?

Bien que les médias décrivent la tension entre les développeurs de deepfakes et les chercheurs en détection de deepfakes en termes de guerre technologique, il est possible que les premiers cherchent simplement à rendre leur sortie plus convaincante, et que la difficulté accrue de détection de deepfakes soit un sous-produit circonstanciel de ces efforts.

Que les développeurs essaieront ou non de remédier à cette faille récemment révélée dépend peut-être de savoir si la perturbation de régularité peut être perçue dans une vidéo deepfake, à l’œil nu, comme un signe d’inauthenticité, et que cette métrique vaut donc la peine d’être abordée d’un point de vue purement qualitatif.

Bien que cinq ans se soient écoulés depuis que les premiers deepfakes sont apparus en ligne, la technologie de deepfaking est encore relativement naissante, et la communauté est sans doute plus obsédée par les détails et la résolution que par le contexte correct ou la correspondance des signatures de la vidéo compressée, qui nécessitent une certaine “dégradation” de la sortie – la chose même contre laquelle l’ensemble de la communauté de deepfakes lutte actuellement.

Si le consensus général s’avère être que la perturbation de régularité est une signature naissante qui n’affecte pas la qualité, il n’y aura peut-être aucun effort pour la compenser – même si elle peut être “annulée” par certaines procédures de post-traitement ou d’architecture, ce qui est loin d’être clair.

Publié pour la première fois le 22 juillet 2022.