Les chercheurs identifient un trait résilient des deepfakes qui pourrait aider à la détection à long terme

Depuis l’émergence des premières solutions de détection de deepfakes en 2018, le secteur de la recherche en vision par ordinateur et en sécurité cherche à définir un caractéristique essentielle des vidéos deepfakes – des signaux qui pourraient résister aux améliorations des technologies de synthèse faciale populaires (telles que les packages de deepfakes basés sur auto-encodeur comme DeepFaceLab et FaceSwap, et l’utilisation de Réseaux antagonistes génératifs pour recréer, simuler ou modifier des visages humains).

De nombreux “indices”, tels que le manque de clignement des yeux, sont devenus obsolètes en raison des améliorations apportées aux deepfakes, alors que l’utilisation potentielle de techniques de provenance numérique (telles que l’initiative Content Authenticity Initiative menée par Adobe) – y compris les approches basées sur la blockchain et le marquage numérique des photos sources potentielles – nécessiterait soit des changements importants et coûteux dans le corps existant d’images sources disponibles sur Internet, soit un effort de coopération notable entre les nations et les gouvernements pour créer des systèmes de surveillance et d’authentification.

Il serait donc très utile de discerner un trait fondamental et résilient dans le contenu d’image et de vidéo qui présente des visages humains modifiés, inventés ou échangés ; une caractéristique qui pourrait être déduite directement à partir de vidéos falsifiées, sans vérification à grande échelle, hachage d’actifs cryptographiques, vérification de contexte, évaluation de la plausibilité, routines de détection d’artefacts ou d’autres approches lourdes de détection de deepfakes.

Deepfakes dans le cadre

Une nouvelle collaboration de recherche entre la Chine et l’Australie pense avoir trouvé ce “grail”, sous la forme de perturbation de régularité.

Les auteurs ont conçu une méthode de comparaison de l’intégrité spatiale et de la continuité temporelle des vidéos réelles avec celles qui contiennent du contenu deepfake, et ont constaté que toute sorte d’ingérence deepfake perturbe la régularité de l’image, même de manière imperceptible.

Ceci est en partie dû au fait que le processus de deepfake décompose la vidéo cible en trames et applique l’effet d’un modèle de deepfake formé dans chaque trame (substituée). Les distributions de deepfakes populaires agissent de la même manière que les animateurs, à cet égard, en accordant plus d’attention à l’authenticité de chaque trame qu’à la contribution de chaque trame à l’intégrité spatiale et à la continuité temporelle de la vidéo.

À partir du document : A) Différences entre les types de données. Ici, nous voyons que les perturbations de p-fake changent la qualité spatio-temporelle de l’image de la même manière qu’un deepfake, sans substituer d’identité. B) Analyse du bruit des trois types de données, montrant comment p-fake imite la perturbation deepfake. C) Visualisation temporelle des trois types de données, avec des données réelles démontrant une plus grande intégrité dans les fluctuations. D) la visualisation T-SNE des fonctionnalités extraites pour les vidéos réelles, fausses et p-fake . Source : https://arxiv.org/pdf/2207.10402.pdf

Ceci n’est pas la façon dont un codec vidéo traite une série de trames lorsqu’un enregistrement original est réalisé ou traité. Afin de réduire la taille du fichier ou de rendre une vidéo adaptée à la diffusion en continu, une quantité énorme d’informations est supprimée par le codec vidéo. Même à ses paramètres de qualité les plus élevés, le codec allouera des trames clés (une variable qui peut être définie par l’utilisateur) – des images entières, pratiquement non compressées, qui se produisent à intervalles réguliers dans la vidéo.

Les trames interstitielles entre les trames clés sont, dans une certaine mesure, estimées comme une variante des trames, et réutiliseront autant d’informations que possible à partir des trames clés adjacentes, plutôt que d’être des trames complètes en soi.

À gauche, une trame clé complète, ou ‘i-frame’, est stockée dans la vidéo compressée, au prix d’une taille de fichier plus importante ; à droite, une trame interstitielle ‘delta’ réutilise toute partie applicable de la trame clé plus riche en données. Source : https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

De cette façon, le bloc (contenant x nombre de trames, en fonction des paramètres de trame clé) est sans doute l’unité la plus petite considérée dans une vidéo compressée typique, plutôt que toute trame individuelle. Même la trame clé elle-même, connue sous le nom de i-frame, fait partie de cette unité.

En termes d’animation traditionnelle, un codec effectue une sorte de tweening, avec les trames clés opérant comme des poteaux de tente pour les trames interstitielles dérivées, connues sous le nom de trames delta.

En revanche, la superposition de deepfake consacre une attention et des ressources énormes à chaque trame individuelle, sans tenir compte du contexte plus large de la trame, et sans faire d’allowance pour la façon dont la compression et le codage basé sur les blocs affectent les caractéristiques de la vidéo “authentique”.

Un regard plus approfondi sur la discontinuité entre la qualité temporelle d’une vidéo authentique (à gauche) et la même vidéo lorsqu’elle est perturbée par des deepfakes (à droite).

Bien que certains des meilleurs deepfakers utilisent un post-traitement extensif, dans des packages tels qu’After Effects, et que la distribution DeepFaceLab a une certaine capacité native à appliquer des procédures de “fusion” comme le flou de mouvement, ce tour de passe-passe n’affecte pas la discordance de la qualité spatiale et temporelle entre les vidéos authentiques et les deepfakes.

Le nouvel article est intitulé Détection de deepfake par création de perturbation de régularité spatio-temporelle, et provient de chercheurs de l’Université Tsinghua, du Département de technologie de vision par ordinateur (VIS) de Baidu Inc. et de l’Université de Melbourne

‘Faux’ vidéos deepfake

Les chercheurs derrière l’article ont incorporé la fonctionnalité de la recherche dans un module plug-and-play nommé Générateur de faux-fake (Générateur de p-fake), qui transforme les vidéos réelles en vidéos faux-deepfake, en les perturbant de la même manière que le processus de deepfake réel, sans effectuer de véritables opérations de deepfake.

Les tests indiquent que le module peut être ajouté à tous les systèmes de détection de deepfakes existants à pratiquement zéro coût de ressources, et qu’il améliore notablement leurs performances.

La découverte pourrait aider à résoudre l’un des autres obstacles dans la recherche de détection de deepfakes : le manque de jeux de données authentiques et à jour. Puisque la génération de deepfakes est un processus élaboré et chronophage, la communauté a développé un certain nombre de jeux de données de deepfakes au cours des cinq dernières années, dont beaucoup sont plutôt obsolètes.

En isolant la perturbation de régularité comme un signal de deepfake agnostique pour les vidéos modifiées post-facto, la nouvelle méthode permet de générer des vidéos d’échantillons et de jeux de données illimités qui se concentrent sur cet aspect des deepfakes.

Vue d’ensemble du bloc STE, où la convolution temporelle canalise est utilisée comme un stimulus pour générer des encodages améliorés spatio-temporellement, aboutissant à la même signature que même un deepfake très convaincant produira. Par cette méthode, des ‘faux’ vidéos fausses peuvent être générées qui portent les mêmes caractéristiques de signature que toute vidéo modifiée, de style deepfake, et qui ne dépendent pas de distributions particulières, ou d’aspects volatils tels que le comportement des fonctionnalités ou les artefacts algorithmiques.

Tests

Les chercheurs ont mené des expériences sur six jeux de données notés utilisés dans la recherche de détection de deepfakes : FaceForensics++ (FF++) ; WildDeepFake ; Prévisualisation du défi de détection de deepfakes (DFDCP) ; Celeb-DF ; Détection de deepfakes (DFD) ; et Face Shifter (FSh).

Pour FF++, les chercheurs ont formé leur modèle sur le jeu de données d’origine et testé chacun des quatre sous-ensembles séparément. Sans utiliser de matériel de deepfake dans la formation, la nouvelle méthode a pu surpasser les résultats de l’état de l’art.

La méthode a également pris la pole position lorsqu’elle a été comparée au jeu de données FF++ C23 compressé, qui fournit des exemples qui présentent les types d’artefacts de compression qui sont crédibles dans les environnements de visualisation de deepfakes du monde réel.

Les auteurs commentent :

‘Les performances dans FF++ valident la faisabilité de notre idée principale, tandis que la généralisabilité reste un problème majeur des méthodes de détection de deepfakes existantes, car les performances ne sont pas garanties lors des tests sur des deepfakes générés par des techniques non vues.

‘Considérons en outre la réalité de la course aux armements entre les détecteurs et les faussaires, la généralisabilité est un critère important pour mesurer l’efficacité d’une méthode de détection dans le monde réel.’

Bien que les chercheurs aient mené un certain nombre de sous-tests (voir l’article pour les détails) autour de la ‘robustesse’, et en variant les types de vidéos d’entrée (c’est-à-dire réelles, fausses, p-fake, etc.), les résultats les plus intéressants proviennent du test pour les performances entre les jeux de données.

Pour cela, les auteurs ont formé leur modèle sur la version ‘réelle’ c23 de FF++ et l’ont testé contre quatre jeux de données, obtenant, selon les auteurs, des performances supérieures dans tous les cas.

Résultats du défi de jeu de données croisées. L’article note que SBI utilise une approche similaire à celle des auteurs, tandis que, selon les chercheurs, p-fake montre de meilleures performances pour la perturbation de régularité spatio-temporelle.

L’article indique :

‘Sur le plus difficile Deepwild, notre méthode dépasse la méthode SOTA d’environ 10 points de pourcentage en termes de AUC%. Nous pensons que cela est dû à la grande diversité de deepfakes dans Deepwild, qui fait que les autres méthodes ne parviennent pas à généraliser bien à partir de deepfakes vus.’

Les métriques utilisées pour les tests étaient le score de précision (ACC), la zone sous la courbe ROC (AUC) et le taux d’erreur égal (EER).

Contre-attaques ?

Bien que les médias décrivent la tension entre les développeurs de deepfakes et les chercheurs en détection de deepfakes en termes de guerre technologique, il est arguable que les premiers tentent simplement de rendre leur sortie plus convaincante, et que la difficulté accrue de détection de deepfakes est un sous-produit circonstanciel de ces efforts.

Que les développeurs essaieront ou non de remédier à cette faille récemment révélée dépend peut-être de savoir si oui ou non ils estiment que la perturbation de régularité peut être perçue dans une vidéo deepfake, à l’œil nu, comme un signe d’inauthenticité, et que cette métrique vaut donc la peine d’être abordée d’un point de vue purement qualitatif.

Bien que cinq ans se soient écoulés depuis que les premiers deepfakes sont apparus en ligne, la création de deepfakes est encore une technologie relativement naissante, et la communauté est sans doute plus obsédée par le détail et la résolution que par le contexte correct, ou la correspondance des signatures de la vidéo compressée, qui nécessitent tous deux une certaine ‘dégradation’ de la sortie – la chose même contre laquelle la communauté de deepfakes lutte actuellement.

Si le consensus général là-bas se révèle être que la perturbation de régularité est une signature naissante qui n’affecte pas la qualité, il n’y aura peut-être aucun effort pour la compenser – même si elle peut être ‘annulée’ par certains traitements postérieurs ou procédures d’architecture, ce qui est loin d’être clair.

Publié pour la première fois le 22 juillet 2022.