Les informations de profondeur peuvent révéler les deepfakes en temps réel

De nouvelles recherches menées en Italie ont découvert que les informations de profondeur obtenues à partir d’images peuvent être un outil utile pour détecter les deepfakes – même en temps réel.

Alors que la majorité des recherches sur la détection de deepfakes au cours des cinq dernières années se sont concentrées sur l’identification des artefacts (qui peuvent être atténués par des techniques améliorées ou confondus avec une mauvaise compression de codec vidéo), l’éclairage ambiant, les traits biométriques, la perturbation temporelle et même l’instinct humain, la nouvelle étude est la première à suggérer que les informations de profondeur pourraient être un chiffre précieux pour le contenu de deepfakes.

Exemples de cartes de profondeur dérivées, et la différence d’informations de profondeur perçues entre les images réelles et fausses. Source: https://arxiv.org/pdf/2208.11074.pdf

Critiquement, les cadres de détection développés pour la nouvelle étude fonctionnent très bien sur un réseau léger tel que Xception, et acceptent bien sur MobileNet, et la nouvelle étude reconnaît que la faible latence d’inférence offerte par ces réseaux peut permettre la détection de deepfakes en temps réel contre la nouvelle tendance vers la fraude de deepfakes en direct, illustrée par la récente attaque contre Binance.

Une plus grande économie de temps d’inférence peut être réalisée car le système n’a pas besoin d’images en couleurs complètes pour déterminer la différence entre les cartes de profondeur fausses et réelles, mais peut fonctionner de manière surprenante avec des images en niveaux de gris de l’information de profondeur.

Les auteurs déclarent: ‘Ce résultat suggère que la profondeur dans ce cas ajoute une contribution plus pertinente à la classification que les artefacts de couleur.’

Les résultats représentent une partie d’une nouvelle vague de recherche sur la détection de deepfakes dirigée contre les systèmes de synthèse faciale en temps réel tels que DeepFaceLive – un foyer d’efforts qui a accéléré de manière notable au cours des 3-4 derniers mois, à la suite de l’avertissement du FBI en mars sur le risque de deepfakes vidéo et audio en temps réel.

L’article intitulé DepthFake: une stratégie basée sur la profondeur pour détecter les vidéos de deepfakes, provient de cinq chercheurs de l’Université de Rome La Sapienza.

Cas limites

Lors de la formation, les modèles de deepfakes basés sur des auto-encodeurs donnent la priorité aux régions internes du visage, telles que les yeux, le nez et la bouche. Dans la plupart des cas, à travers des distributions open source telles que DeepFaceLab et FaceSwap (tous deux forkés du code Reddit original de 2017 avant sa suppression), les lignes extérieures du visage ne deviennent pas bien définies jusqu’à une étape très tardive de la formation, et sont peu susceptibles de correspondre à la qualité de synthèse dans la zone du visage interne.

D’une étude précédente, nous voyons une visualisation de ‘cartes de saillance’ du visage. Source: https://arxiv.org/pdf/2203.01318.pdf

Normalement, cela n’est pas important, puisque notre tendance à nous concentrer d’abord sur les yeux et à donner la priorité, ‘vers l’extérieur’ à des niveaux d’attention diminués, signifie que nous sommes peu susceptibles d’être perturbés par ces baisses de qualité périphérique – surtout si nous parlons en direct à la personne qui fait semblant d’être une autre identité, ce qui déclenche des conventions sociales et des limitations de traitement qui ne sont pas présentes lorsque nous évaluons des images de deepfakes ‘rendues’.

Cependant, le manque de détails ou de précision dans les régions de marge affectées d’un visage de deepfake peut être détecté de manière algorithmique. En mars, un système qui repose sur la zone périphérique du visage a été annoncé. Cependant, puisqu’il nécessite une quantité supérieure à la moyenne de données de formation, il est destiné uniquement aux célébrités qui sont susceptibles de figurer dans des ensembles de données faciales populaires (tels que ImageNet) qui ont une provenance dans les techniques actuelles de vision par ordinateur et de détection de deepfakes.

Au lieu de cela, le nouveau système, intitulé DepthFake, peut fonctionner de manière générique même sur des identités obscures ou inconnues, en distinguant la qualité de l’information de carte de profondeur estimée dans les contenus vidéo réels et faux.

Approfondir

Les informations de carte de profondeur sont de plus en plus intégrées dans les smartphones, notamment les implémentations stéréo assistées par IA qui sont particulièrement utiles pour les études de vision par ordinateur. Dans la nouvelle étude, les auteurs ont utilisé le modèle FaceDepth de l’Université nationale d’Irlande, un réseau convolutif encodeur/décodeur qui peut estimer efficacement les cartes de profondeur à partir d’images à source unique.

Le modèle FaceDepth en action. Source: https://tinyurl.com/3ctcazma

Ensuite, le pipeline pour le nouveau cadre des chercheurs italiens extrait un patch de 224×224 pixels du visage du sujet à partir de l’image RGB originale et de la carte de profondeur dérivée. Critiquement, cela permet au processus de copier le contenu principal sans le redimensionner; cela est important, car les algorithmes de redimensionnement standard affecteront la qualité des zones ciblées.

En utilisant ces informations, à la fois à partir de sources réelles et de deepfakes, les chercheurs ont ensuite formé un réseau de neurones convolutifs (CNN) capable de distinguer les instances réelles des instances fausses, en fonction des différences entre la qualité perçue des cartes de profondeur respectives.

Pipeline conceptuel pour DepthFake.

Le modèle FaceDepth est formé sur des données réalistes et synthétiques à l’aide d’une fonction hybride qui offre plus de détails aux marges extérieures du visage, ce qui le rend bien adapté au DepthFake. Il utilise une instance MobileNet en tant qu’extracteur de fonctionnalités et a été formé avec des images d’entrée 480×640 produisant des cartes de profondeur 240×320. Chaque carte de profondeur représente un quart des quatre canaux d’entrée utilisés dans le discriminateur du nouveau projet.

La carte de profondeur est automatiquement intégrée dans l’image RGB originale pour fournir le type d’image RGBD, riche en informations de profondeur, que les appareils photo modernes de smartphone peuvent produire.

Formation

Le modèle a été formé sur un réseau Xception déjà pré-formé sur ImageNet, bien que l’architecture ait nécessité une certaine adaptation pour accueillir les informations de profondeur supplémentaires tout en maintenant l’initialisation correcte des poids.

En outre, une discordance dans les plages de valeurs entre les informations de profondeur et ce à quoi le réseau s’attend a nécessité que les chercheurs normalisent les valeurs à 0-255.

Lors de la formation, seuls le retournement et la rotation ont été appliqués. Dans de nombreux cas, diverses autres perturbations visuelles seraient présentées au modèle afin de développer une inférence robuste, mais la nécessité de préserver les informations de carte de profondeur limitées et très fragiles dans les photos sources a forcé les chercheurs à adopter un régime réduit.

Le système a également été formé sur un gris simple à 2 canaux, afin de déterminer à quel point les images sources devaient être complexes pour obtenir un algorithme fonctionnel.

La formation a eu lieu via l’API TensorFlow sur un NVIDIA GTX 1080 avec 8 Go de VRAM, en utilisant l’optimiseur ADAMAX, pendant 25 époques, avec une taille de lot de 32. La résolution d’entrée a été fixée à 224×224 lors de la découpe, et la détection et l’extraction du visage ont été effectuées avec la bibliothèque C++ dlib.

Résultats

La précision des résultats a été testée contre Deepfake, Face2Face, FaceSwap, Neural Texture, et l’ensemble de données complet avec des entrées RGB et RGBD, en utilisant le cadre FaceForensic++.

Résultats sur la précision sur quatre méthodes de deepfakes, et contre l’ensemble de données complet non divisé. Les résultats sont divisés entre l’analyse des images RGB sources et les mêmes images avec une carte de profondeur inférée intégrée. Les meilleurs résultats sont en gras, avec des chiffres de pourcentage en dessous démontrant l’étendue à laquelle les informations de carte de profondeur améliorent le résultat.

Dans tous les cas, le canal de profondeur améliore les performances du modèle dans toutes les configurations. Xception obtient les meilleurs résultats, avec le MobileNet agile juste derrière. À ce sujet, les auteurs commentent:

‘[C’est] intéressant de noter que le MobileNet est légèrement inférieur à Xception et surpasse le plus profond ResNet50. C’est un résultat notable lorsqu’on considère l’objectif de réduction des temps d’inférence pour les applications en temps réel. Même si ce n’est pas la principale contribution de ce travail, nous considérons encore cela comme un résultat encourageant pour les développements futurs.’

Les chercheurs notent également un avantage constant de l’entrée RGBD et du gris à 2 canaux sur l’entrée RGB et le gris simple, observant que les conversions de gris des inférences de profondeur, qui sont très bon marché sur le plan computationnel, permettent au modèle d’obtenir de meilleurs résultats avec des ressources locales très limitées, facilitant ainsi le développement futur de la détection de deepfakes en temps réel basée sur les informations de profondeur.

Publié pour la première fois le 24 août 2022.