Détecter les appels vidéo Deepfake grâce à l’éclairage du moniteur

Une nouvelle collaboration entre un chercheur de l’Agence de sécurité nationale des États-Unis (NSA) et l’Université de Californie à Berkeley propose une méthode novatrice pour détecter le contenu Deepfake dans un contexte de vidéo en direct – en observant l’effet de l’éclairage du moniteur sur l’apparence de la personne à l’autre extrémité de l’appel vidéo.

Un utilisateur populaire de DeepFaceLive, Druuzil Tech & Games, essaye son propre modèle Christian Bale DeepFaceLab dans une session en direct avec ses abonnés, tandis que les sources de lumière changent. Source: https://www.youtube.com/watch?v=XPQLDnogLKA

Le système fonctionne en plaçant un élément graphique sur l’écran de l’utilisateur qui change d’une étroite plage de couleurs plus rapidement qu’un système Deepfake typique ne peut répondre – même si, comme l’implémentation de diffusion en temps réel DeepFaceLive (représentée ci-dessus), il a une certaine capacité de maintenir le transfert de couleur en temps réel et de tenir compte de l’éclairage ambiant.

L’image de couleur uniforme affichée sur le moniteur de la personne à l’autre extrémité (c’est-à-dire le fraudeur Deepfake potentiel) passe par une variation limitée de changements de teinte conçus pour ne pas activer l’équilibrage automatique des blancs de la webcam et d’autres systèmes de compensation d’éclairage ad hoc, qui compromettraient la méthode.

À partir de l’article, une illustration du changement des conditions d’éclairage à partir du moniteur devant un utilisateur, qui fonctionne effectivement comme une lumière d’arrière-plan diffuse. Source: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf

La théorie derrière cette approche est que les systèmes Deepfake en temps réel ne peuvent pas répondre à temps aux changements représentés dans le graphique à l’écran, augmentant le « décalage » de l’effet Deepfake à certaines parties du spectre de couleurs, révélant ainsi sa présence.

Pour pouvoir mesurer avec précision la lumière du moniteur réfléchie, le système doit tenir compte de l’effet de l’éclairage environnemental général non lié à la lumière du moniteur. Il peut alors distinguer les lacunes dans la mesure de la teinte d’éclairage actif et de la teinte faciale des utilisateurs, représentant un décalage temporel de 1 à 4 images par seconde entre chacun:

En limitant les variations de teinte dans le graphique de détection à l’écran et en s’assurant que la webcam de l’utilisateur n’est pas incitée à ajuster automatiquement ses paramètres de capture en raison d’un changement excessif dans les niveaux d’éclairage du moniteur, les chercheurs ont pu discerner un décalage révélateur dans l’ajustement du système Deepfake aux changements d’éclairage.

L’article conclut:

‘En raison de la confiance raisonnable que nous plaçons dans les appels vidéo en direct, et de la croissance de l’ubiquité des appels vidéo dans notre vie personnelle et professionnelle, nous proposons que les techniques d’authentification des appels vidéo (et audio) ne feront que gagner en importance.’

L’étude, intitulée Détection de vidéos Deepfake en temps réel à l’aide d’un éclairage actif, est menée par Candice R. Gerstner, mathématicienne de recherche appliquée au département de la Défense des États-Unis, et le professeur Hany Farid de Berkeley.

Erosion de la confiance

La scène de recherche anti-Deepfake a considérablement pivoté au cours des six derniers mois, passant de la détection générale des Deepfake (c’est-à-dire ciblant les vidéos préenregistrées et le contenu pornographique) à la détection de « vivacité », en réponse à une vague croissante d’incidents d’utilisation de Deepfake dans les appels vidéoconférence, et à l’avertissement récent du FBI concernant l’utilisation croissante de ces technologies dans les demandes de travail à distance.

Même lorsque l’appel vidéo s’avère ne pas être un Deepfake, les opportunités accrues pour les imposteurs vidéo à base d’IA commencent à générer de la paranoïa.

Le nouvel article indique:

‘La création de Deepfake en temps réel [pose] des menaces uniques en raison du sentiment général de confiance entourant un appel vidéo ou téléphonique en direct, et du défi de détecter les Deepfake en temps réel, alors que l’appel se déroule.’

La communauté de recherche s’est longtemps fixé pour objectif de trouver des signes infaillibles de contenu Deepfake qui ne peuvent pas être facilement compensés. Même si les médias ont généralement caractérisé cela en termes de guerre technologique entre les chercheurs en sécurité et les développeurs de Deepfake, la plupart des négations des approches initiales (telles que l’analyse des clignements des yeux, la distinction de la pose de la tête et l’analyse du comportement) sont simplement dues au fait que les développeurs et les utilisateurs essayaient de rendre les Deepfake plus réalistes en général, plutôt que de s’attaquer spécifiquement au dernier « signe » identifié par la communauté de sécurité.

Éclairer les vidéos Deepfake en direct

La détection des Deepfake dans des environnements de vidéo en direct comporte le fardeau de tenir compte des mauvaises connexions vidéo, qui sont très courantes dans les scénarios de vidéoconférence. Même sans une couche de Deepfake intermédiaire, le contenu vidéo peut être soumis à des retards de type NASA, des artefacts de rendu et d’autres types de dégradation audio et vidéo. Cela peut servir à masquer les bords rugueux dans une architecture de Deepfake en direct, à la fois en termes de vidéo et de Deepfake audio.

Les auteurs améliorent les résultats et les méthodes présentés dans une publication de 2020 du Center for Networked Computing de l’Université Temple à Philadelphie.

À partir de l’article de 2020, on peut observer le changement d’éclairage facial « rempli » à mesure que le contenu de l’écran de l’utilisateur change. Source: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf

La différence dans le nouveau travail est qu’il tient compte de la façon dont les webcams réagissent aux changements d’éclairage. Les auteurs expliquent:

‘Puisque toutes les webcams modernes effectuent une exposition automatique, le type d’éclairage actif à haute intensité [utilisé dans le travail précédent] est susceptible de déclencher l’exposition automatique de la caméra, qui à son tour confondra l’apparence faciale enregistrée. Pour éviter cela, nous employons un éclairage actif consistant en un changement isoluminant de teinte.

‘Bien que cela évite l’exposition automatique de la caméra, cela pourrait déclencher l’équilibrage des blancs de la caméra, qui confondrait à nouveau l’apparence faciale enregistrée. Pour éviter cela, nous opérons dans une plage de teintes que nous avons déterminée empiriquement comme ne déclenchant pas l’équilibrage des blancs.’

Pour cette initiative, les auteurs ont également considéré des initiatives similaires, telles que LiveScreen, qui force un motif d’éclairage imperceptible sur le moniteur de l’utilisateur final dans le but de révéler le contenu Deepfake.

Bien que ce système ait atteint un taux de précision de 94,8 %, les chercheurs concluent que la subtilité des motifs de lumière rendrait une approche discrète difficile à mettre en œuvre dans des environnements éclairés, et proposent que leur propre système, ou un système similaire, pourrait être incorporé publiquement et par défaut dans les logiciels de vidéoconférence populaires:

‘Notre intervention proposée pourrait être réalisée soit par un participant à l’appel qui partage simplement son écran et affiche le motif variant dans le temps, soit, idéalement, elle pourrait être directement intégrée au client de l’appel vidéo.’

Tests

Les auteurs ont utilisé un mélange de sujets synthétiques et du monde réel pour tester leur détecteur de Deepfake basé sur Dlib. Pour le scénario synthétique, ils ont utilisé Mitsuba, un rendu et un rendu inverse du Swiss Federal Institute of Technology à Lausanne.

Exemples à partir de l’ensemble de données simulé, présentant des variations de teint de peau, de taille de source lumineuse, d’intensité de lumière ambiante et de proximité avec la caméra.

La scène représentée comprend une tête CGI paramétrique capturée à partir d’une caméra virtuelle avec un champ de vision de 90°. Les têtes présentent un réflexion lambertienne et des teints de peau neutres, et sont situées à 2 pieds devant la caméra virtuelle.

Pour tester le cadre dans une gamme de configurations d’imagerie possibles, les chercheurs ont exécuté une série de tests, en changeant divers aspects de manière séquentielle. Les aspects modifiés incluaient le teint de peau, la proximité et la taille de la lumière.

Les auteurs commentent:

‘Dans la simulation, avec nos hypothèses satisfaites, notre technique proposée est très robuste par rapport à une large gamme de configurations d’imagerie.’

Pour le scénario du monde réel, les chercheurs ont utilisé 15 volontaires présentant une gamme de teints de peau, dans divers environnements. Chacun a subi deux cycles de variation de teinte restreinte, dans des conditions où une fréquence de rafraîchissement d’affichage de 30 Hz était synchronisée avec la webcam, ce qui signifie que l’éclairage actif ne durerait qu’une seconde à la fois. Les résultats étaient globalement comparables aux tests synthétiques, bien que les corrélations aient augmenté de manière notable avec des valeurs d’éclairage plus élevées.

Directions futures

Le système, que les chercheurs admettent, ne tient pas compte des occlusions faciales typiques, telles que les bangs, les lunettes ou la barbe. Cependant, ils notent que le masquage de ce type peut être ajouté à des systèmes ultérieurs (via l’étiquetage et la segmentation sémantique ultérieure), qui pourraient être formés pour prendre des valeurs exclusivement à partir des zones de peau perçues de la cible.

Les auteurs suggèrent également qu’un paradigme similaire pourrait être employé pour détecter les appels audio Deepfake, et que le son nécessaire à la détection pourrait être joué dans une fréquence en dehors de la plage auditive normale humaine.

Peut-être plus intéressant encore, les chercheurs suggèrent que l’extension de la zone d’évaluation au-delà du visage dans un cadre de capture plus riche pourrait améliorer considérablement la possibilité de détection des Deepfake*:

‘Une estimation 3D plus sophistiquée de l’éclairage serait susceptible de fournir un modèle d’apparence plus riche qui serait encore plus difficile pour un faussaire à contourner. Bien que nous nous soyons concentrés uniquement sur le visage, l’affichage de l’ordinateur éclaire également le cou, le corps et l’arrière-plan environnant, à partir desquels des mesures similaires pourraient être prises.

‘Ces mesures supplémentaires obligeraient le faussaire à considérer la scène 3D entière, et non seulement le visage.’

* Ma conversion des citations en ligne des auteurs en hyperliens.

Publié pour la première fois le 6 juillet 2022.
lay aussi éclaire le cou, le corps et l’arrière-plan environnant, à partir desquels des mesures similaires pourraient être prises. ‘Ces mesures supplémentaires obligeraient le faussaire à considérer la scène 3D entière, et non seulement le visage.’ * Ma conversion des citations en ligne des auteurs en hyperliens. Premièrement publié le 6 juillet 2022.