Détection de Deepfake basée sur les caractéristiques biométriques humaines originales

Un nouvel article de recherche de l’Italie et de l’Allemagne propose une méthode pour détecter les vidéos Deepfake basée sur le comportement biométrique du visage et de la voix, plutôt que sur les artefacts créés par les systèmes de synthèse de visage, les solutions de marquage d’eau coûteuses ou d’autres approches plus lourdes.

Le cadre nécessite une entrée de 10 vidéos ou plus variées et non fausses de la personne. Cependant, il n’a pas besoin d’être spécifiquement formé, réformé ou augmenté sur des vidéos par cas, car son modèle incorporé a déjà abstrait les distances vectorielles probables entre les vidéos réelles et fausses de manière largement applicable.

L’apprentissage contrastif sous-tend l’approche de POI-Forensics. Les vecteurs dérivés du matériel source sur une base par cas sont comparés aux mêmes vecteurs dans une vidéo potentielle fausse, avec des facettes et des caractéristiques tirées des composants vidéo et audio de la vidéo potentiellement fausse. Source: https://arxiv.org/pdf/2204.03083.pdf

Intitulé POI-Forensics, l’approche repose sur les mouvements et les indices audio uniques de l’individu réel qui est deepfake.

Un tel système pourrait permettre des cadres d’authentification complètement automatisés et « pré-rendus » pour les célébrités, les politiciens, les influenceurs YouTube et d’autres personnes pour lesquelles une grande quantité de matériel vidéo est facilement disponible, mais il pourrait également être adapté en un cadre où les victimes ordinaires de la technologie Deepfake pourraient potentiellement avoir une plate-forme pour prouver la non-authenticité des attaques contre eux.

Visualisations des fonctionnalités extraites de vidéos authentiques et fausses à travers quatre sujets dans POI-Forensics, via le cadre t-SNE.

Les auteurs affirment que POI-Forensics atteint un nouvel état de l’art dans la détection de Deepfake. Sur une variété de jeux de données courants dans ce domaine, le cadre est rapporté pour améliorer les scores AUC de 3 %, 10 % et 7 % pour les vidéos de haute qualité, de basse qualité et « attaquées », respectivement. Les chercheurs promettent de publier le code bientôt.

Les performances de POI-Forensics par rapport aux cadres SOTA rivales pDFDC, DeepFakeTIMIT, FakeAVCelebV2 et KoDF. La formation a été effectuée dans chaque cas sur FaceForensics++ et la méthode des auteurs ID-Reveal sur VoxCeleb2. Les résultats incluent des vidéos de haute et de basse qualité.

Les auteurs déclarent:

‘La formation est effectuée exclusivement sur des vidéos de visage parlant réelles, ainsi le détecteur ne dépend pas d’une méthode de manipulation spécifique et offre la plus grande capacité de généralisation. De plus, notre méthode peut détecter à la fois les attaques à modalité unique (audio-seulement, vidéo-seulement) et multimodale (audio-vidéo), et est robuste aux vidéos de basse qualité ou corrompues en ne s’appuyant que sur des fonctionnalités sémantiques de haut niveau.’

Le nouvel article, qui intègre des éléments de certains projets de vision des auteurs de 2021, est intitulé Détection de Deepfake audiovisuelle de la personne d’intérêt, et est un effort conjoint entre l’Université de Federico II à Naples et l’Université technique de Munich.

La course aux armes des Deepfakes

Pour vaincre un système de détection de cette nature, les systèmes de synthèse de Deepfake et humaine nécessiteraient la capacité de simuler au moins les indices biométriques visuels et audio de la cible de la synthèse – une technologie qui est encore loin et susceptible de rester dans le domaine de systèmes fermés coûteux et propriétaires développés par des sociétés de VFX, qui auront l’avantage de la coopération et de la participation de la cible (ou de leurs héritiers, dans le cas de la simulation de personnes décédées).

L’approche précédente des auteurs, ID-Reveal, se concentrait entièrement sur les informations visuelles. Source: https://arxiv.org/pdf/2012.02512.pdf

Les méthodes de Deepfake réussies et populaires telles que FaceSwap et DeepFaceLab/Live n’ont actuellement aucune capacité à créer de telles approximations biométriques granulaires, s’appuyant au mieux sur des imitateurs talentueux sur lesquels l’identité fausse est imposée, et beaucoup plus couramment sur des images enregistrées de « personnes similaires » dans la nature. Ni la structure du code de base de 2017, qui a peu de modularité et qui reste la source amont pour DFL et FaceSwap, ne rend pas cette fonctionnalité réalisable.

Ces deux packages de Deepfake dominants sont basés sur des auto-encodeurs. Les méthodes alternatives de synthèse humaine peuvent utiliser une approche de réseau antagoniste génératif (GAN) ou de champ de rayonnement neuronal (NeRF) pour recréer l’identité humaine; mais ces deux axes de recherche ont encore des années de travail devant eux, même pour produire des vidéos humaines entièrement photoréalistes.

Avec l’exception de l’audio (voix fausses), la simulation biométrique est très loin dans la liste des défis auxquels est confrontée la synthèse d’images humaines. Dans tous les cas, reproduire le timbre et les autres qualités de la voix humaine ne reproduit pas ses excentricités et « indices », ou la façon dont le sujet réel utilise la construction sémantique. Par conséquent, même la perfection de la simulation de voix générée par IA ne résout pas le problème potentiel du pare-feu de l’authenticité biométrique.

À Arxiv seul, plusieurs stratégies et innovations de détection de Deepfake sont publiées chaque semaine. Les approches récentes ont reposé sur l’homogénéité du visage et de la voix, l’histogramme de motif binaire local (FF-LBPH), la perception humaine des Deepfakes audio, l’analyse des bordures du visage, la prise en compte de la dégradation de la vidéo, et ‘la balistique forensique’ – parmi beaucoup d’autres.

L’analyse d’histogramme segmenté est parmi les dernières techniques proposées pour améliorer la détection de Deepfake. Source: https://arxiv.org/pdf/2203.09928.pdf

Approche, données et architecture

POI-Forensics adopte une approche multimodale de vérification d’identité, en exploitant les biométries molles basées sur les indices visuels et audio. Le cadre comporte des réseaux audio et vidéo distincts, qui dérivent finalement des données vectorielles caractéristiques qui peuvent être comparées aux mêmes fonctionnalités extraites dans une vidéo Deepfake potentielle à l’étude.

L’architecture conceptuelle de POI-Forensics.

Les analyses séparées (audio ou vidéo) et de fusion peuvent être effectuées sur les clips cibles, aboutissant finalement à un indice de similarité POI. La fonction de perte contrastive utilisée est basée sur une collaboration universitaire de 2021 entre Google Research, Boston University, Snap Inc. et MIT.

Le jeu de données de base a été divisé sur une base par identité. 4608 identités ont été utilisées pour la formation, avec 512 restantes pour la validation. Les 500 identités utilisées dans FakeAVCelebV2 (un candidat de test, voir ci-dessous) ont été exclues afin d’obtenir des résultats non polarisés.

Les deux réseaux ont été formés pendant 12 époques à un lot de taille inhabituellement grande de 2304 lots par époque, avec chaque lot composé de 8×8 segments de vidéo – 8 segments pour 8 identités différentes. L’optimiseur Adam a été utilisé avec la décroissance pondérée déconnectée à un taux d’apprentissage de 10⁻⁴, et une décroissance de 0,01.

Test et résultats

Les jeux de données de Deepfake testés pour le projet étaient le jeu de données de défi de détection de Deepfake, qui présente des échanges de visage sur 68 sujets, dont 44 identités ont été sélectionnées qui ont plus de neuf vidéos liées, totalisant 920 vidéos réelles et 2925 vidéos fausses; DeepFake-TIMIT, un jeu de données basé sur GAN présentant 320 vidéos de 32 sujets, totalisant 290 vidéos réelles et 580 vidéos fausses d’une durée d’au moins quatre secondes; FakeAVCelebV2, comprenant 500 vidéos réelles à partir de Voxceleb2, et environ 20 000 vidéos fausses à partir de divers jeux de données, auxquelles des clones audio fausses ont été ajoutés avec SV2TTS pour la compatibilité; et KoDF, un jeu de données de Deepfake coréen avec 403 identités fausses à l’aide de FaceSwap, DeepFaceLab et FSGAN, ainsi que trois premiers modèles de mouvement (FOMM).

Celui-ci comporte également une synthèse de visage audio ATFHP, et la sortie de Wav2Lip, avec les auteurs utilisant un jeu de données dérivé présentant 276 vidéos réelles et 544 vidéos fausses.

Les métriques utilisées comprenaient la surface sous la courbe de caractéristique de réception (AUC) et un taux d’alarme faux approximé de 10 %, qui serait problématique dans les cadres qui intègrent et forment des données fausses, mais qui est atténué par le fait que POI-Forensics n’utilise que des vidéos réelles comme entrée.

Les méthodes ont été testées contre le détecteur de Deepfake de Seferbekov, qui a obtenu la première place dans le défi de détection de Deepfake; FTCN (Fully Temporal Convolution Network), une collaboration entre l’Université de Xiamen en Chine et Microsoft Research Asia; LipForensics, un travail conjoint de 2021 entre l’Imperial College de Londres et Facebook; et ID-Reveal, un projet précédent de plusieurs des chercheurs de la nouvelle étude, qui omet un aspect audio, et qui utilise des modèles de morphologie 3D en combinaison avec un scénario de jeu antagoniste pour détecter la sortie fausse.

Dans les résultats (voir le tableau ci-dessus), POI-Forensics a surpassé le leader de référence Seferbekov de 2,5 % en AUC et de 1,5 % en termes de précision. Les performances étaient plus compétitives sur d’autres jeux de données à HQ.

Cependant, la nouvelle approche a démontré une avance notable sur toutes les méthodes de référence concurrentes pour les vidéos de basse qualité, qui restent le scénario le plus probable dans lequel les Deepfakes sont susceptibles de tromper les spectateurs occasionnels, sur la base de « contextes du monde réel ».

Les auteurs affirment:

‘En effet, dans ce scénario difficile, seules les approches basées sur l’identité continuent de fournir de bonnes performances, car elles s’appuient sur des fonctionnalités sémantiques de haut niveau, très robustes aux dégradations d’image.’

Compte tenu du fait que POI-Forensics n’utilise que des vidéos réelles comme matériel source, la réalisation est arguablement amplifiée, et suggère que l’utilisation des caractéristiques biométriques natives des victimes potentielles de Deepfake est une voie valable pour échapper à la « guerre froide des artefacts » entre les logiciels de Deepfake et les solutions de détection de Deepfake.

Dans un dernier test, les chercheurs ont ajouté du bruit antagoniste à l’entrée, une méthode qui peut systématiquement tromper les classificateurs. La méthode de signe de gradient rapide, maintenant vénérable, s’avère particulièrement efficace à cet égard.

Les stratégies d’attaque antagoniste ont réduit le taux de réussite dans tous les méthodes et les jeux de données, avec une AUC descendant en increments de 10 % à 38 %. Cependant, seul POI-Forensics, et la méthode précédente des auteurs ID-Reveal, ont pu maintenir des performances raisonnables dans ce scénario d’attaque, suggérant que les fonctionnalités de haut niveau associées aux biométries molles sont exceptionnellement résistantes à l’évitement de la détection de Deepfake.

Les auteurs concluent:

‘Dans l’ensemble, nous croyons que notre méthode est un premier jalon; en particulier, l’utilisation de fonctionnalités sémantiques de niveau supérieur est une voie prometteuse pour les recherches futures. De plus, l’analyse multimodale pourrait être encore enrichie en incluant davantage d’informations à partir d’autres domaines tels que les données textuelles.’

Publié pour la première fois le 8 avril 2022.