Nouvelle méthode de détection des deepfakes avec une précision de 99%

Une équipe de scientifiques en informatique de l’UC Riverside a développé une nouvelle méthode pour détecter les expressions faciales manipulées dans les vidéos de deepfakes. La méthode peut détecter ces expressions avec une précision allant jusqu’à 99 %, ce qui en fait une méthode plus précise que les méthodes actuelles de pointe.

La nouvelle étude intitulée « Détection et localisation des manipulations d’expressions faciales » a été présentée à la Conférence hivernale 2022 sur les applications de la vision par ordinateur.

Détection de toute manipulation faciale

La méthode s’est également avérée être aussi précise que les méthodes actuelles dans les cas où l’identité faciale avait été échangée plutôt que les expressions. Cela signifie que la nouvelle approche peut être utilisée pour détecter tout type de manipulation faciale, et c’est un grand pas vers le développement d’outils automatisés pour détecter les vidéos manipulées.

Il n’a jamais été aussi facile d’échanger le visage d’une personne pour un autre ou de modifier les expressions originales en raison des récents progrès réalisés dans les logiciels de montage vidéo. La détection de ces méthodes est très importante car elles sont de plus en plus utilisées dans divers conflits domestiques et internationaux à travers le monde. Cependant, identifier les visages avec seulement des expressions échangées a été extrêmement difficile.

Amit Roy-Chowdhury est professeur de génie électrique et informatique à la Bourns College of Engineering. Il est également co-auteur de la recherche.

« Ce qui rend le domaine de la recherche sur les deepfakes plus difficile est la concurrence entre la création et la détection et la prévention des deepfakes qui deviendra de plus en plus féroce à l’avenir. Avec plus de progrès dans les modèles génératifs, les deepfakes seront plus faciles à synthétiser et plus difficiles à distinguer des vrais », a-t-il déclaré.

Image : UC Riverside

Détection de manipulation d’expression (EMD)

La nouvelle méthode divise la tâche en deux composants au sein d’un réseau neuronal profond. La première branche discerne les expressions faciales tout en fournissant des informations sur les régions qui contiennent l’expression. Ces régions peuvent inclure la bouche, les yeux, le front, etc. Ces informations sont transmises à la deuxième branche, qui est une architecture encodeur-décodeur responsable de la détection et de la localisation de la manipulation.

L’équipe a nommé le cadre de travail Détection de manipulation d’expression (EMD), et il peut détecter et localiser des régions spécifiques qui ont été modifiées dans une image.

Ghazal Mazaheri est un étudiant diplômé et leader de la recherche.

« L’apprentissage multi-tâche peut exploiter les fonctionnalités éminentes apprises par les systèmes de reconnaissance d’expressions faciales pour bénéficier de la formation des systèmes de détection de manipulation conventionnels. Une telle approche réalise des performances impressionnantes dans la détection de manipulation d’expression faciale », a déclaré Mazaheri.

Les chercheurs ont mené des expériences sur deux ensembles de données de manipulation faciale difficiles, et ils ont démontré que l’EMD fonctionne mieux avec les manipulations d’expression faciale ainsi que les échanges d’identité. Il a détecté avec précision 99 % des vidéos manipulées.