Nouvelle méthode de Deepfake pour résoudre le problème du « visage hôte »

Malgré plusieurs années d’hystérie médiatique sur le potentiel des images de deepfake pour remettre en question notre foi de longue date dans l’authenticité des vidéos, toutes les méthodes populaires actuelles reposent sur la recherche de « visages hôtes » qui sont globalement similaires en forme au visage cible.

Lorsque les images d’origine présentent un visage large, mais que le sujet cible a un visage étroit, les résultats ont toujours été problématiques, car un tel transfert implique de couper une partie du visage d’origine et de reconstruire l’arrière-plan maintenant exposé. Les packages actuels tels que DeepFaceLab et FaceSwap sont capables de produire des résultats limités lorsque la configuration est inversée (étroit > large), mais n’ont pas de fonctionnalité pour traiter de manière convaincante ce scénario.

Maintenant, une collaboration entre Tencent et l’Université de Xiamen en Chine a développé une nouvelle approche, intitulée HifiFace, conçue pour remédier à cette lacune.

Deux deepfakes HifiFace, le premier d’Anne Hathaway, où une bonne ressemblance est obtenue malgré une forme de visage hôte incompatible. HifiFace fonctionne également bien sur les cibles avec des lunettes, traditionnellement un obstacle dans les deepfakes. Source: https://arxiv.org/pdf/2106.09965.pdf

Remodelage d’un visage de deepfake

Les approches précédentes, telles que Subject Agnostic Face Swapping and Reenactment (FSGAN) de 2019, ont reposé sur 3DMM fitting (3D Morphable Models) ou d’autres méthodologies basées sur la reconnaissance de points de repère faciaux ou la transformation, où les caractéristiques faciales du visage à « réécrire » dictent pretty much les limites de l’échange:

Détection de points de repère faciaux 3DMM. Source: https://github.com/Yinghao-Li/3DMM-fitting

Bien que les méthodes concurrentes aient utilisé des fonctionnalités dérivées de réseaux de reconnaissance faciale, celles-ci sont principalement destinées à reconstituer la texture plutôt que la structure, et produisent également un effet « masque » dans les cas où le visage hôte n’est pas entièrement compatible (c’est-à-dire les limites et la forme de la ligne de cheveux, de la mâchoire et des pommettes).

Pour résoudre ces problèmes, les chercheurs chinois, basés au Media Analytics and Computing Lab du département d’intelligence artificielle de l’université, ont développé un réseau de bout en bout qui régresse les coefficients du visage cible et du visage source en utilisant un modèle de reconstruction 3D, qui est ensuite recombinaisonné comme information de forme, et concaténé avec des informations d’identité vectorielles provenant d’un réseau de reconnaissance faciale.

Ces données géométriques sont ensuite introduites dans un modèle encodeur-décodeur comme informations structurelles, se mélangent avec l’expression et la disposition du visage cible, qui sont utilisées comme sources auxiliaires pour un transfert précis.

Fusion faciale sémantique

En outre, HifiFace comprend un composant de fusion faciale sémantique (SFF), qui utilise une fonctionnalité de bas niveau dans l’encodeur pour préserver les informations spatiales et de texture, sans sacrifier l’identité de l’image cible. Les fonctionnalités de l’encodeur et du décodeur sont intégrées dans un masque adaptatif appris, et les informations de fond sont mélangées dans la sortie par le biais du masque de visage appris.

HifiFace en action. Source: https://johann.wang/HifiFace/

De cette façon, HifiFace s’écarte de l’utilisation des limites de visage d’origine comme limite stricte, en utilisant une segmentation sémantique de visage dilatée, où le modèle peut effectuer une meilleure fusion adaptative sur les limites de bordure du visage.

Deux approches précédentes (en haut et en bas à gauche), et la nouvelle architecture HifiFace, qui se compose d’un encodeur, d’un décodeur, d’un extracteur d’identité 3D shape-aware et d’un module SFF.

Dans une comparaison avec les méthodes précédentes FSGAN, SimSwap et FaceShifter, HifiFace démontre une reconstruction supérieure de la forme du visage, car il ne se contente pas d’approximer des éléments « fantômes » où les délimitations faciales confondent la carte d’identité > identité, mais les reconstruit définitivement.

Test

Les chercheurs ont mis en œuvre le système en utilisant les ensembles de données VGGFace2 et DeepGlint Asian-Celeb. Les visages ont été alignés via 5 repères extérieurs et recadrés à 256×256 pixels. Un réseau d’amélioration de portrait a également été utilisé pour générer une version de 512×512 pixels, pour un modèle de plus haute résolution. Le modèle a été formé sous Adam.

Bien que FaceShifter préserve bien l’identité, il ne peut pas résoudre les problèmes tels que l’expression, la couleur et l’occlusion de manière aussi efficace que HifiFace, et a une structure de réseau plus complexe. FSGAN a des problèmes pour transférer l’éclairage de la source à la cible.

Les chercheurs utilisent FaceForensics++ pour des comparaisons quantitatives, en échantillonnant dix cadres chacun dans un lot de vidéos converties à travers les méthodes concurrentes, et constatent que HifiFace a obtenu un score de récupération d’identité supérieur. Lors du test d’une gamme d’autres facteurs, tels que la qualité d’image, les chercheurs ont également constaté que leur méthode surperforme les méthodologies rivales.

Les caractéristiques faciales de Benedict Cumberbatch sont reproduites avec fidélité.

Le travail représente un mouvement supplémentaire vers l’abstraction du matériau source afin qu’il ne soit qu’un modèle grossier dans lequel des identités précises peuvent être transférées. Certains des packages FOSS actuels, y compris DeepFaceLab, disposent d’une fonctionnalité nascente pour le remplacement de tête complète, mais, comme HifiFace, ceux-ci ne tiennent pas compte des cheveux, et sont plus efficaces pour « construire » un visage que pour le sculpter pour correspondre à une source cible désirée.