Les développeurs de TikTok effacent les visages pour les applications de réalité augmentée

ByteDance, la société multinationale chinoise derrière TikTok, a développé une nouvelle méthode pour effacer les visages dans les vidéos afin que des distorsions d’identité et d’autres effets bizarres puissent être imposés aux personnes dans les applications de réalité augmentée. La société affirme que la technique a déjà été intégrée dans des produits mobiles commerciaux, bien qu’elle ne précise pas quels produits.

Une fois que les visages dans les vidéos ont été « effacés », il y a suffisamment de « toile de visage » pour produire des distorsions qui font l’effet de regarder quelque chose, ainsi que pour superposer d’autres identités. Les exemples fournis dans un nouveau document de recherche de ByteDance illustrent les possibilités, y compris la restauration des caractéristiques « effacées » dans diverses configurations comiques (et certainement quelques-unes grotesques):

Quelques-unes des possibilités de reconfiguration faciale incluses dans le document de recherche de ByteDance. Source: https://arxiv.org/pdf/2109.10760.pdf

Vers la fin du mois d’août, il est apparu que TikTok, la première application non Facebook à atteindre trois milliards de téléchargements, avait lancé TikTok Effect Studio (actuellement en bêta fermée), une plate-forme pour les développeurs de réalité augmentée (AR) pour créer des effets AR pour les flux de contenu TikTok.

En effet, la société rattrape son retard par rapport aux communautés de développeurs similaires sur Facebook’s AR Studio et Snap AR, avec la communauté de recherche et développement AR d’Apple vénérable également sur le point de être galvanisée par de nouveaux matériels au cours de la prochaine année.

Expressions vides

Le document, intitulé FaceEraser: Suppression des parties du visage pour la réalité augmentée, note que les algorithmes de peinture/infill existants, tels que NVIDIA’s SPADE, sont plus orientés vers la complétion d’images tronquées ou semi-obscurcies que pour effectuer cette procédure de « blanchiment » inhabituelle, et que les données de jeu de données existantes sont donc prévisiblement rares.

Étant donné qu’il n’y a pas de jeux de données de vérité terrain disponibles pour les personnes qui ont une surface solide de chair où leur visage devrait être, les chercheurs ont créé une nouvelle architecture de réseau appelée pixel-clone, qui peut être superposée aux modèles de peinture neurale existants, et qui résout les problèmes liés aux incohérences de texture et de couleur présentés (le document atteste) par les anciennes méthodes telles que StructureFlow et EdgeConnect.

Flux de travail général de pixel-clone dans le nouveau pipeline.

Afin de former un modèle sur des « visages vides », les chercheurs ont exclu les images avec des lunettes, ou où les cheveux obscurcissent le front, puisque la zone entre la ligne de cheveux et les sourcils est généralement le plus grand groupe de pixels qui peut fournir du « matériel de recouvrement » pour les caractéristiques centrales du visage.

Préparation des images d’entraînement. La zone du front est découpée, basée sur des points clés dans la reconnaissance d’alignement facial, verticalement renversée et cousue.

Une image de 256×256 pixels est obtenue, une taille suffisamment petite pour être alimentée dans l’espace latent d’un réseau neuronal en lots suffisamment grands pour atteindre une généralisation. Un redimensionnement algorithmique ultérieur restaurera les résolutions nécessaires pour fonctionner dans l’espace AR.

Architecture

Le réseau est composé de trois réseaux internes, comprenant Edge Completion, Pixel-Clone et un réseau de raffinement. Le réseau de complétion d’arêtes utilise la même architecture d’encodeur-décodeur que EdgeConnect (voir ci-dessus), ainsi que dans les deux applications de deepfake les plus populaires. Les encodeurs échantillonnent le contenu de l’image deux fois, et les décodeurs restaurent les dimensions d’origine de l’image.

Pixel-Clone utilise une méthodologie d’encodeur-décodeur modifiée, tandis que la couche de raffinement utilise l’architecture U-Net, une technique développée à l’origine pour l’imagerie biomédicale, qui apparaît souvent dans les projets de recherche de synthèse d’images.

Au cours du flux de travail d’entraînement, il est nécessaire d’évaluer l’exactitude des transformations, et, si nécessaire, de répéter les tentatives de manière itérative jusqu’à convergence. À cette fin, deux discriminateurs basés sur PatchGAN sont utilisés, chacun évaluant la réalisme localisé de patches de 70×70 pixels, en décomptant la valeur de réalisme de l’image entière.

Formation et données

Le réseau de complétion d’arêtes est formé initialement de manière indépendante, tandis que les deux autres réseaux sont formés ensemble, sur la base des poids qui ont résulté de la formation de complétion d’arêtes, qui sont fixés et gelés pendant cette procédure.

Bien que le document ne déclare pas explicitement que ses exemples de distorsion de caractéristiques finales sont l’objectif principal du modèle, il met en œuvre divers effets comiques pour tester la résilience du système, y compris la suppression des sourcils, la bouche élargie, les sous-visages réduits et les effets « toonizés » (comme le montre l’image ci-dessus).

Le document affirme que « les visages effacés permettent diverses applications de réalité augmentée qui nécessitent le placement d’éléments personnalisés par l’utilisateur », indiquant la possibilité de personnaliser les visages avec des éléments contribués par des tiers.

Le modèle est formé sur des masques à partir du jeu de données FFHQ créé par NVIDIA, qui contient une variété suffisante d’âges, d’ethnies, d’éclairages et de poses et de styles de visage pour atteindre une généralisation utile. Le jeu de données contient 35 000 images et 10 000 masques de formation pour délimiter les zones de transformation, avec 4 000 images et 1 000 masques mis de côté à des fins de validation.

Échantillons de données d’entraînement.

Le modèle formé peut effectuer une inférence sur des données à partir de CelebA-HQ de 2017 et de VoxCeleb, des visages non vus de FFHQ, et tout autre visage non contraint et non vu qui lui est présenté. Les images de 256×256 pixels ont été formées sur le réseau en lots de 8 sur un optimiseur Adam, mis en œuvre dans PyTorch, et exécuté sur un GPU Tesla (TSLA ) V100 pour « 2000 000 époques ».

Résultats d’inférence obtenus sur un visage réel.

Comme c’est courant dans la recherche de synthèse d’images basée sur le visage, le système doit faire face à des échecs occasionnels provoqués par des obstructions ou des occultations telles que les cheveux, les périphériques, les lunettes et les poils du visage.

Le rapport conclut:

‘Notre approche a été commercialisée et elle fonctionne bien dans les produits pour les entrées d’utilisateur non contraintes.’