Les chercheurs en IA créent des modèles de visage de jeu vidéo 3D à partir de photos d’utilisateurs

Une équipe de chercheurs chez NetEase, une société de jeux chinois, a créé un système capable d’extraire automatiquement les visages des photos et de générer des modèles de jeu avec les données d’image. Les résultats de l’article, intitulé Face-to-Parameter Translation for Game Character Auto-Creation, ont été résumés par Synced sur Medium.

De plus en plus de développeurs de jeux choisissent d’utiliser l’IA pour automatiser les tâches fastidieuses. Par exemple, les développeurs de jeux utilisent des algorithmes d’IA pour aider à rendre les mouvements des personnages et des objets. Un autre usage récent de l’IA par les développeurs de jeux est la création d’outils de personnalisation de personnages plus puissants.

La personnalisation de personnages est une fonction très appréciée des jeux de rôle vidéo, permettant aux joueurs de personnaliser leurs avatars de joueur de manière multiple. De nombreux joueurs choisissent de faire ressembler leurs avatars à eux-mêmes, ce qui devient plus réalisable à mesure que la sophistication des systèmes de personnalisation de personnages augmente. Cependant, à mesure que ces outils de création de personnages deviennent plus sophistiqués, ils deviennent également beaucoup plus complexes. Créer un personnage qui ressemble à soi-même peut prendre des heures d’ajustement de curseurs et de modification de paramètres cryptiques. L’équipe de recherche de NetEase cherche à changer tout cela en créant un système qui analyse une photo du joueur et génère un modèle du visage du joueur sur le personnage du jeu.

L’outil de création de personnage automatique est composé de deux parties : un système d’apprentissage par imitation et un système de traduction de paramètres. Le système de traduction de paramètres extrait les fonctionnalités de l’image d’entrée et crée des paramètres pour que le système d’apprentissage les utilise. Ces paramètres sont ensuite utilisés par le modèle d’apprentissage par imitation pour générer et améliorer de manière itérative la représentation du visage d’entrée.

Le système d’apprentissage par imitation a une architecture qui simule la façon dont le moteur de jeu crée des modèles de personnages avec un style constant. Le modèle d’imitation est conçu pour extraire la vérité fondamentale du visage, en tenant compte de variables complexes comme les barbes, le rouge à lèvres, les sourcils et la coiffure. Les paramètres du visage sont mis à jour à travers le processus de descente de gradient, comparés à l’entrée. La différence entre les fonctionnalités d’entrée et le modèle généré est constamment vérifiée, et des ajustements sont apportés au modèle jusqu’à ce que le modèle de jeu corresponde aux fonctionnalités d’entrée.

Une fois que le réseau d’imitation a été formé, le système de traduction de paramètres vérifie les sorties du réseau d’imitation par rapport aux fonctionnalités de l’image d’entrée, en décidant d’un espace de fonctionnalités qui permet le calcul de paramètres faciaux optimaux.

Le plus grand défi a été de s’assurer que les modèles de personnages 3D puissent préserver les détails et les apparences en fonction de photos de personnes. Il s’agit d’un problème de domaine croisé, où les images 3D générées et les images 2D de personnes réelles doivent être comparées et les fonctionnalités fondamentales des deux doivent être les mêmes.

Les chercheurs ont résolu ce problème avec deux techniques différentes. La première technique consistait à diviser leur formation de modèle en deux tâches d’apprentissage différentes : une tâche de contenu facial et une tâche discriminative. La forme et la structure générales d’un visage sont discernées en minimisant la différence/perte entre deux valeurs d’apparence globale, tandis que les détails discriminatifs/fin sont remplis en minimisant la perte entre des choses comme les ombres dans une petite région. Les deux tâches d’apprentissage différentes sont fusionnées pour obtenir une représentation complète.

La deuxième technique utilisée pour générer des modèles 3D était un système de construction de visage 3D qui utilise une structure squelettique simulée, en tenant compte de la forme des os. Cela a permis aux chercheurs de créer des images 3D beaucoup plus sophistiquées et précises par rapport à d’autres systèmes de modélisation 3D qui reposent sur des grilles ou des maillages de visage.

La création d’un système capable de créer des modèles 3D réalistes à partir d’images 2D est impressionnante en soi, mais le système de génération automatique ne fonctionne pas seulement avec des photos 2D. Le système peut également prendre des esquisses et des caricatures de visages et les rendre en modèles 3D avec une grande précision. L’équipe de recherche suspecte que le système est capable de générer des modèles précis à partir de personnages 2D car le système analyse les sémantiques faciales au lieu d’interpréter les valeurs de pixels brutes.

Alors que le générateur de personnages automatique peut être utilisé pour créer des personnages à partir de photos, les chercheurs disent que les utilisateurs devraient également être en mesure de l’utiliser comme technique supplémentaire et d’éditer davantage le personnage généré selon leurs préférences.