Investigadores de IA crean modelos de caras de videojuegos 3D a partir de fotos de usuarios

Un equipo de investigadores de NetEase (NTES ), una empresa de juegos china, han creado un sistema que puede extraer automáticamente caras de fotos y generar modelos de juego con los datos de la imagen. Los resultados del documento, titulado Traducción de parámetros faciales para la creación automática de personajes de juego, fueron resumidos por Synced en Medium.

Cada vez más desarrolladores de juegos están optando por utilizar la IA para automatizar tareas que consumen mucho tiempo. Por ejemplo, los desarrolladores de juegos han estado utilizando algoritmos de IA para ayudar a renderizar los movimientos de personajes y objetos. Otro uso reciente de la IA por parte de los desarrolladores de juegos es la creación de herramientas de personalización de personajes más potentes.

La personalización de personajes es una característica muy querida de los juegos de rol, que permite a los jugadores personalizar a sus avatares de juego de muchas maneras diferentes. Muchos jugadores eligen hacer que sus avatares se parezcan a ellos mismos, lo que se vuelve más factible a medida que aumenta la sofisticación de los sistemas de personalización de personajes. Sin embargo, a medida que estas herramientas de creación de personajes se vuelven más sofisticadas, también se vuelven mucho más complejas. Crear un personaje que se parezca a uno mismo puede llevar horas de ajustar controles y alterar parámetros crípticos. El equipo de investigación de NetEase busca cambiar todo esto creando un sistema que analice una foto del jugador y genere un modelo de la cara del jugador en el personaje del juego.

Herramienta de creación de personajes automática consta de dos mitades: un sistema de aprendizaje de imitación y un sistema de traducción de parámetros. El sistema de traducción de parámetros extrae características de la imagen de entrada y crea parámetros para que el sistema de aprendizaje los utilice. Estos parámetros se utilizan luego en el modelo de aprendizaje de imitación para generar y mejorar iterativamente la representación de la cara de entrada.

El sistema de aprendizaje de imitación tiene una arquitectura que simula la forma en que el motor de juego crea modelos de personajes con un estilo constante. El modelo de imitación está diseñado para extraer la verdad fundamental de la cara, teniendo en cuenta variables complejas como barbas, lápiz de labios, cejas y peinado. Los parámetros de la cara se actualizan a través del proceso de descenso de gradiente, en comparación con la entrada. La diferencia entre las características de entrada y el modelo generado se comprueba constantemente, y se realizan ajustes en el modelo hasta que el modelo del juego se alinee con las características de entrada.

Después de que la red de imitación se ha entrenado, el sistema de traducción de parámetros comprueba las salidas de la red de imitación contra las características de la imagen de entrada, decidiendo un espacio de características que permita el cálculo de parámetros faciales óptimos.

El mayor desafío fue asegurarse de que los modelos de personajes 3D pudieran preservar detalles y apariencias basados en fotos de humanos. Este es un problema de dominio cruzado, donde las imágenes 3D generadas y las imágenes 2D de personas reales deben compararse y los características fundamentales de ambas deben ser las mismas.

Los investigadores resolvieron este problema con dos técnicas diferentes. La primera técnica fue dividir su entrenamiento de modelo en dos tareas de aprendizaje diferentes: una tarea de contenido facial y una tarea discriminatoria. La forma general y la estructura de una cara se discernen minimizando la diferencia/pérdida entre dos valores de apariencia global, mientras que los detalles discriminatorios/finos se llenan minimizando la pérdida entre cosas como sombras en una región pequeña. Las dos tareas de aprendizaje se fusionan para lograr una representación completa.

La segunda técnica utilizada para generar modelos 3D fue un sistema de construcción de caras 3D que utiliza una estructura esquelética simulada, teniendo en cuenta la forma del hueso. Esto permitió a los investigadores crear imágenes 3D mucho más sofisticadas y precisas en comparación con otros sistemas de modelado 3D que dependen de rejillas o mallas faciales.

La creación de un sistema que pueda crear modelos 3D realistas a partir de imágenes 2D es lo suficientemente impresionante por sí solo, pero el sistema de generación automática no solo funciona con fotos 2D. El sistema también puede tomar bocetos y caricaturas de caras y representarlos como modelos 3D con una precisión impresionante. El equipo de investigación sospecha que el sistema es capaz de generar modelos precisos a partir de personajes 2D porque el sistema analiza la semántica facial en lugar de interpretar valores de píxeles brutos.

Mientras que el generador de personajes automático se puede utilizar para crear personajes a partir de fotos, los investigadores dicen que los usuarios también deben poder utilizarlo como una técnica suplementaria y editar el personaje generado según sus preferencias.