Reconfiguración de los Tipos de Cuerpo Humano con IA

Una nueva colaboración de investigación de China ofrece un método novedoso para reconfigurar el cuerpo humano en imágenes, mediante el uso de una red de codificadores neuronales gemelos coordinados, guiada por un modelo paramétrico, que permite a un usuario final modular el peso, la altura y la proporción del cuerpo en una interfaz gráfica de usuario interactiva.

Modulación parametrizada de la forma del cuerpo, con controles deslizantes que alteran las tres características disponibles. Fuente: https://arxiv.org/pdf/2203.10496.pdf

El trabajo ofrece varias mejoras sobre un proyecto similar reciente de Alibaba, en que puede alterar convincentemente la altura y la proporción del cuerpo, así como el peso, y tiene una red neural dedicada para ‘pintar’ el fondo (no existente) que puede ser revelado por imágenes de ‘cuerpo más delgado’. También mejora un método paramétrico anterior notable para la reconfiguración del cuerpo, al eliminar la necesidad de una intervención humana extensa durante la formulación de la transformación.

Titulado NeuralReshaper, la nueva arquitectura ajusta un modelo paramétrico 3D de humano a una imagen de origen, y luego utiliza distorsiones en el modelo para adaptar la imagen original a los nuevos parámetros.

El sistema es capaz de manejar transformaciones de cuerpo en figuras vestidas y semivestidas (es decir, trajes de baño).

Transformaciones de este tipo son actualmente de gran interés para el sector de investigación de fashion AI, que ha producido una serie de plataformas de redes neuronales basadas en StyleGAN/CycleGAN y generales para pruebas virtuales que pueden adaptar artículos de ropa disponibles al tipo y forma del cuerpo de una imagen enviada por el usuario, o ayudar con la conformidad visual.

El artículo se titula Reconfiguración de la forma del cuerpo humano en una sola imagen con redes neuronales profundas, y proviene de investigadores de la Universidad de Zhejiang en Hangzhou, y la Escuela de Medios Creativos de la Universidad de la Ciudad de Hong Kong.

Ajuste de SMPL

NeuralReshaper utiliza el Modelo Lineal Multi-Personal con Piel (SMPL) desarrollado por el Instituto Max Planck para Sistemas Inteligentes y la conocida casa de efectos visuales Industrial Light and Magic en 2015.

Humanos paramétricos de SMPL de la colaboración Planck/ILM de 2015. Fuente: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

En la primera etapa del proceso, se genera un modelo SMPL a partir de una imagen de origen a la que se desean realizar transformaciones de cuerpo. La adaptación del modelo SMPL a la imagen sigue la metodología del método de Recuperación de Malla Humana (HMR) propuesto por universidades en Alemania y EE. UU. en 2018.

Los tres parámetros de deformación (peso, altura, proporción del cuerpo) se calculan en esta etapa, junto con una consideración de los parámetros de la cámara, como la longitud focal. Los puntos clave 2D y la alineación de la silueta generada proporcionan el recinto para la deformación en forma de silueta 2D, una medida de optimización adicional que aumenta la precisión del límite y permite un relleno de fondo auténtico más adelante en la tubería.

Etapa de ajuste de SMPL: a la izquierda, la imagen de origen; segunda, el resultado de optimización obtenido del método descrito en la investigación de 2016 investigación liderada por el Instituto Max Planck para Sistemas Inteligentes; tercera, un resultado de inferencia directa del modelo preentrenado para Recuperación de Forma y Posición Humana de Extremo a Extremo; cuarta, los resultados obtenidos después de la optimización de los puntos clave 2D; y finalmente, quinta, el ajuste completado después de la optimización de la silueta (ver arriba).

La deformación 3D se proyecta luego en el espacio de imagen de la arquitectura para facilitar un campo de deformación denso que definirá la deformación. Este proceso tarda alrededor de 30 segundos por imagen.

Arquitectura de NeuralReshaper