Reestructuración de rostros en videos con aprendizaje automático

Una colaboración de investigación entre China y el Reino Unido ha ideado un nuevo método para reconfigurar rostros en video. La técnica permite un convincente ensanchamiento y estrechamiento de la estructura facial, con alta coherencia y ausencia de artefactos.

De un video de YouTube utilizado como material de origen por los investigadores, la actriz Jennifer Lawrence aparece como una personalidad más demacrada (derecha). Vea el video acompañante incrustado al final del artículo para muchos más ejemplos en mejor resolución. Fuente: https://www.youtube.com/watch?v=tA2BxvrKvjE

Este tipo de transformación suele ser posible solo a través de métodos CGI tradicionales que necesitarían recrear completamente el rostro a través de procedimientos detallados y costosos de captura de movimiento, configuración y texturizado.

En cambio, lo que hay de CGI en la técnica se integra en una canalización neural como información facial paramétrica 3D que se utiliza posteriormente como base para un flujo de trabajo de aprendizaje automático.

Las caras paramétricas tradicionales están siendo utilizadas cada vez más como directrices para procesos transformadores que utilizan IA en lugar de CGI. Fuente: https://arxiv.org/pdf/2205.02538.pdf