RigNeRF: Un nuevo método de deepfakes que utiliza campos de radiación neural

Nueva investigación desarrollada en Adobe ofrece el primer método viable y eficaz de deepfakes basado en Campos de Radiación Neural (NeRF) – quizás la primera innovación real en arquitectura o enfoque en los cinco años desde la emergencia de los deepfakes en 2017.

El método, titulado RigNeRF, utiliza modelos de cara morphables 3D (3DMMs) como una capa intermedia de instrumentación entre la entrada deseada (es decir, la identidad que se impone en el renderizado de NeRF) y el espacio neural, un método que ha sido ampliamente adoptado en los últimos años por enfoques de síntesis de caras de Generative Adversarial Network (GAN), ninguno de los cuales ha producido aún marcos de reemplazo de caras funcionales y útiles para video.

A diferencia de los videos de deepfakes tradicionales, absolutamente nada del contenido en movimiento que se muestra aquí es ‘real’, sino más bien un espacio neural explorable que se entrenó en metraje breve. A la derecha vemos el modelo de cara morphable 3D (3DMM) actuando como interfaz entre las manipulaciones deseables (‘sonreír’, ‘mirar a la izquierda’, ‘mirar hacia arriba’, etc.) y los parámetros usualmente inaccesibles de una visualización de Campo de Radiación Neural. Para una versión de alta resolución de este clip, junto con otros ejemplos, consulte la página del proyecto, o los videos incrustados al final de este artículo. Fuente: https://shahrukhathar.github.io/2022/06/06/RigNeRF.html

Los 3DMMs son efectivamente modelos de CGI de caras, cuyos parámetros pueden adaptarse a sistemas de síntesis de imagen más abstractos, como NeRF y GAN, que de otra manera son difíciles de controlar.

Lo que se ve en la imagen de arriba (imagen del medio, hombre con camisa azul), así como la imagen directamente debajo (imagen de la izquierda, hombre con camisa azul), no es un ‘video real’ en el que se ha superpuesto un pequeño parche de ‘cara falsa’, sino una escena completamente sintetizada que existe únicamente como un renderizado neural volumétrico – incluyendo el cuerpo y el fondo:

En el ejemplo directamente arriba, el video de la vida real de la derecha (mujer con vestido rojo) se utiliza para ‘manipular’ la identidad capturada (hombre con camisa azul) de la izquierda a través de RigNeRF, que (según afirman los autores) es el primer sistema basado en NeRF que logra separar la pose y la expresión mientras puede realizar síntesis de vistas novedosas.

La figura masculina de la izquierda en la imagen de arriba fue ‘capturada’ de un video de 70 segundos de un smartphone, y los datos de entrada (incluida la información de la escena completa) se entrenaron posteriormente en 4 V100 GPUs para obtener la escena.

Dado que los modelos de cara morphables 3D (3DMM) también están disponibles como proxies de CGI paramétricos de cuerpo completo (en lugar de solo modelos de cara), RigNeRF potencialmente abre la posibilidad de deepfakes de cuerpo completo donde el movimiento, la textura y la expresión humanos reales se pasan a la capa paramétrica basada en CGI, que luego traduciría la acción y la expresión en entornos y videos renderizados de NeRF.

En cuanto a RigNeRF – ¿califica como un método de deepfakes en el sentido actual en que los titulares entienden el término? ¿O es solo otro también-ran semi-cojo a DeepFaceLab y otros sistemas de deepfakes de autoencoder de 2017?

Los investigadores del nuevo artículo son inequívocos sobre este punto:

‘Al ser un método capaz de reanimar caras, RigNeRF es propenso a ser utilizado por actores maliciosos para generar deepfakes.’

El nuevo artículo se titula RigNeRF: Retratos neuronales 3D completamente controlables, y proviene de ShahRukh Atha de la Universidad de Stonybrook, un internado en Adobe durante el desarrollo de RigNeRF, y cuatro autores más de Adobe Research.

Más allá de los deepfakes basados en autoencoder

La mayoría de los deepfakes virales que han capturado los titulares en los últimos años son producidos por sistemas basados en autoencoder, derivados del código que se publicó en el subreddit r/deepfakes prohibido en 2017 – aunque no antes de ser copiado a GitHub, donde ha sido bifurcado más de mil veces, no menos en la popular (aunque controvertida) DeepFaceLab distribución, y también el proyecto FaceSwap.

Además de GAN y NeRF, los marcos de autoencoder también han experimentado con 3DMM como ‘directrices’ para mejorar los marcos de síntesis facial. Un ejemplo de esto es el proyecto HifiFace de julio de 2021. Sin embargo, no parecen haber desarrollado iniciativas útiles o populares a partir de este enfoque hasta la fecha.

Los datos para las escenas de RigNeRF se obtienen capturando videos cortos de smartphone. Para el proyecto, los investigadores de RigNeRF utilizaron un iPhone XR o un iPhone 12 para todos los experimentos. Para la primera mitad de la captura, se le pide al sujeto que realice una amplia gama de expresiones faciales y habla mientras mantiene la cabeza quieta mientras la cámara se mueve alrededor de ellos.

Para la segunda mitad de la captura, la cámara mantiene una posición fija mientras el sujeto debe mover la cabeza alrededor mientras muestra una amplia gama de expresiones. Los 40-70 segundos de metraje resultantes (alrededor de 1200-2100 fotogramas) representan el conjunto de datos completo que se utilizará para entrenar el modelo.

Reducir la recopilación de datos

En contraste, los sistemas de autoencoder como DeepFaceLab requieren la recopilación y curación relativamente laboriosa de miles de fotos diversas, a menudo tomadas de videos de YouTube y otros canales de redes sociales, así como de películas (en el caso de deepfakes de celebridades).

Los modelos de autoencoder entrenados resultantes a menudo están destinados a ser utilizados en una variedad de situaciones. Sin embargo, los ‘deepfakers’ de celebridades más fastidiosos pueden entrenar modelos enteros desde cero para un solo video, a pesar de que el entrenamiento puede tardar una semana o más.

A pesar de la nota de advertencia de los investigadores del nuevo artículo, los conjuntos de datos ‘de patchwork’ y ampliamente ensamblados que alimentan el porno AI y los ‘recasting’ de deepfakes populares en YouTube/TikTok parecen poco probable que produzcan resultados aceptables y consistentes en un sistema de deepfakes como RigNeRF, que tiene una metodología específica de escena. Dado las restricciones de captura de datos descritas en el nuevo trabajo, esto podría probar, en cierta medida, una salvaguarda adicional contra la apropiación casual de identidad por parte de deepfakers maliciosos.

Adaptar NeRF a video de deepfakes

NeRF es un método basado en fotogrametría en el que se ensamblan varias imágenes de origen tomadas desde diferentes puntos de vista en un espacio neural 3D explorable. Este enfoque llegó a prominence hace poco cuando NVIDIA presentó su sistema Instant NeRF, capaz de reducir los tiempos de entrenamiento exorbitantes para NeRF a minutos, o incluso segundos:

Instant NeRF. Fuente: https://www.youtube.com/watch?v=DJ2hcC1orc4

La escena resultante del Campo de Radiación Neural es esencialmente un entorno estático que se puede explorar, pero que es difícil de editar. Los investigadores observan que dos iniciativas anteriores basadas en NeRF – HyperNeRF + E/P y NerFACE – han intentado la síntesis de video facial, y (aparentemente por la sake de la compleción y la diligencia) han establecido RigNeRF contra estos dos marcos en una ronda de pruebas:

Una comparación cualitativa entre RigNeRF, HyperNeRF y NerFACE. Consulte los videos de fuente enlazados y el PDF para versiones de mayor calidad. Imagen estática de fuente: https://arxiv.org/pdf/2012.03065.pdf

Sin embargo, en este caso los resultados, que favorecen a RigNeRF, son bastante anómalos, por dos razones: primero, los autores observan que ‘no hay una comparación de manzana a manzana’; segundo, esto ha necesitado limitar las capacidades de RigNeRF para que coincida al menos parcialmente con la funcionalidad más restringida de los sistemas anteriores.

Dado que los resultados no son una mejora incremental en el trabajo anterior, sino más bien representan un ‘avance’ en la edición y utilidad de NeRF, dejaremos la ronda de pruebas a un lado y veremos qué está haciendo RigNeRF de manera diferente a sus predecesores.

Fortalezas combinadas

La principal limitación de NerFACE, que puede crear control de pose y expresión en un entorno de NeRF, es que asume que el metraje de origen se captura con una cámara estática. Esto efectivamente significa que no puede producir vistas novedosas que se extiendan más allá de sus limitaciones de captura. Esto produce un sistema que puede crear ‘retratos en movimiento’, pero que es inadecuado para video de deepfakes.

HyperNeRF, por otro lado, mientras puede generar vistas novedosas e hiperrealistas, no tiene instrumentación que le permita cambiar la pose de la cabeza o las expresiones faciales, lo que nuevamente no resulta en ningún tipo de competidor para los deepfakes basados en autoencoder.

RigNeRF puede combinar estas dos funcionalidades aisladas creando un ‘espacio canónico’, una línea base predeterminada desde la cual se pueden realizar desviaciones y deformaciones a través de la entrada del módulo 3DMM.

Creando un ‘espacio canónico’ (sin pose, sin expresión), en el que las deformaciones (es decir, poses y expresiones) producidas a través del módulo 3DMM pueden actuar.

Dado que el sistema 3DMM no estará exactamente emparejado con el sujeto capturado, es importante compensar esto en el proceso. RigNeRF logra esto con un campo de deformación previo que se calcula a partir de un Multilayer Perceptron (MLP) derivado del metraje de origen.

Los parámetros de la cámara necesarios para calcular las deformaciones se obtienen a través de COLMAP, mientras que los parámetros de expresión y forma para cada fotograma se obtienen de DECA.

La posición se optimiza aún más a través de ajuste de puntos de referencia y los parámetros de la cámara de COLMAP, y, debido a las restricciones de recursos de cómputo, la salida de video se reduce a una resolución de 256×256 para el entrenamiento (un proceso de reducción de hardware que también afecta a la escena de deepfakes de autoencoder).

Después de esto, la red de deformación se entrena en los cuatro V100s – un hardware formidable que no es probable que esté al alcance de los entusiastas casuales (sin embargo, donde se trata del entrenamiento de aprendizaje automático, a menudo es posible intercambiar potencia por tiempo y simplemente aceptar que el entrenamiento del modelo será cuestión de días o incluso semanas).

En conclusión, los investigadores afirman:

‘A diferencia de otros métodos, RigNeRF, gracias al uso de un módulo de deformación guiado por 3DMM, es capaz de modelar la pose de la cabeza, las expresiones faciales y la escena de retrato 3D completa con alta fidelidad, lo que da como resultado mejores reconstrucciones con detalles nítidos.’

Consulte los videos incrustados a continuación para obtener más detalles y metraje de resultados.

Publicado por primera vez el 15 de junio de 2022.