Transmisión de DeepFake en Tiempo Real con DeepFaceLive

El software de deepfake más utilizado en el mundo, y el más fuertemente asociado con el deepfake pornográfico, está obteniendo una nueva implementación: la capacidad de superponer deepfakes de una celebridad en imágenes de webcam en vivo.

El repositorio de código abierto DeepFaceLive es una aplicación de Windows 10 construida sobre las bases de DeepFaceLab, que rápidamente se convirtió en el recurso líder para el intercambio de caras en pornografía después de que el creador del software de deepfake original abandonara el proyecto poco después de que la creación de deepfakes generara una controversia mundial en 2018. Ambos proyectos listan la sección de foros del sitio de pornografía deepfake mrdeepfakes como un recurso de soporte oficial.

En un video de la interfaz de DeepFaceLive publicado por el desarrollador Ivan Petrov en abril, vemos cómo se transforma el impersonador Miles Fisher en Tom Cruise en tiempo real. Fuente: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Ayer, el líder de ambos proyectos, el desarrollador ruso Ivan Petrov, anunció una nueva versión de DeepFaceLive en el grupo de Discord del proyecto, señalando que DeepFaceLive ahora incorpora un modelo entrenado de la actriz Margot Robbie, una frecuente sujeto de videos pornográficos en mrdeepfakes.

Se han subido cuatro clips de video de muestra para demostrar la capacidad de DeepFaceLive para adjuntar la identidad de Robbie a cualquier hablante en una transmisión de webcam.

Una de las demostraciones de Margot Robbie de deepfaking en vivo. Fuente: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Los videos de transformación de Robbie se compartieron originalmente en Twitch, pero posteriormente se eliminaron.

Los tres otros ejemplos de intercambio de caras proporcionados por DeepFaceLive. El requisito de una coincidencia facial aproximada con el sujeto objetivo sigue siendo evidente. En la imagen inferior izquierda vemos que el software no puede enmascarar efectivamente las obstrucciones, como se puede lograr en DeepFaceLab, ya que esto requiere entrenar máscaras en la aplicación XSeg de DeepFaceLab, un método que no se puede aplicar a la fabricación en tiempo real.

Se promete que estará disponible pronto un modelo predeterminado adicional, del comediante y actor británico Rowan Atkinson. Originalmente, el repositorio de DeepFaceLive presentaba una categoría de CELEB_MODEL, donde era posible descargar a otras celebridades, incluido Tom Cruise, como archivos Open Neural Network Exchange (.onnx), aunque estos directorios han sido eliminados desde entonces.

Tom Cruise fue una identidad incorporada en una versión beta de DeepFaceLive en abril de 2021, pero desde entonces ha sido eliminada como predeterminada en el paquete. Sin embargo, el modelo se puede descargar e instalar, junto con modelos entrenados de muchas otras celebridades, y modelos personalizados entrenados por los usuarios finales.

DeepFaceLive se ejecuta exclusivamente como una aplicación de Windows 10 y, según se informa por un usuario, funciona bien con la aplicación de transmisión en vivo de NVIDIA Broadcast.

Obtención de Identidades

Los usuarios no necesitan pasar por el laborioso proceso de recopilar material facial para un conjunto de datos, seguido de los 3-10 días necesarios para obtener una coincidencia muy buena, ya que la FAQ de DeepFaceLive establece que puede utilizar modelos de caras públicos precompilados por otros creadores. En efecto, la mayor fuente de dichos modelos es el hilo de modelos entrenados en el foro (enlace de archivo) del sitio de pornografía deepfake mrdeepfakes, que se puede ver en uso por un usuario final ruso en un video reciente de YouTube.

Vladislav Pedro utilizando DeepFaceLive para transformarse en Tom Cruise en tiempo real. El modelo que carga en el video está alojado en mrdeepfakes y se ha utilizado hasta ahora para el procesamiento de deepfakes fuera de línea. Fuente: https://www.youtube.com/watch?v=0TcCKtObSnI

Aunque los mejores resultados se obtendrán al entrenar la cara del usuario final contra la celebridad objetivo, la calidad de la simulación parece estar en proporción directa con lo cerca que el usuario final se parece a la celebridad. Cuando el usuario se ajusta relativamente bien a la celebridad, se puede obtener un resultado convincente.

Como se evidencia en los tres últimos intercambios de caras de Margot Robbie en las imágenes de arriba, el software no puede realizar milagros cuando la cara del usuario final tiene características generales radicalmente diferentes. Sin embargo, DeepFaceLab también puede realizar intercambios de cabeza completos, un proceso que sobrescribe completamente la cabeza de origen, aunque con limitaciones con respecto a los peinados. Los comentarios en el servidor de Discord confirman que estos también se pueden implementar en DeepFaceLive.

DeepFaceLive actualmente solo admite tarjetas gráficas NVIDIA, con la GTX 750 como la tarjeta gráfica más baja que puede obtener un resultado razonable con la aplicación. En una tarjeta gráfica con 4 GB de VRAM, también requiere 32 GB de espacio de disco de intercambio.

Entrenamiento del modelo de Margot Robbie – una imagen publicada en el Discord de DeepFaceLab/DeepFaceLive por Ivan Petrov. Aquí vemos que el conjunto de datos de origen es extremadamente diverso, aparentemente con la intención de crear un modelo robusto y bien generalizado que pueda transformar una amplia gama de tipos faciales en la imagen de la actriz australiana. La mayoría de los conjuntos ‘A’ suelen ser de un solo individuo.

Los usuarios informan que DeepFaceLive es extremadamente exigente en términos de recursos de hardware, pero Petrov ha respondido a esto afirmando que DeepFaceLive está destinado a PCs bien equipados en un entorno interior.

El repositorio de DeepFaceLab en GitHub ha sido forked más de 6.000 veces, mientras que el nuevo DeepFaceLive actualmente tiene 85 forks.

Usos Posibles

Los comentaristas en un hilo (idioma ruso) en el sitio social ruso VK.com especulan sobre los posibles usos de DeepFaceLive y parecen haber discernido todas las aplicaciones probables del software: como un filtro de “anonimización” o recreativo en aplicaciones como Zoom; como un medio para cometer fraude o engañar a la persona que ve la transmisión en vivo; y – quizás lo más probable, a la luz de la procedencia del software y su base de usuarios – como un medio para implementar trabajo sexual en webcam con enfoque en celebridades (ver imagen al final del artículo).

La posibilidad de ‘chicas de cámara deepfake’ surgió en los medios hace un par de años. En 2020, la aplicación Avatarify anunció la funcionalidad de cámara web de celebridades deepfake, pero a una calidad significativamente inferior a la establecida por DeepFaceLab, que es ahora el repositorio de elección para los recientes titulares de deepfakes de Tom Cruise, así como empresas de producción de cine y televisión de alto nivel en todo el mundo.

DeepFaceLab, la aplicación semilla para DeepFaceLive y el informado (idioma ruso) marco para el 95% de todos los deepfakes de YouTube, también es el software utilizado por Shamook, el deepfaker cuyo trabajo extraordinario mejorando la aparición de Luke Skywalker en The Mandalorian recientemente inspiró a Lucasfilm a contratarlo como consultor de VFX.

Adaptado a las Limitaciones de Deepfake

La metodología del software de deepfake como DeepFaceLab y FaceSwap se beneficia de un entorno de webcam típico y elimina muchos de los obstáculos para la autenticidad que aún pueden plagiar a los deepfakes fuera de línea.

Por ejemplo, los deepfakes funcionan menos convincentemente cuando el usuario se vuelve de perfil (o mira hacia arriba), se mueve rápidamente o está sujeto a cambios de escena o cambios bruscos de iluminación.

Por lo tanto, la naturaleza “estática” de una llamada de Zoom o webcam típica juega a favor de las fortalezas del software. Muchos de los ejemplos más reverenciados de trucos de deepfake en los últimos tres años han presentado a hablantes que se enfrentan directamente a la cámara y se mueven muy poco en un entorno limitado, como la imposición de Steve Buscemi sobre Jennifer Lawrence en un discurso de los Óscar, y la transformación de varias transmisiones políticas “hacia la cámara”.

Probablemente el uso más probable del modelo predeterminado de Margot Robbie incluido en DeepFaceLive – un video de prueba de implementación de cámara publicado en el Discord de DeepFaceLab por el usuario ruso ‘NoFace’.

Corregido el 8 de agosto a las 20:52 – Corregido el apellido.
Corregido el 8 de agosto a las 20:30 – Agregadas imágenes de Discord.