Transmisión DeepFake en tiempo real con DeepFaceLive

El software deepfake más utilizado en el mundo, y el que está más fuertemente asociado con la pornografía deepfake, está recibiendo una nueva implementación: la capacidad de superponer deepfakes con la imagen de una celebridad en imágenes de cámara web en vivo.

El repositorio de código abierto cara profunda en vivo es una aplicación de Windows 10 construida sobre los cimientos de ProfundoFaceLab, que rápidamente se convirtió en el principal recurso para el intercambio de rostros basado en la pornografía después de que el creador del software deepfake original abandonara el proyecto poco después de que el advenimiento de la falsificación profunda creara una controversia mundial en 2018. Ambos proyectos lista la sección del foro del sitio porno deepfake mrdeepfakes como un recurso de soporte oficial.

En un video de la interfaz DeepFaceLive lanzado por el desarrollador Ivan Petrov en abril, vemos imágenes descargadas del imitador Miles Fisher transformándose en Tom Cruise en tiempo real. Fuente: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Ayer, el líder de ambos proyectos, el desarrollador ruso Ivan Petrov, anunció una nueva versión de DeepFaceLive en el grupo Discord del proyecto, señalando que DeepFaceLive ahora incorpora un modelo entrenado de la actriz Margot Robbie, un tema frecuente de videos pornográficos en mrdeepfakes.

Se han subido cuatro videoclips de muestra para demostrar la capacidad de DeepFaceLive para adjuntar la identidad de Robbie a cualquier orador en una transmisión de cámara web.

Una de las demostraciones de Margot Robbie de deepfaking en vivo. Fuente: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Los videos de transformación de Robbie se compartieron originalmente en Twitch, pero luego se eliminaron.

Los otros tres ejemplos de intercambio de caras proporcionados por DeepFaceLive. El requisito de una coincidencia facial aproximada con el sujeto objetivo todavía está en evidencia. En la imagen inferior izquierda vemos que el software no puede enmascarar obstrucciones de manera efectiva, como se puede lograr en DeepFaceLab, ya que esto requiere máscaras de entrenamiento en el Aplicación XSeg de DeepFaceLab, un método que no se puede aplicar a la falsificación en tiempo real.

Se promete que un modelo predeterminado adicional, del comediante y actor británico Rowan Atkinson, estará disponible pronto para DeepFaceLive. Originalmente, el repositorio de DeepFaceLive presentaba una categoría CELEB_MODEL, donde era posible descargar otras celebridades, incluido Tom Cruise, como Open Neural Network Exchange (.onnx) archivos, aunque estos directorios se han eliminado desde entonces.

Tom Cruise fue una identidad incorporada para una versión beta de DeepFaceLive en abril de 2021, pero aparentemente se eliminó como predeterminado en el paquete. Sin embargo, el modelo se puede descargar e instalar, junto con modelos entrenados de muchas otras celebridades y modelos personalizados entrenados por usuarios finales.

DeepFaceLive se ejecuta exclusivamente como una aplicación de Windows 10 y es reportaron por un usuario para que funcione bien con la transmisión en vivo de NVIDIA Radio .

Obtención de identidades

Los usuarios no necesitan pasar por el laborioso proceso de recopilar material facial para un conjunto de datos, seguido de los 3 a 10 días necesarios para obtener una muy buena coincidencia, ya que las preguntas frecuentes de DeepFaceLive afirman que puede usar 'modelos de rostros públicos disponibles en el mercado. ' que ya han sido recopilados por otros creadores. En efecto, la mayor fuente de tales modelos es el Modelos entrenados en el foro (enlace de archivo) en el sitio porno mrdeepfakes, que un usuario final ruso puede ver en uso en un video reciente de YouTube.

Vladislav Pedro usando DeepFaceLive para transformarse en Tom Cruise en tiempo real. El modelo que carga en el video está alojado en mrdeepfakes y se ha utilizado hasta ahora para el procesamiento de deepfakes fuera de línea. Fuente: https://www.youtube.com/watch?v=0TcCKtObSnI

Aunque los mejores resultados se obtendrán entrenando la cara del usuario final contra la celebridad objetivo, la calidad de la simulación parece ser directamente proporcional a la similitud del usuario final con el objetivo. Cuando el usuario encaja relativamente bien con la celebridad, se puede obtener un resultado convincente.

Como es evidente en los últimos tres intercambios de Margot Robbie en las imágenes de arriba, el software no puede hacer milagros cuando la cara del usuario final tiene características generales radicalmente diferentes. Sin embargo, DeepFaceLab también puede realizar intercambios completos de cabeza, un proceso que sobrescribe por completo la cabeza de origen, aunque con limitaciones en cuanto a los peinados. Los comentarios en el servidor Discord confirman que estos también se pueden implementar en DeepFaceLive.

DeepFaceLive actualmente solo admite GPU NVIDIA, siendo la GTX 750 el hardware más bajo que puede obtener un resultado razonable con la aplicación. En una tarjeta gráfica con 4 GB de VRAM, también requiere 32 GB de espacio en disco de intercambio.

Entrenando a la modelo Margot Robbie – una imagen publicado en DeepFaceLab/DeepFaceLive Discord por Ivan Petrov. Aquí vemos que el conjunto de datos de origen es extremadamente diverso, aparentemente con la intención de crear un modelo robusto y bien generalizado que pueda transformar una amplia gama de tipos faciales en la imagen de la actriz australiana. La mayoría de los conjuntos 'A' suelen ser de un solo individuo.

Los usuarios informan que DeepFaceLive es extremadamente exigente en términos de recursos de hardware, pero Petrov ha respondido afirmando que DeepFaceLive está diseñado para PC con buenas especificaciones en un entorno interior.

DeepFaceLab GitHub ha sido ahorquillado más de 6,000 veces, mientras que el nuevo DeepFaceLive actualmente tiene 85 horquillas.

Posibles Usos

comentaristas en un o fresa de hueso denso (idioma ruso) en el sitio social ruso VK.com especulan sobre los posibles usos de DeepFaceLive y parecen haber discernido todas las posibles aplicaciones para el software: como 'anonimización' o filtro recreativo en Zoom y aplicaciones similares; como medio para cometer fraude o engañar a la persona que mira la transmisión en vivo; y, quizás lo más probable, a la luz de la procedencia del software y la base de usuarios, como un medio para implementar el trabajo sexual basado en cámaras web centrado en celebridades (ver imagen al final del artículo).

La posibilidad de 'chicas de cámara falsas' surgido en los medios hace un par de años. En 2020, la aplicación Avatarify anunció Funcionalidad de cámara web de celebridades falsas, pero con una calidad significativamente inferior que el estándar establecido por DeepFaceLab, que ahora es el depósito de elección por reciente acaparamiento de titulares Chris Ume, el deepfaker de Tom Cruise, así como productoras de cine y televisión de alto nivel en todo el mundo.

DeepFaceLab, la aplicación inicial para DeepFaceLive y la reportaron (idioma ruso) marco para el 95% de todos los deepfakes en YouTube, es también el software utilizado por Shamook, el deepfaker cuyo extraordinario trabajo sobre cómo mejorar la aparición como invitado de Luke Skywalker en The Mandalorian inspiró recientemente a Lucasfilm para contratarlo como consultor de VFX.

Adaptado a las limitaciones de Deepfake

La metodología del software deepfake como DeepFaceLab y Intercambio cara está bien atendido por un entorno típico de cámara web y elimina muchos de los obstáculos a la autenticidad que aún pueden afectar a las falsificaciones profundas fuera de línea.

Por ejemplo, los deepfakes funcionan de manera menos convincente cuando el usuario cambia de perfil (o mira hacia arriba), se mueve rápidamente o está sujeto a cambios de escena o cambios repentinos de iluminación.

Por lo tanto, la naturaleza 'estática' de una típica llamada Zoom o cámara web juega con los puntos fuertes del software. Muchos de los ejemplos más venerados de trucos falsos profundos en los últimos tres años han presentado oradores que miran directamente a la cámara y se mueven muy poco en un entorno restringido, como la imposición de Steve Buscemi a Jennifer Lawrence. en un discurso de los Oscar, y la transformación de varias retransmisiones políticas 'a cámara'.

Posiblemente el uso más probable del modelo predeterminado de Margot Robbie incluido en DeepFaceLive: un video de prueba de implementación de cámara publicado en DeepFaceLab Discord por el usuario ruso 'NoFace'.

Modificado 8:52 pm 7 de agosto – Apellido corregido.
Modificado a las 8:30 p. m. del 8 de agosto: se agregaron imágenes de Discord.