Por qué los deepfakes no pueden transmitir actualmente la sutileza de las emociones

Ayer se estrenó el episodio 6 de la serie derivada de Star Wars, The Book of Boba Fett, y parece que ha dividido la opinión de los fanáticos. Aunque ha sido recibido con aprobación general, hay una suposición generalizada en las redes sociales de que la recreación mejorada de un Mark Hamill rejuvenecido (en comparación con su aparición anterior en el final de la temporada 2 de The Mandalorian en 2020) es el resultado directo de que Industrial Light and Magic haya contratado al practicante de deepfakes amateur Shamook (quien había mejorado radicalmente su trabajo con software de código abierto); y que las representaciones del personaje deben ser una combinación de tecnología de deepfakes, perhaps limpiada con CGI.

Actualmente, hay poca confirmación de esto, aunque Shamook ha dicho poco al mundo desde que se aplicó el acuerdo de confidencialidad de ILM. Sin embargo, el trabajo es una mejora extraordinaria con respecto a la CGI de 2020; exhibe algunos de los “brillos” asociados con los modelos de deepfakes derivados de obras de archivo; y en general se ajusta al mejor estándar visual actual para los deepfakes.

La otra corriente de opinión de los fanáticos es que el nuevo intento de “Joven Luke” tiene un conjunto diferente de defectos que el anterior. Quizás lo más revelador sea la falta de expresividad y emociones sutiles y apropiadas en las muy largas secuencias que presentan la nueva recreación de Skywalker; estas son más típicas de los deepfakes que de la CGI; The Verge ha descrito la simulación de Boba Fett en términos de la “visaje incómodo y vacío de la cara congelada de Mark Hamill en 1983”.

Independientemente de las tecnologías detrás de la nueva recreación de ILM, las transformaciones de deepfakes tienen un problema fundamental con la sutileza de las emociones que es difícil de abordar ya sea mediante cambios en la arquitectura o mediante la mejora del material de entrenamiento de origen, y que generalmente se evita mediante las elecciones cuidadosas que los creadores de deepfakes virales hacen al seleccionar un video objetivo.

Limitaciones de alineación facial

Los dos repositorios de deepfakes de código abierto más comúnmente utilizados son DeepFaceLab (DFL) y FaceSwap, ambos derivados del código fuente anónimo y controvertido de 2017, con DFL teniendo una gran ventaja en la industria de los efectos visuales, a pesar de su limitada instrumentación.

Cada uno de estos paquetes se encarga, inicialmente, de extraer puntos de referencia faciales de las caras que ha podido identificar en el material de origen (es decir, fotogramas de videos y/o imágenes fijas).

La Red de Alineación Facial (FAN) en acción, desde el repositorio oficial. Fuente: https://github.com/1adrianb/face-alignment

DFL y FaceSwap utilizan la biblioteca Facial Alignment Network (FAN). FAN puede crear puntos de referencia 2D y 3D (ver imagen arriba) para caras extraídas. Los puntos de referencia 3D pueden considerar ampliamente la orientación percibida de la cara, hasta perfiles extremos y ángulos relativamente agudos.

Es evidente que estos son directrices muy rudimentarias para guiar y evaluar píxeles:

Desde el foro de FaceSwap, un indicador aproximado de los puntos de referencia disponibles para los lineamientos faciales. Fuente: https://forum.faceswap.dev/viewtopic.php?f=25&t=27

Los lineamientos faciales más básicos están permitidos: los ojos pueden abrirse y cerrarse, al igual que la mandíbula, mientras que las configuraciones básicas de la boca (como sonreír, fruncir el ceño, etc.) pueden trazarse y adaptarse. La cara puede rotar en cualquier dirección hasta alrededor de 200 grados desde el punto de vista de la cámara.

Más allá de eso, estas son vallas muy burdas para la forma en que los píxeles se comportarán dentro de estos límites, y representan las únicas directrices faciales verdaderamente matemáticas y precisas en todo el proceso de deepfakes. El propio proceso de entrenamiento simplemente compara la forma en que los píxeles están dispuestos dentro o cerca de estos límites.

Entrenamiento en DeepFaceLab. Fuente: https://medium.com/geekculture/realistic-deepfakes-with-deepfacelab-530e90bd29f2

Dado que no hay disposición para la topología de subpartes de la cara (convexidad y concavidad de las mejillas, detalles de envejecimiento, hoyuelos, etc.), no es posible ni siquiera intentar emparejar tales características “sutiles” entre una fuente (la “cara que deseas escribir sobre”) y un objetivo (la “cara que deseas pegar”).

Haciendo lo mejor con los datos limitados

Obtener datos emparejados entre dos identidades para fines de entrenamiento de deepfakes no es fácil. Cuanto más inusual sea el ángulo que necesitas emparejar, más puede que debas comprometerte con si ese emparejo de ángulo entre las identidades A y B realmente presenta la misma expresión.

Cerca, pero no exactamente una coincidencia.

En el ejemplo anterior, las dos identidades son bastante similares en disposición, pero esta es tan cerca como puede llegar este conjunto de datos a una coincidencia exacta.

Quedan diferencias claras: el ángulo y la lente no coinciden exactamente, y neither lo hace la iluminación; el sujeto A no tiene los ojos completamente cerrados, a diferencia del sujeto B; la calidad de la imagen y la compresión es peor en el sujeto A; y de alguna manera el sujeto B parece mucho más “feliz” que el sujeto A.

Pero, ya sabes, es todo lo que tenemos, así que vamos a tener que entrenar con eso de todos modos.

Debido a que este emparejo A><B tiene tantos elementos inusuales, puedes estar seguro de que hay pocos, si es que hay alguno, emparejamientos similares en el conjunto. Por lo tanto, el entrenamiento va a subajustar o sobreajustar.

Subajuste: Si este emparejo es una verdadera minoría (es decir, el conjunto de datos padre es bastante grande y no presenta con frecuencia las características de estas dos fotos), no va a recibir mucho tiempo de entrenamiento en comparación con emparejamientos más “populares” (es decir, fáciles/neutrales). En consecuencia, este ángulo/expresión no va a estar bien representado en un deepfake creado con el modelo entrenado.

Sobreajuste: En la desesperación por los escasos emparejamientos de datos para tales emparejamientos raros A><B, los creadores de deepfakes a veces duplican el emparejo muchas veces en el conjunto de datos, para que tenga una mejor oportunidad de convertirse en una característica del modelo final. Esto conducirá a un sobreajuste, donde los videos de deepfakes creados con el modelo probablemente repetirán pedantemente las discrepancias evidentes entre las dos fotos, como la diferente extensión a la que los ojos están cerrados.

En la imagen a continuación, vemos a Vladimir Putin siendo entrenado en DeepFaceLab para realizar un intercambio con Kevin Spacey. Aquí, el entrenamiento es relativamente avanzado en 160.000 iteraciones.

Fuente: https://i.imgur.com/OdXHLhU.jpg

El observador casual podría argumentar que Putin parece un poco, bueno, “espacial” en comparación con Spacey en estos intercambios de prueba. Veamos qué dice un programa de reconocimiento de emociones en línea sobre la discrepancia en las expresiones:

Fuente: https://www.noldus.com/facereader/measure-your-emotions

Según este oráculo, que analiza una topografía facial mucho más detallada que DFL y Faceswap, Spacey es menos “enojado”, “desagradable” y “despreciativo” que el deepfake resultante de Putin en este emparejo.

Las expresiones desiguales vienen como parte de un paquete entrelazado, ya que las aplicaciones de deepfakes populares no tienen capacidad para registrar o emparejar expresiones o emociones, excepto tácitamente, como un mapeo de píxeles crudo.

Para nosotros, las diferencias son enormes. Aprendemos a leer expresiones faciales como una técnica básica de supervivencia desde nuestros primeros años, y seguimos confiando en esta habilidad en la edad adulta para fines de integración social y progreso, emparejamiento y como un marco de evaluación de amenazas continuo. Dado que estamos tan sensibilizados a las microexpresiones, las tecnologías de deepfakes eventualmente necesitarán dar cuenta de esto.

Contra la corriente

Aunque la revolución de los deepfakes ha traído la promesa de insertar “estrellas de cine clásicas” en películas y series de televisión modernas, el IA no puede viajar en el tiempo y rodar sus obras clásicas a una definición y calidad más compatibles, lo cual es fundamental para este caso de uso.

Con la suposición (y para nuestros fines, no importa si es incorrecta) de que la reconstrucción de Hamill en Boba Fett fue en gran medida el trabajo de un modelo de deepfakes entrenado, el conjunto de datos para el modelo habría necesitado explotar metraje de la época cercana a la línea de tiempo de la serie (es decir, Hamill como un joven de poco más de treinta años en torno a la producción de Return of the Jedi, 1981-83).

La película se rodó en Eastman Color Negative 250T 5293/7293, un emulsión de 250ASA que se consideraba de grano medio a fino en ese momento, pero que fue superado en claridad, rango de color y fidelidad incluso a finales de la década de 1980. Es un stock de su época, y el alcance operístico de Jedi permitió pocos primeros planos incluso a sus actores principales, lo que hace que los problemas de grano sean aún más críticos, ya que las caras ocupan solo una parte del marco.

Una serie de escenas de Hamill en Return of the Jedi (1983).

Además, gran parte del metraje con efectos visuales que presentaba a Hamill habría pasado por una impresora óptica, lo que aumentaría el grano de la película. Sin embargo, el acceso a los archivos de Lucasfilm, que presumiblemente han cuidado bien los negativos maestros y podrían ofrecer horas de metraje sin usar, podría superar este problema.

A veces es posible cubrir una serie de años de la producción de un actor para aumentar y diversificar el conjunto de datos de deepfakes. En el caso de Hamill, los creadores de deepfakes están limitados por su cambio de apariencia después de un accidente de coche en 1977, y el hecho de que comenzó su segunda carrera como actor de voz aclamado inmediatamente después de Jedi, lo que hace que el material de origen sea relativamente escaso.

Rango limitado de emociones

Si necesitas que tu actor de deepfakes mastique el decorado, necesitarás metraje de origen que contenga un rango de expresiones faciales inusualmente amplio. Puede que el único metraje de la edad apropiada disponible no presente muchas de esas expresiones.

Por ejemplo, para cuando llegó el arco de la historia de Return of the Jedi, el personaje de Hamill había dominado en gran medida sus emociones, un desarrollo absolutamente central a la mitología original de la franquicia. Por lo tanto, si creas un modelo de deepfakes de Hamill a partir de datos de Jedi, tendrás que trabajar con el rango más limitado de emociones y la compostura facial inusual que el papel de Hamill exigía de él en ese momento, en comparación con sus entradas anteriores en la franquicia.

Incluso si consideras que hay momentos en Return of the Jedi en los que el personaje de Skywalker está bajo estrés y podría proporcionar material para un rango más amplio de expresiones, el material facial en estas escenas es de todos modos fugaz y está sujeto al desenfoque de movimiento y la edición rápida típica de las escenas de acción; así que los datos son bastante desequilibrados.

Generalización: La fusión de emociones

Si la recreación de Skywalker en Boba Fett es de hecho un deepfake, la falta de rango expresivo que se ha atribuido a ella desde algunos cuartos no sería enteramente debido a la limitación del material de origen. El proceso de entrenamiento codificador-decodificador de los deepfakes busca un modelo generalizado que destile con éxito características centrales de miles de imágenes, y que al menos intente deepfakear un ángulo que estuviera faltando o era raro en el conjunto de datos.

Si no fuera por esta flexibilidad, una arquitectura de deepfakes simplemente estaría copiando y pegando morfos base en una base por cuadro, sin considerar ni la adaptación temporal ni el contexto.

Sin embargo, el intercambio doloroso por esta versatilidad es que la fidelidad de la expresión probablemente será una víctima del proceso, y cualquier expresión que sea “sutil” puede que no sea la correcta. Todos tocamos nuestras caras como una orquesta de 100 piezas, y estamos bien equipados para hacerlo, mientras que el software de deepfakes está argumentablemente perdiendo al menos la sección de cuerdas.

Disparidad de afecto en expresiones

Los movimientos faciales y sus efectos en nosotros no son un lenguaje uniforme en todas las caras; la ceja levantada que parece despreocupada en Roger Moore podría parecer menos sofisticada en Seth Rogan, mientras que el atractivo seductor de Marilyn Monroe podría traducirse a una emoción más negativa si se deepfakea en una persona cuyo papel más disponible es “enojado” o “desafectado” (como el personaje de Aubrey Plaza a lo largo de siete temporadas de Parks and Recreation).

Por lo tanto, la equivalencia píxel a píxel entre los conjuntos de caras A/B no es necesariamente útil en este respecto; pero es todo lo que se ofrece en el software de deepfakes de código abierto de última generación.

Lo que se necesita con toda probabilidad es un marco de deepfakes que no solo pueda reconocer expresiones e inferir emociones, sino que también tenga la capacidad de encarnar conceptos de alto nivel como “enojado”, “seductor”, “aburrido”, “cansado”, etc., y para categorizar esas emociones y sus expresiones relacionadas en cada una de las dos identidades de la cara, en lugar de examinar y replicar la disposición de una boca o una ceja.

Publicado por primera vez el 3 de febrero de 2022. Actualizado a las 19:47 EET, atribución de nombre incorrecta.