GOTCHA– Un sistema de CAPTCHA para deepfakes en vivo

Nueva investigación de la Universidad de Nueva York agrega a las crecientes indicaciones de que pronto tendremos que realizar la equivalente de una “prueba de sobriedad” para autenticarnos antes de iniciar una videollamada sensible, como una videoconferencia laboral o cualquier otro escenario sensible que pueda atraer a estafadores que utilicen software de transmisión de deepfakes en tiempo real.

Algunos de los desafíos activos y pasivos aplicados a escenarios de videollamadas en GOTCHA. El usuario debe cumplir con y superar los desafíos, mientras que se utilizan métodos ‘pasivos’ adicionales (como intentar sobrecargar un posible sistema de deepfakes) sobre los que el participante no tiene influencia. Fuente: http://export.arxiv.org/pdf/2210.06186

El sistema propuesto se titula GOTCHA, un tributo a los sistemas CAPTCHA que se han convertido en un obstáculo creciente para la navegación web en los últimos 10-15 años, donde los sistemas automatizados requieren que el usuario realice tareas que las máquinas son malas, como identificar animales o descifrar texto distorsionado (y, irónicamente, estos desafíos a menudo convierten al usuario en un anotador gratuito de estilo AMT).

En esencia, GOTCHA amplía el papel de agosto de 2022 DF-Captcha de la Universidad Ben-Gurión, que fue el primero en proponer hacer que la persona al otro extremo de la llamada salte a través de algunos aros visuales semánticos para probar su autenticidad.

El papel de agosto de 2022 de la Universidad Ben Gurión propuso por primera vez una serie de pruebas interactivas para un usuario, incluyendo ocultar su rostro o incluso deprimir su piel, tareas que incluso los sistemas de deepfakes en vivo bien entrenados pueden no haber anticipado o ser capaces de manejar fotorealísticamente. Fuente: https://arxiv.org/pdf/2208.08524.pdf

Cabe destacar que GOTCHA agrega metodologías ‘pasivas’ a una ‘cascada’ de pruebas propuestas, incluyendo la superposición automática de elementos irreales sobre el rostro del usuario y la ‘sobrecarga’ de fotogramas que pasan a través del sistema de origen. Sin embargo, solo las tareas que responden al usuario pueden evaluarse sin permisos especiales para acceder al sistema local del usuario, lo que presumiblemente vendría en la forma de módulos o complementos locales para sistemas populares como Skype y Zoom, o incluso en la forma de software propietario dedicado específicamente a eliminar a los falsificadores.

De la investigación, una ilustración de la interacción entre el llamador y el sistema en GOTCHA, con líneas punteadas como flujos de decisión.

Los investigadores validaron el sistema en un nuevo conjunto de datos que contiene más de 2,5 millones de fotogramas de video de 47 participantes, cada uno realizando 13 desafíos de GOTCHA. Afirmaron que el marco induce una reducción ‘consistente y medible’ en la calidad del contenido de deepfakes para usuarios fraudulentos, sometiendo el sistema local hasta que los artefactos evidentes hagan que el engaño sea claro para el ojo humano desnudo (aunque GOTCHA también contiene algunos métodos de análisis algorítmico más sutiles).

El nuevo papel se titula Gotcha: Un sistema de respuesta a desafíos para la detección de deepfakes en tiempo real (el nombre del sistema está en mayúsculas en el cuerpo, pero no en el título de la publicación, aunque no es un acrónimo).

Una serie de desafíos

En su mayoría de acuerdo con el papel de Ben Gurión, los desafíos que enfrenta el usuario se dividen en varios tipos de tareas.

Para ocultación, el usuario se requiere para ocultar su rostro con su mano o con otros objetos, o para presentar su rostro en un ángulo que no es probable que haya sido entrenado en un modelo de deepfakes (generalmente debido a la falta de datos de entrenamiento para ‘poses extrañas’ – véase rango de imágenes en la primera ilustración anterior).

Además de las acciones que el usuario puede realizar él mismo de acuerdo con las instrucciones, GOTCHA puede superponer recortes faciales aleatorios, calcomanías y filtros de realidad aumentada, para ‘corromper’ la secuencia de video facial que un modelo de deepfakes local puede estar esperando, lo que lo hace fallar. Como se indicó anteriormente, aunque este es un proceso ‘pasivo’ para el usuario, es intrusivo para el software, que necesita poder intervenir directamente en la secuencia del destinatario.

A continuación, el usuario puede ser requerido para hacer expresiones faciales inusuales que probablemente estén ausentes o subrepresentadas en cualquier conjunto de datos de entrenamiento, lo que causa una disminución en la calidad de la salida de deepfakes (imagen ‘b’, segunda columna desde la izquierda, en la primera ilustración anterior).

Como parte de esta serie de pruebas, el usuario puede ser requerido para leer texto o hacer conversación que desafíe a un sistema de deepfakes en vivo local, que puede no haber entrenado un rango adecuado de fonemas u otros tipos de datos de boca para un nivel en el que pueda reconstruir movimientos de labios precisos bajo tal escrutinio.

Finalmente (y esto desafiaría los talentos de actuación del destinatario), en esta categoría, el usuario puede ser solicitado a realizar una ‘microexpresión’ – una expresión facial breve e involuntaria que revela una emoción. De esto, el papel dice ‘[esto] generalmente dura 0,5-4,0 segundos y es difícil de fingir’.

Aunque el papel no describe cómo extraer una microexpresión, la lógica sugiere que la única forma de hacerlo es crear una emoción apropiada en el usuario final, tal vez con algún tipo de contenido impactante presentado a ellos como parte de la rutina de la prueba.

Distorsión facial, iluminación y visitantes inesperados

Además, en línea con las sugerencias del papel de agosto, el nuevo trabajo propone pedir al usuario final que realice distorsiones faciales inusuales y manipulaciones, como presionar su dedo en su mejilla, interactuar con su rostro y/o cabello, y realizar otros movimientos que ningún sistema de deepfakes en vivo actual es probable que pueda manejar bien, ya que estos son acciones marginales – incluso si estuvieran presentes en el conjunto de datos de entrenamiento, su reproducción probablemente sería de baja calidad, en línea con otros datos ‘outlier’.

Una sonrisa, pero esta ‘cara deprimida’ no se traduce bien por un sistema de deepfakes en vivo local.

Un desafío adicional radica en cambiar las condiciones de iluminación en las que se encuentra el usuario final, ya que es posible que el entrenamiento de un modelo de deepfakes se haya optimizado para situaciones de iluminación estándar de videoconferencia o incluso las condiciones de iluminación exactas en las que se realiza la llamada.

Así, el usuario puede ser solicitado a enfocar la linterna de su teléfono móvil en su rostro o alterar la iluminación de alguna otra manera (y vale la pena señalar que este enfoque es la proposición central de otro papel de detección de deepfakes en vivo que se publicó este verano).

Los sistemas de deepfakes en vivo se ven desafiados por la iluminación inesperada – y incluso por varias personas en la secuencia, donde se esperaba solo un individuo.

En el caso de que el sistema propuesto tenga la capacidad de interponerse en la secuencia del usuario local (que se sospecha que alberga un intermediario de deepfakes), agregar patrones inesperados (ver columna del medio en la imagen anterior) puede comprometer la capacidad del algoritmo de deepfakes para mantener una simulación.

Además, aunque es irrazonable esperar que un destinatario tenga personas adicionales a mano para ayudar a autenticarlo, el sistema puede interponer caras adicionales (imagen de la derecha más arriba) y ver si algún sistema de deepfakes local comete el error de cambiar la atención – o incluso intentar deepfake a todos ellos (los sistemas de deepfakes autoencoder no tienen capacidades de ‘reconocimiento de identidad’ que puedan mantener la atención enfocada en un individuo en este escenario).

Esteganografía y sobrecarga

GOTCHA también incorpora un enfoque propuesto por primera vez por la Universidad de California en San Diego en abril de este año, y que utiliza la esteganografía para cifrar un mensaje en la secuencia de video del usuario. Las rutinas de deepfakes destruirán completamente este mensaje, lo que llevará a un fallo de autenticación.

De un papel de abril de 2022 de la Universidad de California en San Diego y la Universidad Estatal de San Diego, un método para determinar la identidad auténtica al ver si una señal de esteganografía enviada a la secuencia de video del usuario sobrevive al bucle local intacta – si no lo hace, puede que esté presente la astucia de deepfakes. Fuente: https://arxiv.org/pdf/2204.01960.pdf

Además, GOTCHA es capaz de sobrecargar el sistema local (dado el acceso y el permiso), duplicando una secuencia y presentando ‘datos excesivos’ a cualquier sistema local, diseñado para causar un fallo de replicación en un sistema de deepfakes local.

El sistema contiene pruebas adicionales (ver el papel para detalles), incluyendo un desafío, en el caso de un corresponsal basado en teléfono inteligente, de girar su teléfono hacia abajo, lo que distorsionaría un sistema de deepfakes local:

Nuevamente, este tipo de cosa solo funcionaría con un caso de uso convincente, donde el usuario se ve obligado a conceder acceso local a la secuencia, y no se puede implementar mediante una evaluación pasiva simple del video del usuario, a diferencia de las pruebas interactivas (como presionar un dedo en la cara).

Practicidad

El papel toca brevemente la medida en que las pruebas de este tipo pueden molestar al usuario final o inconvenirlo de alguna manera, por ejemplo, obligándolo a tener a mano una serie de objetos que pueden ser necesarios para las pruebas, como gafas de sol.

También reconoce que puede ser difícil obtener que los corresponsales poderosos cumplan con las rutinas de prueba. En cuanto al caso de una videoconferencia con un director ejecutivo, los autores afirman:

‘La usabilidad puede ser clave aquí, por lo que los desafíos informales o frívolos (como distorsiones faciales o expresiones) pueden no ser apropiados. Los desafíos que utilizan artículos físicos externos pueden no ser deseables. El contexto aquí es modificada y GOTCHA adapta su conjunto de desafíos en consecuencia.’

Datos y pruebas

GOTCHA se probó contra cuatro cepas de sistemas de deepfakes en vivo locales, incluyendo dos variaciones del popular creador de deepfakes autoencoder DeepFaceLab (‘DFL’, aunque sorprendentemente, el papel no menciona DeepFaceLive, que ha sido, desde agosto de 2021, la implementación ‘en vivo’ de DeepFaceLab, y parece el recurso más probable para un posible falsificador).

Los cuatro sistemas fueron DFL entrenado ‘ligeramente’ en una persona no famosa que participa en pruebas y un celebridad emparejado; DFL entrenado más completamente, hasta 2m+ iteraciones o pasos, donde se esperaría un modelo mucho más performante; Latent Image Animator (LIA); y Face Swapping Generative Adversarial Network (FSGAN).

Para los datos, los investigadores capturaron y curaron los clips de video mencionados anteriormente, que presentan 47 usuarios que realizan 13 desafíos activos, con cada usuario que produce alrededor de 5-6 minutos de video en 1080p a 60fps. Los autores también afirman que estos datos eventualmente se publicarán públicamente.

La detección de anomalías se puede realizar mediante un observador humano o algorítmicamente. Para la segunda opción, el sistema se entrenó en 600 caras del conjunto de datos FaceForensics. La función de pérdida de regresión fue la potente Learned Perceptual Image Patch Similarity (LPIPS), mientras que la entropía cruzada binaria se utilizó para entrenar al clasificador. EigenCam se utilizó para visualizar los pesos del detector.

Resultados principales de las pruebas para GOTCHA.

Los investigadores encontraron que para la cascada completa de pruebas en los cuatro sistemas, el número más bajo y la gravedad de las anomalías (es decir, artefactos que revelarían la presencia de un sistema de deepfakes) se obtuvieron con la distribución DFL más entrenada. La versión menos entrenada luchó particularmente para recrear movimientos de labios complejos (que ocupan muy poco del marco, pero que reciben una alta atención humana), mientras que FSGAN ocupó el terreno intermedio entre las dos versiones de DFL, y LIA demostró ser completamente inadecuado para la tarea, con los investigadores opinando que LIA fallaría en un despliegue real.

Publicado por primera vez el 17 de octubre de 2022.