Los deepfakes pueden engañar efectivamente a muchas de las principales APIs de “vitalidad” facial

Una nueva colaboración de investigación entre EE. UU. y China ha investigado la susceptibilidad a los deepfakes de algunos de los sistemas de autenticación basados en el rostro más grandes del mundo, y ha descubierto que la mayoría de ellos son vulnerables a formas de ataque de deepfake en desarrollo y emergentes.

La investigación realizó intrusiones basadas en deepfakes utilizando un marco personalizado desplegado contra sistemas de Verificación de Vitalidad Facial (FLV) que son comúnmente suministrados por proveedores importantes, y vendidos como servicio a clientes downstream como aerolíneas y compañías de seguros.

Del papel, una visión general del funcionamiento de las APIs de Verificación de Vitalidad Facial (FLV) en los principales proveedores. Fuente: https://arxiv.org/pdf/2202.10673.pdf

La Vitalidad Facial está diseñada para repeler el uso de técnicas como ataques de imagen adversariales, el uso de máscaras y video pregrabado, llamados ‘rostros maestros’, y otras formas de clonación de ID visual.

El estudio concluye que el número limitado de módulos de detección de deepfakes desplegados en estos sistemas, muchos de los cuales sirven a millones de clientes, están lejos de ser infalibles, y pueden haber sido configurados en técnicas de deepfake que ahora están obsoletas, o pueden ser demasiado específicos de la arquitectura.

Los autores señalan:

‘[Diferentes] métodos de deepfake también muestran variaciones en diferentes proveedores…Sin acceso a los detalles técnicos de los proveedores de FLV objetivo, especulamos que tales variaciones se atribuyen a las medidas de defensa desplegadas por diferentes proveedores. Por ejemplo, ciertos proveedores pueden desplegar defensas contra ataques de deepfake específicos.’

Y continúan:

‘[La mayoría] de las APIs de FLV no utilizan la detección anti-deepfake; incluso para aquellas con tales defensas, su efectividad es preocupante (por ejemplo, puede detectar videos sintetizados de alta calidad pero no detectar los de baja calidad).’

Los investigadores observan, en este respecto, que ‘la autenticidad’ es relativa:

‘[Incluso] si un video sintetizado es irreal para los humanos, aún puede bypassar el mecanismo de detección anti-deepfake actual con una tasa de éxito muy alta.’

Arriba, imágenes de deepfake que pudieron autenticar en los experimentos de los autores. Abajo, imágenes falsas aparentemente más realistas que fallaron la autenticación.

Otro hallazgo fue que la configuración actual de los sistemas de verificación facial genéricos está sesgada hacia los hombres blancos. Posteriormente, se encontró que las identidades femeninas y no blancas eran más efectivas para bypassar los sistemas de verificación, lo que pone a los clientes en esas categorías en un mayor riesgo de violación a través de técnicas basadas en deepfakes.

El informe encuentra que las identidades de hombres blancos son las más rigurosamente y con precisión evaluadas por las populares APIs de verificación de vitalidad facial. En la tabla de arriba, vemos que las identidades femeninas y no blancas pueden ser más fácilmente utilizadas para bypassar los sistemas.

El papel observa que ‘hay sesgos en [Verificación de Vitalidad Facial], que pueden traer riesgos de seguridad significativos a un grupo particular de personas.’

Los autores también realizaron ataques de autenticación facial éticos contra un gobierno chino, una importante aerolínea china, una de las mayores compañías de seguros de vida en China, y R360, uno de los mayores grupos de inversión unicornio en el mundo, y reportan éxito en bypassar el uso downstream de estas organizaciones de las APIs estudiadas.

En el caso de un bypass de autenticación exitoso para la aerolínea china, la API downstream requirió que el usuario ‘moviera la cabeza’ como prueba contra material de deepfake potencial, pero esto no funcionó contra el marco diseñado por los investigadores, que incorpora seis arquitecturas de deepfake.

A pesar de la evaluación de la aerolínea de la inclinación de la cabeza del usuario, el contenido de deepfake pudo pasar la prueba.

El papel nota que los autores contactaron a los proveedores involucrados, que han reconocido el trabajo.

Los autores ofrecen una lista de recomendaciones para mejoras en el estado actual de la técnica en FLV, incluyendo el abandono de la autenticación basada en una sola imagen (‘Image-based FLV’), donde la autenticación se basa en un solo fotograma de la secuencia de video del cliente; una actualización más flexible y completa de los sistemas de detección de deepfake en los dominios de imagen y voz; imponer la necesidad de que la autenticación basada en voz en el video del usuario esté sincronizada con los movimientos de los labios (lo que no es así en general); y requerir que los usuarios realicen gestos y movimientos que actualmente son difíciles de reproducir para los sistemas de deepfake (por ejemplo, vistas de perfil y ocultación parcial de la cara).

El papel se titula ¿Ver es vivir? Repensando la seguridad de la Verificación de Vitalidad Facial en la era de los deepfakes, y proviene de los autores principales Changjiang Li y Li Wang, y otros cinco autores de la Universidad Estatal de Pensilvania, la Universidad de Zhejiang y la Universidad de Shandong.

Los objetivos centrales

Los investigadores apuntaron a los ‘seis proveedores más representativos’ de Verificación de Vitalidad Facial (FLV), que han sido anonimizados con criptónimos en la investigación.

Los proveedores están representados así: ‘BD’ y ‘TC’ representan a un proveedor conglomerado con la mayor cantidad de llamadas a la API relacionadas con el rostro, y la mayor participación en los servicios de nube de inteligencia artificial de China; ‘HW’ es ‘uno de los proveedores con el mayor mercado de nube pública en China’; ‘CW’ tiene la tasa de crecimiento más rápida en visión por computadora, y está alcanzando una posición de liderazgo en el mercado; ‘ST’ es uno de los mayores proveedores de visión por computadora; y ‘iFT’ es uno de los mayores proveedores de software de inteligencia artificial en China.

Datos y arquitectura

Los datos subyacentes que alimentan el proyecto incluyen un conjunto de datos de 625,537 imágenes de la iniciativa china CelebA-Spoof, junto con videos en vivo del conjunto de datos SiW-M de la Universidad Estatal de Michigan de 2019.

Todos los experimentos se realizaron en un servidor con dos procesadores Intel Xeon E5-2640 v4 de 2.40 GHz que ejecutan 256 GB de RAM con un disco duro de 4 TB, y cuatro GPU NVIDIA 1080Ti orquestadas, para un total de 44 GB de VRAM operativo.

Seis en uno

El marco diseñado por los autores del papel se llama LiveBugger, e incorpora seis marcos de deepfake de última generación contra las cuatro principales defensas en los sistemas de FLV.

LiveBugger contiene enfoques de deepfake diversos, y se centra en los cuatro vectores de ataque principales en los sistemas de FLV.

Los seis marcos de deepfake utilizados son: el de la Universidad de Oxford de 2018 X2Face; la colaboración académica estadounidense ICface; dos variaciones del proyecto israelí de 2019 FSGAN; el modelo de primer orden italiano (FOMM), de principios de 2020; y la colaboración de la Universidad de Pekín con Microsoft Research FaceShifter (aunque como FaceShifter no es de código abierto, los autores tuvieron que reconstruirlo según los detalles de la arquitectura publicada).

Los métodos empleados entre estos marcos incluyeron el uso de video pregrabado en el que los sujetos del video de suplantación realizan acciones rutinarias que se han extraído de los requisitos de autenticación de la API en un módulo de evaluación anterior de LiveBugger, y también el uso de ‘marionetas de deepfake’ efectivas, que traducen los movimientos en vivo de un individuo en un flujo de deepfake que se ha insertado en un flujo de webcam cooptado.

Un ejemplo de lo último es DeepFaceLive, que debutó el verano pasado como un programa adjunto al popular DeepFaceLab, para permitir la transmisión de deepfake en tiempo real, pero que no se incluye en la investigación de los autores.

Atacando los cuatro vectores

Los cuatro vectores de ataque dentro de un sistema de FLV típico son: FLV basada en imagen, que emplea una sola foto proporcionada por el usuario como token de autenticación contra una identidad facial que está en los registros del sistema; FLV basada en silencio, que requiere que el usuario suba un video; FLV basada en acción, que requiere que el usuario realice acciones dictadas por la plataforma; y FLV basada en voz, que coincide con el patrón de habla del usuario contra la base de datos del sistema.

El primer desafío para el sistema es establecer la medida en que una API divulgará sus requisitos, ya que luego pueden anticiparse y adaptarse en el proceso de deepfaking. Esto es manejado por el Motor de Inteligencia en LiveBugger, que recopila información sobre los requisitos de la documentación de la API pública y otras fuentes.

Como los requisitos publicados pueden estar ausentes (por varias razones) de las rutinas reales de la API, el Motor de Inteligencia incorpora una sonda que recopila información implícita basada en los resultados de las llamadas a la API exploratorias. En el proyecto de investigación, esto se facilitó mediante APIs de ‘prueba’ oficiales fuera de línea proporcionadas para beneficio de los desarrolladores, y también por voluntarios que ofrecieron utilizar sus propias cuentas en vivo para pruebas.

El Motor de Inteligencia busca evidencia sobre si una API está utilizando actualmente un enfoque particular que podría ser útil en los ataques. Características de este tipo pueden incluir detección de coherencia, que verifica si los fotogramas en un video son temporalmente continuos – un requisito que puede establecerse enviando fotogramas de video desordenados y observando si esto contribuye al fracaso de la autenticación.

El módulo también busca Detección de lenguaje de labios, donde la API podría verificar si el sonido en el video está sincronizado con los movimientos de los labios del usuario (rara vez es así – véase ‘Resultados’ a continuación).

Resultados

Los autores encontraron que las seis APIs evaluadas no utilizaban la detección de coherencia en el momento de los experimentos, lo que permitió al motor de deepfaker en LiveBugger simplemente coser audio sintetizado con video de deepfake, basado en material contribuido por voluntarios.

Sin embargo, algunas aplicaciones downstream (es decir, clientes de las API) se encontraron que habían agregado la detección de coherencia al proceso, lo que requirió la pregrabación de un video personalizado para evitar esto.

Además, solo unos pocos de los proveedores de API utilizan la detección de lenguaje de labios; para la mayoría de ellos, el video y el audio se analizan como cantidades separadas, y no hay funcionalidad que intente coincidir el movimiento de los labios con el audio proporcionado.

Diversos resultados que abarcan la gama de técnicas de deepfake disponibles en LiveBugger contra la variedad de vectores de ataque en las APIs de FLV. Números más altos indican una mayor tasa de éxito en la penetración de FLV utilizando técnicas de deepfake. No todas las APIs incluyen todas las defensas posibles para FLV; por ejemplo, varias no ofrecen ninguna defensa contra los deepfakes, mientras que otras no verifican que el movimiento de los labios y el audio coincidan en el video del usuario durante la autenticación.

Conclusión

Los resultados y las indicaciones del papel para el futuro de las APIs de FLV son laberínticos, y los autores los han concatenado en una ‘arquitectura de vulnerabilidades’ que podría ayudar a los desarrolladores de FLV a comprender mejor algunos de los problemas descubiertos”

La red de recomendaciones del papel sobre la susceptibilidad existente y potencial de las rutinas de identificación de video basadas en el rostro a los ataques de deepfake.

Las recomendaciones señalan:

‘Los riesgos de seguridad de FLV existen ampliamente en muchas aplicaciones del mundo real, y así amenazan la seguridad de millones de usuarios finales’

Los autores también observan que el uso de FLV basada en acción es ‘marginal’, y que aumentar el número de acciones que los usuarios deben realizar ‘no puede traer ninguna ganancia de seguridad’.

Además, los autores señalan que combinar el reconocimiento de voz y el reconocimiento facial temporal (en video) es una defensa inútil a menos que los proveedores de API comiencen a exigir que los movimientos de los labios estén sincronizados con el audio.

El papel llega a la luz de una reciente advertencia del FBI a las empresas sobre los peligros del fraude de deepfake, casi un año después de su augurio sobre el uso de la tecnología en operaciones de influencia extranjera, y de temores generales de que la tecnología de deepfake en vivo facilitará una nueva ola de delitos en un público que todavía confía en la seguridad de la autenticación de video.

Estos son aún los primeros días de los deepfakes como una superficie de ataque de autenticación; en 2020, 35 millones de dólares fueron extraídos fraudulentamente de un banco en los Emiratos Árabes Unidos mediante el uso de tecnología de audio de deepfake, y un ejecutivo del Reino Unido fue estafado de manera similar para distribuir 243,000 dólares en 2019.

Publicado por primera vez el 23 de febrero de 2022.