Deepfakes Podem Enganar Com Eficiência Muitos dos Principais APIs de ‘Liveness’ Faciais

Uma nova colaboração de pesquisa entre os EUA e a China investigou a suscetibilidade a deepfakes de alguns dos maiores sistemas de autenticação baseados em face do mundo e descobriu que a maioria deles é vulnerável a formas emergentes e desenvolvidas de ataques de deepfake.

A pesquisa realizou intrusões baseadas em deepfakes usando uma estrutura personalizada implantada contra sistemas de Verificação de Liveness Facial (FLV) comumente fornecidos por grandes fornecedores e vendidos como serviço para clientes downstream, como companhias aéreas e empresas de seguros.

Do artigo, uma visão geral do funcionamento dos APIs de Verificação de Liveness Facial (FLV) entre os principais fornecedores. Fonte: https://arxiv.org/pdf/2202.10673.pdf

A Liveness Facial tem como objetivo repelir o uso de técnicas como ataques de imagem adversária, o uso de máscaras e vídeo pré-gravado, assim como as chamadas ‘faces mestre’, e outras formas de clonagem de ID visual.

O estudo conclui que o número limitado de módulos de detecção de deepfakes implantados nesses sistemas, muitos dos quais servem a milhões de clientes, está longe de ser infalível e pode ter sido configurado com base em técnicas de deepfake que agora estão ultrapassadas ou podem ser muito específicas da arquitetura.

Os autores observam:

‘[Diferentes] métodos de deepfake também mostram variações entre diferentes fornecedores… Sem acesso aos detalhes técnicos dos fornecedores de FLV alvo, especulamos que tais variações são atribuídas às medidas de defesa implantadas por diferentes fornecedores. Por exemplo, certos fornecedores podem implantar defesas contra ataques de deepfake específicos.’

E continuam:

‘[A maioria] dos APIs de FLV não usa detecção anti-deepfake; mesmo para aqueles com tais defesas, sua eficácia é preocupante (por exemplo, pode detectar vídeos sintetizados de alta qualidade, mas falhar em detectar os de baixa qualidade).’

Os pesquisadores observam, a este respeito, que ‘autenticidade’ é relativa:

‘[Mesmo] que um vídeo sintetizado seja irreal para os humanos, ele ainda pode bypassar o mecanismo de detecção anti-deepfake atual com uma taxa de sucesso muito alta.’

Acima, imagens de deepfake que conseguiram autenticar nos experimentos dos autores. Abaixo, imagens falsas aparentemente mais realistas que falharam na autenticação.

Outra descoberta foi que a configuração atual dos sistemas de verificação facial genéricos é tendenciosa em relação a homens brancos. Consequentemente, identidades femininas e não-brancas foram encontradas como mais eficazes em bypassar os sistemas de verificação, colocando os clientes nesses grupos em maior risco de violação por meio de técnicas baseadas em deepfakes.

O relatório descobre que as identidades de homens brancos são as mais rigorosamente e com precisão avaliadas pelos populares APIs de verificação de liveness facial. Na tabela acima, vemos que as identidades femininas e não-brancas podem ser mais facilmente usadas para bypassar os sistemas.

O artigo observa que ‘existem vieses na [Verificação de Liveness Facial], que podem trazer riscos de segurança significativos para um grupo específico de pessoas.’

Os autores também conduziram ataques de autenticação facial éticos contra um governo chinês, uma grande companhia aérea chinesa, uma das maiores empresas de seguros de vida da China e R360, um dos maiores grupos de investimento em unicórnios do mundo, e relatam sucesso em bypassar a utilização downstream dessas organizações dos APIs estudados.

No caso de uma bypass de autenticação bem-sucedida para a companhia aérea chinesa, o API downstream exigia que o usuário ‘abalasse a cabeça’ como prova contra material de deepfake potencial, mas isso se provou não funcionar contra a estrutura desenvolvida pelos pesquisadores, que incorpora seis arquiteturas de deepfake.

Apesar da avaliação da companhia aérea da movimentação da cabeça do usuário, o conteúdo de deepfake conseguiu passar no teste.

O artigo nota que os autores contataram os fornecedores envolvidos, que supostamente reconheceram o trabalho.

Os autores oferecem uma lista de recomendações para melhorias no estado atual da arte em FLV, incluindo o abandono da autenticação baseada em imagem única (‘Image-based FLV’), onde a autenticação é baseada em um único quadro da filmagem do cliente; uma atualização mais flexível e abrangente dos sistemas de detecção de deepfake em domínios de imagem e voz; a exigência de que a autenticação baseada em voz no vídeo do usuário seja sincronizada com os movimentos dos lábios (o que não é feito atualmente, em geral); e a exigência de que os usuários realizem gestos e movimentos que são atualmente difíceis para os sistemas de deepfake reproduzir (por exemplo, visualizações de perfil e ocultação parcial do rosto).

O artigo é intitulado Ver é Viver? Repensando a Segurança da Verificação de Liveness Facial na Era dos Deepfakes, e vem de autores principais Changjiang Li e Li Wang, e cinco outros autores da Universidade Estadual da Pensilvânia, Universidade de Zhejiang e Universidade de Shandong.

Os Alvos Principais

Os pesquisadores miraram nos ‘seis principais’ fornecedores de Verificação de Liveness Facial (FLV), que foram anonimizados com criptônimos na pesquisa.

Os fornecedores são representados assim: ‘BD’ e ‘TC’ representam um fornecedor conglomerado com o maior número de chamadas de API relacionadas a face e a maior participação nos serviços de nuvem de IA da China; ‘HW’ é ‘um dos fornecedores com o maior mercado de nuvem pública [chinesa]’; ‘CW’ tem a taxa de crescimento mais rápida em visão computacional e está alcançando uma posição de liderança no mercado; ‘ST’ está entre os maiores fornecedores de visão computacional; e ‘iFT’ está entre os maiores fornecedores de software de IA na China.

Dados e Arquitetura

Os dados subjacentes que alimentam o projeto incluem um conjunto de dados de 625.537 imagens da iniciativa chinesa CelebA-Spoof, juntamente com vídeos ao vivo da Universidade Estadual de Michigan de 2019 SiW-M dataset.

Todos os experimentos foram conduzidos em um servidor com dois processadores Intel Xeon E5-2640 v4 de 2,40 GHz executando em 256 GB de RAM com um HDD de 4 TB e quatro GPUs NVIDIA 1080Ti orquestradas, para um total de 44 GB de VRAM operacional.

Seis em Um

A estrutura desenvolvida pelos autores do artigo é chamada de LiveBugger e incorpora seis estruturas de deepfake de ponta contra as quatro principais defesas nos sistemas de FLV.

LiveBugger contém abordagens de deepfake diversificadas e centra-se nos quatro principais vetores de ataque nos sistemas de FLV.

As seis estruturas de deepfake utilizadas são: a X2Face da Universidade de Oxford de 2018; a colaboração acadêmica estadunidense ICface; duas variações do projeto israelense de 2019 FSGAN; o First Order Method Model (FOMM) italiano, de início de 2020; e a colaboração FaceShifter entre a Universidade de Pequim e a Microsoft Research (embora, como o FaceShifter não seja de código aberto, os autores tiveram que reconstruí-lo com base nos detalhes da arquitetura publicados).

Métodos empregados entre essas estruturas incluíram o uso de vídeo pré-renderizado no qual os sujeitos do vídeo de spoof realizam ações rotineiras extraídas dos requisitos de autenticação da API em um módulo de avaliação anterior do LiveBugger, e também o uso de ‘marionetismo de deepfake’ eficaz, que traduz os movimentos ao vivo de um indivíduo em um fluxo de deepfake que foi inserido em um fluxo de webcam cooptado.

Um exemplo do último é DeepFaceLive, que estreou no verão passado como um programa adjunto ao popular DeepFaceLab, para permitir a transmissão de deepfake em tempo real, mas que não está incluído na pesquisa dos autores.

Atacando os Quatro Vetores

Os quatro vetores de ataque dentro de um sistema de FLV típico são: FLV baseada em imagem, que emprega uma única foto fornecida pelo usuário como um token de autenticação contra um ID facial que está registrado no sistema; FLV baseada em silêncio, que exige que o usuário faça upload de um clipe de vídeo; FLV baseada em ação, que exige que o usuário realize ações ditadas pela plataforma; e FLV baseada em voz, que combina a fala do usuário com o padrão de fala no banco de dados do sistema.

O primeiro desafio para o sistema é estabelecer a extensão com que uma API irá divulgar seus requisitos, pois eles podem então ser antecipados e atendidos no processo de deepfaking. Isso é tratado pelo Motor de Inteligência no LiveBugger, que coleta informações sobre requisitos a partir de documentação de API publicamente disponível e outras fontes.

Como os requisitos publicados podem estar ausentes (por vários motivos) das rotinas reais da API, o Motor de Inteligência incorpora uma sonda que coleta informações implícitas com base nos resultados de chamadas de API exploratórias. Neste projeto de pesquisa, isso foi facilitado por APIs de ‘teste’ offline oficiais fornecidas para o benefício dos desenvolvedores e também por voluntários que ofereceram usar suas próprias contas ao vivo para testes.

O Motor de Inteligência procura evidências sobre se uma API está atualmente usando uma abordagem particular que poderia ser útil em ataques. Recursos desse tipo podem incluir detecção de coerência, que verifica se os quadros em um vídeo são temporariamente contínuos – um requisito que pode ser estabelecido enviando quadros de vídeo embaralhados e observando se isso contribui para a falha de autenticação.

O módulo também procura por Detecção de Linguagem Labial, onde a API pode verificar se o som no vídeo está sincronizado com os movimentos dos lábios do usuário (raramente o caso – veja ‘Resultados’ abaixo).

Resultados

Os autores descobriram que todos os seis APIs avaliados não usam detecção de coerência no momento dos experimentos, permitindo que o motor de deepfake no LiveBugger simplesmente costure áudio sintetizado com vídeo de deepfake, com base em material contribuído por voluntários.

No entanto, algumas aplicações downstream (ou seja, clientes da estrutura de API) foram encontradas com detecção de coerência adicionada ao processo, necessitando a pré-gravação de um vídeo personalizado para contornar isso.

Além disso, apenas alguns dos fornecedores de API usam detecção de linguagem labial; para a maioria deles, o vídeo e o áudio são analisados como quantidades separadas, e não há funcionalidade que tente combinar o movimento dos lábios com o áudio fornecido.

Diversos resultados abrangendo a gama de técnicas de deepfake disponíveis no LiveBugger contra a variedade de vetores de ataque nos APIs de FLV. Números mais altos indicam uma taxa de sucesso maior em penetrar a FLV usando técnicas de deepfake. Nem todos os APIs incluem todas as defesas possíveis para FLV; por exemplo, vários não oferecem nenhuma defesa contra deepfakes, enquanto outros não verificam se o movimento dos lábios e o áudio se alinham no vídeo submetido durante a autenticação.

Conclusão

Os resultados e indicações do artigo para o futuro dos APIs de FLV são complexos, e os autores os concatenaram em uma ‘arquitetura de vulnerabilidades’ funcional que poderia ajudar os desenvolvedores de FLV a entender melhor alguns dos problemas descobertos”

A rede de recomendações do artigo sobre a suscetibilidade existente e potencial dos rotinas de identificação de vídeo baseadas em face a ataques de deepfake.

As recomendações observam:

‘Os riscos de segurança da FLV existem amplamente em muitas aplicações reais e, portanto, ameaçam a segurança de milhões de usuários finais.’

Os autores também observam que o uso de FLV baseada em ação é ‘marginal’ e que aumentar o número de ações que os usuários são obrigados a realizar ‘não pode trazer nenhum ganho de segurança’.

Além disso, os autores notam que combinar reconhecimento de voz e reconhecimento facial temporal (em vídeo) é uma defesa inútil, a menos que os fornecedores de API comecem a exigir que os movimentos dos lábios sejam sincronizados com o áudio.

O artigo surge à luz de um recente aviso do FBI sobre os perigos do fraude de deepfake para as empresas, quase um ano após sua advertência sobre o uso da tecnologia em operações de influência estrangeira, e de medos gerais de que a tecnologia de deepfake ao vivo facilitará uma nova onda de crimes em uma população que ainda confia na segurança da autenticação por vídeo.

Estes ainda são os primeiros dias dos deepfakes como uma superfície de ataque de autenticação; em 2020, US$ 35 milhões foram extraídos fraudulentamente de um banco nos Emirados Árabes Unidos por meio da tecnologia de áudio de deepfake, e um executivo do Reino Unido foi igualmente enganado para distribuir US$ 243.000 em 2019.

Publicado pela primeira vez em 23 de fevereiro de 2022.