Verificação Facial ‘Criativa’ com Redes Adversárias Generativas

Um novo artigo da Universidade de Stanford propôs um método nascente para enganar sistemas de autenticação facial em plataformas como aplicativos de namoro, utilizando uma Rede Adversária Generativa (GAN) para criar imagens faciais alternativas que contenham as mesmas informações essenciais de identificação de uma face real.

O método bypassou com sucesso os processos de verificação facial em aplicativos de namoro como Tinder e Bumble, em um caso, passando uma face de gênero invertido (masculino) como autêntica para a identidade de origem (feminino).

Várias identidades geradas que apresentam a codificação específica do autor do artigo (apresentado na primeira imagem acima). Fonte: https://arxiv.org/pdf/2203.15068.pdf

De acordo com o autor, o trabalho representa a primeira tentativa de bypassar a verificação facial com o uso de imagens geradas que foram imbuidas com características de identidade específicas, mas que tentam representar uma identidade alternativa ou substancialmente alterada.

A técnica foi testada em um sistema de verificação facial local personalizado e, em seguida, performou bem em testes de caixa preta contra dois aplicativos de namoro que realizam verificação facial em imagens carregadas pelos usuários.

O novo artigo é intitulado Bypass de Verificação Facial e vem de Sanjana Sarda, uma pesquisadora do Departamento de Engenharia Elétrica da Universidade de Stanford.

Controle do Espaço Facial

Embora “injetar” características específicas de ID (por exemplo, de faces, sinais de trânsito, etc.) em imagens criadas seja um recurso comum de ataques adversários, o novo estudo sugere algo diferente: que a capacidade crescente do setor de pesquisa de controlar o espaço latente de GANs eventualmente permitirá o desenvolvimento de arquiteturas que possam criar identidades alternativas consistentes para a de um usuário – e, efetivamente, permitir a extração de características de identidade de imagens disponíveis na web de um usuário desprevenido para cooptar em uma identidade “sombra” criada.

A consistência e a navegabilidade têm sido os principais desafios relacionados ao espaço latente de GAN desde a invenção das Redes Adversárias Generativas. Um GAN que tenha assimilado com sucesso uma coleção de imagens de treinamento em seu espaço latente não fornece um mapa fácil para “empurrar” características de uma classe para outra.

Embora técnicas e ferramentas como Mapeamento de Ativação de Classe Ponderado por Gradiente (Grad-CAM) possam ajudar a estabelecer direções latentes entre as classes estabelecidas e permitir transformações (veja a imagem abaixo), o desafio adicional de entrelaçamento geralmente torna a jornada “aproximada”, com controle limitado da transição.

Uma jornada aproximada entre vetores codificados no espaço latente de um GAN, empurrando uma identidade masculina derivada de dados para os “codigos femininos” do outro lado de uma das muitas hiperplanos lineares no complexo e arcano espaço latente. Imagem derivada de material em https://www.youtube.com/watch?v=dCKbRCUyop8

A capacidade de “congelar” e proteger características específicas de ID enquanto as move para codificações transformadoras em outras partes do espaço latente potencialmente torna possível criar um indivíduo consistente (e até animável) cuja identidade é lida por sistemas de máquina como alguém mais.

Método

O autor usou dois conjuntos de dados como base para os experimentos: um Conjunto de Dados de Usuário Humano, consistindo de 310 imagens de seu rosto, abrangendo um período de quatro anos, com iluminação, idade e ângulos de visão variados, com faces recortadas via Caffe; e o conjunto de dados racialmente equilibrado de 108.501 imagens no conjunto de dados FairFace, extraído e recortado de forma semelhante.

O modelo de verificação facial local foi derivado de uma implementação base de FaceNet e DeepFace, pré-treinado em ConvNet Inception, com cada imagem representada por um vetor de 128 dimensões.

A abordagem usa imagens faciais de um subconjunto treinado do FairFace. Para passar na verificação facial, a distância calculada pela norma de Frobenius de uma imagem é compensada contra o usuário-alvo no banco de dados. Qualquer imagem com uma distância abaixo do limiar de 0,7 é considerada como a mesma identidade; caso contrário, a verificação é considerada falha.

Um modelo StyleGAN foi ajustado no conjunto de dados pessoal do autor, produzindo um modelo que geraria variações reconhecíveis de sua identidade, embora nenhuma dessas imagens geradas fosse idêntica aos dados de treinamento. Isso foi alcançado congelando as primeiras quatro camadas no discriminador, para evitar o ajuste excessivo dos dados e produzir saídas variadas.

Embora imagens diversas tenham sido obtidas com o modelo StyleGAN base, a baixa resolução e fidelidade provocaram uma segunda tentativa com StarGAN V2, que permite o treinamento de imagens de sementes em direção a uma face de destino.

O modelo StarGAN V2 foi pré-treinado por aproximadamente 10 horas usando o conjunto de validação do FairFace, com um tamanho de lote de quatro e um tamanho de validação de oito. Na abordagem mais bem-sucedida, o conjunto de dados pessoal do autor foi usado como a fonte, com dados de treinamento como referência.

Experimentos de Verificação

Um modelo de verificação facial foi construído com base em um subconjunto de 1000 imagens, com a intenção de verificar uma imagem arbitrária do conjunto. Imagens que passaram na verificação com sucesso foram subsequentemente testadas contra a ID do autor.

À esquerda, o autor do artigo, uma foto real; meio, uma imagem arbitrária que falhou na verificação; direita, uma imagem não relacionada do conjunto de dados que passou na verificação como o autor.

O objetivo dos experimentos foi criar uma lacuna o mais ampla possível entre a identidade visual percebida, mantendo as características definidoras da identidade de destino. Isso foi avaliado com distância de Mahalanobis, uma métrica usada no processamento de imagens para busca de padrões e templates.

Para o modelo gerativo de baseline, os resultados de baixa resolução obtidos exibem diversidade limitada, apesar de passar na verificação facial local. O StarGAN V2 provou ser mais capaz de criar imagens diversas que conseguiram autenticar.

Todas as imagens representadas passaram na verificação facial local. Acima, as gerações de baseline do StyleGAN de baixa resolução, abaixo, as gerações do StarGAN V2 de alta resolução e alta qualidade.

As imagens geradas finais foram testadas contra os sistemas de verificação facial dos aplicativos de namoro Bumble e Tinder, com a identidade do autor como baseline, e passaram na verificação. Uma geração “masculina” do rosto do autor também passou no processo de verificação do Bumble, embora a iluminação tivesse que ser ajustada na imagem gerada antes de ser aceita. O Tinder não aceitou a versão masculina.

Versões ‘masculinas’ da identidade (feminina) do autor.

Conclusão

Esses são experimentos seminais em projeção de identidade, no contexto da manipulação do espaço latente de GAN, que permanece um desafio extraordinário na síntese de imagens e pesquisa de deepfakes. No entanto, o trabalho abre o conceito de incorporar características específicas de forma consistente em identidades diversas e de criar ‘identidades alternativas’ que ‘leem’ como alguém mais.

Publicado pela primeira vez em 30 de março de 2022.