Detetores de Deepfakes Buscam Novo Terreno: Modelos de Difusão Latente e GANs

Opinião  

Recentemente, a comunidade de pesquisa de detecção de deepfakes, que desde o final de 2017 tem se ocupado quase exclusivamente com a estrutura baseada em autoencoder que estreou naquela época com tanto assombro público (e desgosto), começou a tomar um interesse forense em arquiteturas menos estagnadas, incluindo modelos de difusão latente como DALL-E 2 e Stable Diffusion, bem como a saída de Redes Adversárias Generativas (GANs). Por exemplo, em junho, a UC Berkeley publicou os resultados de sua pesquisa sobre o desenvolvimento de um detector para a saída do então dominante DALL-E 2.

O que parece estar impulsionando esse crescente interesse é o salto evolutivo repentino na capacidade e disponibilidade de modelos de difusão latente em 2022, com o lançamento de código fechado e acesso limitado do DALL-E 2 na primavera, seguido no final do verão pelo lançamento de código aberto da Stable Diffusion pela stability.ai.

GANs também têm sido longamente estudados nesse contexto, embora menos intensivamente, pois é muito difícil usá-los para recriações convincentes e elaboradas de pessoas em vídeo; pelo menos, em comparação com os pacotes de autoencoder agora veneráveis, como FaceSwap e DeepFaceLab – e o primo de transmissão ao vivo deste último, DeepFaceLive.

Imagens em Movimento

Em qualquer caso, o fator galvanizador parece ser a perspectiva de uma subsequente corrida de desenvolvimento para vídeo síntese. O início de outubro – e a principal temporada de conferências de 2022 – foi caracterizado por uma avalanche de soluções repentinas e inesperadas para vários problemas de síntese de vídeo de longa data: mal o Facebook lançou amostras de sua própria plataforma de texto-para-vídeo, a Google Research rapidamente afogou essa aclamação inicial anunciando sua nova arquitetura Imagen-to-Video T2V, capaz de produzir imagens de alta resolução (embora apenas por meio de uma rede de 7 camadas de escalonadores).

Se você acredita que esse tipo de coisa vem em três, considere também a promessa enigmática da stability.ai de que ‘vídeo está vindo’ para a Stable Diffusion, aparentemente mais tarde este ano, enquanto a Runway, co-desenvolvedora da Stable Diffusion, fez uma promessa semelhante, embora não esteja claro se estão se referindo ao mesmo sistema. A mensagem do Discord do CEO da Stability, Emad Mostaque, também prometeu ‘áudio, vídeo [e] 3D’.

O que com uma oferta inesperada de várias novas estruturas de geração de áudio (algumas baseadas em difusão latente), e um novo modelo de difusão que pode gerar movimento de personagem autêntico, a ideia de que ‘frameworks estáticos’ como GANs e difusores finalmente assumirão seu lugar como adjuntos externos a frameworks de animação é começando a ganhar tração real.

Em resumo, parece provável que o mundo de deepfakes de vídeo baseados em autoencoder, que só pode substituir efetivamente a porção central de um rosto, possa ser eclipsado por uma nova geração de tecnologias de deepfakes baseadas em difusão – abordagens populares e de código aberto com potencial para falsificar não apenas corpos inteiros, mas cenas inteiras.

Por essa razão, talvez, a comunidade de pesquisa anti-deepfake esteja começando a levar a síntese de imagens a sério, e a perceber que pode servir a mais fins do que apenas gerar fotos de perfis falsos do LinkedIn; e que, se todos os seus espaços latentes intransponíveis conseguirem em termos de movimento temporal é agir como um renderizador de textura realmente grande, isso pode ser mais do que suficiente.

Blade Runner

Os dois últimos artigos que abordam, respectivamente, a detecção de deepfakes baseada em difusão latente e GAN, são, respectivamente, DE-FAKE: Detecção e Atribuição de Imagens Falsas Geradas por Modelos de Difusão de Texto para Imagem, uma colaboração entre o CISPA Helmholtz Center for Information Security e a Salesforce; e BLADERUNNER: Contramedida Rápida para Faces Sintéticas (Geradas por IA) do StyleGAN, do Adam Dorian Wong, do Lincoln Laboratory do MIT.

Antes de explicar seu novo método, o último artigo passa algum tempo examinando abordagens anteriores para determinar se uma imagem foi gerada por um GAN (o artigo lida especificamente com a família StyleGAN da NVIDIA ).

O método ‘Brady Bunch’ – talvez uma referência sem sentido para qualquer um que não estava assistindo TV nos anos 70, ou que perdeu as adaptações cinematográficas dos anos 90 – identifica conteúdo falso do GAN com base nas posições fixas que certas partes de um rosto do GAN são certas de ocupar, devido à natureza rotineira e padronizada do ‘processo de produção’.

O método ‘Brady Bunch’ proposto por uma transmissão da SANS Institute em 2022: um gerador de faces do GAN realizará uma colocação uniforme improvável de certas características faciais, revelando a origem da foto, em certos casos. Fonte: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf

Outra indicação útil conhecida é a frequente incapacidade do StyleGAN de renderizar múltiplas faces (primeira imagem abaixo), se necessário, bem como sua falta de talento em coordenação de acessórios (imagem do meio abaixo), e uma tendência a usar uma linha de cabelo como o início de um chapéu improvisado (terceira imagem abaixo).

O terceiro método que o pesquisador destaca é photo overlay (um exemplo do qual pode ser visto em nosso artigo de agosto sobre avaliação de expressões faciais de IA para diagnóstico de distúrbios mentais), que usa software de ‘mesclagem de imagens’ compostas como a série CombineZ para concatenar múltiplas imagens em uma única imagem, frequentemente revelando semelhanças subjacentes na estrutura – uma indicação potencial de síntese.

A arquitetura proposta no novo artigo é intitulada (possivelmente contra todos os conselhos de SEO) Blade Runner, em referência ao teste Voight-Kampff que determina se os antagonistas na franquia de ficção científica são ‘falsos’ ou não.

O pipeline é composto por duas fases, a primeira das quais é o analisador PapersPlease, que pode avaliar dados coletados de sites de faces do GAN conhecidos, como thispersondoesnotexist.com, ou gerados.photos.

Embora uma versão reduzida do código possa ser inspecionada no GitHub (veja abaixo), poucos detalhes são fornecidos sobre esse módulo, exceto que OpenCV e DLIB são usados para delinear e detectar faces no material coletado.

O segundo módulo é o detector AmongUs. O sistema é projetado para procurar a colocação coordenada de olhos em fotos, uma característica persistente da saída de faces do StyleGAN, tipificada no cenário ‘Brady Bunch’ detalhado acima. AmongUs é alimentado por um detector de marcos faciais padrão de 68 marcos.

Anotações de pontos faciais via Intelligent Behaviour Understanding Group (IBUG), cujo código de plotagem de marcos faciais é usado no pacote Blade Runner.

AmongUs depende de marcos pré-treinados com base nas coordenadas ‘Brady Bunch’ conhecidas do PapersPlease e é destinado a ser usado contra amostras ao vivo, web-facing, de imagens de faces baseadas em StyleGAN.

Blade Runner, sugere o autor, é uma solução plug-and-play destinada a empresas ou organizações que carecem de recursos para desenvolver soluções internas para o tipo de detecção de deepfakes tratado aqui, e uma ‘medida provisória para ganhar tempo para contramedidas mais permanentes’.

Na verdade, nesse setor de segurança tão volátil e em rápido crescimento, há poucas soluções personalizadas ou soluções de fornecedores de nuvem prontas para uso às quais uma empresa subfinanciada possa se voltar com confiança.

Embora Blade Runner execute mal contra pessoas de óculos falsificadas pelo StyleGAN, isso é um problema relativamente comum em sistemas semelhantes, que esperam ser capazes de avaliar delineações de olhos como pontos de referência centrais, obscurecidos nesses casos.

Uma versão reduzida do Blade Runner foi lançada como código aberto no GitHub. Uma versão mais rica e proprietária existe, que pode processar múltiplas fotos, em vez de uma foto por operação do repositório de código aberto. O autor pretende, diz ele, atualizar a versão do GitHub para o mesmo padrão eventualmente, à medida que o tempo permitir. Ele também admite que o StyleGAN provavelmente evoluirá além de suas fraquezas conhecidas ou atuais, e o software também precisará se desenvolver em conjunto.

DE-FAKE

A arquitetura DE-FAKE visa não apenas alcançar ‘detecção universal’ para imagens produzidas por modelos de difusão de texto para imagem, mas também fornecer um método para discernir qual modelo de difusão latente (LD) produziu a imagem.

A estrutura de detecção universal em DE-FAKE aborda imagens locais, uma estrutura híbrida (verde) e imagens do mundo aberto (azul). Fonte: http://export.arxiv.org/pdf/2210.06998

Para ser honesto, no momento, essa é uma tarefa bastante fácil, pois todos os modelos LD populares – de código fechado ou aberto – têm características distintivas notáveis.

Além disso, a maioria compartilha algumas fraquezas comuns, como uma predisposição a cortar cabeças, devido à maneira arbitrária como imagens não quadradas coletadas da web são ingeridas nos conjuntos de dados maciços que alimentam sistemas como DALL-E 2, Stable Diffusion e MidJourney:

Modelos de difusão latente, assim como todos os modelos de visão computacional, requerem entrada no formato quadrado; mas a coleta agregada da web que alimenta o conjunto de dados LAION5B não oferece ‘luxos extras’ como a capacidade de reconhecer e se concentrar em faces (ou qualquer outra coisa), e truncam imagens de forma bastante brutal em vez de preenchê-las (o que manteria a imagem de origem completa, mas em uma resolução mais baixa). Uma vez treinados, esses ‘cortes’ se tornam normalizados e ocorrem com frequência na saída de sistemas de difusão latente, como a Stable Diffusion. Fontes: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac e Stable Diffusion.

DE-FAKE é destinada a ser algoritmicamente agnóstica, um objetivo há muito ambicionado por pesquisadores de anti-deepfakes baseados em autoencoder, e, no momento, bastante alcançável em relação a sistemas LD.

A arquitetura usa a biblioteca multimodal de pré-treinamento de linguagem e imagem do OpenAI (CLIP) – um elemento essencial na Stable Diffusion e que está se tornando o coração da nova onda de sistemas de síntese de imagem e vídeo – como uma maneira de extrair embeddings de imagens ‘forjadas’ LD e treinar um classificador nos padrões e classes observados.

Em um cenário mais ‘caixa preta’, onde os chunks PNG que contêm informações sobre o processo de geração foram longamente removidos por processos de upload e por outros motivos, os pesquisadores usam a estrutura BLIP da Salesforce (também um componente em pelo menos uma distribuição da Stable Diffusion) para ‘cegarmente’ sondar as imagens para a estrutura semântica provável dos prompts que as criaram.

Os pesquisadores usaram Stable Diffusion, Latent Diffusion (em si um produto discreto), GLIDE e DALL-E 2 para popular um conjunto de dados de treinamento e teste que aproveita MSCOCO e Flickr30k.

Normalmente, passaríamos um tempo considerável analisando os resultados dos experimentos dos pesquisadores para uma nova estrutura; mas, na verdade, os achados do DE-FAKE parecem mais úteis como uma referência futura para iterações e projetos semelhantes, em vez de como uma métrica significativa de sucesso do projeto, considerando o ambiente volátil em que está operando e que o sistema com o qual está competindo no artigo é quase três anos mais antigo – de quando a cena de síntese de imagens era verdadeiramente nascente.

Imagens mais à esquerda: a estrutura anterior desafiada, originada em 2019, previsivelmente se sai menos bem contra o DE-FAKE (imagens mais à direita) nos quatro sistemas LD testados.

Os resultados da equipe são amplamente positivos por duas razões: há pouca pesquisa anterior com a qual compará-los (e nenhuma que ofereça uma comparação justa, ou seja, que cubra os meros doze semanas desde que a Stable Diffusion foi lançada como código aberto).

Em segundo lugar, como mencionado acima, embora o campo de síntese de imagens LD esteja se desenvolvendo a uma velocidade exponencial, a saída de conteúdo das ofertas atuais efetivamente marca a si mesma por meio de suas próprias limitações estruturais (e muito previsíveis) e excentricidades – muitas das quais provavelmente serão remediadas, no caso da Stable Diffusion, pelo lançamento do modelo treinado de 4GB que alimenta o sistema.

Ao mesmo tempo, a Stability já indicou que tem um plano de desenvolvimento claro para a V2 e V3 do sistema. Dados os eventos de manchete dos últimos três meses, qualquer letargia corporativa por parte da OpenAI e outros jogadores concorrentes no espaço de síntese de imagens provavelmente terá sido evaporada, significando que podemos esperar um ritmo de progresso similar também no espaço de síntese de imagens de código fechado.

Publicado pela primeira vez em 14 de outubro de 2022.