Pesquisadores Identificam um Traço Resiliente de Deepfakes que Pode Ajudar na Detecção de Longo Prazo

Desde que as primeiras soluções de detecção de deepfakes começaram a surgir em 2018, o setor de pesquisa em visão computacional e segurança tem buscado definir uma característica essencial dos vídeos de deepfakes – sinais que pudessem ser resistentes às melhorias nas tecnologias de síntese facial populares (como pacotes de deepfakes baseados em autoencoders, como DeepFaceLab e FaceSwap, e o uso de Redes Adversárias Generativas para recriar, simular ou alterar rostos humanos).

Muitos dos “sinais” de deepfakes, como falta de piscar, foram tornados redundantes pelas melhorias nos deepfakes, enquanto o uso de técnicas de proveniência digital (como a iniciativa Content Authenticity Initiative liderada pela Adobe ) – incluindo abordagens baseadas em blockchain e marca d’água digital de fotos de origem potencial – exigiriam mudanças amplas e caras no corpo existente de imagens de origem disponíveis na internet, ou exigiriam um esforço cooperativo notável entre nações e governos para criar sistemas de vigilância e autenticação.

Portanto, seria muito útil se uma característica fundamental e resiliente pudesse ser discernida no conteúdo de imagem e vídeo que apresenta rostos humanos alterados, inventados ou trocados de identidade; uma característica que pudesse ser inferida diretamente a partir de vídeos falsificados, sem verificação em larga escala, hash de ativos criptográficos, verificação de contexto, avaliação de plausibilidade, rotinas de detecção de artefatos ou outras abordagens onerosas para detecção de deepfakes.

Deepfakes no Quadro

Uma nova colaboração de pesquisa entre a China e a Austrália acredita que encontrou esse “santo graal”, na forma de disrupção de regularidade.

Os autores desenvolveram um método de comparar a integridade espacial e a continuidade temporal de vídeos reais contra aqueles que contêm conteúdo de deepfakes, e descobriram que qualquer tipo de interferência de deepfake disrupção a regularidade da imagem, por mais imperceptível que seja.

Isso ocorre em parte porque o processo de deepfake quebra o vídeo alvo em quadros e aplica o efeito de um modelo de deepfake treinado em cada quadro (substituído). As distribuições de deepfakes populares agem da mesma maneira que os animadores, neste aspecto, dando mais atenção à autenticidade de cada quadro do que à contribuição de cada quadro para a integridade espacial e temporal geral do vídeo.

Do artigo: A) Diferenças entre os tipos de dados. Aqui vemos que as perturbações do p-fake mudam a qualidade espacial-temporal da imagem da mesma maneira que um deepfake faz, sem substituir a identidade. B) Análise de ruído dos três tipos de dados, mostrando como o p-fake imita a disrupção do deepfake. C) Visualização temporal dos três tipos de dados, com dados reais demonstrando maior integridade na flutuação. D) A visualização T-SNE de recursos extraídos para vídeos reais, falsificados e p-falsificados. Fonte: https://arxiv.org/pdf/2207.10402.pdf

Isso não é a forma como um codec de vídeo trata uma série de quadros quando uma gravação original está sendo feita ou processada. Para economizar espaço de arquivo ou tornar um vídeo adequado para transmissão, uma quantidade tremenda de informações é descartada pelo codec de vídeo. Mesmo nas configurações de maior qualidade, o codec alocará quadros-chave (uma variável que pode ser definida pelo usuário) – imagens inteiras, praticamente não comprimidas, que ocorrem em um intervalo pré-definido no vídeo.

Os quadros intersticiais entre os quadros-chave são, em certa medida, estimados como uma variante dos quadros, e reutilizarão o máximo de informações possível dos quadros-chave adjacentes, em vez de serem quadros completos por direito próprio.

À esquerda, um quadro-chave completo, ou ‘i-quadro’, é armazenado no vídeo comprimido, a um certo custo de espaço de arquivo; à direita, um quadro intersticial ‘delta’ reutiliza qualquer parte aplicável do quadro-chave mais rico em dados. Fonte: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

Destaque-se que o bloco (contendo x número de quadros, dependendo das configurações do quadro-chave) é, de fato, a menor unidade considerada em um vídeo comprimido típico, em vez de qualquer quadro individual. Mesmo o quadro-chave em si, conhecido como i-quadro, faz parte dessa unidade.

Em termos de animação tradicional de desenho, um codec está realizando uma espécie de interpolação, com os quadros-chave operando como postes para os quadros intersticiais derivados, conhecidos como quadros delta.

Ao contrário, a superposição de deepfake dedica uma atenção e recursos enormes a cada quadro individual, sem considerar o contexto mais amplo do quadro, e sem fazer concessões para a forma como a compressão e a codificação baseada em blocos afetam as características do vídeo “autêntico”.

Um olhar mais próximo da descontinuidade entre a qualidade temporal de um vídeo autêntico (esquerda) e o mesmo vídeo quando é interrompido por deepfakes (direita).

Embora alguns dos melhores deepfakers usem pós-processamento extensivo, em pacotes como After Effects, e embora a distribuição DeepFaceLab tenha alguma capacidade nativa de aplicar procedimentos de “mistura” como desfoque de movimento, esse tipo de habilidade não afeta a falta de coincidência entre a qualidade espacial e temporal entre vídeos autênticos e falsificados.

O novo artigo é intitulado Detectando Deepfake por Criação de Disrupção de Regularidade Espaço-Temporal, e vem de pesquisadores da Universidade Tsinghua, do Departamento de Tecnologia de Visão Computacional (VIS) da Baidu Inc. e da Universidade de Melbourne.

‘Vídeos Falsos’ Falsos

Os pesquisadores por trás do artigo incorporaram a funcionalidade da pesquisa em um módulo plug-and-play chamado Gerador de Pseudo-Fake (P-Fake Generator), que transforma vídeos reais em vídeos de pseudo-deepfake, perturbando-os da mesma maneira que o processo real de deepfake o faz, sem realizar nenhuma operação de deepfake.

Testes indicam que o módulo pode ser adicionado a todos os sistemas de detecção de deepfakes existentes a um custo de recursos praticamente zero, e que melhora notavelmente seu desempenho.

A descoberta pode ajudar a resolver um dos outros obstáculos na pesquisa de detecção de deepfakes: a falta de conjuntos de dados autênticos e atualizados. Como a geração de deepfakes é um processo elaborado e demorado, a comunidade desenvolveu vários conjuntos de dados de deepfakes nos últimos cinco anos, muitos dos quais estão bastante desatualizados.

Ao isolar a disrupção de regularidade como um sinal agnóstico de deepfakes para vídeos alterados post-facto, o novo método torna possível gerar amostras e conjuntos de dados ilimitados que se concentram nesse aspecto dos deepfakes.

Visão geral do bloco STE, onde a convolução temporal por canal é usada como um estímulo para gerar codificações espaciais-temporais aprimoradas, resultando na mesma assinatura que mesmo um deepfake muito convincente produziria. Por esse método, ‘vídeos falsos’ falsos podem ser gerados que apresentam as mesmas características de assinatura que qualquer vídeo alterado, no estilo deepfake, e que não dependem de distribuições específicas ou de aspectos voláteis, como comportamento de recursos ou artefatos algorítmicos.

Testes

Os pesquisadores realizaram experimentos em seis conjuntos de dados notados usados na pesquisa de detecção de deepfakes: FaceForensics++ (FF++); WildDeepFake; Desafio de Detecção de Deepfakes (DFDCP); Celeb-DF; Detecção de Deepfakes (DFD); e Face Shifter (FSh).

Para o FF++, os pesquisadores treinaram seu modelo no conjunto de dados original e testaram cada uma das quatro subconjuntos separadamente. Sem o uso de nenhum material de deepfake no treinamento, o novo método foi capaz de superar os resultados do estado da arte.

O método também ocupou a posição de liderança quando comparado ao conjunto de dados FF++ C23 comprimido, que fornece exemplos que apresentam os tipos de artefatos de compressão que são credíveis em ambientes de visualização de deepfakes do mundo real.

Os autores comentam:

‘Os resultados dentro do FF++ validam a viabilidade de nossa ideia principal, enquanto a generalização permanece um grande problema dos métodos de detecção de deepfakes existentes, pois o desempenho não é garantido quando testado em deepfakes gerados por técnicas não vistas.

‘Considere ainda mais a realidade da corrida armamentista entre detectores e forjadores, a generalização é um critério importante para medir a eficácia de um método de detecção no mundo real.’

Embora os pesquisadores tenham realizado vários subtestes (veja o artigo para detalhes) em torno de “robustez” e variando os tipos de vídeos de entrada (ou seja, reais, falsos, p-falsificados, etc.), os resultados mais interessantes são os do teste de desempenho entre conjuntos de dados.

Para isso, os autores treinaram seu modelo na versão “do mundo real” c23 do FF++ e testaram isso contra quatro conjuntos de dados, obtendo, segundo os autores, desempenho superior em todos eles.

Resultados do desafio de conjunto de dados cruzado. O artigo observa que o SBI usa uma abordagem semelhante à dos autores, enquanto, segundo os pesquisadores, o p-fake apresenta melhor desempenho para disrupção de regularidade espaço-temporal.

O artigo afirma:

‘No mais desafiador Deepwild, nosso método supera o método SOTA por cerca de 10 pontos percentuais em termos de AUC%. Achamos que isso ocorre devido à grande diversidade de deepfakes no Deepwild, o que faz com que outros métodos falhem em generalizar bem a partir de deepfakes vistos.’

As métricas usadas para os testes foram Pontuação de Precisão (ACC), Área sob a Curva de Característica de Operação do Receptor (AUC) e Taxa de Erro Equitativa (EER).

Contra-ataques?

Embora a mídia caracterize a tensão entre os desenvolvedores de deepfakes e os pesquisadores de detecção de deepfakes em termos de uma guerra tecnológica, é argumentável que os primeiros estão simplesmente tentando produzir saídas mais convincentes, e que a dificuldade aumentada na detecção de deepfakes é um subproduto circunstancial desses esforços.

Se os desenvolvedores tentarão abordar essa nova falha revelada depende, talvez, de se eles sentem que a disrupção de regularidade pode ser percebida em um vídeo de deepfake, a olho nu, como um sinal de inautenticidade, e que, portanto, essa métrica é digna de ser abordada por motivos puramente qualitativos.

Embora cinco anos tenham se passado desde que os primeiros deepfakes foram publicados online, a tecnologia de deepfakes ainda é relativamente incipiente, e a comunidade está, argumentavelmente, mais obcecada com detalhes e resolução do que com contexto correto ou coincidência com as assinaturas de vídeo comprimido, ambos os quais exigem uma certa “degradação” de saída – exatamente a coisa que a comunidade de deepfakes está atualmente lutando contra.

Se o consenso geral lá for que a disrupção de regularidade é uma assinatura incipiente que não afeta a qualidade, pode não haver esforço para compensar por isso – mesmo que possa ser “cancelado” por algum procedimento de pós-processamento ou arquitetura, o que está longe de ser claro.

Publicado pela primeira vez em 22 de julho de 2022.