Pesquisadores Identificam um Traço Resiliente de Deepfakes que Pode Ajudar na Detecção de Longo Prazo

Desde que as primeiras soluções de detecção de deepfakes começaram a surgir em 2018, o setor de pesquisa de visão computacional e segurança tem buscado definir um característica essencial de vídeos de deepfakes – sinais que pudessem ser resistentes a melhorias nas tecnologias de síntese facial populares (como pacotes de deepfakes baseados em autoencoder, como DeepFaceLab e FaceSwap, e o uso de Redes Adversárias Generativas para recriar, simular ou alterar rostos humanos).

Muitos dos ‘sinais’, como falta de piscar, foram tornados redundantes por melhorias nos deepfakes, enquanto o uso potencial de técnicas de proveniência digital (como a Iniciativa de Autenticidade de Conteúdo liderada pela Adobe) – incluindo abordagens de blockchain e marca d’água digital de fotos de fonte potencial – exigiriam mudanças amplas e caras no corpo existente de imagens de fonte disponíveis na internet, ou else precisariam de um esforço cooperativo notável entre nações e governos para criar sistemas de fiscalização e autenticação.

Portanto, seria muito útil se um traço fundamental e resiliente pudesse ser discernido no conteúdo de imagem e vídeo que apresenta rostos humanos alterados, inventados ou trocados de identidade; uma característica que pudesse ser inferida diretamente a partir de vídeos falsificados, sem verificação em larga escala, hash de ativos criptográficos, verificação de contexto, avaliação de plausibilidade, rotinas de detecção centradas em artefatos ou outras abordagens onerosas para detecção de deepfakes.

Deepfakes no Quadro

Uma nova colaboração de pesquisa entre a China e a Austrália acredita que encontrou este ‘gral’, na forma de disrupção de regularidade.

Os autores conceberam um método de comparação da integridade espacial e da continuidade temporal de vídeos reais contra os que contêm conteúdo de deepfakes, e descobriram que qualquer tipo de interferência de deepfake disrupta a regularidade da imagem, por mais imperceptível que seja.

Isso ocorre em parte porque o processo de deepfake quebra o vídeo alvo em quadros e aplica o efeito de um modelo de deepfake treinado em cada quadro (substituído). As distribuições de deepfakes populares agem da mesma maneira que os animadores, neste aspecto, dando mais atenção à autenticidade de cada quadro do que à contribuição de cada quadro para a integridade espacial e a continuidade temporal do vídeo.

Do artigo: A) Diferenças entre os tipos de dados. Aqui vemos que as perturbações do p-fake mudam a qualidade espacial-temporal da imagem da mesma maneira que um deepfake, sem substituir a identidade. B) Análise de ruído dos três tipos de dados, mostrando como o p-fake imita a disrupção do deepfake. C) Visualização temporal dos três tipos de dados, com dados reais demonstrando maior integridade na flutuação. D) a visualização T-SNE de recursos extraídos para vídeos reais, falsificados e p-falsificados. Fonte: https://arxiv.org/pdf/2207.10402.pdf

Isso não é a forma como um codec de vídeo trata uma série de quadros quando uma gravação original está sendo feita ou processada. Para economizar espaço de arquivo ou tornar um vídeo adequado para transmissão, uma enorme quantidade de informações é descartada pelo codec de vídeo. Mesmo em suas configurações de maior qualidade, o codec alocará quadros-chave (uma variável que pode ser definida pelo usuário) – imagens inteiras, praticamente não comprimidas, que ocorrem em um intervalo pré-definido no vídeo.

Os quadros intersticiais entre os quadros-chave são, em certa medida, estimados como uma variante dos quadros, e reutilizarão o máximo de informações possível dos quadros-chave adjacentes, em vez de serem quadros completos por direito próprio.

À esquerda, um quadro-chave completo, ou ‘i-quadro’, é armazenado no vídeo comprimido, a um certo custo de tamanho de arquivo; à direita, um ‘delta quadro’ intersticial reutiliza qualquer parte aplicável do quadro-chave mais rico em dados. Fonte: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

Dessa forma, o bloco (contendo x número de quadros, dependendo das configurações do quadro-chave) é, de certa forma, a menor unidade considerada em um vídeo comprimido típico, em vez de qualquer quadro individual. Mesmo o quadro-chave em si, conhecido como i-quadro, faz parte dessa unidade.

Em termos de animação tradicional de desenho animado, um codec está realizando uma espécie de interpolação, com os quadros-chave operando como mastros para os quadros intersticiais derivados, conhecidos como delta quadros.

Em contraste, a superposição de deepfake dedica enorme atenção e recursos a cada quadro individual, sem considerar o contexto mais amplo do quadro e sem fazer concessões para a forma como a compressão e a codificação baseada em blocos afetam as características do vídeo ‘autêntico’.

Um olhar mais próximo da descontinuidade entre a qualidade temporal de um vídeo autêntico (esquerda) e o mesmo vídeo quando é interrompido por deepfakes (direita).

Embora alguns dos melhores deepfakers usem pós-processamento extensivo, em pacotes como After Effects, e embora a distribuição DeepFaceLab tenha alguma capacidade nativa de aplicar procedimentos de ‘mistura’ como desfoque de movimento, esse tipo de habilidade não afeta a incompatibilidade entre a qualidade espacial e temporal entre vídeos autênticos e deepfakes.

O novo artigo é intitulado Detectando Deepfake por meio da Criação de Disrupção de Regularidade Espaço-Temporal, e vem de pesquisadores da Universidade Tsinghua, do Departamento de Tecnologia de Visão Computacional (VIS) da Baidu Inc. e da Universidade de Melbourne

‘Falso’ Vídeos de Deepfakes

Os pesquisadores por trás do artigo incorporaram a funcionalidade da pesquisa em um módulo plug-and-play chamado Gerador de Pseudo-Fake (P-fake Generator), que transforma vídeos reais em vídeos de deepfakes falsos, perturbando-os da mesma maneira que o processo de deepfake real faz, sem realmente realizar nenhuma operação de deepfake.

Testes indicam que o módulo pode ser adicionado a todos os sistemas de detecção de deepfakes existentes a um custo de recursos praticamente zero, e que melhora notavelmente seu desempenho.

A descoberta pode ajudar a resolver um dos outros obstáculos no campo de detecção de deepfakes: a falta de conjuntos de dados autênticos e atualizados. Desde que a geração de deepfakes é um processo elaborado e demorado, a comunidade desenvolveu vários conjuntos de dados de deepfakes nos últimos cinco anos, muitos dos quais estão bastante desatualizados.

Ao isolar a disrupção de regularidade como um sinal agnóstico de deepfakes para vídeos alterados post-facto, o novo método torna possível gerar vídeos de amostra e conjuntos de dados ilimitados que se concentram nesse aspecto dos deepfakes.

Visão geral do bloco STE, onde a convolução temporal por canal é usada como um estímulo para gerar codificações espacialmente-temporalmente aprimoradas, resultando na mesma assinatura que mesmo um deepfake muito convincente irá produzir. Por esse método, ‘vídeos de deepfakes falsos’ podem ser gerados que possuem as mesmas características de assinatura de qualquer vídeo alterado, estilo deepfake, e que não dependem de distribuições específicas, ou de aspectos voláteis, como comportamento de recursos ou artefatos algorítmicos.

Testes

Os pesquisadores conduziram experimentos em seis conjuntos de dados notados usados na pesquisa de detecção de deepfakes: FaceForensics++ (FF++); WildDeepFake; Desafio de Detecção de Deepfakes (DFDCP); Celeb-DF; Detecção de Deepfakes (DFD); e Face Shifter (FSh).

Para o FF++, os pesquisadores treinaram seu modelo no conjunto de dados original e testaram cada uma das quatro subconjuntos separadamente. Sem o uso de qualquer material de deepfake no treinamento, o novo método foi capaz de superar os resultados do estado da arte.

O método também ocupou a posição de destaque quando comparado ao conjunto de dados FF++ C23 comprimido, que fornece exemplos que apresentam os tipos de artefatos de compressão que são credíveis em ambientes de visualização de deepfakes do mundo real.

Os autores comentam:

‘Os desempenhos dentro do FF++ validam a viabilidade de nossa ideia principal, enquanto a generalização permanece um grande problema dos métodos de detecção de deepfakes existentes, pois o desempenho não é garantido ao testar deepfakes gerados por técnicas não vistas.

‘Considere ainda mais a realidade da corrida armamentista entre detectores e forjadores, a generalização é um critério importante para medir a eficácia de um método de detecção no mundo real.’

Embora os pesquisadores tenham realizado vários sub-testes (veja o artigo para detalhes) em torno de ‘robustez’ e variando os tipos de vídeos de entrada (ou seja, reais, falsos, p-falsificados, etc.), os resultados mais interessantes são do teste de desempenho entre conjuntos de dados.

Para isso, os autores treinaram seu modelo na versão ‘do mundo real’ c23 do FF++ e o testaram contra quatro conjuntos de dados, obtendo, segundo os autores, desempenho superior em todos eles.

Resultados do desafio de conjunto de dados cruzados. O artigo observa que o SBI usa uma abordagem semelhante à dos autores, enquanto, segundo os pesquisadores, o p-fake mostra melhor desempenho para disrupção de regularidade espaço-temporal.

O artigo afirma:

‘No mais desafiador Deepwild, nosso método supera o método SOTA por cerca de 10 pontos percentuais em termos de AUC%. Achamos que isso ocorre devido à grande diversidade de deepfakes no Deepwild, o que faz com que outros métodos falhem em generalizar bem a partir de deepfakes vistos.’

As métricas usadas para os testes foram Pontuação de Precisão (ACC), Área sob a Curva de Característica de Operação do Receptor (AUC) e Taxa de Erro Equitativa (EER).

Contra-ataques?

Embora a mídia caracterize a tensão entre desenvolvedores de deepfakes e pesquisadores de detecção de deepfakes em termos de uma guerra tecnológica, é arguível que os primeiros estão simplesmente tentando criar saídas mais convincentes, e que a dificuldade aumentada de detecção de deepfakes é um subproduto circunstancial desses esforços.

Se os desenvolvedores tentarão abordar essa nova limitação revelada depende, talvez, de se eles sentem que a disrupção de regularidade pode ser percebida em um vídeo de deepfake, a olho nu, como um sinal de inautenticidade, e que, portanto, essa métrica é digna de ser abordada de um ponto de vista puramente qualitativo.

Embora cinco anos tenham se passado desde que os primeiros deepfakes foram colocados online, a tecnologia de deepfaking ainda é relativamente nova, e a comunidade está, de certa forma, mais obcecada com detalhes e resolução do que com contexto correto, ou com a correspondência das assinaturas de vídeo comprimido, ambos os quais exigem uma certa ‘degradação’ de saída – exatamente a coisa que a comunidade de deepfakes está atualmente lutando contra.

Se o consenso geral lá for que a disrupção de regularidade é uma assinatura nascente que não afeta a qualidade, pode não haver esforço para compensá-la – mesmo que possa ser ‘cancelada’ por algum pós-processamento ou procedimentos em arquitetura, o que está longe de ser claro.

Publicado pela primeira vez em 22 de julho de 2022.