Fidelidade vs. Realismo em Vídeos Deepfake

Nem todos os praticantes de deepfake compartilham o mesmo objetivo: o impulso do setor de pesquisa de síntese de imagens – apoiado por proponentes influentes como Adobe, NVIDIA e Facebook – é avançar o estado da arte para que as técnicas de aprendizado de máquina possam eventualmente recriar ou sintetizar atividade humana em alta resolução e nas condições mais desafiadoras (fidelidade).

Em contraste, o objetivo daqueles que desejam usar tecnologias de deepfake para espalhar desinformação é criar simulações plausíveis de pessoas reais por muitos outros métodos além da mera veracidade de faces deepfaked. Nesse cenário, fatores adjunctos como contexto e plausibilidade são quase iguais à capacidade de um vídeo simular faces (realismo).

Essa abordagem de “mágica” se estende à degradação da qualidade da imagem final de um vídeo deepfake, para que todo o vídeo (e não apenas a parte enganosa representada por uma face deepfaked) tenha uma aparência “coesa” que seja precisa para a qualidade esperada do meio.

‘Coeso’ não precisa significar ‘bom’ – é suficiente que a qualidade seja consistente em todo o original e o conteúdo inserido e adulterado, e atenda às expectativas. Em termos de saída de streaming de VOIP em plataformas como Skype e Zoom, a barra pode ser surpreendentemente baixa, com vídeo trêmulo, jerky, e uma ampla gama de artefatos de compressão potenciais, bem como algoritmos de “suavização” projetados para reduzir seus efeitos – que, por si mesmos, constituem uma gama adicional de efeitos “não autênticos” que aceitamos como corolários às restrições e excentricidades do streaming ao vivo.

DeepFaceLive em ação: essa versão de streaming do software de deepfake premier DeepFaceLab pode fornecer realismo contextual apresentando fakes no contexto de qualidade de vídeo limitada, completo com problemas de reprodução e outros artefatos de conexão recorrentes. Fonte: https://www.youtube.com/watch?v=IL517EgYH8U

Degradation Incorporada

De fato, os dois pacotes de deepfake mais populares (ambos derivados do controverso código-fonte de 2017) contêm componentes destinados a integrar a face deepfaked ao contexto de ‘histórico’ ou vídeo de baixa qualidade, degradando a face gerada. No DeepFaceLab, o parâmetro bicubic_degrade_power realiza isso, e no FaceSwap, a configuração ‘grain’ no Ffmpeg ajuda a integração da face falsa, preservando o grão durante a codificação*.

A configuração ‘grain’ no FaceSwap ajuda a integração autêntica em conteúdo de vídeo não HQ e conteúdo legado que pode apresentar efeitos de grão de filme que são relativamente raros nos dias de hoje.

Muitas vezes, em vez de um vídeo deepfake completo e integrado, os deepfakers produzirão uma série isolada de arquivos PNG com canais alfa, cada imagem mostrando apenas a face sintética, para que o fluxo de imagem possa ser convertido em vídeo em plataformas com capacidades de efeitos de degradação mais sofisticadas, como o Adobe After Effects, antes que os elementos falsos e reais sejam unidos para o vídeo final.

Além dessas degradações intencionais, o conteúdo do trabalho de deepfake é frequentemente recomprimido, seja algoritmicamente (onde as plataformas de mídia social buscam economizar largura de banda produzindo versões mais leves das uploads dos usuários) em plataformas como YouTube e Facebook, ou por reprocessamento do trabalho original em GIFs animados, seções de detalhes ou outros fluxos de trabalho diversamente motivados que tratam a versão original como um ponto de partida e subsequentemente introduzem compressão adicional.

Contextos Realistas de Detecção de Deepfake

Com isso em mente, um novo artigo da Suíça propôs uma revisão da metodologia por trás das abordagens de detecção de deepfake, ensinando os sistemas de detecção a aprender as características do conteúdo de deepfake quando ele é apresentado em contextos deliberadamente degradados.

Augmentação de dados estocástica aplicada a um dos conjuntos de dados usados no novo artigo, apresentando ruído gaussiano, correção gama e borramento gaussiano, bem como artefatos de compressão JPEG. Fonte: https://arxiv.org/pdf/2203.11807.pdf

No novo artigo, os pesquisadores argumentam que os pacotes de detecção de deepfake vanguarda estão confiando em condições de referência irrealistas para o contexto das métricas que aplicam, e que a saída de deepfake ‘degradada’ pode cair abaixo do limiar de qualidade mínimo para detecção, mesmo que seu conteúdo ‘sujo’ realista seja provável de enganar os espectadores devido a uma atenção correta ao contexto.

Os pesquisadores instituíram um novo processo de degradação de dados ‘do mundo real’ que consegue melhorar a generalização dos principais detectores de deepfake, com apenas uma perda marginal de precisão nas taxas de detecção originais obtidas por dados ‘limpos’. Eles também oferecem um novo quadro de avaliação que pode avaliar a robustez dos detectores de deepfake em condições do mundo real, apoiado por estudos de ablação extensivos.

O artigo é intitulado Uma Nova Abordagem para Melhorar a Detecção de Deepfake Baseada em Aprendizado em Condições Realistas, e vem de pesquisadores do Grupo de Processamento de Sinais de Mídia (MMSPG) e da Escola Politécnica Federal de Lausanne (EPFL), ambos sediados em Lausanne.

Confusão Útil

Esforços anteriores para incorporar saída degradada em abordagens de detecção de deepfake incluem a rede neural Mixup, uma oferta de 2018 do MIT e FAIR, e AugMix, uma colaboração de 2020 entre DeepMind e Google, ambos métodos de augmentação de dados que tentam ‘turvar’ o material de treinamento de uma maneira que ajude à generalização.

Os pesquisadores do novo trabalho também notam estudos anteriores que aplicaram ruído gaussiano e artefatos de compressão aos dados de treinamento para estabelecer os limites da relação entre um recurso derivado e o ruído em que está inserido.

O novo estudo oferece um pipeline que simula as condições comprometidas do processo de aquisição de imagens e da compressão e dos diversos algoritmos que podem degradar ainda mais a saída de imagem no processo de distribuição. Ao incorporar esse fluxo de trabalho do mundo real em um quadro de avaliação, é possível produzir dados de treinamento para detectores de deepfake que são mais resistentes a artefatos.

A lógica conceitual e o fluxo de trabalho para a nova abordagem.

O processo de degradação foi aplicado a dois conjuntos de dados populares e bem-sucedidos usados para detecção de deepfake: FaceForensics++ e Celeb-DFv2. Além disso, os principais quadros de detecção de deepfake Capsule-Forensics e XceptionNet foram treinados nas versões adulteradas dos dois conjuntos de dados.

Os detectores foram treinados com o otimizador Adam por 25 e 10 épocas, respectivamente. Para a transformação do conjunto de dados, 100 quadros foram amostrados aleatoriamente de cada vídeo de treinamento, com 32 quadros extraídos para teste, antes da adição de processos de degradação.

As distorções consideradas para o fluxo de trabalho foram ruído, onde ruído gaussiano de média zero foi aplicado em seis níveis variados; redimensionamento, para simular a resolução reduzida de filmagens ao ar livre típicas, que pode afetar detectores; compressão, onde níveis de compressão JPEG variados foram aplicados em todo o conjunto de dados; suavização, onde três filtros de suavização típicos usados em ‘remoção de ruído’ são avaliados para o quadro; melhoria, onde contraste e brilho foram ajustados; e combinações, onde qualquer mistura de três dos métodos mencionados anteriormente foi aplicada simultaneamente a uma imagem única.

Testes e Resultados

Ao testar os dados, os pesquisadores adotaram três métricas: Precisão (ACC); Área sob a Curva de Característica de Operação do Receptor (AUC); e F1-score.

Os pesquisadores testaram as versões treinadas padrão dos dois detectores de deepfake contra os dados adulterados e os encontraram faltando:

‘Em geral, a maioria das distorções realistas e processamento é extremamente prejudicial aos detectores de deepfake baseados em aprendizado normalmente treinados. Por exemplo, o método Capsule-Forensics mostra pontuações de AUC muito altas em ambos os conjuntos de teste FFpp e Celeb-DFv2 não comprimidos após o treinamento nos respectivos conjuntos de dados, mas então sofre uma queda drástica no desempenho nos dados modificados de nossa estrutura de avaliação. Tendências semelhantes foram observadas com o detector XceptionNet.’

Em contraste, o desempenho dos dois detectores foi notavelmente melhorado ao ser treinado nos dados transformados, com cada detector agora mais capaz de detectar mídia enganosa não vista.

‘O esquema de augmentação de dados melhora significativamente a robustez dos dois detectores e, ao mesmo tempo, mantém um desempenho alto nos dados originais não alterados.’

Comparações de desempenho entre os conjuntos de dados brutos e aumentados usados nos dois detectores de deepfake avaliados no estudo.

O artigo conclui:

‘Os métodos de detecção atuais são projetados para alcançar o melhor desempenho possível em benchmarks específicos. Isso frequentemente resulta em sacrificar a capacidade de generalização para cenários mais realistas. Neste artigo, um esquema de augmentação de dados cuidadosamente concebido baseado no processo de degradação de imagem natural é proposto.

‘Experimentos extensivos mostram que a técnica simples, mas eficaz, melhora significativamente a robustez do modelo contra várias distorções realistas e operações de processamento em fluxos de trabalho de imagem típicos.’

* A correspondência do grão na face gerada é uma função de transferência de estilo durante o processo de conversão.

Publicado pela primeira vez em 29 de março de 2022. Atualizado às 20h33min (horário de Nova York) para esclarecer o uso do grão no Ffmpeg.