Detecção de Deepfake Baseada em Traços Biométricos Humanos Originais

Um novo artigo de pesquisadores da Itália e da Alemanha propõe um método para detectar vídeos de deepfake com base no comportamento biométrico facial e vocal, em vez de artefatos criados por sistemas de síntese facial, soluções de marca d’água caras ou outras abordagens mais complicadas.

O framework requer uma entrada de 10 ou mais vídeos variados e não falsificados do sujeito. No entanto, não é necessário treinamento específico, retreinamento ou aumento em vídeos por caso, pois o modelo incorporado já abstraiu as distâncias de vetor prováveis entre vídeos reais e falsos de forma amplamente aplicável.

Aprendizado contrastivo é a base da abordagem de POI-Forensics. Vetores derivados do material de origem em uma base por caso são comparados com os mesmos vetores em um vídeo falso potencial, com facetas e traços extraídos de ambos os componentes de vídeo e áudio do vídeo potencialmente falsificado. Source: https://arxiv.org/pdf/2204.03083.pdf

Intitulado POI-Forensics, a abordagem depende de movimentos e pistas de áudio únicos do indivíduo real que está sendo deepfaked.

Embora um sistema como esse possa permitir quadros de autenticação completamente automatizados e “pré-renderizados” para celebridades, políticos, influenciadores do YouTube e outras pessoas para as quais um grande volume de material de vídeo está disponível, também pode ser adaptado em um framework onde vítimas comuns de tecnologias de deepfake possam ter uma plataforma para provar a inautenticidade de ataques contra elas.

Visualizações de recursos extraídos de vídeos genuínos e falsificados em quatro sujeitos em POI-Forensics, por meio do framework t-SNE.

Os autores afirmam que POI-Forensics alcança um novo estado da arte na detecção de deepfake. Em uma variedade de conjuntos de dados comuns nesse campo, o framework é relatado como alcançando uma melhoria nos escores AUC de 3%, 10% e 7% para vídeos de alta qualidade, baixa qualidade e “atacados”, respectivamente. Os pesquisadores prometem lançar o código em breve.

Desempenho de POI-Forensics contra frameworks SOTA rivais pDFDC, DeepFakeTIMIT, FakeAVCelebV2 e KoDF. O treinamento em cada caso foi realizado em FaceForensics++, ID-Reveal e o método dos autores em VoxCeleb2. Os resultados incluem vídeos de alta e baixa qualidade.

The autores afirmam:

‘O treinamento é realizado exclusivamente em vídeos de faces reais falando, portanto o detector não depende de nenhum método de manipulação específico e produz a maior capacidade de generalização. Além disso, nosso método pode detectar ataques de uma única modalidade (somente áudio, somente vídeo) e multimodal (áudio-vídeo), e é robusto a vídeos de baixa qualidade ou corrompidos, construindo apenas recursos semânticos de alto nível.’

O novo artigo, que incorpora elementos de alguns projetos de visão dos autores de 2021, é intitulado Detecção de Deepfake de Pessoa de Interesse Baseada em Áudio-Visual, e é um esforço conjunto entre a Universidade de Federico II, em Nápoles, e a Universidade Técnica de Munique.

A Corrida Armamentista de Deepfake

Para derrotar um sistema de detecção dessa natureza, os sistemas de deepfake e síntese humana precisariam ter a capacidade de simular, pelo menos, pistas biométricas visuais e de áudio do alvo pretendido da síntese – tecnologia que está muitos anos à frente e provavelmente permanecerá no âmbito de sistemas fechados caros e proprietários desenvolvidos por empresas de efeitos visuais, que terão a vantagem da cooperação e participação dos alvos pretendidos (ou de seus herdeiros, no caso de simulação de pessoas falecidas).

A abordagem anterior dos autores, ID-Reveal, concentrou-se inteiramente em informações visuais. Source: https://arxiv.org/pdf/2012.02512.pdf

Métodos de deepfake bem-sucedidos e populares, como FaceSwap e DeepFaceLab/Live, atualmente não têm capacidade para criar aproximações biométricas granulares, dependendo, na melhor das hipóteses, de talentosos impersonadores em quem a identidade falsificada é imposta, e muito mais comumente em imagens de pessoas “semelhantes” capturadas no mundo.

Nor does the structure of the core 2017 code, which has little modularity and which remains the upstream source for DFL and FaceSwap, make adding this kind of functionality feasible.

Esses dois pacotes de deepfake dominantes são baseados em autoencoders. Métodos alternativos de síntese humana podem usar uma abordagem de Rede Adversária Generativa (GAN) ou Campo de Radiância Neural (NeRF) para recriar a identidade humana; mas ambas as linhas de pesquisa têm anos de trabalho à frente, mesmo para produzir vídeos humanos completamente fotorealistas.

Com a exceção do áudio (vozes falsificadas), a simulação biométrica está muito abaixo da lista de desafios que enfrentam a síntese de imagem humana. Em qualquer caso, reproduzir o timbre e outras qualidades da voz humana não reproduz suas peculiaridades e “dicas”, ou a maneira como o sujeito real usa a construção semântica. Portanto, mesmo a perfeição da simulação de voz de IA não resolve o potencial firewall de autenticidade biométrica.

Na Arxiv, várias estratégias de detecção de deepfake e inovações são lançadas a cada semana. Abordagens recentes se basearam em Homogeneidade de Rosto e Voz, Histograma de Padrão Binário Local (FF-LBPH), percepção humana de deepfakes de áudio, análise de bordos de rosto, contabilizando a degradação de vídeo, e ‘Balística Forense’ – entre muitas outras.

Análise de histograma segmentado é uma das últimas técnicas oferecidas para melhorar a detecção de deepfake. Source: https://arxiv.org/pdf/2203.09928.pdf

Abordagem, Dados e Arquitetura

POI-Forensics adota uma abordagem multimodal para verificação de identidade, aproveitando biometria suave baseada em pistas visuais e de áudio. O framework apresenta redes de áudio e vídeo separadas, que derivam dados de vetor característicos que podem ser comparados com os mesmos recursos extraídos em um vídeo de deepfake potencial em estudo.

A arquitetura conceitual de POI-Forensics.

Ambas as análises separadas (áudio ou vídeo) e de fusão podem ser efetadas em cliques de destino, chegando finalmente a um índice de similaridade de POI. A função de perda contrastiva empregada é baseada em uma colaboração acadêmica de 2021 entre Google Research, Boston University, Snap Inc. e MIT.

O conjunto de dados de base foi dividido em uma base por identidade. 4608 identidades foram usadas para treinamento, com 512 restantes para validação. As 500 identidades usadas em FakeAVCelebV2 (um candidato de teste, veja abaixo) foram excluídas para obter resultados não polarizados.

As duas redes foram treinadas por 12 épocas com um tamanho de lote excepcionalmente grande de 2304 lotes por época, com cada lote composto por 8×8 segmentos de vídeo – 8 segmentos para 8 identidades diferentes. O otimizador Adam foi usado com decaimento de peso desacoplado em uma taxa de aprendizado de 10⁻⁴, e um decaimento de peso de 0,01.

Testes e Resultados

Os conjuntos de dados de deepfake testados para o projeto foram o conjunto de dados de pré-visualização do Desafio de Detecção de Deepfake, que apresenta trocas de rosto em 68 sujeitos, dos quais 44 identidades foram selecionadas que têm mais de nove vídeos relacionados, totalizando 920 vídeos reais e 2925 vídeos falsos; DeepFake-TIMIT, um conjunto de dados baseado em GAN que apresenta 320 vídeos de 32 sujeitos, totalizando 290 vídeos reais e 580 vídeos falsos com duração de pelo menos quatro segundos; FakeAVCelebV2, que compreende 500 vídeos reais de Voxceleb2, e aproximadamente 20.000 vídeos falsos de vários conjuntos de dados, aos quais foi adicionado áudio clonado com SV2TTS para compatibilidade; e KoDF, um conjunto de dados de deepfake coreano com 403 identidades falsificadas por meio de FaceSwap, DeepFaceLab e FSGAN, bem como três Modelos de Movimento de Primeira Ordem (FOMM).

O último também apresenta síntese de face impulsionada por áudio ATFHP, e saída de Wav2Lip, com os autores usando um conjunto de dados derivado que apresenta 276 vídeos reais e 544 vídeos falsos.

As métricas usadas incluíram a área sob a curva de características de operação do receptor (AUC), e uma taxa de alarme falso aproximada de 10%, que seria problemática em frameworks que incorporam e treinam com dados falsos, mas que é obviada pelo fato de POI-Forensics usar apenas vídeos reais como entrada.

Os métodos foram testados contra o detector de deepfake Seferbekov, que alcançou o primeiro lugar no Desafio de Detecção de Deepfake do Kaggle; FTCN (Rede de Convolução Temporal Completa), uma colaboração entre a Universidade de Xiamen, na China, e a Microsoft Research Asia; LipForensics, um trabalho conjunto de 2021 entre o Imperial College London e o Facebook; e ID-Reveal, um projeto anterior de vários dos pesquisadores do novo artigo, que omite um aspecto de áudio e usa Modelos de Morfologia 3D em combinação com um cenário de jogo adversarial para detectar saída falsa.

Nos resultados (veja a tabela acima), POI-Forensics superou o líder de referência Seferbekov em 2,5% em AUC e 1,5% em termos de precisão. O desempenho foi mais competitivo em outros conjuntos de dados em alta qualidade.

No entanto, a nova abordagem demonstrou uma vantagem notável sobre todos os métodos de referência competitivos para vídeos de baixa qualidade, que permanecem o cenário mais provável em que os deepfakes são propensos a enganar os espectadores casuais, com base em contextos do “mundo real”.

Os autores afirmam:

‘De fato, nesse cenário desafiador, apenas as abordagens baseadas em identidade continuam a fornecer um bom desempenho, pois dependem de recursos semânticos de alto nível, bastante robustos a danos de imagem.’

Considerando que POI-Forensics usa apenas vídeo real como material de origem, o feito é ampliado, e sugere que usar os traços biométricos nativos de potenciais vítimas de deepfake é um caminho valioso para escapar da “guerra fria de artefatos” entre software de deepfake e soluções de detecção de deepfake.

Em um teste final, os pesquisadores adicionaram ruído adversarial à entrada, um método que pode enganar classificadores de forma confiável. O agora venerável método de sinal de gradiente rápido ainda se prova particularmente eficaz a esse respeito.

Estratégias de ataque adversarial reduziram a taxa de sucesso em todos os métodos e conjuntos de dados, com AUC descendo em incrementos entre 10% e 38%. No entanto, apenas POI-Forensics e o método anterior dos autores, ID-Reveal, foram capazes de manter um desempenho razoável sob esse cenário de ataque, sugerindo que os recursos de alto nível associados à biometria suave são extraordinariamente resistentes à evasão de detecção de deepfake.

Os autores concluem:

‘Em geral, acreditamos que nosso método é um primeiro passo; em particular, o uso de recursos semânticos de alto nível é uma promessa futura para pesquisas futuras. Além disso, a análise multimodal pode ser enriquecida ainda mais, incluindo mais informações de outros domínios, como dados textuais.’

Publicado pela primeira vez em 8 de abril de 2022.