Precisão de Detecção de Deepfake Cai 49% em Um Ano de Progresso em Vídeo de IA

Observo com interesse um novo artigo liderado pela Ucrânia indicando que a geração mais antiga de detectores de deepfake de vídeo tem desempenho muito ruim nos vídeos genAI de última geração, seja esses geradores de código aberto, instalações locais de IA como o Wan 2.2 da Alibaba ou o Hunyuan Video; ou modelos apenas de API, de código fechado, como o Grok Imagine ou o Kling.

Clique para reproduzir (CONTEÚDO DE ÁUDIO). Três exemplos da categoria ‘Direto para a câmera casual’ no conjunto de dados DF26. Fonte 

Em 2024, outro artigo já havia demonstrado que a capacidade humana de detectar vídeo de IA era não muito superior ao acaso, em 57%. O que o novo estudo (intitulado DF26: We Cannot Tell Fake From Real Anymore) acrescenta é evidência empírica de que os detectores automáticos de deepfake caíram drasticamente em eficácia desde então – de 94% para 48%, ao enfrentar a produção de vídeo genAI mais recente.

Do novo conjunto de dados gerado para o estudo, exemplos de vídeos gerados por imagem-para-vídeo e texto-para-vídeo (abaixo), comparados a vídeos reais à esquerda. O corpus concentra-se em configurações ‘persuasivas’ e credíveis de cabeça e ombros, que estão entre os domínios genAI mais preocupantes no momento. Fonte

O declínio mais acentuado nos testes realizados para o estudo representa uma queda de 49%. Como a referência anterior data de 2025, e o novo estudo testa uma variedade dos modelos de vídeo de geração 2026 mais recentes, esse número representa quase um ano de deterioração na eficácia da detecção de vídeo por IA.

Detalhes dos modelos usados para gerar os vídeos contra os quais os detectores foram testados.

Os modelos comerciais de código fechado usados para gerar essa saída que derrota os detectores foram Grok 1.0; Kling 3.0; Veo 3.1; e Wan 2.6. Apenas exemplos de texto-para-vídeo foram gerados para esses, pois tentativas de geração de imagem-para-vídeo (I2V) frequentemente acionavam filtros relativos à ‘geração de deepfake’, ou violariam os termos de serviço da plataforma.

Olhe Nos Meus Olhos

Esses gatilhos ocorreram, provavelmente, porque os pesquisadores se concentraram na forma de persuasão baseada em vídeo potencialmente mais poderosa e, possivelmente, sinistra – diversas variações de vídeos de ‘cabeça e ombros’ e ‘cabeça falante’, com sujeitos falando diretamente para a câmera, como em vídeos de influenciadores no YouTube e TikTok, ou em cenários de reportagens jornalísticas (incluindo entrevistados via conexões via satélite, etc.).

Os autores argumentam que esses cenários são alvos principais para atividade de deepfake, sobretudo porque representam contextos de ‘influenciador’ e diversos outros contextos ‘informacionais’ – contextos onde existe a suposição de um relacionamento prévio de confiança, e onde esse relacionamento tem grande potencial de abuso (naturalmente isso se aplica, ao menos igualmente, a chamadas de vídeo deepfake, embora os pesquisadores não abordem isso).

Do auge da era de deepfakes baseada em autoencoders, a manipulação de filmagens reais de Richard Nixon conseguiu simular seu anúncio da morte dos astronautas da Apollo 9 em 1969 – um evento que nunca ocorreu, mas cujo roteiro real foi usado para impor uma voz e movimentos labiais deepfake.

Além de focar neste cenário de influenciador, o novo benchmark – e os vídeos criados para ele – concentram-se em avaliar o quadro inteiro do vídeo, em contraste com as estratégias históricas de detecção de deepfake.

Essas estratégias mais antigas aplicavam manipulação facial ou manipulação de expressão, ou substituição facial (ou, na melhor das hipóteses, de cabeça inteira) em vídeos reais – que era de fato a única abordagem razoável, até que modelos baseados em difusão se tornaram suficientemente eficazes para substituí‑los nos últimos 18‑24 meses.

Rosto Virado

Isso não é mais como se faz; o antigo método baseado em autoencoder remonta ao surgimento inicial dos deepfakes no final de 2017; e essa técnica, que substitui apenas a área dentro dos contornos externos do rosto, foi totalmente esgotada em 2022.

O principal terreno para atividade de deepfake, 2017‑2023 – mas para a nova geração de plataformas de vídeo genAI, não há tal limite para concentrar a atenção. Fonte

No entanto, como o setor de pesquisa científica ama uma constante de longo prazo – onde o alvo é fixo, e onde uma gama evolutiva de abordagens pode ser aplicada ao longo dos anos/décadas – os métodos de detecção de deepfake baseados em ‘substituição/alteração de face interna’ persistiram na literatura e nas ofertas comerciais de detecção, muito além da validade da tecnologia subjacente visada.

Além dos três modelos proprietários testados para o novo trabalho, três modelos de código aberto muito capazes e utilizáveis por consumidores também foram experimentados: Wan 2.2 A14B; HunyuanVideo 1.5; e LTX 2.3, que tem deslumbrado a comunidade FOSS genAI ultimamente. A linha LTX também é capaz de gerar fala:

Clique para reproduzir: experimentos com a série LTX em r/stablediffusion, cuja comunidade lida apenas com modelos FOSS. Source 

Projeto de Dados

Os autores pretendem que seu novo conjunto de dados, DF26, seja um ‘hold-out’ set para avaliação de material não visto. A coleção consiste em 2.691 vídeos em três cenários de fala pública: endereços diretos à câmera ou informais; declarações oficiais; e entrevistas em estúdio.

Todos os clipes de vídeo gerados por IA foram baseados em 271 clipes reais curados de OpenVid; TalkingCelebs; e MAVOS-DD.

Amostra da coleção OpenVid, da qual 271 vídeos reais foram obtidos como material base para os vídeos gerados por IA na coleção DF26. Dois outros conjuntos de dados também contribuíram para este componente não falso do DF26. Source

Os 271 vídeos reais foram usados para gerar os vídeos de IA derivando prompts de cena correspondentes de seus quadros, e então alimentando esses prompts – e o primeiro quadro em si, quando suportado – nos sete modelos de geração de vídeo, produzindo um total de 2.420 clipes sintéticos.

Os autores garantiram que nenhum quadro do mundo real contendo sobreposições de texto (como anúncios de quem está falando, etc.) fosse permitido nos fluxos de geração, pois isso provavelmente teria incentivado atalhos e suposições. Os clipes candidatos foram avaliados por Gemini 2.5.

Além disso, segmentos contendo mais de um rosto foram rejeitados, para impor uma configuração de ‘falante único’.

Clique para reproduzir [NO SOUND]. Do conjunto de dados associado ao artigo, exemplos de gerações de vídeo de ponta em sete dos modelos generativos mais recentes e mais capazes, tanto de código aberto quanto fechado. Os modelos usados para o conjunto de dados incluem aqueles também capazes de gerar fala (veja exemplos anteriores neste artigo). Source

Os pesquisadores usaram a popular plataforma comercial Higgsfield AI, que disponibiliza uma ampla variedade de modelos fechados e de código aberto, com diversos níveis de controle e restrições.

Com uma NVIDIA H200 (141 GB de VRAM) como GPU base para um cluster interno de pesquisa, foram necessárias cerca de 440 horas de GPU para gerar 1.626 vídeos para a coleção.

Além de garantir que nenhum texto fosse visível na saída, também foi necessário ofuscar ou, de modo geral, evitar a representação de marca d’água de IA, já que isso também representaria um possível ‘atalho’ para um avaliador ou sistema de avaliação.

Testes

A métrica principal usada para uma rodada final de testes foi a Área Sob a Curva Característica de Operação do Receptor (AUC / AUROC), com a Taxa de Erro Igual (EER) como medida complementar.

Detectores baseados em quadros (que avaliam quadros individuais de forma independente) foram testados em 32 quadros uniformemente espaçados de cada vídeo, com as pontuações então médias em um único resultado. Detectores temporais (que podem usar informações de quadros sucessivos) analisaram, em vez disso, a própria sequência de vídeo.

Resultados para os detectores temporais DFD-FCG e PwTF-DVD podem ser vistos abaixo, juntamente com resultados para ForAda; Effort; FSFM; GenD-CLIP e GenD-DINO; e DFD-HR. Todos foram treinados no venerável conjunto de dados FaceForensics++.

Resultados de teste comparando detectores de deepfake em CelebDF++ e DF26. Todos os detectores foram treinados em FaceForensics++, com AUROC mais alto e EER mais baixo indicando melhor desempenho.

Os autores observam que a maioria dos detectores tem bom desempenho em Celeb-DF++ (CDFv3), mas cai drasticamente na coleção DF26 mais desafiadora.

‘[Multiple] detectores de última geração alcançam forte desempenho no benchmark CelebDF++ [16] (CDFv3), com métodos temporais atingindo AUROC de 94,3 e 92,3.

‘Entretanto, o desempenho deles cai substancialmente no DF26, para 48,2 e 61,6 AUROC, respectivamente.

‘A maioria dos métodos degrada substancialmente, permanecendo próximo ao acaso; o maior AUROC de 69,7 é alcançado pelo GenD-PE.

‘Isso demonstra que o DF26 é um benchmark mais desafiador para os detectores de última geração.’

Imagem-para-vídeo, observaram, mostrou-se mais difícil de detectar do que texto-para-vídeo, tanto para pessoas quanto para detectores automatizados, com o PwTF-DVD apresentando o melhor desempenho em material I2V, e o GenD-PE liderando em T2V.

O desempenho variou dramaticamente dependendo de qual gerador produziu o vídeo falso, sugerindo que os detectores frequentemente aprendiam rastros específicos do gerador ao invés de uma assinatura geral de vídeo sintético. O PwTF-DVD, por exemplo, atingiu 92,9 AUROC na saída texto-para-vídeo do Wan 2.2, mas caiu para desempenho próximo ao acaso no HunyuanVideo 1.5 – embora ambos pertençam ao mesmo panorama de gerações modernas:

Desempenho dos detectores em geradores de vídeo comerciais e de código aberto. A grande variação entre as colunas mostra que a confiabilidade da detecção depende fortemente de qual modelo produziu o vídeo, com o GenD-PE alcançando a maior média geral de AUROC.

A seguir vemos que o retreinamento do GenD-PE em material mais recente do DF26 melhorou substancialmente sua capacidade de detectar vídeos de geradores que não havia visto durante o treinamento:

Resultados do retreinamento para o GenD-PE em geradores de vídeo não vistos. Treinar com material mais recente do DF26 geralmente melhorou o desempenho entre geradores em comparação com o treinamento original no FaceForensics++.

Treinar no HunyuanVideo 1.5 elevou o AUROC para pelo menos 93,1 no Grok Imagine 1.0, Veo 3.1 e Wan 2.6, sustentando o argumento do artigo de que detectores treinados apenas em conjuntos de dados mais antigos, como o FaceForensics++, estão mal ajustados aos vídeos gerados atualmente.

Talvez previsivelmente, os dois detectores temporais tiveram muito mais facilidade com vídeos de código aberto do que com clipes de modelos comerciais. O DFD-FCG caiu de 57,4 AUROC em material de código aberto para 34,5 em vídeo fechado; enquanto o PwTF-DVD diminuiu de 70,5 para 48,3:

Resultados comparando dois detectores temporais entre fonte do gerador e cenário de fala. Ambos apresentaram desempenho substancialmente pior em vídeo fechado, enquanto as diferenças entre os tipos de cena foram menores.

Entretanto, o artigo não chega a declarar que os modelos comerciais são simplesmente mais difíceis de detectar, já que diferenças na família do modelo, pós-processamento e qualidade visual também podem ser fatores.

O tipo de cena importou muito menos: o DFD-FCG permaneceu próximo ao acaso em clipes direto para a câmera, declarações oficiais e entrevistas em estúdio, enquanto o PwTF-DVD teve melhor desempenho em declarações oficiais. Segundo o artigo, o próprio gerador parece importar mais que o estilo de apresentação.

Um estudo humano também foi realizado para verificar se as pessoas enfrentavam dificuldades com o DF26 da mesma forma que os detectores automatizados. Em 232 sessões de rotulagem, os participantes julgaram curtos clipes do DF26, CelebDF++ e DeepSpeak v2 como reais ou falsos, sem saber quantos exemplos de cada classe veriam.

Precisão humana em DF26, CelebDF++ e DeepSpeak v2. Os participantes identificaram vídeos reais em taxas semelhantes nos três conjuntos de dados, enquanto a precisão em vídeos falsos do DF26 ficou próxima ao acaso.

O desempenho em vídeos reais foi semelhante nos três conjuntos de dados, com 76,0% para DF26, 75,5% para CelebDF++ e 72,8% para DeepSpeak v2. A diferença apareceu nos vídeos falsos, onde a precisão caiu para 52,6% no DF26, comparado a 74,5% e 69,8% nos dois conjuntos de dados mais antigos.

Portanto, segundo o artigo, embora os participantes não tenham ficado geralmente confusos com o DF26, eles tiveram dificuldade em encontrar evidências específicas visíveis de que seus vídeos sintéticos eram falsos.

Conclusão

Apesar de um aumento de 16 vezes relatado na frequência de deepfakes nos últimos dois anos, a realidade dos deepfakes malévolos está amplamente ausente de nossa experiência cotidiana, a menos que sejamos nós mesmos alvos deles.

No caso das vítimas de deepfakes sexuais, isso é totalmente compreensível – mas como os deepfakes agora têm um impacto crescente no crime de fraude, pode ser útil que mais desse material seja compartilhado com o público, de modo que nosso contexto seja atualizado da ‘era dourada’ dos deepfakes baseados em autoencoders para a era muito mais incisiva e enganosa dos deepfakes baseados em difusão.

É claro que a maior parte do material relativo à saída dos modelos no novo estudo, bem como de outros modelos, aparece sem contexto adequado nas plataformas de mídia social cujos moderadores podem não ser capazes de distinguir IA do real, ou que simplesmente não se importam.

Uma métrica adicional que todos podemos aplicar a vídeos que duvidamos é credulidade razoável – mas essa faculdade varia tanto entre os indivíduos que se torna pouco confiável. Portanto, pode ser que, por um período de transição, enquanto nos acostumamos ao impacto dessa tecnologia e às suas capacidades cada vez maiores, simplesmente devemos adiar o julgamento.

Primeira publicação segunda‑feira, 14 de setembro de 2026