Novo Método Detecta Falsificações Profundas Com 99% de Precisão

Uma equipe de cientistas da computação da UC Riverside desenvolveu um novo método para detectar expressões faciais manipuladas em vídeos de falsificações profundas. O método pode detectar essas expressões com até 99% de precisão, tornando-o mais preciso do que os métodos atuais de ponta.

O novo artigo de pesquisa intitulado “Detecção e Localização de Manipulações de Expressões Faciais” foi apresentado na Conferência de Inverno de 2022 sobre Aplicações de Visão Computacional.

Detectando Qualquer Manipulação Facial

O método também se provou tão preciso quanto os métodos atuais em casos em que a identidade facial foi trocada em vez das expressões. Isso significa que a nova abordagem pode ser usada para detectar qualquer tipo de manipulação facial e é um grande passo em direção ao desenvolvimento de ferramentas automatizadas para detectar vídeos manipulados.

Nunca foi tão fácil trocar o rosto de uma pessoa por outro ou alterar expressões originais devido aos recentes avanços no software de edição de vídeo. A detecção desses métodos é altamente importante, pois estão sendo cada vez mais utilizados em vários conflitos domésticos e internacionais em todo o mundo. Com isso, identificar faces com apenas expressões trocadas tem sido extremamente desafiador.

Amit Roy-Chowdhury é professor de engenharia elétrica e computacional da Faculdade de Engenharia Bourns. Ele também é coautor da pesquisa.

“O que torna a área de pesquisa de falsificações profundas mais desafiadora é a competição entre a criação e detecção e prevenção de falsificações profundas, que se tornará cada vez mais feroz no futuro. Com mais avanços em modelos geradores, as falsificações profundas serão mais fáceis de sintetizar e mais difíceis de distinguir da realidade”, disse ele.

Imagem: UC Riverside

Detecção de Manipulação de Expressão (EMD)

O novo método divide a tarefa em dois componentes dentro de uma rede neural profunda. O primeiro ramo discerna expressões faciais, fornecendo informações sobre as regiões que contêm a expressão. Essas regiões podem incluir a boca, olhos, testa e mais. Essas informações são alimentadas no segundo ramo, que é uma arquitetura codificador-decodificador responsável pela detecção e localização de manipulações.

A equipe nomeou o quadro de Detecção de Manipulação de Expressão (EMD) e pode detectar e localizar regiões específicas que foram alteradas em uma imagem.

Ghazal Mazaheri é um estudante de doutorado e líder da pesquisa.

“A aprendizagem multi-tarefa pode aproveitar recursos proeminentes aprendidos por sistemas de reconhecimento de expressões faciais para beneficiar o treinamento de sistemas de detecção de manipulação convencionais. Essa abordagem alcança um desempenho impressionante na detecção de manipulações de expressões faciais”, disse Mazaheri.

Os pesquisadores realizaram experimentos em dois conjuntos de dados de manipulação facial desafiadores e demonstraram que o EMD executa melhor com manipulações de expressões faciais, bem como trocas de identidade. Ele detectou com precisão 99% dos vídeos manipulados.