GOTCHA – Um Sistema de CAPTCHA para Deepfakes ao Vivo

Nova pesquisa da Universidade de Nova York acrescenta às crescentes indicações de que podemos ter que fazer o equivalente a um “teste de embriaguez” para nos autenticar antes de iniciar uma chamada de vídeo sensível – como uma videoconferência relacionada ao trabalho ou qualquer outro cenário sensível que possa atrair fraudadores que usam software de transmissão de deepfakes em tempo real.

Alguns dos desafios ativos e passivos aplicados a cenários de chamadas de vídeo no GOTCHA. O usuário deve obedecer e passar nos desafios, enquanto métodos ‘passivos’ adicionais (como tentar sobrecarregar um possível sistema de deepfakes) são usados sobre os quais o participante não tem influência. Fonte: http://export.arxiv.org/pdf/2210.06186

O sistema proposto é intitulado GOTCHA – uma homenagem aos sistemas de CAPTCHA que se tornaram um obstáculo crescente para a navegação na web nos últimos 10-15 anos, nos quais sistemas automatizados exigem que o usuário execute tarefas que as máquinas são ruins em realizar, como identificar animais ou decifrar texto distorcido (e, ironicamente, esses desafios requentemente transformam o usuário em um anotador de estilo AMT gratuito).

Em essência, o GOTCHA estende o papel de agosto de 2022 DF-Captcha da Universidade Ben-Gurion, que foi o primeiro a propor a ideia de fazer com que a pessoa do outro lado da chamada pulasse por alguns obstáculos semanticamente visuais para provar sua autenticidade.

O papel de agosto de 2022 da Universidade Ben Gurion propôs uma série de testes interativos para o usuário, incluindo ocultar o rosto ou até mesmo pressionar a pele – tarefas que mesmo sistemas de deepfakes em tempo real bem treinados podem não ter antecipado ou ser capazes de lidar com fotorealismo. Fonte: https://arxiv.org/pdf/2208.08524.pdf

Notavelmente, o GOTCHA adiciona metodologias ‘passivas’ a uma ‘cascata’ de testes propostos, incluindo a superposição automática de elementos irreais sobre o rosto do usuário e a ‘sobrecarga’ de quadros que passam pelo sistema de origem. No entanto, apenas as tarefas responsivas do usuário podem ser avaliadas sem permissões especiais para acessar o sistema local do usuário – o que, presumivelmente, viria na forma de módulos ou complementos locais para sistemas populares como Skype e Zoom, ou até mesmo na forma de software proprietário dedicado especificamente para eliminar falsificadores.

Do papel, uma ilustração da interação entre o chamador e o sistema no GOTCHA, com linhas pontilhadas como fluxos de decisão.

Os pesquisadores validaram o sistema em um novo conjunto de dados contendo mais de 2,5 milhões de quadros de vídeo de 47 participantes, cada um realizando 13 desafios do GOTCHA. Eles afirmam que a estrutura induz uma ‘redução consistente e mensurável’ na qualidade do conteúdo de deepfakes para usuários fraudulentos, sobrecarregando o sistema local até que artefatos evidentes se tornem claros para o olho humano nu (embora o GOTCHA também contenha alguns métodos de análise algorítmica mais sutis).

O novo papel é intitulado Gotcha: Um Sistema de Resposta a Desafios para Detecção de Deepfakes em Tempo Real (o nome do sistema é capitalizado no corpo, mas não no título da publicação, embora não seja um acrônimo).

Uma Série de Desafios

Em grande parte de acordo com o papel da Universidade Ben Gurion, os desafios reais que o usuário enfrenta são divididos em vários tipos de tarefas.

Para ocultação, o usuário é solicitado a ocultar seu rosto com a mão ou com outros objetos, ou a apresentar seu rosto em um ângulo que não seja provável que tenha sido treinado em um modelo de deepfakes (geralmente devido à falta de dados de treinamento para poses ‘estranhas’ – veja a variedade de imagens na primeira ilustração acima).

Além das ações que o usuário pode realizar por conta própria de acordo com as instruções, o GOTCHA pode superpor cortes aleatórios de rosto, adesivos e filtros de realidade aumentada, a fim de ‘corromper’ o fluxo de rosto que um modelo de deepfakes local treinado pode estar esperando, causando falha. Como indicado anteriormente, embora isso seja um processo ‘passivo’ para o usuário, é um processo intrusivo para o software, que precisa ser capaz de intervir diretamente no fluxo do correspondente de destino.

Em seguida, o usuário pode ser solicitado a fazer expressões faciais incomuns que são prováveis de serem ausentes ou sub-representadas em qualquer conjunto de dados de treinamento, causando uma diminuição na qualidade da saída de deepfakes (imagem ‘b’, segunda coluna da esquerda, na primeira ilustração acima).

Como parte dessa linha de testes, o usuário pode ser solicitado a ler texto ou fazer conversa que é projetada para desafiar um sistema de deepfakes em tempo real local, que pode não ter treinado uma gama adequada de fonemas ou outros tipos de dados de boca para um nível em que possa reconstruir movimentos de lábios precisos sob tal escrutínio.

Finalmente (e isso parece desafiar os talentos de atuação do correspondente de destino), nessa categoria, o usuário pode ser solicitado a realizar uma ‘micro-expressão’ – uma expressão facial curta e involuntária que trai uma emoção. Do papel, diz: ‘[isso] geralmente dura 0,5-4,0 segundos e é difícil de falsificar’.

Embora o papel não descreva como extrair uma micro-expressão, a lógica sugere que a única maneira de fazê-lo é criar uma emoção apropriada no usuário final, talvez com algum tipo de conteúdo surpreendente apresentado a ele como parte da rotina do teste.

Distorção Facial, Iluminação e Convidados Inesperados

Além disso, de acordo com as sugestões do papel de agosto, o novo trabalho propõe pedir ao usuário final que realize distorções faciais incomuns e manipulações, como pressionar o dedo no rosto, interagir com o rosto e/ou cabelo e realizar outros movimentos que nenhum sistema de deepfakes em tempo real atual é provável que possa lidar bem, pois essas são ações marginais – mesmo que estivessem presentes no conjunto de dados de treinamento, sua reprodução seria provavelmente de baixa qualidade, de acordo com outros dados ‘fora do comum’.

Um sorriso, mas essa ‘cara deprimida’ não é traduzida bem por um sistema de deepfakes em tempo real local.

Um desafio adicional reside em alterar as condições de iluminação em que o usuário final está situado, pois é possível que o treinamento de um modelo de deepfakes tenha sido otimizado para situações de iluminação padrão de videoconferência, ou até mesmo as condições de iluminação exatas em que a chamada está ocorrendo.

Assim, o usuário pode ser solicitado a direcionar a lanterna do telefone celular para o rosto ou de alguma outra forma alterar a iluminação (e vale notar que essa abordagem é a proposição central de outro papel de detecção de deepfakes em tempo real que foi publicado este verão).

Sistemas de deepfakes em tempo real são desafiados por iluminação inesperada – e até mesmo por várias pessoas no fluxo, onde estava esperando apenas um indivíduo.

No caso do sistema proposto ter a capacidade de interpor no fluxo de usuário local (que é suspeito de abrigar um intermediário de deepfakes), adicionar padrões inesperados (veja a coluna do meio na imagem acima) pode comprometer a capacidade do algoritmo de deepfakes de manter uma simulação.

Além disso, embora seja irrazoável esperar que um correspondente tenha pessoas adicionais à mão para ajudar a autenticá-lo, o sistema pode interpor faces adicionais (imagem da direita acima) e ver se algum sistema de deepfakes local comete o erro de mudar a atenção – ou até mesmo tentar criar deepfakes para todos eles (sistemas de deepfakes com autoencoder não têm capacidades de ‘reconhecimento de identidade’ que possam manter a atenção focada em um indivíduo nesse cenário).

Esteganografia e Sobrecarga

O GOTCHA também incorpora uma abordagem primeiramente proposta pela Universidade da Califórnia, San Diego, em abril deste ano, e que usa esteganografia para criptografar uma mensagem no fluxo de vídeo do usuário. Rotinas de deepfakes destruiriam completamente essa mensagem, levando a uma falha de autenticação.

De um papel de abril de 2022 da Universidade da Califórnia, San Diego, e da Universidade Estadual de San Diego, um método de determinar identidade autêntica verificando se um sinal esteganográfico enviado para o fluxo de vídeo do usuário sobrevive ao loop local intacto – se não, pode haver alguma trapaça de deepfakes. Fonte: https://arxiv.org/pdf/2204.01960.pdf

Além disso, o GOTCHA é capaz de sobrecarregar o sistema local (dado acesso e permissão), duplicando um fluxo e apresentando ‘excessivos’ dados a qualquer sistema local, projetado para causar falha de replicação em um sistema de deepfakes local.

O sistema contém testes adicionais (veja o papel para detalhes), incluindo um desafio, no caso de um correspondente baseado em smartphone, de girar o telefone de cabeça para baixo, o que distorceria um sistema de deepfakes local:

Novamente, esse tipo de coisa só funcionaria com um caso de uso convincente, onde o usuário é forçado a conceder acesso local ao fluxo, e não pode ser implementado por avaliação passiva simples do vídeo do usuário, ao contrário dos testes interativos (como pressionar o dedo no rosto).

Praticidade

O papel toca brevemente na extensão com que testes desse tipo podem irritar o usuário final ou, de outra forma, incomodá-lo – por exemplo, obrigando o usuário a ter à mão vários objetos que podem ser necessários para os testes, como óculos de sol.

Ele também reconhece que pode ser difícil fazer com que correspondentes poderosos sejam complacentes com as rotinas de teste. No que diz respeito ao caso de uma videochamada com um CEO, os autores afirmam:

‘A usabilidade pode ser fundamental aqui, então desafios informais ou frívolos (como distorções faciais ou expressões) podem não ser apropriados. Desafios que usam artigos físicos externos podem não ser desejáveis. O contexto aqui é apropriadamente modificado e o GOTCHA adapta sua série de desafios de acordo.’

Dados e Testes

O GOTCHA foi testado contra quatro cepas de sistema de deepfakes em tempo real local, incluindo duas variações do popular criador de deepfakes autoencoder DeepFaceLab (‘DFL’, embora, surpreendentemente, o papel não mencione DeepFaceLive, que tem sido, desde agosto de 2021, a implementação ’em tempo real’ do DeepFaceLab, e parece o recurso mais provável para um possível falsificador).

Os quatro sistemas foram DFL treinado ‘levemente’ em uma pessoa não famosa que participou dos testes e um celebridade; DFL treinado mais completamente, para 2 milhões ou mais de iterações ou etapas, onde se esperaria um modelo muito mais performático; Latent Image Animator (LIA); e Face Swapping Generative Adversarial Network (FSGAN).

Para os dados, os pesquisadores capturaram e curaram os vídeos mencionados, apresentando 47 usuários realizando 13 desafios ativos, com cada usuário produzindo cerca de 5-6 minutos de vídeo em 1080p a 60fps. Os autores afirmam também que esses dados serão eventualmente liberados publicamente.

A detecção de anomalias pode ser realizada por um observador humano ou algoritmicamente. Para a segunda opção, o sistema foi treinado em 600 faces do conjunto de dados FaceForensics. A função de perda de regressão foi a poderosa Learned Perceptual Image Patch Similarity (LPIPS), enquanto a entropia cruzada binária foi usada para treinar o classificador. EigenCam foi usado para visualizar os pesos do detector.

Resultados principais dos testes para o GOTCHA.

Os pesquisadores descobriram que, para a cascata completa de testes em todos os quatro sistemas, o menor número e gravidade de anomalias (ou seja, artefatos que revelariam a presença de um sistema de deepfakes) foram obtidos pela distribuição DFL mais treinada. A versão menos treinada lutou particularmente para recriar movimentos de lábios complexos (que ocupam muito pouco do quadro, mas que recebem alta atenção humana), enquanto o FSGAN ocupou o meio-termo entre as duas versões do DFL, e o LIA provou ser completamente inadequado para a tarefa, com os pesquisadores opinando que o LIA falharia em um deploy real. Primeiramente publicado em 17 de outubro de 2022.