Identificando fontes de dados deepfake com marcação baseada em IA

Uma colaboração entre pesquisadores da China, Cingapura e Estados Unidos produziu um sistema resiliente para 'marcar' fotos de rosto de forma tão robusta que os marcadores de identificação não são destruídos durante uma deepfake processo de treinamento, abrindo caminho para reivindicações de IP que poderiam prejudicar a capacidade dos sistemas de geração de imagens sintéticas de 'anonimizar' dados de origem extraídas ilegitimamente.

O sistema, intitulado FakeTagger, usa um processo de codificador/decodificador para incorporar informações de identificação visualmente indiscerníveis em imagens em um nível baixo o suficiente para que as informações injetadas sejam interpretadas como dados essenciais de características faciais e, portanto, transmitidas abstração processos intactos, da mesma forma, por exemplo, como dados de olho ou boca.

Uma visão geral da arquitetura do FakeTagger. Os dados de origem são usados ​​para gerar uma característica facial 'redundante', ignorando os elementos de fundo que serão mascarados por meio de um fluxo de trabalho deepfake típico. A mensagem é recuperável na outra ponta do processo e identificável por meio de um algoritmo de reconhecimento apropriado. Fonte: http://xujuefei.com/felix_acmmm21_faketagger.pdf

A pesquisa vem da Escola de Ciência Cibernética e Engenharia de Wuhan, do Laboratório Principal de Segurança da Informação Aeroespacial e Computação Confiável do Ministério da Educação da China, do Alibaba Group nos EUA, da Northeastern University em Boston e da Nanyang Technological University em Cingapura.

Resultados experimentais com FakeTagger indicam uma taxa de reidentificação de até quase 95% em quatro tipos comuns de metodologias deepfake: troca de identidade (ou seja, DeepFace Lab, Troca de rosto); reconstituição facial; edição de atributos; e síntese total.

Deficiências da Detecção Deepfake

Embora os últimos três anos tenham trazido uma colheita de novas abordagens para metodologias de identificação de deepfake, todas essas abordagens são importantes para deficiências remediáveis ​​de fluxos de trabalho de deepfake, como brilho dos olhos em modelos subtreinados, e falta de piscar em deepfakes anteriores com conjuntos de rostos inadequadamente diversos. À medida que novas chaves são identificadas, os repositórios de software livre e de código aberto as evitam, seja deliberadamente ou como subproduto de melhorias nas técnicas de deepfake.

O novo artigo observa que o método de detecção post-facto mais eficaz produzido a partir da mais recente competição de detecção de deepfake (DFDC) do Facebook é limitado a 70% de precisão, em termos de detecção de deepfakes na natureza. Os pesquisadores atribuem essa falha representativa à má generalização contra novos e inovadores GAN e sistemas deepfake de codificador/decodificador e à qualidade frequentemente degradada das substituições de deepfake.

No último caso, isso pode ser causado por trabalho de baixa qualidade por parte de deepfakers ou artefatos de compactação quando os vídeos são enviados para plataformas de compartilhamento que buscam limitar os custos de largura de banda e recodificar vídeos com taxas de bits drasticamente mais baixas do que os envios. . Ironicamente, essa degradação da imagem não só não interfere na aparente autenticidade de um deepfake, mas pode, na verdade, aumentar a ilusão, já que o vídeo deepfake é incluído em um idioma visual comum de baixa qualidade que é percebido como autêntico.

Marcação de sobrevivência como uma ajuda para a inversão do modelo

A identificação de dados de origem a partir de resultados de aprendizagem automática é um campo relativamente novo e crescente, e que torna possível uma nova era de litígios baseados em IP, à medida que os actuais governos permissivo os regulamentos de captura de tela (projetados para não sufocar a preeminência da pesquisa nacional em face de uma 'corrida armamentista' global de IA) evoluem para uma legislação mais rígida à medida que o setor se torna comercializado.

Inversão de modelo lida com o mapeamento e identificação de dados de origem a partir da saída gerada por sistemas de síntese em vários domínios, incluindo geração de linguagem natural (NLG) e síntese de imagem. A inversão do modelo é particularmente eficaz na reidentificação de rostos que estavam borrados, pixelados ou passaram pelo processo de abstração de uma Rede Adversarial Generativa ou sistema de transformação de codificador/decodificador, como o DeepFaceLab.

Adicionar marcação direcionada a imagens faciais novas ou existentes é um novo auxílio em potencial para modelar técnicas de inversão, com Watermarking um campo emergente.

Marcação pós-fato

O FakeTagger destina-se a uma abordagem de pós-processamento. Por exemplo, quando um usuário envia uma foto para uma rede social (o que geralmente envolve algum tipo de processo de otimização e raramente uma transferência direta e não adulterada da imagem original), o algoritmo processa a imagem para aplicar características supostamente indeléveis ao rosto .

Como alternativa, o algoritmo pode ser aplicado em coleções de imagens históricas, como aconteceu várias vezes nos últimos vinte anos, já que grandes bancos de imagens e sites de coleções de imagens comerciais têm procurado métodos para identificar o conteúdo que foi reutilizado sem permissão.

O FakeTagger procura incorporar características de ID recuperáveis ​​de vários processos deepfake.

Desenvolvimento e Teste

Os pesquisadores testaram o FakeTagger em vários aplicativos de software deepfake nas quatro abordagens mencionadas, incluindo o repositório mais usado, DeepFaceLab; Stanford's Face2Face, que pode transferir expressões faciais em imagens e identidades; e STGAN, que pode editar atributos faciais.

O teste foi feito com CelebA-HQ, um popular repositório público copiado contendo 30,000 imagens de rostos de celebridades em várias resoluções de até 1024 x 1024 pixels.

Como linha de base, os pesquisadores inicialmente testaram técnicas convencionais de marca d'água de imagem, para ver se as tags impostas sobreviveriam aos processos de treinamento de fluxos de trabalho deepfake, mas os métodos falharam em todas as quatro abordagens.

Os dados incorporados do FakeTagger foram injetados no estágio do codificador nas imagens do conjunto de faces usando uma arquitetura baseada no U-Net rede convolucional para segmentação de imagens biomédicas, lançada em 2015. Posteriormente, a seção do decodificador da estrutura é treinada para encontrar as informações incorporadas.

O processo foi testado em um simulador GAN que alavancou os aplicativos/algoritmos FOSS mencionados, em uma configuração de caixa preta sem acesso discreto ou especial aos fluxos de trabalho de cada sistema. Sinais aleatórios foram anexados às imagens de celebridades e registrados como dados relacionados a cada imagem.

Em uma configuração de caixa preta, o FakeTagger foi capaz de atingir uma precisão superior a 88.95% nas abordagens dos quatro aplicativos. Em um cenário de caixa branca paralela, a precisão aumentou para quase 100%. No entanto, como isso sugere futuras iterações de software deepfake que incorporam o FakeTagger diretamente, é um cenário improvável em um futuro próximo.

Contando o Custo

Os pesquisadores observam que o cenário mais desafiador para o FakeTagger é a síntese completa da imagem, como a geração abstrata baseada em CLIP, uma vez que os dados de treinamento de entrada estão sujeitos aos níveis mais profundos de abstração nesse caso. No entanto, isso não se aplica aos fluxos de trabalho deepfake que dominaram as manchetes nos últimos anos, pois dependem da reprodução fiel das características faciais que definem a identidade.

O artigo também observa que os invasores adversários poderiam tentar adicionar perturbações, como ruído artificial e granulação, a fim de frustrar esse sistema de marcação, embora isso provavelmente tenha um efeito prejudicial na autenticidade da saída deepfake.

Além disso, eles observam que o FakeTagger precisa adicionar dados redundantes às imagens para garantir a sobrevivência das tags que ele incorpora e que isso pode ter um custo computacional notável em escala.

Os autores concluem observando que o FakeTagger pode ter potencial para rastreamento de proveniência em outros domínios, como ataques de chuva adversários e outros tipos de ataques baseados em imagens, como exposição adversária, neblina, borrão, vinheta variação de cor.