Codificação de Imagens Contra o Uso em Sistemas de Síntese de Imagem e Deepfake

A linha de investigação mais conhecida no crescente setor de pesquisa anti-deepfake envolve sistemas que podem reconhecer artefatos ou outras características supostamente distintas de faces deepfaked, sintetizadas ou falsificadas em conteúdo de vídeo e imagem.

Essas abordagens usam uma variedade de táticas, incluindo detecção de profundidade, disrupção da regularidade do vídeo, variações na iluminação do monitor (em chamadas de vídeo potencialmente deepfaked), características biométricas, regiões da face externa e até mesmo os poderes ocultos do sistema subconsciente humano.

O que esses, e métodos semelhantes, têm em comum é que, no momento em que são implantados, os mecanismos centrais que estão lutando já foram treinados com sucesso em milhares, ou centenas de milhares de imagens coletadas da web – imagens a partir das quais os sistemas autoencoder podem facilmente derivar recursos-chave e criar modelos que podem impor falsa identidade em footagens de vídeo ou imagens sintetizadas – mesmo em tempo real.

Em resumo, quando esses sistemas estão ativos, o cavalo já saiu da estábulo.

Imagens Hostis a Arquiteturas de Síntese de Imagem e Deepfake

Por meio de uma atitude mais preventiva em relação à ameaça de deepfakes e síntese de imagem, uma linha de pesquisa menos conhecida nesse setor envolve as possibilidades inerentes em tornar todas essas fotos inamistosas para os sistemas de síntese de imagem da IA, geralmente de maneiras imperceptíveis ou quase imperceptíveis.

Exemplos incluem FakeTagger, uma proposta de 2021 de várias instituições nos EUA e Ásia, que codifica mensagens em imagens; essas codificações são resistentes ao processo de generalização e podem ser recuperadas mesmo após as imagens terem sido coletadas da web e treinadas em uma Rede Adversária Generativa (GAN) do tipo mais famosamente incorporado por thispersondoesnotexist.com e seus numerous derivatives.

FakeTagger codifica informações que podem sobreviver ao processo de generalização ao treinar uma GAN, tornando possível saber se uma imagem específica contribuiu para as capacidades gerativas do sistema. Fonte: https://arxiv.org/pdf/2009.09869.pdf

Para o ICCV 2021, outro esforço internacional instituiu impressões digitais artificiais para modelos gerativos, (veja a imagem abaixo) que produz “impressões digitais” recuperáveis do output de uma GAN de síntese de imagem como StyleGAN2.

Mesmo sob uma variedade de manipulações extremas, recortes e substituições de face, as impressões digitais passadas por ProGAN permanecem recuperáveis. Fonte: https://arxiv.org/pdf/2007.08457.pdf

Outras iterações desse conceito incluem um projeto de 2018 da IBM e um esquema de marca d’água digital no mesmo ano, do Japão.

Mais inovadoramente, uma iniciativa de 2021 da Universidade de Aeronáutica e Astronáutica de Nanjing buscou “criptografar” imagens de treinamento de tal forma que elas treinariam efetivamente apenas em sistemas autorizados, mas falhariam catastroficamente se usadas como dados de origem em um pipeline de treinamento de síntese de imagem genérico.

Na prática, todos esses métodos caem na categoria de esteganografia, mas em todos os casos, as informações de identificação única nas imagens precisam ser codificadas como tal “característica” essencial de uma imagem que não há chance de que uma arquitetura autoencoder ou GAN descarte essas “impressões digitais” como “ruído” ou dados inessenciais, mas sim as codificará junto com outros recursos faciais.

Ao mesmo tempo, o processo não pode ser permitido para distorcer ou afetar visualmente a imagem tanto que seja percebida por espectadores casuais como tendo defeitos ou ser de baixa qualidade.

TAFIM

Agora, um novo esforço de pesquisa alemão (da Universidade Técnica de Munique e Sony Europe RDC Stuttgart) propôs uma técnica de codificação de imagem pela qual modelos de deepfake ou frameworks do tipo StyleGAN treinados em imagens processadas produzirão saída inutilizável azul ou branca, respectivamente.

As perturbações de imagem de baixo nível do TAFIM abordam vários tipos possíveis de distorção/substituição de face, forçando os modelos treinados nas imagens a produzir saída distorcida, e é relatado pelos autores que é aplicável mesmo em cenários em tempo real, como o streaming de deepfake em tempo real do DeepFaceLive. Fonte: https://arxiv.org/pdf/2112.09151.pdf

O artigo, intitulado TAFIM: Ataques Adversariais Dirigidos contra Manipulações de Imagem Facial, usa uma rede neural para codificar perturbações imperceptíveis em imagens. Após as imagens serem treinadas e generalizadas em uma arquitetura de síntese, o modelo resultante produzirá saída descolorida para a identidade de entrada se usada em mistura de estilos ou substituição de face direta.

Re-Codificando a Web..?

No entanto, neste caso, não estamos aqui para examinar os detalhes e a arquitetura da última versão desse conceito popular, mas sim para considerar a praticidade da ideia como um todo – particularmente à luz da controvérsia crescente sobre o uso de imagens publicamente coletadas para alimentar frameworks de síntese de imagem, como Stable Diffusion, e as implicações legais downstream de desenvolver software comercial a partir de conteúdo que pode (pelo menos em algumas jurisdições) eventualmente provar ter proteção legal contra a ingestão em arquiteturas de síntese de IA.

Abordagens proativas, baseadas em codificação, do tipo descrito acima, vêm a um custo não pequeno. No mínimo, elas envolveriam instituir novas e estendidas rotinas de compressão em bibliotecas de processamento baseadas na web, como ImageMagick, que alimentam um grande número de processos de upload, incluindo muitas interfaces de upload de mídia social, encarregadas de converter imagens originais do usuário de tamanho grande em versões otimizadas que sejam mais adequadas para compartilhamento leve e distribuição de rede, e também para efetuar transformações como recortes e outras ampliações.

A pergunta primordial que isso levanta é: seria esse esquema implantado “para frente”, ou alguma implantação mais ampla e retroativa seria pretendida, que aborda mídia histórica que pode ter sido disponibilizada, “não corrompida”, por décadas?

Plataformas como Netflix não são avessas ao custo de re-codificar um catálogo com novos codecs que possam ser mais eficientes, ou poderiam fornecer benefícios para o usuário ou provedor; da mesma forma, a conversão do conteúdo histórico do YouTube para o codec H.264, aparentemente para acomodar o Apple TV, uma tarefa logisticamente monumental, não foi considerada proibitivamente difícil, apesar da escala.

Ironicamente, mesmo que grandes porções de conteúdo de mídia na internet se tornassem sujeitas a re-codificação em um formato que resiste ao treinamento, o conjunto limitado de conjuntos de dados de visão computacional influentes permaneceria inalterado. No entanto, presume-se que os sistemas que os utilizam como dados de upstream começariam a diminuir na qualidade de saída, à medida que o conteúdo com marca d’água interferiria com os processos transformacionais das arquiteturas.

Conflito Político

Em termos políticos, há uma tensão aparente entre a determinação dos governos de não ficar para trás no desenvolvimento de IA e fazer concessões à preocupação pública sobre o uso ad hoc de conteúdo de áudio, vídeo e imagem disponível publicamente na internet como um recurso abundante para sistemas de IA transformacionais.

Oficialmente, os governos ocidentais estão inclinados à leniência em relação à capacidade do setor de pesquisa de visão computacional de utilizar mídia publicamente disponível, não menos porque alguns dos países asiáticos mais autocráticos têm muito mais liberdade para moldar seus fluxos de trabalho de desenvolvimento de forma que beneficie seus próprios esforços de pesquisa – apenas um dos fatores que sugere que a China está se tornando o líder global em IA.

Em abril de 2022, o Tribunal de Apelações dos EUA confirmou que os dados da web de frente para o público são um jogo justo para fins de pesquisa, apesar das protestos contínuos do LinkedIn, que deseja que seus perfis de usuário sejam protegidos desses processos.

Se, portanto, a imagem resistente à IA não for se tornar um padrão de sistema, não há nada para impedir que algumas das principais fontes de dados de treinamento implementem tais sistemas, de modo que sua saída se torne improdutiva no espaço latente.

O fator essencial em tais implantações de empresa é que as imagens devem ser inatamente resistentes ao treinamento. Técnicas de proveniência baseadas em blockchain e movimentos como a Iniciativa de Autenticidade de Conteúdo estão mais preocupados em provar que as imagens foram falsificadas ou “estilizados” do que em prevenir os mecanismos que tornam tais transformações possíveis.

Inspetção Casual

Enquanto propostas foram apresentadas para usar métodos de blockchain para autenticar a verdadeira proveniência e aparência de uma imagem de origem que pode ter sido posteriormente ingerida em um conjunto de dados de treinamento, isso não impede em si o treinamento de imagens, nem fornece qualquer maneira de provar, a partir da saída de tais sistemas, que as imagens foram incluídas no conjunto de dados de treinamento.

Em uma abordagem de marca d’água para excluir imagens do treinamento, seria importante não confiar na disponibilidade pública das imagens de origem de um conjunto de dados influente para inspeção. Em resposta às reclamações de artistas sobre a ingestão liberal da Stable Diffusion de seu trabalho, o site haveibeentrained.com permite que os usuários façam upload de imagens e verifiquem se elas provavelmente foram incluídas no conjunto de dados LAION5B que alimenta a Stable Diffusion:

‘Lenna’, literalmente a garota-propaganda da pesquisa de visão computacional até recentemente, é certamente uma contribuinte para a Stable Diffusion. Fonte: https://haveibeentrained.com/

No entanto, quase todos os conjuntos de dados de deepfake tradicionais, por exemplo, são casualmente extraídos de vídeo e imagens na internet para bases de dados não públicas, onde apenas algum tipo de marca d’água neuralmente resistente poderia possivelmente expor o uso de imagens específicas para criar imagens e vídeo derivados.

Além disso, os usuários da Stable Diffusion estão começando a adicionar conteúdo – seja por meio de fine-tuning (continuando o treinamento do checkpoint oficial do modelo com pares adicionais de imagem/texto) ou Inversão Textual, que adiciona um elemento específico ou pessoa – que não aparecerá em nenhuma busca através das bilhões de imagens do LAION.

Embedendo Marca D’água na Fonte

Uma aplicação potencial ainda mais extrema da marca d’água de imagem na fonte é incluir informações obscurecidas e não óbvias na saída de captura bruta, vídeo ou imagens, de câmeras comerciais. Embora o conceito tenha sido experimentado e até implementado com algum vigor no início dos anos 2000, como uma resposta à ameaça emergente de pirataria de multimídia, o princípio é tecnicamente aplicável também para o propósito de tornar o conteúdo de mídia resistente ou repelente a sistemas de treinamento de aprendizado de máquina.

Uma implementação, proposta em um pedido de patente do final dos anos 1990, sugeriu usar Transformadas de Cosino Discreto para embutir “sub-imagens” esteganográficas em vídeo e imagens estáticas, sugerindo que a rotina poderia ser “incorporada como um recurso embutido para dispositivos de gravação digitais, como câmeras estáticas e de vídeo”.

Em um pedido de patente do final dos anos 1990, Lenna é dotada de marcas d’água ocultas que podem ser recuperadas conforme necessário. Fonte: https://www.freepatentsonline.com/6983057.pdf

Uma abordagem menos sofisticada é impor marcas d’água claramente visíveis em imagens no nível do dispositivo – um recurso que é desagradável para a maioria dos usuários e redundante no caso de artistas e profissionais de mídia, que são capazes de proteger os dados de origem e adicionar marcações ou proibições como eles julgam apropriado (não menos, empresas de imagens em estoque).

Embora pelo menos uma câmera atualmente permita a imposição de marca d’água baseada em logotipo opcional que poderia sinalizar uso não autorizado em um modelo de IA derivado, a remoção de logotipo via IA está se tornando bastante trivial, e até mesmo comercializada casualmente.

Publicado pela primeira vez em 25 de setembro de 2022.