A Definição Elusiva de ‘Deepfake’

Um estudo novo e convincente da Alemanha critica a definição do termo ‘deepfake’ no EU AI Act como excessivamente vaga, particularmente no contexto da manipulação de imagens digitais. Os autores argumentam que a ênfase da Lei na conteúdo que se assemelha a pessoas ou eventos reais – mas que pode aparecer falso – carece de clareza.

Eles também destacam que as exceções da Lei para ‘edição padrão’ (ou seja, modificações menores feitas com o auxílio de IA nas imagens) não consideram a influência generalizada da IA em aplicações de consumo e a natureza subjetiva das convenções artísticas que precedem o advento da IA.

A legislação imprecisa sobre essas questões dá origem a dois riscos principais: um ‘efeito de arrefecimento’, onde a amplitude interpretativa da lei inibe a inovação e a adoção de novos sistemas; e um ‘efeito de desrespeito’, onde a lei é desconsiderada como excessiva ou irrelevante.

Em qualquer caso, leis vagas transferem efetivamente a responsabilidade de estabelecer definições legais práticas para decisões judiciais futuras – uma abordagem cautelosa e avessa a riscos para a legislação.

As tecnologias de manipulação de imagem baseadas em IA continuam notavelmente à frente da capacidade da legislação de abordá-las, parece. Por exemplo, um exemplo notável da elasticidade crescente do conceito de pós-processamento ‘automático’ impulsionado por IA, o artigo observa, é a função ‘Scene Optimizer’ em câmeras Samsung recentes, que pode substituir imagens de usuário tiradas da lua (um assunto desafiador) por uma imagem ‘refinada’ impulsionada por IA:

Topo esquerdo, um exemplo do novo artigo de uma imagem de usuário real tirada da lua, à esquerda de uma versão melhorada pelo Samsung com Scene Optimizer; Direita, ilustração oficial da Samsung do processo por trás disso; inferior esquerda, exemplos do usuário do Reddit u/ibreakphotos, mostrando (esquerda) uma imagem de lua intencionalmente desfocada e (direita), a reimaginação da Samsung dessa imagem – mesmo que a foto de origem fosse uma imagem de monitor, e não a lua real. Fontes (no sentido horário a partir do topo esquerdo): https://arxiv.org/pdf/2412.09961; https://www.samsung.com/uk/support/mobile-devices/how-galaxy-cameras-combine-super-resolution-technologies-with-ai-to-produce-high-quality-images-of-the-moon/; https:/reddit.com/r/Android/comments/11nzrb0/samsung_space_zoom_moon_shots_are_fake_and_here/

Na parte inferior esquerda da imagem acima, vemos duas imagens da lua. A da esquerda é uma foto tirada por um usuário do Reddit. Aqui, a imagem foi intencionalmente desfocada e reduzida pelo usuário.

À sua direita, vemos uma foto da mesma imagem degradada tirada com uma câmera Samsung com pós-processamento impulsionado por IA. A câmera automaticamente ‘melhorou’ o objeto ‘lua’ reconhecido, mesmo que não fosse a lua real.

O artigo critica mais profundamente a funcionalidade Best Take incorporada nos smartphones recentes da Google – uma funcionalidade de IA controversa que edita as ‘melhores’ partes de uma foto de grupo, analisando vários segundos de uma sequência de fotografia para que os sorrisos sejam rearranjados para a frente ou para trás no tempo, conforme necessário – e ninguém é mostrado no meio de piscar.

O artigo afirma que esse tipo de processo composto tem o potencial de distorcer eventos:

‘[Em] um ambiente de foto de grupo típico, um espectador médio provavelmente ainda consideraria a foto resultante como autêntica. O sorriso que é inserido existia dentro de alguns segundos da foto restante sendo tirada.

‘Por outro lado, o período de tempo de dez segundos da funcionalidade Best Take é suficiente para uma mudança de humor. Uma pessoa pode ter parado de sorrir enquanto o resto do grupo ri de uma piada à sua custa.

‘Como consequência, assumimos que tal foto de grupo pode muito bem constituir um deep fake.’

O novo artigo é intitulado O que constitui um Deep Fake? A linha borrada entre processamento legítimo e manipulação sob o EU AI Act, e vem de dois pesquisadores do Laboratório de Direito Computacional da Universidade de Tübingen e da Universidade de Saarland.

Velhas Táticas

Manipular o tempo na fotografia é muito mais antigo do que a IA de consumo. Os autores do novo artigo observam a existência de técnicas muito mais antigas que podem ser consideradas ‘não autênticas’, como a concatenação de várias imagens sequenciais em uma fotografia de Alta Definição Dinâmica (HDR) ou uma ‘fotografia costurada’ panorâmica.

De fato, algumas das falsificações fotográficas mais antigas e divertidas foram tradicionalmente criadas por escolares correndo de um lado para o outro de uma foto de grupo escolar, à frente da trajetória das câmeras panorâmicas especiais que eram usadas para fotografia esportiva e de grupo – permitindo que o aluno aparecesse duas vezes na mesma imagem:

A tentação de enganar câmeras panorâmicas durante fotos de grupo era grande demais para muitos alunos, que estavam dispostos a arriscar uma sessão ruim no escritório do diretor para ‘clonar’ a si mesmos em fotos escolares. Fonte: https://petapixel.com/2012/12/13/double-exposure-a-clever-photo-prank-from-half-a-century-ago/

A menos que você tire uma foto no modo RAW, que basicamente descarrega o sensor da lente da câmera para um arquivo muito grande sem qualquer tipo de interpretação, é provável que suas fotos digitais não sejam completamente autênticas. Os sistemas de câmera aplicam rotineiramente algoritmos de ‘melhoria’ como afinação de imagem e balanço de branco, por padrão – e têm feito isso desde a origem da fotografia digital de consumo.

Os autores do novo artigo argumentam que mesmo esses tipos mais antigos de aumento de foto digital não representam ‘realidade’, pois esses métodos são projetados para tornar as fotos mais agradáveis, não mais ‘reais’.

O estudo sugere que o EU AI Act, mesmo com emendas posteriores como recitais 123–27, coloca toda a saída fotográfica dentro de um evidenciário quadro inadequado para o contexto em que as fotos são produzidas, em oposição à (nominalmente objetiva) natureza de filmagens de câmeras de segurança ou fotografia forense. A maioria das imagens abordadas pelo EU AI Act provavelmente origina-se em contextos onde os fabricantes e as plataformas online ativamente promovem a interpretação criativa de fotos, incluindo o uso de IA.

Os pesquisadores sugerem que as fotos ‘nunca foram uma representação objetiva da realidade’. Considerações como a localização da câmera, a profundidade de campo escolhida e as escolhas de iluminação contribuem para tornar uma fotografia profundamente subjetiva.

O artigo observa que tarefas de ‘limpeza’ rotineiras – como remover poeira do sensor ou linhas de energia indesejadas de uma cena bem composta – eram apenas semi-automatizadas antes do advento da IA: os usuários tinham que selecionar manualmente uma região ou iniciar um processo para alcançar o resultado desejado.

Hoje, essas operações são frequentemente acionadas por prompts de texto do usuário, mais notadamente em ferramentas como o Photoshop. No nível de consumo, esses recursos são cada vez mais automatizados sem entrada do usuário – um resultado que aparentemente é considerado pelos fabricantes e plataformas como ‘obviamente desejável’.

O Significado Diluído de ‘Deepfake’

Um desafio central para a legislação em torno de imagens alteradas e geradas por IA é a ambiguidade do termo ‘deepfake’, que teve seu significado notavelmente estendido nos últimos dois anos.

Originalmente, os termos aplicavam-se apenas à saída de vídeo de sistemas baseados em autoencoder como DeepFaceLab e FaceSwap, ambos derivados de código anônimo publicado no Reddit em fins de 2017.

A partir de 2022, a chegada de Modelos de Difusão Latente (LDMs) como Stable Diffusion e Flux, bem como sistemas de texto-para-vídeo como Sora, permitiria a troca de identidade e personalização, em resolução melhorada, versatilidade e fidelidade. Agora era possível criar modelos de difusão que pudessem representar celebridades e políticos. Como o termo ‘deepfake’ já era um tesouro que atrai manchetes para os produtores de mídia, foi estendido para cobrir esses sistemas.

Posteriormente, tanto na mídia quanto na literatura de pesquisa, o termo passou a incluir impersonação baseada em texto. Nesse ponto, o significado original de ‘deepfake’ estava quase perdido, enquanto seu significado estendido estava constantemente evoluindo e se tornando cada vez mais diluído.

Mas como a palavra era tão incendiária e galvanizadora, e agora era um poderoso ponto de contato político e midiático, provou ser impossível abandoná-la. Atraía leitores para sites, financiamento para pesquisadores e atenção para políticos. Essa ambiguidade lexical é o foco principal da nova pesquisa.

Como os autores observam, o artigo 3(60) do EU AI Act esboça quatro condições que definem um ‘deepfake’.

1: Lua Verdadeira

Primeiramente, o conteúdo deve ser gerado ou manipulado, ou seja, criado do zero usando IA (geração) ou alterado a partir de dados existentes (manipulação). O artigo destaca a dificuldade em distinguir entre resultados de edição de imagem ‘aceitáveis’ e deepfakes manipuladores, considerando que as fotos digitais nunca são representações verdadeiras da realidade.

O artigo argumenta que uma lua gerada pelo Samsung é arguivelmente autêntica, desde que a lua é improvável que mude de aparência e desde que o conteúdo gerado por IA, treinado em imagens lunares reais, é provavelmente preciso.

No entanto, os autores também afirmam que, desde que o sistema Samsung foi mostrado para gerar uma imagem ‘melhorada’ da lua em um caso onde a imagem de origem não era a lua em si, isso seria considerado um ‘deepfake’.

Seria impraticável criar uma lista abrangente de casos de uso diferentes em torno dessa funcionalidade ad hoc. Portanto, a carga de definição parece passar, mais uma vez, para os tribunais.

2: TextFakes

Em segundo lugar, o conteúdo deve ser na forma de imagem, áudio ou vídeo. O conteúdo de texto, embora sujeito a outras obrigações de transparência, não é considerado um deepfake sob o EU AI Act. Isso não é abordado em detalhes no novo estudo, embora possa ter um impacto notável na eficácia de visuais deepfakes (ver abaixo).

3: Problemas do Mundo Real

Em terceiro lugar, o conteúdo deve se assemelhar a pessoas, objetos, lugares, entidades ou eventos existentes. Essa condição estabelece uma conexão com o mundo real, significando que imagens puramente fabricadas, mesmo que fotorealistas, não se qualificariam como deepfakes. O recital 134 do EU AI Act enfatiza o aspecto ‘semelhança’ adicionando a palavra ‘apreciavelmente’ (um aparente adiamento para julgamentos legais subsequentes).

Os autores, citando trabalhos anteriores, consideram se uma face gerada por IA precisa pertencer a uma pessoa real ou se precisa apenas ser suficientemente semelhante a uma pessoa real para satisfazer essa definição.

Por exemplo, como podemos determinar se uma sequência de imagens fotorealistas que representam o político Donald Trump tem a intenção de impersonação, se as imagens (ou textos anexados) não mencionam especificamente ele? Reconhecimento facial? Pesquisas de usuário? Uma definição de ‘senso comum’ de um juiz?

Retornando ao problema dos ‘TextFakes’ (acima), as palavras frequentemente constituem uma parte significativa do ato de um visual deepfake. Por exemplo, é possível pegar uma imagem (inalterada) ou vídeo de ‘pessoa a’‘ e dizer, em uma legenda ou postagem de mídia social, que a imagem é de ‘pessoa b’‘ (supondo que as duas pessoas se pareçam).

Nesse caso, não é necessário IA, e o resultado pode ser surpreendentemente eficaz – mas tal abordagem de baixa tecnologia também constitui um ‘deepfake’?

4: Retoque, Remodelagem

Finalmente, o conteúdo deve aparecer autêntico ou verdadeiro para uma pessoa. Essa condição enfatiza a percepção dos espectadores humanos. O conteúdo que é reconhecido como representando uma pessoa ou objeto real apenas por um algoritmo não seria considerado um deepfake.

De todas as condições em 3(60), esta é a que mais obviamente se refere ao julgamento posterior de um tribunal, pois não permite qualquer interpretação por meio de meios técnicos ou mecanizados.

Há claramente algumas dificuldades inerentes em chegar a um consenso sobre essa estipulação subjetiva. Os autores observam, por exemplo, que diferentes pessoas e diferentes tipos de pessoas (como crianças e adultos) podem ser variadamente inclinados a acreditar em um deepfake particular.

Os autores observam ainda que as capacidades avançadas de IA de ferramentas como o Photoshop desafiam as definições tradicionais de ‘deepfake’. Embora esses sistemas possam incluir salvaguardas básicas contra conteúdo controverso ou proibido, eles expandem dramaticamente o conceito de ‘retoque’. Os usuários agora podem adicionar ou remover objetos de forma convincente e fotorealista, alcançando um nível profissional de autenticidade que redefine os limites da manipulação de imagem.

Os autores afirmam:

‘Argumentamos que a definição atual de deepfakes no EU AI Act e as obrigações correspondentes não estão suficientemente especificadas para lidar com os desafios impostos pelos deepfakes. Ao analisar o ciclo de vida de uma foto digital, desde o sensor da câmera até os recursos de edição digital, encontramos que:

‘(1.) Deepfakes são mal definidos no EU AI Act. A definição deixa muito espaço para o que é um deepfake.

‘(2.) Não está claro como as funções de edição, como a funcionalidade “Best Take” do Google, podem ser consideradas uma exceção às obrigações de transparência.

‘(3.) A exceção para imagens substancialmente editadas levanta questões sobre o que constitui edição substancial de conteúdo e se essa edição deve ser perceptível por uma pessoa.

Exceções

O EU AI Act contém exceções que, os autores argumentam, podem ser muito permissivas. O artigo 50(2), afirmam eles, oferece uma exceção nos casos em que a maioria de uma imagem de origem não é alterada. Os autores observam:

‘O que pode ser considerado conteúdo no sentido do artigo 50(2) em casos de áudio digital, imagens e vídeos? Por exemplo, no caso de imagens, devemos considerar o espaço de pixel ou o espaço visível perceptível por humanos? Manipulações substanciais no espaço de pixel podem não alterar a percepção humana, e por outro lado, pequenas perturbações no espaço de pixel podem alterar a percepção dramaticamente.’

Os pesquisadores fornecem o exemplo de adicionar uma arma de fogo à foto de uma pessoa que está apontando para alguém. Ao adicionar a arma, está-se alterando apenas 5% da imagem; no entanto, o significado semântico da parte alterada é notável. Portanto, parece que essa exceção não leva em conta qualquer compreensão de ‘senso comum’ do efeito que um detalhe pode ter no significado geral de uma imagem.

A seção 50(2) também permite exceções para uma ‘função de edição padrão’. Como o Ato não define o que significa ‘edição padrão’, mesmo recursos de pós-processamento extremos como a funcionalidade Best Take da Google parecem estar protegidos por essa exceção, observam os autores.

Conclusão

A intenção declarada do novo trabalho é incentivar o estudo interdisciplinar sobre a regulação de deepfakes e servir como um ponto de partida para novos diálogos entre cientistas da computação e acadêmicos do direito.

No entanto, o artigo em si sucumbe à tautologia em vários pontos: ele usa frequentemente o termo ‘deepfake’ como se seu significado fosse evidente, enquanto critica o EU AI Act por não definir o que realmente constitui um deepfake.

Publicado pela primeira vez na segunda-feira, 16 de dezembro de 2024