Um Sistema de Detecção para Quadros de Síntese de Imagem Pura como o DALL-E 2

Nova pesquisa da Universidade da Califórnia em Berkeley oferece um método para determinar se a saída da nova geração de quadros de síntese de imagem – como o DALL-E 2 da Open AI, e o Imagen e o Parti do Google – pode ser detectada como ‘não real’, estudando a geometria, sombras e reflexos que aparecem nas imagens sintetizadas.

Ao estudar imagens geradas por prompts de texto no DALL-E 2, os pesquisadores descobriram que, apesar do realismo impressionante do qual a arquitetura é capaz, algumas inconsistências persistentes ocorrem relacionadas à renderização da perspectiva global, à criação e disposição de sombras e, especialmente, à renderização de objetos refletidos.

O artigo afirma:

‘[Estruturas] geométricas, sombras e reflexos em superfícies espelhadas não são totalmente consistentes com a geometria de perspectiva esperada de cenas naturais. Estruturas geométricas e sombras são, em geral, localmente consistentes, mas globalmente inconsistentes.

‘Reflexos, por outro lado, são frequentemente renderizados de forma implausível, presumivelmente porque são menos comuns no conjunto de dados de treinamento de imagens.’

Uma falta de interseções consistentes entre o objeto renderizado e a renderização de seu reflexo é atualmente uma maneira confiável de detectar uma imagem do DALL-E 2, de acordo com o novo estudo. Fonte: https://arxiv.org/pdf/2206.14617.pdf

O artigo representa uma primeira incursão no que pode eventualmente se tornar uma linha notável na comunidade de pesquisa de visão computacional – Detecção de Síntese de Imagem.

Desde o advento dos deepfakes em 2017, a detecção de deepfakes (primariamente de saída de autoencoder de pacotes como DeepFaceLab e FaceSwap) se tornou uma linha acadêmica ativa e competitiva, com vários artigos e metodologias visando os ‘tells’ evolutivos de faces sintetizadas em vídeos reais.

No entanto, até a recente emergência de sistemas de geração de imagens em larga escala, a saída de sistemas de prompts de texto como CLIP não representava ameaça ao status quo da ‘realidade fotográfica’. Os autores do novo artigo acreditam que isso está prestes a mudar, e que mesmo as inconsistências que eles descobriram na saída do DALL-E 2 podem não fazer muita diferença na capacidade das imagens de enganar os espectadores.

Os autores afirmam*:

‘[Tais] falhas podem não ser importantes para o sistema visual humano, que foi encontrado para ser surpreendentemente inábil em certos julgamentos geométricos, incluindo inconsistências em iluminação, sombras, reflexos, posição de visualização e distorsão de perspectiva.’

Credibilidade Desaparecendo

A primeira análise forense dos autores da saída do DALL-E 2 relaciona-se à projeção de perspectiva – a forma como a posição de arestas retas em objetos próximos e texturas deve resolver uniformemente em um ‘ponto de fuga’.

À esquerda, linhas paralelas no mesmo plano resolvem em um ponto de fuga comum; à direita, vários pontos de fuga no mesmo e planos paralelos definem uma linha de fuga (representada em vermelho).

Para testar a consistência do DALL-E 2 nesse aspecto, os autores usaram o DALL-E 2 para gerar 25 imagens sintetizadas de cozinhas – um espaço familiar que, mesmo em moradias bem equipadas, é geralmente confinado o suficiente para fornecer vários pontos de fuga possíveis para uma variedade de objetos e texturas.

Ao examinar a saída do prompt ‘uma foto de uma cozinha com piso de azulejo’, os pesquisadores descobriram que, apesar de uma representação geralmente convincente em cada caso (exceto alguns artefatos menores não relacionados à perspectiva), os objetos representados nunca parecem convergir corretamente.

Os autores observam que, embora cada conjunto de linhas paralelas do padrão de azulejo seja consistente e intersecte em um único ponto de fuga (azul na imagem abaixo), o ponto de fuga para a superfície da bancada (ciano) discorda tanto das linhas de fuga (vermelho) quanto do ponto de fuga derivado dos azulejos.

Os autores observam que, mesmo que a superfície da bancada não seja paralela aos azulejos, o ponto de fuga ciano deve resolver para a linha de fuga (vermelho) definida pelos pontos de fuga dos azulejos do piso.

O artigo afirma:

‘Enquanto a perspectiva nessas imagens é – impressionantemente – localmente consistente, não é globalmente consistente. Esse mesmo padrão foi encontrado em cada uma das 25 imagens de cozinhas sintetizadas.’

Forense de Sombras

Como qualquer um que já lidou com ray-tracing sabe, sombras também têm pontos de fuga potenciais, indicando iluminação de uma ou várias fontes. Para sombras externas em luz solar intensa, espera-se que as sombras em todas as facetas de uma imagem resolvam consistentemente para a fonte de luz única (o sol).

Como no experimento anterior, os pesquisadores criaram 25 imagens do DALL-E 2 com o prompt ‘três cubos em uma calçada fotografados em um dia ensolarado’, bem como mais 25 com o prompt ‘‘três cubos em uma calçada fotografados em um dia nublado’.

Na linha superior, imagens criadas a partir do prompt dos pesquisadores ‘três cubos em uma calçada fotografados em um dia nublado’; na linha inferior, imagens criadas a partir do prompt ‘três cubos em uma calçada fotografados em um dia ensolarado’.

Os pesquisadores observam que, ao representar condições nubladas, o DALL-E 2 é capaz de renderizar as sombras mais difusas associadas de forma convincente e plausível, talvez não menos porque esse tipo de sombra seja mais prevalente no conjunto de dados de imagens em que o quadro foi treinado.

No entanto, algumas das ‘fotos ensolaradas’, os autores encontraram, eram inconsistentes com uma cena iluminada por uma fonte de luz única.

Para a imagem acima, as gerações foram convertidas para escala de cinza para clareza, e mostram cada objeto com seu próprio ‘sol’ dedicado.

Embora o espectador médio possa não notar tais anomalias, algumas das imagens geradas tinham exemplos mais manifestos de ‘falha de sombra’:

Enquanto algumas sombras estão simplesmente no lugar errado, muitas delas, interessantemente, correspondem ao tipo de discrepância visual produzida em modelagem CGI quando a taxa de amostragem para uma luz virtual é muito baixa.

Reflexos no DALL-E 2

Os resultados mais condenatórios em termos de análise forense ocorreram quando os autores testaram a capacidade do DALL-E 2 de criar superfícies altamente refletivas, o que é um cálculo oneroso também em ray-tracing CGI e outros algoritmos de renderização tradicionais.

Para este experimento, os autores produziram 25 imagens do DALL-E 2 com o prompt ‘uma foto de um dinossauro de brinquedo e seu reflexo em um espelho de vaidade’.

Em todos os casos, os autores relatam, a imagem do dinossauro de brinquedo renderizado foi de alguma forma desconectada do aspecto e disposição do ‘verdadeiro’ dinossauro de brinquedo. Os autores afirmam que o problema resistiu a variações no prompt de texto e parece ser uma fraqueza fundamental no sistema.

Parece haver uma lógica nos erros – os primeiros e terceiros exemplos na linha superior parecem mostrar um dinossauro que é duplicado muito bem, mas não refletido.

Os autores comentam:

‘Ao contrário das sombras e estruturas geométricas nas seções anteriores, o DALL·E-2 luta para sintetizar reflexos plausíveis, presumivelmente porque tais reflexos são menos comuns no conjunto de dados de treinamento de imagens.’

Glitches como esses podem ser corrigidos em futuros modelos de texto-para-imagem que sejam capazes de revisar mais efetivamente a lógica semântica geral de sua saída e impor regras físicas abstratas em cenas que, em certa medida, foram montadas a partir de recursos pertinentes à palavra no espaço latente do sistema.

À luz de uma tendência crescente em direção a arquiteturas de síntese cada vez maiores, os autores concluem:

‘[Pode] ser apenas uma questão de tempo antes que os motores de síntese de imagem por texto aprendam a renderizar imagens com consistência de perspectiva completa. Até esse tempo, no entanto, análises forenses geométricas podem ser úteis para analisar essas imagens.’

* Minha conversão das citações em linha dos autores para links.

Publicado pela primeira vez em 30 de junho de 2022.