Aproveitando a Atenção Humana para Melhorar as Imagens Geradas por IA

Pesquisas recentes da China propuseram um método para melhorar a qualidade das imagens geradas por modelos de difusão latente (LDMs), como o Stable Diffusion.

O método se concentra em otimizar as regiões salientes de uma imagem – áreas mais prováveis de atrair a atenção humana.

A nova pesquisa descobriu que mapas de saliência (quarta coluna da esquerda) podem ser usados como um filtro, ou ‘máscara’, para direcionar o foco da atenção nos processos de desruído para áreas da imagem que os humanos são mais prováveis de prestar atenção. Fonte: https://arxiv.org/pdf/2410.10257

Métodos tradicionais otimizam a imagem inteira uniformemente, enquanto a nova abordagem aproveita um detector de saliência para identificar e priorizar regiões mais “importantes”, como os humanos fazem.

Nos testes quantitativos e qualitativos, o método dos pesquisadores foi capaz de superar os modelos de difusão anteriores, tanto em termos de qualidade de imagem quanto de fidelidade aos prompts de texto.

A nova abordagem também obteve a melhor pontuação em um teste de percepção humana com 100 participantes.

Seleção Natural

A saliência, a capacidade de priorizar informações no mundo real e em imagens, é uma parte essencial da visão humana.

Um exemplo simples disso é o aumento da atenção ao detalhe que a arte clássica atribui a áreas importantes de uma pintura, como o rosto, em um retrato, ou os mastros de um navio, em um assunto baseado no mar; nesses exemplos, a atenção do artista converge para o assunto central, significando que detalhes amplos, como o fundo de um retrato ou as ondas distantes de uma tempestade, são mais esboçados e representativos do que detalhados.

Informados por estudos humanos, métodos de aprendizado de máquina surgiram nos últimos dez anos que podem replicar ou, pelo menos, aproximar a locução de interesse humano em qualquer imagem.

Segmentação de objeto (segmentação semântica) pode ser uma ajuda para individuar facetas de uma imagem e desenvolver mapas de saliência correspondentes. Fonte: https://arxiv.org/pdf/1312.6034

No decorrer da literatura de pesquisa, o detector de mapa de saliência mais popular nos últimos cinco anos foi a iniciativa de 2016 Gradient-weighted Class Activation Mapping (Grad-CAM), que mais tarde evoluiu para o sistema aprimorado Grad-CAM++, entre outras variantes e refinamentos.

O Grad-CAM usa a ativação de gradiente de um token semântico (como ‘cachorro’ ou ‘gato’) para produzir um mapa visual de onde o conceito ou anotação parece ser representado na imagem.

Exemplos do papel original do Grad-CAM. Na segunda coluna, a propagação reversa guiada individua todos os recursos contribuintes. Na terceira coluna, os mapas semânticos são desenhados para os dois conceitos ‘cachorro’ e ‘gato’. A quarta coluna representa a concatenação das duas inferências anteriores. A quinta, o mapa de oclusão (máscara) que corresponde à inferência; e, finalmente, na sexta coluna, as visualizações do Grad-CAM em uma camada ResNet-18. Fonte: https://arxiv.org/pdf/1610.02391

Pesquisas com humanos sobre os resultados obtidos por esses métodos revelaram uma correspondência entre essas individuações matemáticas de pontos de interesse em uma imagem e a atenção humana (ao escanear a imagem).

SGOOL

O novo artigo considera o que a saliência pode trazer para sistemas de texto-para-imagem (e, potencialmente, texto-para-vídeo) como o Stable Diffusion e o Flux.

Quando interpreta um prompt de texto do usuário, os modelos de difusão latente exploram seu espaço latente treinado para conceitos visuais aprendidos que correspondem com as palavras ou frases usadas. Em seguida, eles analisam esses pontos de dados encontrados por meio de um processo de desruído, onde o ruído aleatório é gradualmente evoluído para uma interpretação criativa do prompt de texto do usuário.

Nesse ponto, no entanto, o modelo dá igual atenção a cada parte da imagem. Desde a popularização dos modelos de difusão em 2022, com o lançamento do gerador de imagens Dall-E da OpenAI e a subsequente disponibilização do framework Stable Diffusion da Stability.ai, os usuários descobriram que as seções “essenciais” de uma imagem são frequentemente subatendidas.

Considerando que, em uma representação típica de um ser humano, o rosto da pessoa (que é de máxima importância para o espectador) provavelmente ocupa não mais de 10-35% da imagem total, esse método democrático de dispersão de atenção funciona contra a natureza da percepção humana e a história da arte e da fotografia.

Quando os botões em uma calça jeans recebem o mesmo peso computacional que os olhos, a alocação de recursos pode ser dita não ótima.

Portanto, o novo método proposto pelos autores, intitulado Otimização de Difusão Latente Guiada por Saliência (SGOOL), usa um mapeador de saliência para aumentar a atenção em áreas negligenciadas de uma imagem, alocando menos recursos para seções que provavelmente permanecerão na periferia da atenção do espectador.

Método

A pipeline do SGOOL inclui geração de imagem, mapeamento de saliência e otimização, com a imagem geral e a imagem refinada pela saliência processadas conjuntamente.

Esquema conceitual para o SGOOL.

As incorporações latentes do modelo de difusão são otimizadas diretamente com ajuste fino, removendo a necessidade de treinar um modelo específico. O método de amostragem do modelo de difusão de desruído da Universidade de Stanford (DDIM), familiar aos usuários do Stable Diffusion, é adaptado para incorporar as informações secundárias fornecidas pelos mapas de saliência.

O artigo afirma:

‘Primeiro, empregamos um detector de saliência para imitar o sistema de atenção visual humano e marcar as regiões salientes. Para evitar treinar um modelo adicional, nosso método otimiza diretamente as incorporações latentes da difusão.

‘Além disso, o SGOOL utiliza um processo de difusão invertível e o dota com os méritos de implementação de memória constante. Portanto, nosso método se torna um método de ajuste fino eficiente em termos de parâmetros e plug-and-play. Experimentos extensivos foram realizados com várias métricas e avaliação humana.’

Como esse método requer múltiplas iterações do processo de desruído, os autores adotaram o Quadro de Otimização Direta de Incorporações Latentes da Difusão (DOODL), que fornece um processo de difusão invertível – embora ainda aplique atenção à totalidade da imagem.

Para definir áreas de interesse humano, os pesquisadores empregaram o quadro TransalNet da Universidade de Dundee em 2022.

Exemplos de detecção de saliência do projeto TransalNet de 2022. Fonte: https://discovery.dundee.ac.uk/ws/portalfiles/portal/89737376/1_s2.0_S0925231222004714_main.pdf

As regiões salientes processadas pelo TransalNet foram então recortadas para gerar seções de saliência conclusivas prováveis de serem de maior interesse para as pessoas reais.

A diferença entre o texto do usuário e a imagem deve ser considerada, em termos de definir uma função de perda que possa determinar se o processo está funcionando. Para isso, uma versão do Contrastive Language–Image Pre-training (CLIP) da OpenAI – agora uma peça fundamental do setor de síntese de imagens – foi usada, juntamente com a consideração da distância semântica estimada entre o prompt de texto e a saída de imagem global (não saliência).

Os autores afirmam:

‘[A] função de perda final considera as relações entre as partes salientes e a imagem global simultaneamente, o que ajuda a equilibrar detalhes locais e consistência global no processo de geração.

‘Essa perda saliência-consciente é usada para otimizar a imagem latente. Os gradientes são computados no ruído [latente] e usados para melhorar o efeito de condicionamento do prompt de entrada em ambos os aspectos salientes e globais da imagem gerada original.’

Dados e Testes

Para testar o SGOOL, os autores usaram uma distribuição “vanilla” do Stable Diffusion V1.4 (denotado como ‘SD’ nos resultados de teste) e o Stable Diffusion com orientação CLIP (denotado como ‘baseline’ nos resultados).

O sistema foi avaliado contra três conjuntos de dados públicos: CommonSyntacticProcesses (CSP), DrawBench e DailyDallE*.

O último contém 99 prompts elaborados de um artista apresentado em um dos posts do blog da OpenAI, enquanto o DrawBench oferece 200 prompts em 11 categorias. O CSP é composto por 52 prompts baseados em oito casos gramaticais diversos.

Para o SD, baseline e SGOOL, nos testes, o modelo CLIP foi usado sobre o ViT/B-32 para gerar as incorporações de imagem e texto. O mesmo prompt e semente aleatória foi usado. O tamanho de saída foi 256×256, e os pesos e configurações padrão do TransalNet foram empregados.

Além da métrica de pontuação CLIP, uma pontuação de preferência humana estimada (HPS) foi usada, além de um estudo real com 100 participantes.

Resultados quantitativos comparando o SGOOL com configurações anteriores.

Em relação aos resultados quantitativos ilustrados na tabela acima, o artigo afirma:

‘[Nosso] modelo supera significativamente o SD e o Baseline em todos os conjuntos de dados, tanto em termos de pontuação CLIP quanto de HPS. Os resultados médios do nosso modelo em termos de pontuação CLIP e HPS são 3,05 e 0,0029 maiores do que o segundo lugar, respectivamente.’

Os autores também estimaram os gráficos de caixa das pontuações HPS e CLIP em relação às abordagens anteriores:

Gráficos de caixa para as pontuações HPS e CLIP obtidas nos testes.

Eles comentam:

‘Pode ser visto que o nosso modelo supera os outros modelos, indicando que o nosso modelo é mais capaz de gerar imagens que são consistentes com os prompts.

‘No entanto, no gráfico de caixa, não é fácil visualizar a comparação devido ao tamanho dessa métrica de avaliação em [0, 1]. Portanto, procedemos a plotar os gráficos de barras correspondentes.

‘Pode ser visto que o SGOOL supera o SD e o Baseline em todos os conjuntos de dados, tanto em termos de pontuação CLIP quanto de HPS. Os resultados quantitativos demonstram que o nosso modelo pode gerar imagens mais semanticamente consistentes e preferidas pelos humanos.’

Os pesquisadores observam que, embora o modelo baseline seja capaz de melhorar a qualidade da saída de imagem, ele não considera as áreas salientes da imagem. Eles argumentam que o SGOOL, ao chegar a um compromisso entre a avaliação de imagem global e saliente, obtém imagens melhores.

Nas comparações qualitativas (automatizadas), o número de otimizações foi definido como 50 para o SGOOL e o DOODL.

Resultados qualitativos para os testes. Por favor, consulte o artigo de origem para uma definição melhor.

Aqui, os autores observam:

‘Na [primeira linha], os assuntos do prompt são “um gato cantando” e “um quarteto de barbearia”. Há quatro gatos na imagem gerada pelo SD, e o conteúdo da imagem está mal alinhado com o prompt.

‘O gato é ignorado na imagem gerada pelo Baseline, e há uma falta de detalhe na representação do rosto e nos detalhes da imagem. O DOODL tenta gerar uma imagem que é consistente com o prompt.

‘No entanto, como o DOODL otimiza a imagem global diretamente, as pessoas na imagem são otimizadas em direção ao gato.’

Eles observam ainda que o SGOOL, por contraste, gera imagens que são mais consistentes com o prompt original.

No teste de percepção humana, 100 voluntários avaliaram imagens de teste para qualidade e consistência semântica (ou seja, quão de perto elas aderiam aos prompts de texto de origem). Os participantes tiveram tempo ilimitado para fazer suas escolhas.

Resultados do teste de percepção humana.

Como o artigo destaca, o método dos autores é notavelmente preferido sobre as abordagens anteriores.

Conclusão

Não muito tempo depois de as limitações abordadas neste artigo se tornarem evidentes em instalações locais do Stable Diffusion, vários métodos personalizados (como o After Detailer) surgiram para forçar o sistema a aplicar atenção extra a áreas que eram de maior interesse humano.

Entretanto, esse tipo de abordagem exige que o sistema de difusão inicialmente passe por seu processo normal de aplicar atenção igual a cada parte da imagem, com o trabalho aumentado sendo feito como uma etapa extra.

A evidência do SGOOL sugere que aplicar psicologia humana básica à priorização de seções de imagem pode melhorar significativamente a inferência inicial, sem etapas de pós-processamento.

* O artigo fornece o mesmo link para isso como para o CommonSyntacticProcesses.

Publicado pela primeira vez na quarta-feira, 16 de outubro de 2024