Exploiter l’attention humaine pour améliorer les images générées par l’IA

De nouvelles recherches menées en Chine ont proposé une méthode pour améliorer la qualité des images générées par les modèles de diffusion latente (LDM) tels que Stable Diffusion.

La méthode se concentre sur l’optimisation des régions saillantes d’une image – les zones les plus susceptibles d’attirer l’attention humaine.

Les nouvelles recherches ont constaté que les cartes de saillance (quatrième colonne à partir de la gauche) peuvent être utilisées comme un filtre, ou « masque », pour diriger le locus d’attention dans les processus de débruitage vers les zones de l’image que les humains sont les plus susceptibles de prêter attention. Source: https://arxiv.org/pdf/2410.10257

Les méthodes traditionnelles optimisent l’ensemble de l’image de manière uniforme, tandis que la nouvelle approche utilise un détecteur de saillance pour identifier et prioriser les régions plus « importantes », comme le font les humains.

Dans des tests quantitatifs et qualitatifs, la méthode des chercheurs a été en mesure de surpasser les modèles de diffusion basés sur les précédents, tant en termes de qualité d’image que de fidélité aux invites de texte.

La nouvelle approche a également obtenu le meilleur score dans un essai de perception humaine avec 100 participants.

Sélection naturelle

La saillance, la capacité à prioriser l’information dans le monde réel et dans les images, est une partie essentielle de la vision humaine.

Un exemple simple de cela est l’attention accrue aux détails que l’art classique attribue aux zones importantes d’un tableau, telles que le visage dans un portrait ou les mâts d’un navire dans un sujet basé sur la mer; dans de tels exemples, l’attention de l’artiste converge sur le sujet central, ce qui signifie que les détails généraux tels que l’arrière-plan d’un portrait ou les vagues lointaines d’une tempête sont plus sommaires et plus représentatifs que détaillés.

Éclairées par les études humaines, des méthodes d’apprentissage automatique ont émergé au cours de la dernière décennie qui peuvent reproduire ou au moins approximer ce locus d’intérêt humain dans n’importe quelle image.

La segmentation d’objets (segmentation sémantique) peut être une aide pour individualiser les facettes d’une image et développer des cartes de saillance correspondantes. Source: https://arxiv.org/pdf/1312.6034

Dans la littérature de recherche, le détecteur de carte de saillance le plus populaire au cours des cinq dernières années a été l’initiative de 2016 Gradient-weighted Class Activation Mapping (Grad-CAM), qui a ensuite évolué vers le système amélioré Grad-CAM++, ainsi que d’autres variantes et affinements.

Grad-CAM utilise l’activation de gradient d’un jeton sémantique (tel que « chien » ou « chat ») pour produire une carte visuelle de l’endroit où le concept ou l’annotation semble probablement être représenté dans l’image.

Exemples du document original Grad-CAM. Dans la deuxième colonne, la rétropropagation guidée individualise toutes les fonctionnalités contributives. Dans la troisième colonne, les cartes sémantiques sont dessinées pour les deux concepts « chien » et « chat ». La quatrième colonne représente la concaténation des deux inférences précédentes. La cinquième, la carte d’occlusion (masquage) qui correspond à l’inférence; et enfin, dans la sixième colonne, les visualisations Grad-CAM d’une couche ResNet-18. Source: https://arxiv.org/pdf/1610.02391

Les enquêtes humaines sur les résultats obtenus par ces méthodes ont révélé une correspondance entre ces individuations mathématiques de points d’intérêt clés dans une image et l’attention humaine (lors du balayage de l’image).

SGOOL

Le nouvel article examine ce que la saillance peut apporter aux systèmes texte-image (et, potentiellement, texte-vidéo) tels que Stable Diffusion et Flux.

Lors de l’interprétation d’une invite de texte de l’utilisateur, les modèles de diffusion latente explorent leur espace latent formé pour des concepts visuels appris qui correspondent aux mots ou phrases utilisés. Ils analysent ensuite ces points de données trouvés à travers un processus de débruitage, où le bruit aléatoire est progressivement évolué en une interprétation créative de l’invite de texte de l’utilisateur.

À ce stade, cependant, le modèle donne une attention égale à chaque partie de l’image. Depuis la popularisation des modèles de diffusion en 2022, avec le lancement du générateur d’images Dall-E d’OpenAI et la mise à disposition ultérieure du cadre de diffusion stable de Stability.ai, les utilisateurs ont constaté que les sections « essentielles » d’une image sont souvent sous-estimées.

Compte tenu du fait qu’une représentation typique d’un humain, le visage de la personne (qui est de maximum d’importance pour le spectateur) est susceptible d’occuper moins de 10 à 35 % de l’image totale, cette méthode démocratique de dispersion de l’attention va à l’encontre de la nature de la perception humaine et de l’histoire de l’art et de la photographie.

Lorsque les boutons sur les jeans d’une personne reçoivent le même poids de calcul que ses yeux, l’allocation des ressources peut être dite non optimale.

Par conséquent, la nouvelle méthode proposée par les auteurs, intitulée Optimisation de la diffusion latente guidée par la saillance (SGOOL), utilise un mappage de saillance pour augmenter l’attention sur les zones négligées d’une image, en consacrant moins de ressources aux sections susceptibles de rester à la périphérie de l’attention du spectateur.

Méthode

Le pipeline SGOOL comprend la génération d’images, la cartographie de saillance et l’optimisation, avec l’image globale et l’image raffinée par la saillance traitées conjointement.

Schéma conceptuel pour SGOOL.

Les embeddings latents du modèle de diffusion sont optimisés directement avec l’ajustement fin, supprimant ainsi le besoin de former un modèle spécifique. La méthode d’échantillonnage DDIM de l’Université de Stanford, familière aux utilisateurs de Stable Diffusion, est adaptée pour incorporer les informations secondaires fournies par les cartes de saillance.

Le document indique:

‘Nous employons d’abord un détecteur de saillance pour imiter le système d’attention visuelle humain et marquer les régions saillantes. Pour éviter de réentraîner un modèle supplémentaire, notre méthode optimise directement les latents de diffusion.

‘En outre, SGOOL utilise un processus de diffusion inversible et lui confère les mérites d’une implémentation de mémoire constante. Ainsi, notre méthode devient une méthode d’ajustement fin efficace en termes de paramètres et « plug-and-play ». Des expériences approfondies ont été menées avec plusieurs métriques et évaluations humaines.’

Puisque cette méthode nécessite plusieurs itérations du processus de débruitage, les auteurs ont adopté le cadre DOODL, qui fournit un processus de diffusion inversible – bien qu’il applique toujours l’attention à l’ensemble de l’image.

Pour définir les zones d’intérêt humain, les chercheurs ont employé le cadre TransalNet de l’Université de Dundee en 2022.

Exemples de détection de saillance du projet TransalNet 2022. Source: https://discovery.dundee.ac.uk/ws/portalfiles/portal/89737376/1_s2.0_S0925231222004714_main.pdf

Les régions saillantes traitées par TransalNet ont ensuite été découpées pour générer des sections de saillance concluantes susceptibles de présenter le plus d’intérêt pour les personnes réelles.

La différence entre le texte de l’utilisateur et l’image doit être prise en compte, en termes de définition d’une fonction de perte qui peut déterminer si le processus fonctionne. Pour cela, une version de Contrastive Language–Image Pre-training (CLIP) d’OpenAI a été utilisée, ainsi que la prise en compte de la distance sémantique estimée entre l’invite de texte et la sortie d’image globale (non saillance).

Les auteurs affirment:

‘[La] fonction de perte finale prend en compte les relations entre les parties saillantes et l’image globale simultanément, ce qui aide à équilibrer les détails locaux et la cohérence globale dans le processus de génération.

‘Cette perte sensible est utilisée pour optimiser l’image latente. Les gradients sont calculés sur le bruit [latent] et utilisés pour renforcer l’effet de conditionnement de l’invite de texte sur les aspects saillants et globaux de l’image générée d’origine.’

Données et tests

Pour tester SGOOL, les auteurs ont utilisé une distribution « vanille » de Stable Diffusion V1.4 (dénommée « SD » dans les résultats des tests) et Stable Diffusion avec la guidance CLIP (dénommée « référence » dans les résultats).

Le système a été évalué contre trois ensembles de données publics: CommonSyntacticProcesses (CSP), DrawBench et DailyDallE*.

Le dernier contient 99 invites élaborées d’un artiste présenté dans un article de blog d’OpenAI, tandis que DrawBench propose 200 invites dans 11 catégories. CSP est composé de 52 invites basées sur huit cas grammaticaux divers.

Pour SD, la référence et SGOOL, dans les tests, le modèle CLIP a été utilisé sur ViT/B-32 pour générer les embeddings d’image et de texte. La même invite et graine aléatoire ont été utilisées. La taille de sortie était de 256×256, et les poids et paramètres par défaut de TransalNet ont été employés.

En plus de la métrique de score CLIP, un score de préférence humaine (HPS) a été utilisé, en plus d’une étude dans le monde réel avec 100 participants.

Résultats quantitatifs comparant SGOOL aux configurations précédentes.

En ce qui concerne les résultats quantitatifs présentés dans le tableau ci-dessus, le document indique:

‘Notre modèle surpasse de manière significative SD et la référence sur tous les ensembles de données sous les métriques de score CLIP et HPS. Les résultats moyens de notre modèle sur le score CLIP et HPS sont 3,05 et 0,0029 supérieurs à la deuxième place, respectivement.’

Les auteurs ont également estimé les boîtes à moustaches des scores HPS et CLIP par rapport aux approches précédentes:

Boîtes à moustaches pour les scores HPS et CLIP obtenus dans les tests.

Ils commentent:

‘Il peut être vu que notre modèle surpasse les autres modèles, indiquant que notre modèle est plus capable de générer des images qui sont cohérentes avec les invites.

‘Cependant, dans le graphique en boîte, il n’est pas facile de visualiser la comparaison à partir du graphique en boîte en raison de la taille de cette métrique d’évaluation à [0, 1]. Par conséquent, nous procédons à tracer les graphiques à barres correspondants.

‘Il peut être vu que SGOOL surpasse SD et la référence sur tous les ensembles de données sous les métriques de score CLIP et HPS. Les résultats quantitatifs démontrent que notre modèle peut générer des images plus cohérentes sur le plan sémantique et préférées par les humains.’

Les chercheurs notent que même si le modèle de référence est capable d’améliorer la qualité de la sortie d’image, il ne prend pas en compte les zones saillantes de l’image. Ils soutiennent que SGOOL, en arrivant à un compromis entre l’évaluation d’image globale et saillante, obtient de meilleures images.

Dans les comparaisons qualitatives (automatisées), le nombre d’optimisations a été fixé à 50 pour SGOOL et DOODL.

Résultats qualitatifs pour les tests. Veuillez vous référer au document source pour une meilleure définition.

Ici, les auteurs observent:

‘Dans la [première ligne], les sujets de l’invite sont « un chat qui chante » et « un quatuor de barbershop ». Il y a quatre chats dans l’image générée par SD, et le contenu de l’image est mal aligné avec l’invite.

‘Le chat est ignoré dans l’image générée par la référence, et il manque des détails dans la représentation du visage et des détails de l’image. DOODL tente de générer une image qui est cohérente avec l’invite.

‘Cependant, puisque DOODL optimise l’image globale directement, les personnes dans l’image sont optimisées vers le chat.’

Ils notent en outre que SGOOL, en revanche, génère des images qui sont plus cohérentes avec l’invite d’origine.

Dans le test de perception humaine, 100 volontaires ont évalué les images de test pour la qualité et la cohérence sémantique (c’est-à-dire à quel point elles adhèrent à leurs invites de texte source). Les participants ont eu un temps illimité pour faire leurs choix.

Résultats du test de perception humaine.

Comme le souligne le document, la méthode des auteurs est nettement préférée aux approches précédentes.

Conclusion

Peu de temps après que les limites abordées dans cet article soient devenues évidentes dans les installations locales de Stable Diffusion, diverses méthodes sur mesure (telles que After Detailer) sont apparues pour forcer le système à accorder une attention supplémentaire aux zones qui présentaient un intérêt humain plus grand.

Cependant, cette approche nécessite que le système de diffusion passe d’abord par son processus normal d’application d’une attention égale à chaque partie de l’image, le travail supplémentaire étant effectué comme une étape supplémentaire.

Les preuves de SGOOL suggèrent que l’application de la psychologie humaine de base à la priorisation des sections d’image pourrait considérablement améliorer l’inférence initiale, sans étapes de post-traitement.

* Le document fournit le même lien pour cela que pour CommonSyntacticProcesses.

Publié pour la première fois le mercredi 16 octobre 2024