Améliorer la précision de l’édition d’images par IA

Bien que le modèle de diffusion latent (LDM) Firefly d’Adobe soit sans doute l’un des meilleurs actuellement disponibles, les utilisateurs de Photoshop qui ont essayé ses fonctionnalités génératives auront remarqué qu’il n’est pas en mesure de modifier facilement les images existantes – il remplace plutôt la zone sélectionnée par l’utilisateur avec des images basées sur le texte saisi par l’utilisateur (bien que Firefly soit habile à intégrer la section générée dans le contexte de l’image).

Dans la version bêta actuelle, Photoshop peut au moins intégrer une image de référence en tant que partie d’un texte d’invite d’image, ce qui permet à Adobe de rattraper son produit phare avec le type de fonctionnalité que les utilisateurs de Stable Diffusion ont apprécié pendant plus de deux ans, grâce à des cadres tiers tels que Controlnet:

La version bêta actuelle d’Adobe Photoshop permet l’utilisation d’images de référence lors de la génération de nouveau contenu à l’intérieur d’une sélection – bien que ce soit un peu aléatoire pour le moment.

Cela illustre un problème ouvert dans la recherche sur la synthèse d’images – la difficulté que les modèles de diffusion ont à modifier des images existantes sans mettre en œuvre une réinvention complète de la sélection indiquée par l’utilisateur.

Bien que cette peinture basée sur la diffusion obéisse à l’invite de l’utilisateur, elle réinvente complètement la matière première sans tenir compte de l’image originale (sauf en mélangeant la nouvelle génération avec l’environnement). Source: https://arxiv.org/pdf/2502.20376

Ce problème se pose parce que les LDM génèrent des images par débruitage itératif, où chaque étape du processus est conditionnée par l’invite de texte fournie par l’utilisateur. Avec le contenu de l’invite de texte converti en jetons d’incrustation, et avec un modèle hyperscale tel que Stable Diffusion ou Flux contenant des centaines de milliers (ou des millions) de jetons d’incrustation correspondant à l’invite, le processus a une distribution conditionnelle calculée à atteindre; et chaque étape prise est une étape vers cette « cible de distribution conditionnelle ».

Donc, c’est le texte vers l’image – un scénario où l’utilisateur « espère le meilleur », puisqu’il n’y a pas de moyen de savoir exactement à quoi ressemblera la génération.

Au lieu de cela, de nombreuses personnes ont cherché à utiliser la puissante capacité générative d’un LDM pour modifier des images existantes – mais cela implique un équilibre entre la fidélité et la flexibilité.

Lorsqu’une image est projetée dans l’espace latent du modèle par des méthodes telles que l’inversion DDIM, l’objectif est de récupérer l’original aussi fidèlement que possible tout en permettant des modifications significatives. Le problème est que plus une image est reconstruite avec précision, plus le modèle adhère à sa structure d’origine, rendant les modifications majeures difficiles.

Comme de nombreux autres cadres d’édition d’images basés sur la diffusion proposés ces dernières années, l’architecture Renoise a du mal à apporter des changements réels à l’apparence de l’image, avec seulement une indication superficielle d’un nœud papillon apparaissant à la base de la gorge du chat.

D’un autre côté, si le processus donne la priorité à l’éditabilité, le modèle desserre son emprise sur l’original, facilitant l’introduction de changements – mais au détriment de la cohérence globale avec l’image source:

Mission accomplie – mais c’est une transformation plutôt qu’un ajustement, pour la plupart des cadres d’édition d’images basés sur l’IA.

Puisqu’il s’agit d’un problème que même les ressources considérables d’Adobe peinent à résoudre, nous pouvons raisonnablement considérer que le défi est notable et peut ne pas permettre de solutions faciles, si tant est qu’il en existe.

Inversion serrée

Par conséquent, les exemples d’un nouvel article publié cette semaine ont attiré mon attention, car le travail offre une amélioration précieuse et remarquable de l’état de l’art dans ce domaine, en prouvant capable d’appliquer des éditions subtiles et raffinées à des images projetées dans l’espace latent d’un modèle – sans que les éditions soient insignifiantes ou submergent le contenu original de l’image source:

Avec l’inversion serrée appliquée aux méthodes d’inversion existantes, la sélection source est considérée de manière beaucoup plus granulaire, et les transformations sont conformes au matériau d’origine au lieu de le remplacer.

Les amateurs et les praticiens de LDM peuvent reconnaître ce type de résultat, car une grande partie peut être créée dans un flux de travail complexe en utilisant des systèmes externes tels que Controlnet et IP-Adapter:

En fait, la nouvelle méthode – baptisée Inversion serrée – utilise effectivement IP-Adapter, ainsi qu’un modèle basé sur le visage dédié, pour les représentations humaines.

Exemples de l’article original IP-Adapter de 2023, montrant des éditions appropriées du matériau source. Source: https://arxiv.org/pdf/2308.06721

Le signal de réalisation de l’inversion serrée est alors de procéder à la mise en œuvre de techniques complexes en une modalité de module de plug-in unique qui peut être appliquée à des systèmes existants, y compris de nombreuses distributions LDM les plus populaires.

Naturellement, cela signifie que l’inversion serrée (TI), comme les systèmes auxiliaires qu’elle utilise, utilise l’image source comme facteur de conditionnement pour sa version éditée, au lieu de s’appuyer uniquement sur des invites de texte précises:

Autres exemples de la capacité de l’inversion serrée à appliquer des éditions réellement mélangées au matériau source.

Bien que les auteurs admettent que leur approche n’est pas exempte de la tension traditionnelle et continue entre la fidélité et l’éditabilité dans les techniques d’édition d’images basées sur la diffusion, ils rapportent des résultats à l’état de l’art lorsqu’ils injectent TI dans des systèmes existants, par rapport à la performance de base.

Le nouvel article est intitulé Inversion serrée: inversion conditionnée par l’image pour la modification réelle d’images , et provient de cinq chercheurs issus de l’Université de Tel-Aviv et de Snap Research.

Méthode

Initialement, un grand modèle de langage (LLM) est utilisé pour générer un ensemble d’invites de texte variées à partir desquelles une image est générée. Ensuite, l’inversion DDIM est appliquée à chaque image avec trois conditions de texte : l’invite de texte utilisée pour générer l’image; une version raccourcie de la même; et une invite de texte vide (vide).

Avec le bruit inversé renvoyé à partir de ces processus, les images sont à nouveau générées avec la même condition, et sans guidance de classeur sans classe (CFG).

Scores d’inversion DDIM sur diverses métriques avec des paramètres d’invite variés.

Comme on peut le voir sur le graphique ci-dessus, les scores sur diverses métriques sont améliorés avec une longueur de texte accrue. Les métriques utilisées étaient le rapport signal/bruit de pic (PSNR); la distance L2 ; l’indice de similarité structurelle (SSIM); et la similarité d’image de patch perçue apprise (LPIPS).

Conscient de l’image

En effet, l’inversion serrée change la façon dont un modèle de diffusion hôte modifie des images réelles en conditionnant le processus d’inversion sur l’image elle-même plutôt que de s’appuyer uniquement sur le texte.

Normalement, l’inversion d’une image dans l’espace de bruit d’un modèle de diffusion nécessite d’estimer le bruit de départ qui, lorsqu’il est débruité, reconstruit l’entrée. Les méthodes standard utilisent un texte d’invite pour guider ce processus; mais une invite imparfaite peut conduire à des erreurs, perdre des détails ou altérer des structures.

L’inversion serrée utilise à la place IP Adapter pour intégrer des informations visuelles dans le modèle, afin qu’il reconstruit l’image avec une plus grande précision, en convertissant les images sources en jetons de conditionnement et en les projetant dans le pipeline d’inversion.

Ces paramètres sont éditables: l’augmentation de l’influence de l’image source rend la reconstruction presque parfaite, tandis que la réduction de l’influence permet des changements plus créatifs. Cela rend l’inversion serrée utile à la fois pour des modifications subtiles, telles que le changement de couleur d’une chemise, ou pour des éditions plus importantes, telles que le remplacement d’objets – sans les effets secondaires courants des autres méthodes d’inversion, tels que la perte de détails fins ou des aberrations inattendues dans le contenu de l’arrière-plan.

Les auteurs déclarent:

‘Nous notons que l’inversion serrée peut être facilement intégrée avec les méthodes d’inversion précédentes (par exemple, Edit Friendly DDPM, ReNoise) en [remplaçant le noyau de diffusion natif par le modèle modifié par IP Adapter], [et] l’inversion serrée améliore systématiquement ces méthodes en termes de reconstruction et d’éditabilité.’

Données et tests

Les chercheurs ont évalué TI sur sa capacité à reconstruire et à éditer des images sources du monde réel. Toutes les expériences ont utilisé Stable Diffusion XL avec un planificateur DDIM tel que décrit dans l’article original Stable Diffusion ; et tous les tests ont utilisé 50 étapes de débruitage avec une échelle de guidance par défaut de 7,5.

Pour le conditionnement d’image, IP-Adapter-plus sdxl vit-h a été utilisé. Pour les tests à quelques étapes, les chercheurs ont utilisé SDXL-Turbo avec un planificateur Euler, et ont également mené des expériences avec FLUX.1-dev , en conditionnant le modèle dans ce dernier cas sur PuLID-Flux , en utilisant RF-Inversion à 28 étapes.

PulID a été utilisé uniquement dans les cas présentant des visages humains, puisque c’est le domaine que PulID a été formé pour aborder – et bien que cela soit remarquable qu’un sous-système spécialisé soit utilisé pour ce type d’invite, notre intérêt excessif pour la génération de visages humains suggère que s’appuyer uniquement sur les poids plus larges d’un modèle de base tel que Stable Diffusion peut ne pas être suffisant pour les normes que nous exigeons pour cette tâche particulière.

Les tests de reconstruction ont été effectués pour une évaluation qualitative et quantitative. Dans l’image ci-dessous, nous voyons des exemples qualitatifs pour l’inversion DDIM:

Résultats qualitatifs pour l’inversion DDIM. Chaque ligne montre une image très détaillée avec ses versions reconstruites, chacune utilisant des conditions progressivement plus précises pendant l’inversion et le débruitage. À mesure que le conditionnement devient plus précis, la qualité de la reconstruction s’améliore. La colonne la plus à droite montre les meilleurs résultats, où l’image originale est utilisée comme condition, atteignant la fidélité la plus élevée. CFG n’a pas été utilisé à aucun stade. Veuillez vous référer au document source pour une meilleure résolution et des détails.

Le document indique:

‘Ces exemples mettent en évidence que le conditionnement du processus d’inversion sur une image améliore considérablement la reconstruction dans les régions très détaillées.

‘Notamment, dans le troisième exemple de [l’image ci-dessous], notre méthode reconstruit avec succès le tatouage sur le dos du boxeur de droite. De plus, la pose de la jambe du boxeur est plus précisément préservée, et le tatouage sur la jambe devient visible.’

Résultats qualitatifs supplémentaires pour l’inversion DDIM. Les conditions descriptives améliorent l’inversion DDIM, avec un conditionnement d’image qui surpasse le texte, en particulier sur des images complexes.

Les auteurs ont également testé l’inversion serrée en tant que module de plug-in pour les systèmes existants, en les comparant à leur performance de base.

Les trois systèmes testés étaient l’inversion DDIM et la réinversion mentionnés plus haut; et également ReNoise , qui partage une partie de l’auteur avec l’article en discussion ici. Puisque les résultats DDIM n’ont aucune difficulté à obtenir une reconstruction à 100 %, les chercheurs se sont concentrés uniquement sur l’éditabilité.

(Les images de résultats qualitatifs sont formatées de manière difficile à reproduire ici, nous renvoyons donc le lecteur au PDF source pour une meilleure résolution et une clarté significative, nonobstant que certaines sélections sont présentées ci-dessous)

Gauche, résultats qualitatifs de reconstruction pour l’inversion serrée avec SDXL. Droite, reconstruction avec Flux. La disposition de ces résultats dans le travail publié rend difficile leur reproduction ici, veuillez donc vous référer au PDF source pour une véritable impression des différences obtenues.

Ici, les auteurs commentent:

‘Comme le montre, l’intégration de l’inversion serrée avec les méthodes existantes améliore systématiquement la reconstruction. Pour [l’exemple], notre méthode reconstruit avec précision la rambarde dans l’exemple le plus à gauche et l’homme avec la chemise bleue dans l’exemple le plus à droite [dans la figure 5 de l’article]. ‘

Les auteurs ont également testé le système de manière quantitative. Conformément aux travaux précédents, ils ont utilisé l’ensemble de validation de MS-COCO , et notent que les résultats (illustrés ci-dessous) améliorent la reconstruction sur toutes les métriques pour toutes les méthodes.

Comparaison des métriques de performance des systèmes avec et sans inversion serrée.

Ensuite, les auteurs ont testé la capacité du système à éditer des photos, en le comparant aux versions de base des approches antérieures prompt2prompt ; Edit Friendly DDPM ; LED-ITS++ ; et RF-Inversion.

Voici une sélection des résultats qualitatifs de l’article pour SDXL et Flux (et nous renvoyons le lecteur à la disposition plutôt compressée du document original pour plus d’exemples).

Sélection des résultats qualitatifs proliférants (plutôt confus) répartis dans l’article. Nous renvoyons le lecteur au PDF source pour une résolution améliorée et une clarté significative.

Les auteurs soutiennent que l’inversion serrée surpasse systématiquement les techniques d’inversion existantes en établissant un meilleur équilibre entre la reconstruction et l’éditabilité. Les méthodes standard telles que l’inversion DDIM et ReNoise peuvent reconstruire une image avec précision, mais l’article indique qu’elles ont souvent du mal à préserver les détails fins lors de l’application d’éditions.

À l’inverse, l’inversion serrée utilise le conditionnement d’image pour ancrer la sortie du modèle plus étroitement à l’original, empêchant ainsi les distorsions indésirables. Les auteurs soutiennent que même lorsque les approches concurrentes produisent des reconstructions qui semblent précises, l’introduction d’éditions conduit souvent à des artefacts ou à des incohérences structurelles, et que l’inversion serrée atténue ces problèmes.

Enfin, des résultats quantitatifs ont été obtenus en évaluant l’inversion serrée par rapport à la référence MagicBrush , en utilisant l’inversion DDIM et LEDITS++, mesurés avec CLIP Sim .

Comparaisons quantitatives de l’inversion serrée par rapport à la référence MagicBrush.

Les auteurs concluent:

‘Dans les deux graphiques, le compromis entre la préservation de l’image et l’adhérence à la modification cible est clairement [observé]. L’inversion serrée offre un meilleur contrôle sur ce compromis et préserve mieux l’image d’origine tout en s’alignant sur la modification [d’invite]. ‘

‘Notez que une similarité CLIP de plus de 0,3 entre une image et un texte d’invite indique une alignment plausible entre l’image et le texte d’invite.’

Conclusion

Bien qu’elle ne représente pas une « percée » dans l’un des défis les plus épineux de la synthèse d’images basée sur LDM, l’inversion serrée consolide un certain nombre d’approches auxiliaires fastidieuses en une méthode unifiée d’édition d’images basée sur l’IA.

Bien que la tension entre l’éditabilité et la fidélité ne soit pas éliminée avec cette méthode, elle est nettement réduite, selon les résultats présentés. Compte tenu du fait que le défi central que ce travail aborde peut s’avérer finalement intractable s’il est abordé en termes de ses propres conditions (plutôt que de regarder au-delà des architectures basées sur LDM dans les systèmes futurs), l’inversion serrée représente une amélioration incrémentale bienvenue de l’état de l’art.

Publié pour la première fois vendredi 28 février 2025