Édition d’images avec Gaussian Splatting

Une nouvelle collaboration entre des chercheurs en Pologne et au Royaume-Uni propose la perspective d’utiliser le Gaussian Splatting pour éditer des images, en interprétant temporairement une partie sélectionnée de l’image dans un espace 3D, permettant à l’utilisateur de modifier et de manipuler la représentation 3D de l’image, puis d’appliquer la transformation.

Pour changer l’orientation de la tête du chat, la section pertinente est déplacée dans un espace 3D via le Gaussian Splatting, puis manipulée par l’utilisateur. La modification est ensuite appliquée. Le processus est analogue à diverses techniques modales dans les logiciels Adobe, qui verrouillent l’interface jusqu’à ce qu’un processus complexe actuel soit terminé. Source: https://github.com/waczjoan/MiraGe/

Puisque l’élément Gaussian Splat est représenté temporairement par un maillage de triangles, et entre momentanément dans un état « CGI », un moteur de physique intégré au processus peut interpréter les mouvements naturels, soit pour changer l’état statique d’un objet, soit pour produire une animation.

Un moteur de physique intégré au nouveau système MiraGe peut effectuer des interprétations naturelles des mouvements physiques, soit pour des animations ou des modifications statiques d’une image.

Il n’y a pas d’intelligence artificielle générative impliquée dans le processus, ce qui signifie qu’aucun modèle de diffusion latent (LDM) n’est impliqué, contrairement au système Firefly d’Adobe, qui est formé sur Adobe Stock (anciennement Fotolia).

Le système – appelé MiraGe – interprète les sélections dans un espace 3D et infère la géométrie en créant une image miroir de la sélection, et en approximant les coordonnées 3D qui peuvent être incarnées dans un Splat, qui interprète ensuite l’image dans un maillage.

Cliquez pour jouer. Autres exemples d’éléments qui ont été soit modifiés manuellement par un utilisateur du système MiraGe, soit soumis à une déformation basée sur la physique.

Les auteurs ont comparé le système MiraGe aux approches antérieures et ont constaté qu’il atteint des performances de pointe dans la tâche ciblée.

Les utilisateurs du système de modélisation zBrush seront familiers avec ce processus, car zBrush permet à l’utilisateur d’essentiellement ‘aplatir’ un modèle 3D et ajouter des détails 2D, tout en préservant le maillage sous-jacent, et en interprétant les nouveaux détails dans celui-ci – un « gel » qui est l’opposé de la méthode MiraGe, qui fonctionne plus comme Firefly ou d’autres manipulations modales de type Photoshop, telles que la déformation ou les interprétations 3D grossières.

Les Splats Gaussianes paramétrisés permettent à MiraGe de créer des reconstructions de haute qualité de zones sélectionnées d’une image 2D et d’appliquer une physique de corps mou à la sélection temporairement 3D.

Le document indique:

‘[Nous] introduisons un modèle qui code des images 2D en simulant l’interprétation humaine. Plus précisément, notre modèle perçoit une image 2D comme un humain verrait une photographie ou une feuille de papier, la traitant comme un objet plat dans un espace 3D.

‘Cette approche permet une édition d’image intuitive et flexible, capturant les nuances de la perception humaine tout en permettant des transformations complexes.’

Le nouveau document est intitulé MiraGe: Images 2D éditables à l’aide de Gaussian Splatting, et provient de quatre auteurs issus de l’Université Jagellonne de Cracovie et de l’Université de Cambridge. Le code complet du système a été publié sur GitHub.

Examinons comment les chercheurs ont abordé le défi.

Méthode

L’approche MiraGe utilise la paramétrisation Gaussian Mesh Splatting (GaMeS), une technique développée par un groupe qui comprend deux des auteurs du nouveau document. GaMeS permet aux Splats Gaussianes d’être interprétés comme des maillages CGI traditionnels, et de devenir soumis à la gamme standard de techniques de déformation et de modification que la communauté CGI a développée au cours des dernières décennies.

MiraGe interprète des « Gaussiens plats », dans un espace 2D, et utilise GaMeS pour « tirer » le contenu dans un espace 3D GSplat activé, temporairement.

Chaque Gaussian plat est représenté par trois points dans un nuage de triangles, appelé « soupe de triangles », ouvrant l’image inférée à la manipulation. Source: https://arxiv.org/pdf/2410.01521

Nous pouvons voir dans le coin inférieur gauche de l’image ci-dessus que MiraGe crée une « image miroir » de la section d’une image à interpréter.

Les auteurs déclarent:

‘[Nous] employons une approche novatrice utilisant deux caméras opposées positionnées le long de l’axe Y, symétriquement alignées autour de l’origine et dirigées l’une vers l’autre. La première caméra est chargée de reconstruire l’image originale, tandis que la seconde modèle la réflexion miroir.

‘La photographie est ainsi conceptualisée comme une feuille de papier transparent, intégrée dans le contexte spatial 3D. La réflexion peut être représentée de manière effective en faisant pivoter horizontalement l'[image]. Ce dispositif de caméra miroir améliore la fidélité des réflexions générées, offrant une solution robuste pour capturer avec précision les éléments visuels.’

Le document note que, une fois cette extraction réalisée, les ajustements de perspective qui seraient normalement difficiles deviennent accessibles via une édition directe en 3D. Dans l’exemple ci-dessous, nous voyons une sélection d’une image d’une femme qui n’englobe que son bras. Dans ce cas, l’utilisateur a incliné la main vers le bas de manière plausible, ce qui serait une tâche difficile en déplaçant simplement des pixels.

Un exemple de la technique d’édition MiraGe.

Essayer de faire cela en utilisant les outils de diffusion générative Firefly dans Photoshop signifierait généralement que la main est remplacée par une main synthétisée, imaginée par la diffusion, rompant l’authenticité de l’édition. Même les systèmes plus capables, tels que le système ControlNet pour la diffusion stable et d’autres modèles de diffusion latente, tels que Flux, ont du mal à réaliser ce type d’édition dans un pipeline d’image à image.

Cette poursuite a été dominée par des méthodes utilisant des représentations neuronales implicites (INR), telles que SIREN et WIRE. La différence entre une représentation implicite et explicite est que les coordonnées du modèle ne sont pas directement adressables dans les INR, qui utilisent une fonction continue.

En revanche, le Gaussian Splatting offre des coordonnées cartésiennes X/Y/Z explicites et adressables, même s’il utilise des ellipses gaussianes plutôt que des voxels ou d’autres méthodes de représentation de contenu dans un espace 3D.

L’idée d’utiliser GSplat dans un espace 2D a été présentée de manière la plus évidente, notent les auteurs, dans la collaboration universitaire chinoise de 2024 GaussianImage, qui a proposé une version 2D du Gaussian Splatting, permettant des taux d’inférence de 1000fps. Cependant, ce modèle n’a pas d’implémentation liée à l’édition d’images.

Après que la paramétrisation GaMeS ait extrait la zone sélectionnée dans une représentation Gaussiane/mesh, l’image est reconstruite à l’aide de la technique de points de matériaux (MPM) décrite pour la première fois dans un document CSAIL de 2018.

Dans MiraGe, pendant le processus de modification, le Splat Gaussiane existe comme un proxy directeur pour une version de mesh équivalente, tout comme les modèles CGI 3DMM sont fréquemment utilisés comme méthodes d’orchestration pour les techniques de rendu neuronal implicite telles que les champs de radiance neuronaux (NeRF).

Dans le processus, les objets bidimensionnels sont modélisés dans un espace 3D, et les parties de l’image qui ne sont pas influencées ne sont pas visibles pour l’utilisateur final, de sorte que l’effet contextuel des manipulations n’est pas apparent jusqu’à ce que le processus soit terminé.

MiraGe peut être intégré au programme 3D open source populaire Blender, qui est maintenant fréquemment utilisé dans les flux de travail inclusifs d’IA, principalement à des fins d’image à image.

Un flux de travail pour MiraGe dans Blender, impliquant le déplacement du bras d’une figure représentée dans une image 2D.

Les auteurs proposent deux versions d’une approche de déformation basée sur le Gaussian Splatting – Amorphe et Graphite.

L’approche Amorphe utilise directement la méthode GaMeS, et permet à la sélection 2D extraite de se déplacer librement dans l’espace 3D, tandis que l’approche Graphite contraint les Gaussians à l’espace 2D pendant l’initialisation et la formation.

Les chercheurs ont constaté que, même si l’approche Amorphe peut gérer mieux les formes complexes que le Graphite, les « déchirures » ou les artefacts de rift sont plus évidents, là où le bord de la déformation s’aligne sur la partie non affectée de l’image*.

Par conséquent, ils ont développé le système d’« image miroir » mentionné précédemment:

‘[Nous] employons une approche novatrice utilisant deux caméras opposées positionnées le long de l’axe Y, symétriquement alignées autour de l’origine et dirigées l’une vers l’autre.

‘La première caméra est chargée de reconstruire l’image originale, tandis que la seconde modèle la réflexion miroir. La photographie est ainsi conceptualisée comme une feuille de papier transparent, intégrée dans le contexte spatial 3D. La réflexion peut être représentée de manière effective en faisant pivoter horizontalement l'[image].

‘Ce dispositif de caméra miroir améliore la fidélité des réflexions générées, offrant une solution robuste pour capturer avec précision les éléments visuels.’

Le document note que MiraGe peut utiliser des moteurs de physique externes tels que ceux disponibles dans Blender, ou dans Taichi_Elements.

Données et tests

Pour les évaluations de la qualité des images dans les tests effectués pour MiraGe, le rapport signal-bruit (SNR) et les métriques MS-SIM ont été utilisés.

Les jeux de données utilisés étaient le Kodak Lossless True Color Image Suite, et l’ensemble de validation DIV2K. Les résolutions de ces jeux de données convenaient à une comparaison avec les travaux antérieurs les plus proches, Gaussian Image. Les autres cadres de travail rivaux testés étaient SIREN, WIRE, les primitives graphiques neurales instantanées (I-NGP) de NVIDIA, et NeuRBF.

Les expériences ont eu lieu sur un ordinateur portable NVIDIA GEFORCE RTX 4070 et sur un NVIDIA RTX 2080.

MiraGe offre des résultats de pointe par rapport aux cadres de travail antérieurs, selon les résultats présentés dans le nouveau document.

Sur ces résultats, les auteurs déclarent:

‘Nous voyons que notre proposition surpasse les solutions précédentes sur les deux jeux de données. La qualité mesurée par les deux métriques montre une amélioration significative par rapport à toutes les approches précédentes.’

Conclusion

L’adaptation par MiraGe du Gaussian Splatting 2D est clairement une tentative naissante et tentatrice pour ce qui pourrait s’avérer être une alternative très intéressante aux aléas et aux caprices de l’utilisation de modèles de diffusion pour effectuer des modifications sur une image (c’est-à-dire via Firefly et d’autres méthodes de diffusion basées sur les API, et via des architectures open source telles que la diffusion stable et Flux).

Bien qu’il existe de nombreux modèles de diffusion qui peuvent effectuer des modifications mineures sur les images, les LDM sont limités par leur approche sémantique et souvent « trop imaginative » d’une demande de modification basée sur le texte.

Par conséquent, la capacité de tirer temporairement une partie d’une image dans un espace 3D, de la manipuler et de la remplacer dans l’image, tout en n’utilisant que l’image source comme référence, semble être une tâche pour laquelle le Gaussian Splatting pourrait être bien adapté à l’avenir.

* Il y a une certaine confusion dans le document, car il cite « Amorphous-Mirage » comme la méthode la plus efficace et la plus capable, malgré sa tendance à produire des Gaussians indésirables (artefacts), tandis que « Graphite-Mirage » est plus flexible. Il semble qu’Amorphous-Mirage obtienne le meilleur détail, et que Graphite-Mirage obtienne la meilleure flexibilité. Puisque les deux méthodes sont présentées dans le document, avec leurs forces et faiblesses diverses, la préférence des auteurs, si elle existe, n’apparaît pas clairement à ce stade.

Publié pour la première fois le jeudi 3 octobre 2024