Editace obrázků pomocí Gaussian Splattingu

Nová spolupráce mezi výzkumníky v Polsku a ve Spojeném království navrhuje možnost použití Gaussian Splattingu pro editaci obrázků, a to tak, že dočasně interpretuje vybranou část obrázku do 3D prostoru, umožňující uživateli modifikovat a manipulovat 3D reprezentací obrázku a poté aplikovat transformaci.

Pro změnu orientace hlavy kočky je relevantní sekce přesunuta do 3D prostoru pomocí Gaussian Splattingu a poté manipulována uživatelem. Modifikace je poté aplikována. Proces je analogický k různým modálním technikám v softwaru Adobe, které uzamknou rozhraní, dokud není dokončen aktuální složitý proces. Source: https://github.com/waczjoan/MiraGe/

Pokud je Gaussian Splattingový prvek dočasně reprezentován mřížkou trojúhelníků a přechodně vstupuje do ‘CGI stavu’, může fyzikální engine integrovaný do procesu interpretovat přirozené pohyby, buď pro změnu statického stavu objektu, nebo pro vytvoření animace.

Fyzikální engine integrovaný do nového systému MiraGe může provádět přirozené interpretace fyzických pohybů, buď pro animace nebo statické úpravy obrázku.

Neexistuje žádný generativní AI zapojený do procesu, což znamená, že nejsou zapojeny žádné Latent Diffusion Models (LDMs), na rozdíl od systému Adobe Firefly, který je trénován na Adobe Stock (dříve Fotolia).

Systém – nazvaný MiraGe – interpretuje výběry do 3D prostoru a odvozuje geometrii vytvořením zrcadlového obrazu výběru a aproximací 3D souřadnic, které lze vtělit do Splatu, který poté interpretuje obrázek do mřížky.

Kliknutím se spustí. Další příklady prvků, které byly buď upraveny ručně uživatelem systému MiraGe, nebo podrobeny fyzikálně založené deformaci.

Autorům se podařilo srovnat systém MiraGe s předchozími přístupy a zjistili, že dosahuje špičkového výkonu v cílovém úkolu.

Uživatelé systému zBrush budou znalí tohoto procesu, protože zBrush umožňuje uživateli prakticky ‘zmačkat’ 3D model a přidat 2D detaily, zatímco zachovává podkladovou mřížku a interpretuje nové detaily do ní – ‘zmrazení’, které je opačným postupem než metoda MiraGe, která funguje podobně jako Firefly nebo jiné modalitní manipulace v Photoshopu, jako je ohýbání nebo hrubé 3D interpretace.

Parametrizované Gaussian Splaty umožňují MiraGe vytvářet vysoké kvality rekonstrukcí vybraných oblastí 2D obrázku a aplikovat soft-body fyziku na dočasně 3D výběr.

Článek uvádí:

‘[My] představujeme model, který kóduje 2D obrázky simulací lidské interpretace. Konkrétně, náš model chápe 2D obrázek jako lidská bytost by viděla fotografii nebo list papíru, zachází s ním jako s plochým objektem v 3D prostoru.

‘Tento přístup umožňuje intuitivní a flexibilní editaci obrázků, zachycuje nuance lidského vnímání a umožňuje složitou transformaci.’

Nový článek nový článek je nazvaný MiraGe: Editovatelné 2D obrázky pomocí Gaussian Splattingu a pochází od čtyř autorů z Jagellonské univerzity v Krakově a Univerzity v Cambridgi. Úplný kód pro systém byl vydán na GitHubu.

Podívejme se, jak výzkumníci řešili výzvu.

Metoda

Přístup MiraGe využívá Gaussian Mesh Splatting (GaMeS) parametrizaci, techniku vyvinutou skupinou, která zahrnuje dva z autorů nového článku. GaMeS umožňuje Gaussian Splatům být interpretovány jako tradiční CGI mřížky a stát se předmětem standardního rozsahu technik ohýbání a modifikace, které komunita CGI vyvinula v posledních několika desetiletích.

MiraGe interpretuje ‘ploché’ Gaussovy funkce, v 2D prostoru, a používá GaMeS k ‘přesunutí’ obsahu do GSplat-enabled 3D prostoru, dočasně.

Každý plochý Gaussov je reprezentován jako tři body v mraku trojúhelníků, nazývaném ‘triangle soup’, otevírající se inferovanému obrázku k manipulaci. Source: https://arxiv.org/pdf/2410.01521

Můžeme vidět v levém dolním rohu obrázku výše, že MiraGe vytváří ‘zrcadlový’ obraz sekce obrázku, který má být interpretován.

Autorům se uvádí:

‘[My] využíváme novou metodu, která využívá dvě proti sobě umístěné kamery umístěné podél osy Y, symetricky zarovnané kolem počátku a směrované k sobě navzájem. První kamera je povinna rekonstruovat původní obrázek, zatímco druhá modeluje zrcadlové odraz.

‘Fotografie je tak konceptualizována jako průsvitný list papíru, vložený do 3D prostorového kontextu. Odraz lze účinně reprezentovat horizontálním otočením [obrázku]. Tato konfigurace zrcadlové kamery zlepšuje věrnost generovaných odrazů, poskytující robustní řešení pro přesné zachycení vizuálních prvků.’

Článek uvádí, že jednou tato extrakce byla provedena, perspektivní úpravy, které by byly obvykle obtížné, se stávají dostupnými prostřednictvím přímé editace v 3D. V následujícím příkladu vidíme výběr obrázku ženy, který zahrnuje pouze její ruku. V tomto případě uživatel naklonil ruku dolů přirozeným způsobem, což by bylo obtížné úkolem pouze přesouváním pixelů.

Příklad techniky editace MiraGe.

Pokus o provedení této úpravy pomocí generativních nástrojů Firefly v Photoshopu by obvykle znamenalo, že ruka je nahrazena syntetizovanou, difuzí imaginovanou rukou, porušující autenticitu úpravy. I více schopné systémy, jako je ControlNet pomocný systém pro Stable Diffusion a další Latent Diffusion Models, jako Flux, mají potíže s dosažením tohoto druhu úpravy v obrázku na obrázek.

Tato konkrétní snaha byla ovládána metodami, které využívají Implicitní Neuronové Reprezentace (INRs), jako je SIREN a WIRE. Rozdíl mezi implicitní a explicitní reprezentační metodou spočívá v tom, že souřadnice modelu nejsou přímo adresovatelné v INRs, které používají kontinuální funkci.

Naproti tomu Gaussian Splatting nabízí explicitní a adresovatelné X/Y/Z kartézské souřadnice, i když používá Gaussovy elipsy místo voxelů nebo jiných metod pro znázornění obsahu v 3D prostoru.

Nápad použití GSplat v 2D prostoru byl nejvíce prezentován, autoři uvádějí, v čínské akademické spolupráci GaussianImage, která nabídla 2D verzi Gaussian Splattingu, umožňující inferenční rychlosti 1000fps. Nicméně, tento model nemá žádný vztah k editaci obrázků.

Po parametrizaci GaMeS extrahuje vybranou oblast do Gaussovy/mřížkové reprezentace, je obrázek rekonstruován pomocí metody Material Points Method (MPM) poprvé popsáné v článku z roku 2018.

V MiraGe, během procesu úpravy, Gaussov Splat existuje jako řídící proxy pro ekvivalentní mřížkovou verzi, podobně jako 3DMM CGI modely jsou často používány jako orchestrace metody pro implicitní neuronové renderovací techniky, jako je Neural Radiance Fields (NeRF).

Během procesu jsou dvourozměrné objekty modelovány v 3D prostoru a části obrázku, které nejsou ovlivňovány, nejsou viditelné pro konečného uživatele, aby kontextový efekt manipulací nebyl zřejmý, dokud proces není dokončen.

MiraGe lze integrovat do populárního open source 3D programu Blender, který je nyní často používán v AI-inclusive pracovních postupech, primárně pro image-to-image účely.

Pracovní postup pro MiraGe v Blenderu, zahrnující pohyb paže postavy zobrazené v 2D obrázku.

Autorům se podařilo navrhnout dvě verze deformačního přístupu založeného na Gaussian Splattingu – Amorfní a Graphite.

Amorfní přístup přímo využívá metodu GaMeS a umožňuje extrahované 2D výběru pohybovat se volně v 3D prostoru, zatímco Graphite přístup omezuje Gaussovy funkce na 2D prostor během inicializace a tréninku.

Výzkumníci zjistili, že ačkoli Amorfní přístup může zvládat složitější tvary lépe než Graphite, ‘trhliny’ nebo rift artefaktů byly více zřejmé, kde hrana deformace se shoduje s neovlivněnou částí obrázku*.

Proto vyvinuli výše zmíněný ‘zrcadlový’ systém:

‘[My] využíváme novou metodu, která využívá dvě proti sobě umístěné kamery umístěné podél osy Y, symetricky zarovnané kolem počátku a směrované k sobě navzájem.

‘První kamera je povinna rekonstruovat původní obrázek, zatímco druhá modeluje zrcadlové odraz. Fotografie je tak konceptualizována jako průsvitný list papíru, vložený do 3D prostorového kontextu. Odraz lze účinně reprezentovat horizontálním otočením [obrázku].

‘Tato konfigurace zrcadlové kamery zlepšuje věrnost generovaných odrazů, poskytující robustní řešení pro přesné zachycení vizuálních prvků.’

Článek uvádí, že MiraGe lze použít externí fyzikální engine, jako je dostupný v Blenderu, nebo v Taichi_Elements.

Data a testy

Pro hodnocení kvality obrázků v testech provedených pro MiraGe byly použity Signal-to-Noise Ratio (SNR) a MS-SIM metriky.

Použité datové sady byly Kodak Lossless True Color Image Suite a DIV2K validační sada. Rozlišení těchto datových sad se hodilo pro srovnání s předchozími pracemi, Gaussian Image. Další soupeřící rámce, které byly testovány, byly SIREN, WIRE, NVIDIA’s Instant Neural Graphics Primitives (I-NGP) a NeuRBF.

Experimenty se konaly na NVIDIA GEFORCE RTX 4070 laptopu a na NVIDIA RTX 2080.

MiraGe nabízí špičkové výsledky proti vybraným předchozím rámcům, podle výsledků uvedených v novém článku.

Z těchto výsledků autoři uvádějí:

‘Vidíme, že naše предложení překonává předchozí řešení na obou datech. Kvalita měřená oběma metrikami ukazuje významné zlepšení ve srovnání se všemi předchozími přístupy.’

Závěr

MiraGeova adaptace 2D Gaussian Splattingu je jasně novou a pokusem o velmi zajímavou alternativu k vágním a rozmarům použití difuzních modelů pro provedení úprav na obrázku (tj. prostřednictvím Firefly a dalších API-založených difuzních metod a prostřednictvím open source architektur, jako je Stable Diffusion a Flux).

Existuje mnoho difuzních modelů, které mohou provést malé změny na obrázcích, LDMs jsou však omezeny svým sémantickým a často ‘přeimaginovaným’ přístupem k textovému požadavku uživatele na úpravu.

Proto je schopnost dočasně vytáhnout část obrázku do 3D prostoru, upravit ji a vrátit zpět do obrázku, zatímco se používá pouze původní obrázek jako referenční bod, zdá se být úkolem, pro který by Gaussian Splatting mohl být vhodný v budoucnu.

* Existuje určitá záměna v článku, protože se cituje ‘Amorfní-Mirage’ jako nejúčinnější a nejkvalitnější metodu, navzdory její tendenci produkovat nežádoucí Gaussovy funkce (artefakty), zatímco se argumentuje, že ‘Graphite-Mirage’ je více flexibilní. Zdá se, že Amorfní-Mirage dosahuje nejlepších detailů a Graphite-Mirage nejlepší flexibility. Protože obě metody jsou prezentovány v článku, s jejich rozmanitými silnými a slabými stránkami, preference autorů, pokud nějaká existuje, není zřejmá v tomto okamžiku.

Poprvé zveřejněno ve čtvrtek, 3. října 2024