Bildebehandling med Gaussian Splatting

En ny samarbeidsprosjekt mellom forskere i Polen og Storbritannia foreslår muligheten av å bruke Gaussian Splatting til å redigere bilder, ved å midlertidig tolke en valgt del av bildet til 3D-rom, og deretter tillate brukeren å modifisere og manipulere 3D-representasjonen av bildet, og så anvende transformasjonen.

For å endre orienteringen av kattens hode, flyttes den relevante delen inn i 3D-rom via Gaussian Splatting, og deretter manipuleres av brukeren. Modifikasjonen blir deretter anvendt. Prosessen er analog til ulike modale tekniker i Adobe -programvare, som låser grensesnittet til en kompleks prosess er fullført. Kilde: https://github.com/waczjoan/MiraGe/

Siden Gaussian Splat-elementet midlertidig representeres som en mesh av trekanter, og midlertidig går inn i en ‘CGI-tilstand’, kan en fysikk-motor som er integrert i prosessen tolke naturlig bevegelse, enten for å endre den statiske tilstanden til et objekt, eller for å produsere en animasjon.

En fysikk-motor som er inkorporert i det nye MiraGe-systemet kan utføre naturlige tolkninger av fysisk bevegelse, enten for animasjoner eller statiske endringer av et bilde.

Det er ingen generativ AI involvert i prosessen, noe som betyr at ingen Latent Diffusion Models (LDMs) er involvert, i motsetning til Adobes Firefly-system, som er trent på Adobe Stock (tidligere Fotolia).

Systemet – kalt MiraGe – tolker valg inn i 3D-rom og antar geometri ved å lage en speilbilde av valget, og approksimere 3D-koordinater som kan inkorporeres i en Splat, som deretter tolker bildet inn i en mesh.

Klikk for å spille. Flere eksempler på elementer som har blitt endret manuelt av en bruker av MiraGe-systemet, eller som har vært underlagt fysikk-basert deformasjon.

Forfatterne sammenlignet MiraGe-systemet med tidligere tilnærminger, og fant at det oppnår state-of-the-art-ytelse i mål-oppgaven.

Brukere av zBrush-modelleringssystemet vil være kjent med denne prosessen, siden zBrush tillater brukeren å nesten ‘flate’ en 3D-modell og legge til 2D-detajer, samtidig som den beholder den underliggende meshen, og tolker den nye detaljen inn i den – en ‘fryse’ som er motsatt av MiraGe-metoden, som opererer mer som Firefly eller andre Photoshop-stil modale manipulasjoner, som forvrengning eller grove 3D-tolkninger.

Parametrized Gaussian Splats tillater MiraGe å lage høykvalitets-rekonstruksjoner av valgte områder av et 2D-bilde, og anvende myk-kropps-fysikk på det midlertidige 3D-valget.

Arbeidspapiret sier:

‘[Vi] introduserer en modell som koder 2D-bilder ved å simulere menneskelig tolkning. Spesifikt, vår modell oppfatter en 2D-bilde som en menneskelig ville se på et fotografi eller et ark papir, og behandler det som et flatt objekt innenfor en 3D-rom.

‘Dette tilnærmingen tillater intuitiv og fleksibel bilde-redigering, og fanger nyansene av menneskelig persepsjon, samtidig som det muliggjør komplekse transformasjoner.’

Den nye arbeidspapiret har tittelen MiraGe: Redigerbare 2D-bilder ved hjelp av Gaussian Splatting, og kommer fra fire forfattere på Jagiellonian University i Kraków og University of Cambridge. Den fullstendige koden for systemet har blitt gjort tilgjengelig på GitHub.

La oss se på hvordan forskerne tok tak i utfordringen.

Metode

MiraGe-tilnærmingen utnytter Gaussian Mesh Splatting (GaMeS) parametrering, en teknikk utviklet av en gruppe som inkluderer to av forfatterne av det nye arbeidspapiret. GaMeS tillater Gaussian Splats å tolkes som tradisjonelle CGI-mesh, og å bli underlagt standard-rekke av forvrengnings- og modifiserings-teknikker som CGI-samfunnet har utviklet over de siste tiårene.

MiraGe tolker ‘flotte’ Gaussians i et 2D-rom, og bruker GaMeS for å ‘trekke’ innhold inn i GSplat-aktivert 3D-rom, midlertidig.

Hver flat Gaussian representeres som tre punkter i en sky av trekanter, kalt ‘triangle soup’, og åpner opp den antatte bildet for manipulering. Kilde: https://arxiv.org/pdf/2410.01521

Vi kan se i venstre nedre hjørne av bildet ovenfor at MiraGe skaper en ‘speilbilide’ av delen av et bilde som skal tolkes.

Forfatterne sier:

‘[Vi] anvender en ny tilnærming som bruker to motsatte kameraer plassert langs Y-aksen, symmetrisk justert rundt opphavet og rettet mot hverandre. Det første kameraet er oppgaven med å rekonstruere det opprinnelige bildet, mens det andre modellerer speilrefleksjonen.

‘Fotografiet er så konseptualisert som en gjennomsiktig tegne-papir-ark, innlejret i 3D-rom-konteksten. Refleksjonen kan effektivt representeres ved å vende bildet horisontalt. Dette speil-kamera-oppssettet forbedrer trofastheten av de genererte refleksjonene, og gir en robust løsning for å fange visuelle elementer nøye.’

Arbeidspapiret bemerker at når denne ekstraksjonen er oppnådd, kan perspektiv-justeringer som vanligvis ville være utfordrende, bli tilgjengelige via direkte redigering i 3D. I eksemplet under ser vi en valg av et bilde av en kvinne som omfatter bare hennes arm. I dette tilfellet har brukeren helt hennes hånd nedover på en plausibel måte, noe som ville være en utfordrende oppgave bare ved å skyve piksler rundt.

Et eksempel på MiraGe-redigerings-teknikken.

Forsøket på å gjøre dette ved hjelp av Firefly-generative verktøy i Photoshop ville vanligvis bety at hånden blir erstattet av en syntetisk, diffusjons-forestilt hånd, og bryter autentisiteten av redigeringen. Selv de mer kapable systemene, som ControlNet hjelpe-system for Stable Diffusion og andre Latent Diffusion Models, slik som Flux, sliter med å oppnå denne type redigering i et bilde-til-bilde-pipeline.

Dette spesielle forfølgelse har blitt dominert av metoder som bruker Implicit Neural Representations (INRs), som SIREN og WIRE. Forskjellen mellom en implisitt og en eksplisitt representasjonsmetode er at koordinatene til modellen ikke er direkte adressebare i INRs, som bruker en kontinuerlig funksjon.

I motsetning til dette tilbyr Gaussian Splatting eksplisitte og adressebare X/Y/Z Cartesian-koordinater, selv om det bruker Gaussian-ellipser i stedet for voxels eller andre metoder for å avbilde innhold i et 3D-rom.

Tanken på å bruke GSplat i et 2D-rom har blitt mest fremtredende presentert, ifølge forfatterne, i den kinesiske akademiske samarbeidsprosjektet GaussianImage, som tilbød en 2D-versjon av Gaussian Splatting, og muliggjorde inferens-rammer på 1000fps. Imidlertid har denne modellen ingen implementering relatert til bilde-redigering.

Etter GaMeS-parametrisering trekker den valgte delen av bildet inn i en Gaussian/mesh-representasjon, og bildet rekonstrueres ved hjelp av Material Points Method (MPM)-teknikken, som først ble presentert i en 2018 CSAIL-paper.

I MiraGe, under prosessen med å endre, eksisterer Gaussian Splat som en veileder-proxy for en ekvivalent mesh-versjon, på samme måte som 3DMM CGI-modeller ofte brukes som orkestreringsmetoder for implisitte neurale rendering-teknikker som Neural Radiance Fields (NeRF).

Under prosessen modelleres to-dimensionale objekter i 3D-rom, og delene av bildet som ikke påvirkes, er ikke synlige for sluttbrukeren, slik at den kontekstuelle effekten av manipulasjonene ikke er åpenbart før prosessen er fullført.

MiraGe kan integreres i det populære åpne kilde 3D-programmet Blender, som nå ofte brukes i AI-inclusive arbeidsflyter, primært for bilde-til-bilde-formål.

En arbeidsflyt for MiraGe i Blender, som innebærer bevegelse av armen til en figur avbildet i et 2D-bilde.

Forfatterne tilbyr to versjoner av en deformasjons-tilnærming basert på Gaussian Splatting – Amorphous og Graphite.

Amorphous-tilnærmingen bruker direkte GaMeS-metoden, og tillater den ekstraherte 2D-valget å bevege seg fritt i 3D-rom, mens Graphite-tilnærmingen begrenser Gaussian til 2D-rom under initialisering og trening.

Forskerne fant at selv om Amorphous-tilnærmingen kanskje håndterer komplekse former bedre enn Graphite, var ‘tårer’ eller rift-arterfakter mer tydelige, der kanten av deformasjonen sammenfaller med den uberørte delen av bildet*.

Derfor utviklet de ovennevnte ‘speilbilide’-systemet:

‘[Vi] anvender en ny tilnærming som bruker to motsatte kameraer plassert langs Y-aksen, symmetrisk justert rundt opphavet og rettet mot hverandre.

‘Det første kameraet er oppgaven med å rekonstruere det opprinnelige bildet, mens det andre modellerer speilrefleksjonen. Fotografiet er så konseptualisert som en gjennomsiktig tegne-papir-ark, innlejret i 3D-rom-konteksten. Refleksjonen kan effektivt representeres ved å vende bildet horisontalt.

‘Dette speil-kamera-oppssettet forbedrer trofastheten av de genererte refleksjonene, og gir en robust løsning for å fange visuelle elementer nøye.’

Arbeidspapiret bemerker at MiraGe kan bruke eksterne fysikk-motorer som de som er tilgjengelige i Blender, eller i Taichi_Elements.

Data og tester

For bilde-kvalitets-vurderinger i tester utført for MiraGe, ble Signal-til-Støy-Forhold (SNR) og MS-SIM metrikker brukt.

Datasett som ble brukt var Kodak Lossless True Color Image Suite, og DIV2K valideringssettet. Oppløsningene av disse datasettene passet en sammenligning med den nærmeste tidligere arbeid, Gaussian Image. De andre rivaliserende rammeverkene som ble testet var SIREN, WIRE, NVIDIA’s Instant Neural Graphics Primitives (I-NGP), og NeuRBF.

Testene ble utført på en NVIDIA GEFORCE RTX 4070 laptop og på en NVIDIA RTX 2080.

MiraGe tilbyr state-of-the-art-resultater mot de valgte tidligere rammeverkene, ifølge resultater presentert i det nye arbeidspapiret.

Av disse resultater sier forfatterne:

‘Vi ser at vår proposisjon overgår de tidligere løsningene på begge datasett. Kvaliteten målt med begge metrikker viser en betydelig forbedring sammenlignet med alle tidligere tilnærminger.’

Konklusjon

MiraGe’s tilpasning av 2D Gaussian Splatting er tydeligvis en ny og forsiktig fremstøt inn i hva som kan vise seg å være en svært interessant alternativ til de usikkerhetene og nyansene ved å bruke diffusjonsmodeller til å gjøre endringer i et bilde (dvs. via Firefly og andre API-baserte diffusjonsmetoder, og via åpne kilde-arkitekturer som Stable Diffusion og Flux).

Selv om det finnes mange diffusjonsmodeller som kan gjøre mindre endringer i bilder, er LDMs begrenset av deres semantiske og ofte ‘over-imaginative’ tilnærming til en tekst-basert brukerforespørsel om en endring.

Derfor synes evnen til å midlertidig trekke en del av et bilde inn i 3D-rom, manipulere det og erstatte det tilbake i bildet, mens bare å bruke det opprinnelige bildet som referanse, å være en oppgave som Gaussian Splatting kan være godt egnet for i fremtiden.

* Det er noen forvirring i arbeidspapiret, i det at det henviser til ‘Amorphous-Mirage’ som den mest effektive og kapable metoden, til tross for dens tendens til å produsere uønskede Gaussians (artefakter), mens det argumenteres for at ‘Graphite-Mirage’ er mer fleksibel. Det ser ut til at Amorphous-Mirage oppnår den beste detaljen, og Graphite-Mirage den beste fleksibiliteten. Siden begge metoder presenteres i arbeidspapiret, med deres ulike styrker og svakheter, ser det ut til at forfatternes preferanse, hvis noen, ikke er åpenbart på dette tidspunktet.

Først publisert torsdag, 3. oktober 2024