Billedebearbejdning med Gaussian Splatting

Et nyt samarbejde mellem forskere i Polen og Storbritannien foreslår muligheden for at bruge Gaussian Splatting til at redigere billeder, ved midlertidigt at fortolke en valgt del af billedet i 3D-rum, hvilket giver brugeren mulighed for at ændre og manipulere billedets 3D-repræsentation, og derefter anvende transformationen.

For at ændre kattens hovedretning, flyttes den relevante sektion ind i 3D-rum via Gaussian Splatting, og derefter manipuleres af brugeren. Ændringen anvendes herefter. Processen er analog til forskellige modal-teknikker i Adobe -software, der låser grænsefladen, indtil en aktuel kompleks proces er afsluttet. Kilde: https://github.com/waczjoan/MiraGe/

Da Gaussian Splat-elementet midlertidigt repræsenteres af en mesh af trekanter og midlertidigt kommer ind i en ‘CGI-tilstand’, kan en fysik-motor, der er integreret i processen, fortolke naturlig bevægelse, enten for at ændre den statiske tilstand af et objekt eller for at producere en animation.

En fysik-motor, der er integreret i det nye MiraGe-system, kan udføre naturlige fortolkninger af fysisk bevægelse, enten for animationer eller statiske ændringer af et billede.

Der er ingen generativ AI involveret i processen, hvilket betyder, at der ikke er nogen Latent Diffusion Models (LDMs) involveret, i modsætning til Adobes Firefly-system, der er trænet på Adobe Stock (tidligere Fotolia).

Systemet – kaldet MiraGe – fortolker valg i 3D-rum og slutninger geometri ved at oprette en spejlbillede af valget og approksimere 3D-koordinater, der kan inkorporeres i en Splat, som derefter fortolker billedet i en mesh.

Klik for at afspille. Yderligere eksempler på elementer, der er blevet ændret manuelt af en bruger af MiraGe-systemet, eller er underlagt fysik-baseret deformation.

Forfatterne sammenlignede MiraGe-systemet med tidligere tilgange og fandt, at det opnår state-of-the-art-ydelse i mål-opgaven.

Brugere af zBrush-modelleringssystemet vil være fortrolige med denne proces, da zBrush giver brugeren mulighed for at “flade” en 3D-model og tilføje 2D-detajler, samtidig med at den bevarer den underliggende mesh, og fortolker de nye detaljer ind i den – en “fryse”, der er modsat MiraGe-metoden, der fungerer mere som Firefly eller andre Photoshop-stile modal-manipulationer, såsom forvridning eller grove 3D-fortolkninger.

Parametrized Gaussian Splats giver MiraGe mulighed for at oprette høj-kvalitets-rekonstruktioner af valgte områder af et 2D-billede og anvende soft-body-fysik på den midlertidigt-3D-valgte sektion.

Artiklen siger:

‘[Vi] introducerer en model, der koder 2D-billeder ved at simulere menneskelig fortolkning. Specifikt fortolker vores model et 2D-billede, som en menneske ville se på et fotografi eller et ark papir, og behandler det som et fladt objekt inden for et 3D-rum.

‘Dette tilgang giver mulighed for intuitiv og fleksibel billedredigering, der fanger nuancerne af menneskelig perception, samtidig med at den giver mulighed for komplekse transformationer.’

Den nye artikel er tituleret MiraGe: Editable 2D Images using Gaussian Splatting og kommer fra fire forfattere på Jagiellonian University i Kraków og University of Cambridge. Den fulde kode for systemet er blevet frigivet på GitHub.

Lad os se, hvordan forskerne tog sig af udfordringen.

Metode

MiraGe-tilgangen udnytter Gaussian Mesh Splatting (GaMeS) parametrization, en teknik udviklet af en gruppe, der inkluderer to af forfatterne af den nye artikel. GaMeS giver mulighed for, at Gaussian Splats kan fortolkes som traditionelle CGI-meshes, og kan blive underlagt standard-række af forvridning og ændringsteknikker, som CGI-fællesskabet har udviklet over de sidste årtier.

MiraGe fortolker ‘flade’ Gaussians i et 2D-rum og bruger GaMeS til at ‘trække’ indhold ind i GSplat-aktiveret 3D-rum, midlertidigt.

Hver flad Gaussian repræsenteres som tre punkter i en sky af trekanter, kaldet ‘triangle soup’, åbner op for manipulation. Kilde: https://arxiv.org/pdf/2410.01521

Vi kan se i den nederste venstre hjørne af billedet ovenfor, at MiraGe opretter en ‘spejlbillede’ af sektionen af et billede, der skal fortolkes.

Forfatterne siger:

‘[Vi] anvender en ny tilgang, der udnytter to modsatrettede kameraer placeret langs Y-aksen, symmetrisk justeret omkring origo og rettet mod hinanden. Det første kamera er opgaven med at genskabe det originale billede, mens det andet modellerer spejlbilledet.

‘Fotografiet er således konceptualiseret som en gennemsigtig tegningspapir-ark, indlejret i 3D-rummet. Refleksionen kan effektivt repræsenteres ved at flippe billedet vandret. Dette spejlkamera-sæt giver en robust løsning for at fange visuelle elementer nøjagtigt.’

Artiklen bemærker, at når denne ekstraktion er opnået, bliver perspektiv-justeringer, der normalt ville være udfordrende, tilgængelige via direkte redigering i 3D. I eksemplet nedenfor ser vi en valg af et billede af en kvinde, der omfatter kun hendes arm. I dette tilfælde har brugeren bøjet hånden nedad i en plausibel måde, hvilket ville være en udfordrende opgave ved blot at flytte pixels rundt.

Et eksempel på MiraGe-redigeringsteknikken.

Forsøget på at gøre dette ved hjælp af Firefly-generative værktøjer i Photoshop ville normalt betyde, at hånden erstattes af en syntetiseret, diffusion-forestillet hånd, der bryder med ægthed af redigeringen. Selv de mere kapable systemer, såsom ControlNet hjælpe-system for Stable Diffusion og andre Latent Diffusion Models, såsom Flux, kæmper for at opnå denne type redigering i et billede-til-billede-rørledning.

Dette specifikke forfølgning er blevet domineret af metoder, der anvender Implicit Neural Representations (INRs), såsom SIREN og WIRE. Forskellen mellem en implicit og en eksplizit repræsentationsmetode er, at koordinaterne af modellen ikke er direkte adresserbar i INRs, der bruger en kontinuert funktion.

I modsætning hertil giver Gaussian Splatting eksplizit og adresserbar X/Y/Z Cartesian-koordinater, selvom det bruger Gaussian-ellipser i stedet for voxels eller andre metoder til at afbilde indhold i et 3D-rum.

Tanken om at bruge GSplat i et 2D-rum er blevet præsenteret mest fremtrædende, bemærker forfatterne, i den kinesiske akademiske samarbejde GaussianImage, der tilbød en 2D-version af Gaussian Splatting, der giver mulighed for at slutte rammer med en hastighed på 1000fps. Men denne model har ingen implementering relateret til billedredigering.

Efter GaMeS-parametrization udtrækker den valgte område til en Gaussian/mesh-repræsentation, genskabes billedet ved hjælp af Material Points Method (MPM)-teknikken, der først blev beskrevet i en 2018 CSAIL-artikel.

I MiraGe, under processen med ændring, eksisterer Gaussian Splat som en vejledende proxy for en tilsvarende mesh-version, ligesom 3DMM CGI-modeller ofte bruges som orkestreringsmetoder for implicit neural rendering-teknikker såsom Neural Radiance Fields (NeRF).

Under processen modelleres to-dimensionale objekter i 3D-rum, og de dele af billedet, der ikke påvirkes, er ikke synlige for slutbrugeren, sådan at kontekst-effekten af manipulationerne ikke er åbenlys, før processen er afsluttet.

MiraGe kan integreres i det populære open source 3D-program Blender, der nu ofte bruges i AI-inclusive arbejdsgange, primært til billed-til-billede-formål.

En arbejdsgang for MiraGe i Blender, der involverer bevægelse af armen på en figur, der er afbildet i et 2D-billede.

Forfatterne tilbyder to versioner af en deformationstilgang baseret på Gaussian Splatting – Amorphous og Graphite.

Amorphous-tilgangen bruger direkte GaMeS-metoden og giver mulighed for, at den udtrukne 2D-sektion kan bevæge sig frit i 3D-rum, mens Graphite-tilgangen begrænser Gaussianerne til 2D-rum under initialisering og træning.

Forskerne fandt, at selvom Amorphous-tilgangen måske kan håndtere komplekse former bedre end Graphite, var ‘tårer’ eller rift-arterefakter mere åbenlyse, hvor kanten af deformationen samler sig med den uberørte del af billedet*.

Derfor udviklede de ovennævnte ‘spejlbillede’-system:

‘[Vi] anvender en ny tilgang, der udnytter to modsatrettede kameraer placeret langs Y-aksen, symmetrisk justeret omkring origo og rettet mod hinanden.

‘Det første kamera er opgaven med at genskabe det originale billede, mens det andet modellerer spejlbilledet. Fotografiet er således konceptualiseret som en gennemsigtig tegningspapir-ark, indlejret i 3D-rummet. Refleksionen kan effektivt repræsenteres ved at flippe billedet vandret.

‘Dette spejlkamera-sæt giver en robust løsning for at fange visuelle elementer nøjagtigt.’

Artiklen bemærker, at MiraGe kan bruge eksterne fysik-motorer såsom dem, der er tilgængelige i Blender, eller i Taichi_Elements.

Data og Tests

Til billedkvalitetsvurderinger i tests, der er udført for MiraGe, blev Signal-to-Noise Ratio (SNR) og MS-SIM metrikkerne brugt.

Dataset, der blev brugt, var Kodak Lossless True Color Image Suite og DIV2K validerings sæt. Opløsningerne af disse dataset passede til en sammenligning med den nærmeste tidligere arbejde, Gaussian Image. De andre rivaliserende rammer, der blev testet, var SIREN, WIRE, NVIDIAs Instant Neural Graphics Primitives (I-NGP) og NeuRBF.

Testene fandt sted på en NVIDIA GEFORCE RTX 4070 laptop og på en NVIDIA RTX 2080.

MiraGe giver state-of-the-art-resultater mod de valgte tidligere rammer, ifølge resultaterne i den nye artikel.

Om disse resultater siger forfatterne:

‘Vi ser, at vores forslag overgår de tidligere løsninger på begge dataset. Kvaliteten, der måles ved begge metrikker, viser en betydelig forbedring i forhold til alle tidligere tilgange.’

Konklusion

MiraGes tilpasning af 2D Gaussian Splatting er tydeligvis en ny og forsigtig tilgang til, hvad der kan vise sig at være en meget interessant alternativ til de usikkerheder og luner ved at bruge diffusion-modeller til at ændre billeder (dvs. via Firefly og andre API-baserede diffusion-metoder, og via open source-arkitekturer såsom Stable Diffusion og Flux).

Selvom der er mange diffusion-modeller, der kan ændre billeder, er LDMs begrænsede af deres semantiske og ofte ‘over-imaginative’ tilgang til en tekst-baseret brugeranmodning om en ændring.

Derfor synes det, at muligheden for midlertidigt at trække en del af et billede ind i 3D-rum, manipulere det og erstatte det tilbage i billedet, mens kun brug af det oprindelige billede som reference, kan være en opgave, som Gaussian Splatting kan være velegnet til i fremtiden.

* Der er en vis forvirring i artiklen, da den citerer ‘Amorphous-Mirage’ som den mest effektive og kapable metode, på trods af dens tendens til at producere uønskede Gaussians (arterefakter), mens den samtidig argumenterer for, at ‘Graphite-Mirage’ er mere fleksibel. Det ser ud til, at Amorphous-Mirage opnår den bedste detalje, og Graphite-Mirage den bedste fleksibilitet. Da begge metoder præsenteres i artiklen med deres forskellige styrker og svagheder, ser forfatternes præference, hvis nogen, ikke ud til at være klar på dette tidspunkt.

Først udgivet torsdag, 3. oktober 2024