Bildredigering med Gaussian Splatting

En ny samarbetsinsats mellan forskare i Polen och Storbritannien föreslår möjligheten att använda Gaussian Splatting för att redigera bilder, genom att tillfälligt tolka en vald del av bilden till 3D-utrymme, vilket möjliggör för användaren att modifiera och manipulera 3D-representationen av bilden, och sedan applicera transformationen.

För att ändra kattens huvudets riktning, flyttas den relevanta sektionen till 3D-utrymme via Gaussian Splatting, och sedan manipuleras av användaren. Ändringen appliceras sedan. Processen är analog till olika modaltekniker i Adobe -program, som låser gränssnittet tills en aktuell komplex process är slutförd. Källa: https://github.com/waczjoan/MiraGe/

Eftersom Gaussian Splat-elementet tillfälligt representeras av en mesh av trianglar, och tillfälligt hamnar i en “CGI-tillstånd”, kan en fysikmotor som integreras i processen tolka naturlig rörelse, antingen för att ändra det statiska tillståndet för ett objekt, eller för att producera en animation.

En fysikmotor som ingår i det nya MiraGe-systemet kan utföra naturliga tolkningar av fysisk rörelse, antingen för animationer eller statiska ändringar av en bild.

Det finns ingen generativ AI involverad i processen, vilket innebär att inga Latent Diffusion Models (LDMs) är involverade, till skillnad från Adobes Firefly-system, som är tränat på Adobe Stock (tidigare Fotolia).

Systemet – som kallas MiraGe – tolkar urval till 3D-utrymme och antar geometri genom att skapa en spegelbild av urvalet, och approximerar 3D-koordinater som kan inkorporeras i en Splat, som sedan tolkar bilden till en mesh.

Klicka för att spela. Ytterligare exempel på element som har ändrats manuellt av en användare av MiraGe-systemet, eller som har utsatts för fysikbaserad deformation.

Författarna jämförde MiraGe-systemet med tidigare metoder, och fann att det uppnår state-of-the-art-prestationer i måluppgiften.

Användare av zBrush-modelleringssystemet kommer att känna igen sig i denna process, eftersom zBrush tillåter användaren att i princip ‘platta till’ ett 3D-modell och lägga till 2D-detajjer, samtidigt som den underliggande meshen bevaras, och den nya detaljen tolkas in i den – en “frys” som är motsatsen till MiraGe-metoden, som fungerar mer som Firefly eller andra Photoshop-liknande modalmanipulationer, såsom vridning eller grova 3D-tolkningar.

Parametrized Gaussian Splats tillåter MiraGe att skapa högkvalitativa rekonstruktioner av valda områden av en 2D-bild, och applicera mjukkropps-fysik på det tillfälligt 3D-urvalda området.

Artikeln säger:

‘[Vi] introducerar en modell som kodar 2D-bilder genom att simulera mänsklig tolkning. Specifikt kodar vår modell en 2D-bild som en människa skulle se en fotografisk bild eller ett ark papper, och behandlar den som ett platt föremål i ett 3D-utrymme.

‘Denna metod möjliggör intuitiv och flexibel bildredigering, och fångar nyanserna av mänsklig perception samtidigt som den möjliggör komplexa transformationer.’

Den nya artikeln heter MiraGe: Redigerbara 2D-bilder med Gaussian Splatting, och kommer från fyra författare på Jagiellonian University i Kraków och University of Cambridge. Den fullständiga koden för systemet har släppts på GitHub.

Låt oss ta en titt på hur forskarna angrep utmaningen.

Metod

MiraGe-metoden använder Gaussian Mesh Splatting (GaMeS) parametrering, en teknik som utvecklats av en grupp som inkluderar två av författarna till den nya artikeln. GaMeS tillåter Gaussian Splats att tolkas som traditionella CGI-meshar, och att bli föremål för standardområdet av vridnings- och modifieringstekniker som CGI-samhället har utvecklat under de senaste decennierna.

MiraGe tolkar “platta” Gaussiska i ett 2D-utrymme, och använder GaMeS för att “dra” innehåll till GSplat-aktiverat 3D-utrymme, tillfälligt.

Varje platt Gaussian representeras som tre punkter i en moln av trianglar, kallad ‘trianglesoppa’, vilket öppnar upp den infererade bilden för manipulation. Källa: https://arxiv.org/pdf/2410.01521

Vi kan se i nedre vänstra hörnet av bilden ovan att MiraGe skapar en “spegelbild” av den del av bilden som ska tolkas.

Författarna säger:

‘[Vi] använder en ny metod som använder två motsatta kameror placerade längs Y-axeln, symmetriskt justerade runt ursprunget och riktade mot varandra. Den första kameran är uppgiften att rekonstruera den ursprungliga bilden, medan den andra modellerar spegelreflektionen.

‘Fotografiet är således konceptualiserat som ett genomskinligt ritpappersark, inbäddat i 3D-utrymmeskontexten. Reflektionen kan effektivt representeras genom att vända [bilden] horisontellt.

‘Denna spegelkamerainställning förbättrar troheten hos de genererade reflektionerna, och tillhandahåller en robust lösning för att exakt fånga visuella element.’

Artikeln noterar att när denna extraktion har uppnåtts, kan perspektivjusteringar som vanligtvis är utmanande bli tillgängliga via direkt redigering i 3D. I exemplet nedan ser vi ett urval av en bild av en kvinna som omfattar endast hennes arm. I detta fall har användaren lutat handen nedåt på ett trovärdigt sätt, vilket skulle vara en utmanande uppgift genom att bara flytta pixlar runt.

Ett exempel på MiraGe-redigeringsmetoden.

Försöket att göra detta med hjälp av Firefly-generativa verktyg i Photoshop skulle vanligtvis innebära att handen ersätts av en syntetiserad, diffusion-imaginativ hand, vilket bryter mot äktheten i redigeringen. Även de mer kapabla systemen, såsom ControlNet hjälpsystem för Stable Diffusion och andra Latent Diffusion Models, såsom Flux, kämpar för att uppnå denna typ av redigering i en bild-till-bild-pipeline.

Denna särskilda strävan har dominerats av metoder som använder Implicita Neurala Representationer (INRs), såsom SIREN och WIRE. Skillnaden mellan en implicit och en explicit representationsmetod är att koordinaterna för modellen inte är direkt adresserbara i INRs, som använder en kontinuerlig funktion.

I kontrast erbjuder Gaussian Splatting explicita och adresserbara X/Y/Z kartesiska koordinater, även om den använder Gaussiska ellipser snarare än voxlar eller andra metoder för att avbilda innehåll i ett 3D-utrymme.

Idén att använda GSplat i ett 2D-utrymme har presenterats mest framträdande, enligt författarna, i den kinesiska akademiska samarbetet GaussianImage, som erbjöd en 2D-version av Gaussian Splatting, vilket möjliggjorde inferenshastigheter på 1000fps. Men denna modell har ingen implementering relaterad till bildredigering.

Efter GaMeS-parametrering extraherar den valda området till en Gaussian/mesh-representation, rekonstrueras bilden med hjälp av Material Points Method (MPM) teknik, som först beskrevs i en 2018 CSAIL-artikel.

I MiraGe, under processen för ändring, existerar Gaussian Splat som en guideproxy för en motsvarande mesh-version, liknande 3DMM CGI-modeller som ofta används som orkestreringsmetoder för implicita neurala renderingstekniker som Neural Radiance Fields (NeRF).

Under processen modelleras tvådimensionella föremål i 3D-utrymme, och de delar av bilden som inte påverkas är inte synliga för slutanvändaren, så att den kontextuella effekten av manipulationerna inte är uppenbar förrän processen är avslutad.

MiraGe kan integreras i det populära öppna källkodsprogrammet Blender, som nu ofta används i AI-inclusiva arbetsflöden, främst för bild-till-bild-ändamål.

Ett arbetsflöde för MiraGe i Blender, som involverar rörelsen av armen på en figur som avbildas i en 2D-bild.

Författarna erbjuder två versioner av en deformationsteknik baserad på Gaussian Splatting – Amorf och Graphite.

Amorf-metoden använder direkt GaMeS-metoden, och tillåter det extraherade 2D-urvalet att röra sig fritt i 3D-utrymme, medan Graphite-metoden begränsar Gaussiska till 2D-utrymme under initiering och träning.

Forskarna fann att Amorf-metoden kanske hanterar komplexa former bättre än Graphite, men “sprickor” eller rifteffekter var mer tydliga, där kanten av deformationen sammanfaller med den opåverkade delen av bilden*.

Därför utvecklade de den ovannämnda “spegelbild”-systemet:

‘[Vi] använder en ny metod som använder två motsatta kameror placerade längs Y-axeln, symmetriskt justerade runt ursprunget och riktade mot varandra.

‘Den första kameran är uppgiften att rekonstruera den ursprungliga bilden, medan den andra modellerar spegelreflektionen. Fotografiet är således konceptualiserat som ett genomskinligt ritpappersark, inbäddat i 3D-utrymmeskontexten. Reflektionen kan effektivt representeras genom att vända [bilden] horisontellt.

‘Denna spegelkamerainställning förbättrar troheten hos de genererade reflektionerna, och tillhandahåller en robust lösning för att exakt fånga visuella element.’

Artikeln noterar att MiraGe kan använda externa fysikmotorer som de som finns tillgängliga i Blender, eller i Taichi_Elements.

Data och tester

För bildkvalitetsbedömningar i tester som utfördes för MiraGe, användes Signal-till-brus-förhållandet (SNR) och MS-SIM mått.

Datasets som användes var Kodak Lossless True Color Image Suite, och DIV2K valideringsuppsättning. Upplösningarna på dessa datasets passade för en jämförelse med den närmaste tidigare arbetet, Gaussian Image. De andra rivaliserande ramverken som testades var SIREN, WIRE, NVIDIA’s Instant Neural Graphics Primitives (I-NGP), och NeuRBF.

Experimenten ägde rum på en NVIDIA GEFORCE RTX 4070-laptop och på en NVIDIA RTX 2080.

MiraGe erbjuder state-of-the-art-resultat mot de valda tidigare ramverken, enligt resultaten i den nya artikeln.

Av dessa resultat säger författarna:

‘Vi ser att vår proposition överträffar de tidigare lösningarna på båda datasets. Kvaliteten som mäts av båda måtten visar en betydande förbättring jämfört med alla tidigare metoder.’

Slutsats

MiraGes anpassning av 2D Gaussian Splatting är tydligt en ny och försiktig inledning i vad som kan visa sig vara en mycket intressant alternativ till de nycker och nyanser som används av diffusionmodeller för att göra ändringar i en bild (dvs. via Firefly och andra API-baserade diffusionmetoder, och via öppen källkodsarkitektur som Stable Diffusion och Flux).

Även om det finns många diffusionmodeller som kan göra mindre ändringar i bilder, är LDMs begränsade av sin semantiska och ofta “över-imaginativa” metod för en textbaserad användarbegäran om en ändring.

Därför verkar förmågan att tillfälligt dra en del av en bild till 3D-utrymme, manipulera den och ersätta den tillbaka i bilden, medan endast den ursprungliga bilden används som referens, vara en uppgift som Gaussian Splatting kan vara väl lämpad för i framtiden.

* Det finns viss förvirring i artikeln, eftersom den citerar ‘Amorphous-Mirage’ som den mest effektiva och kapabla metoden, trots dess tendens att producera oönskade Gaussiska (artefakter), medan den hävdar att ‘Graphite-Mirage’ är mer flexibel. Det verkar som att Amorphous-Mirage uppnår den bästa detaljerna, och Graphite-Mirage den bästa flexibiliteten. Eftersom båda metoderna presenteras i artikeln, med sina olika styrkor och svagheter, verkar författarnas preferens, om någon, inte vara tydlig vid denna tid.

Publicerad första gången torsdagen den 3 oktober 2024