Højpræcis Semantisk Billede Redigering med EditGAN

Generative Adversarial Networks eller GAN’er har nydt nye anvendelser i billedredigeringsindustrien. I de sidste få måneder er EditGAN blevet populær i AI/ML-industrien, fordi det er en ny metode til højpræcis og højkvalitets semantisk billedredigering.

Vi vil tale om EditGAN-modellen i detaljer og fortælle, hvorfor den kan være et milepæl i den semantiske billedredigeringsindustri.

Så lad os starte. Men før vi kommer til at kende, hvad EditGAN er, er det vigtigt for os at forstå, hvad EditGAN’s betydning er, og hvorfor det er et vigtigt skridt fremad.

Hvorfor EditGAN?

Selvom traditionelle GAN-arkitekturer har hjulpet AI-baseret billedredigeringsindustri til at fremme betydeligt, er der nogle større udfordringer med at bygge en GAN-arkitektur fra scratch.

1. Under træningsfasen kræver en GAN-arkitektur en stor mængde af mærket data med semantisk segmenteringsnotationer.
2. De kan kun give højniveau-kontrol.
3. Og ofte interpolerer de bare frem og tilbage mellem billeder.

Det kan observeres, at selvom traditionelle GAN-arkitekturer får arbejdet gjort, er de ikke effektive til bredt anvendelse. Traditionelle GAN-arkitekturernes underlødige effektivitet er årsagen til, at EditGAN blev introduceret af NVIDIA (NVDA ) i 2022.

EditGAN er foreslået som en effektiv metode til højpræcis og højkvalitets semantisk billedredigering med mulighed for at tillade brugere at redigere billeder ved at ændre deres højdetaljerede segmenteringsmasker af et billede. En af årsagerne til, at EditGAN er en skalerbar metode til billedredigeringsopgaver, er på grund af dets arkitektur.

EditGAN-modellen er bygget på en GAN-ramme, der modellerer billeder og deres semantiske segmenteringer samlet, og kræver kun en håndfuld af mærket eller annoteret træningsdata. Udviklerne af EditGAN har forsøgt at indlejre et billede i GAN’s latente rum for at ændre billedet effektivt ved at udføre betinget latent kodeoptimering i overensstemmelse med segmenteringsredigeringen. Derudover forsøger modellen at finde “redigeringsvektorer” i latente rum, der realiserer redigeringerne.

Arkitekturen af EditGAN-rammen tillader modellen at lære en vilkårlig mængde af redigeringsvektorer, der kan anvendes direkte på andre billeder med høj hastighed og effektivitet. Derudover indikerer eksperimentelle resultater, at EditGAN kan redigere billeder med en hidtil uset niveau af detaljer, samtidig med at billedkvaliteten bevares til maksimum.

For at samme, hvorfor vi har brug for EditGAN, er det den første GAN-baserede billedredigeringsramme, der tilbyder

1. Meget højpræcis redigering.
2. Kan arbejde med en håndfuld af mærket data.
3. Kan anvendes effektivt i realtidsscenarier.
4. Tillader kompositionelhed for multiple redigeringer samtidigt.
5. Fungerer på GAN-genererede, virkeligt indlejrede og selv udenfor domæne billeder.

Højpræcis Semantisk Billedredigering med EditGAN

StyleGAN2, en state-of-the-art GAN-ramme til billedsynthese, er den primære billedgenereringskomponent af EditGAN. StyleGAN2-rammen mapper latentkoder, der er trukket fra en pool af multivariat normaldistribution, og mapper det til realistiske billeder.

StyleGAN2 er en dyb generativ model, der er blevet trænet til at synthesere billeder af højeste kvalitet muligt sammen med at opnå en semantisk forståelse af billederne, der er modelleret.

SegmenteringsTræning og Inferens

EditGAN-modellen indlejrer et billede i GAN’s latente rum ved hjælp af optimering og en encoder til at udføre segmentering på et nyt billede og træne segmenteringsgrenen. EditGAN-rammen fortsætter med at bygge på tidligere arbejder og træner en encoder til at indlejre billederne i latente rum. Det primære formål her er at træne encoderen bestående af standard pixel-vis L2 og LPIPS konstruktions-tab.

Resultatet er, at modellen indlejrer de annoterede billeder fra datasset, der er mærket med semantisk segmentering, i latente rum og bruger krydsentropitab til at træne segmenteringsgrenen af generatoren.

Brug af Segmenteringsredigering til at Finde Semantik i Latent Rum

Det primære formål med EditGAN er at udnytte den fælles distribution af semantiske segmenteringer og billeder til højpræcis billedredigering. Lad os sige, vi har et billede x, der skal redigeres, så modellen indlejrer billedet i EditGAN’s latente rum eller bruger prøvebilleder fra modellen selv. Segmenteringsgrenen genererer y eller den tilsvarende segmentering primært, fordi både RGB-billeder og segmenteringer deler de samme latente koder w. Udviklerne kan derefter bruge enhver mærkning eller digital maleværktøj til at ændre segmenteringen og redigere dem manuelt.

Forskellige måder at redigere under Inferens

De latente redigeringsvektorer, der erhverves ved optimering, kan beskrives som semantisk meningsfulde og er ofte disentangled med forskellige attributter. Derfor kan modellen direkte indlejre et nyt billede i latente rum og udføre de samme redigeringsoperationer, som modellen har lært tidligere, uden at udføre optimeringen fra scratch.

Det er værd at bemærke, at udviklerne endnu ikke har perfektioneret disentanglement, og redigeringsvektorerne returnerer ofte ikke de bedste resultater, når de bruges til andre billeder. Men problemet kan overvindes ved at fjerne redigeringsartefakter fra andre dele af billedet ved at udføre et par ekstra optimeringstrin under testtiden.

På baggrund af vores nuværende erfaringer kan EditGAN-rammen bruges til at redigere billeder på tre forskellige måder.

• Real-Time Redigering med Redigeringsvektorer

For billeder, der er lokaliserede og disentangled, redigerer modellen billederne ved at anvende redigeringsvektorer, der er lært tidligere med forskellige skalaer og manipulerer billederne på interaktive hastigheder.

• Brug af Selv-Suppleret Raffinering til Vektor-baseret Redigering

For lokaliserede billeder, der ikke er disentangled perfekt med andre dele af billedet, initialiserer modellen billedredigeringen ved hjælp af tidligere lært redigeringsvektorer og fjerner redigeringsartefakter ved at udføre et par ekstra optimeringstrin under testtiden.

• Optimerings-baseret Redigering

For at udføre store og billedspecifikke redigeringer udfører modellen optimeringen fra starten, fordi redigeringsvektorerne ikke kan bruges til at udføre disse typer af overførsler til andre billeder.

Implementering

EditGAN-rammen evalueres på billeder, der er fordelt over fire forskellige kategorier: Biler, Fugle, Katte og Ansigter. Segmenteringsgrenen af modellen trænes ved hjælp af billed-masker-par af 16, 30, 30, 16 som mærket træningsdata for Biler, Fugle, Katte og Ansigter henholdsvis. Når billedet skal redigeres kun ved hjælp af optimering eller når modellen forsøger at lære redigeringsvektorerne, udfører modellen 100 optimeringstrin ved hjælp af Adam-optimeringen.

For Kat, Bil og Ansigt-datasættet bruger modellen virkelige billeder fra DatasetGAN’s test-sæt, der ikke blev brugt til at træne GAN-rammen til at udføre redigeringsfunktionen. Disse billeder indlejres direkte i EditGAN’s latente rum ved hjælp af optimering og kodning. For Fugl-kategorien vises redigeringen på GAN-genererede billeder.

Resultater

Kvalitative Resultater

Indenfor Resultater

Det ovenstående billede demonstrerer EditGAN-rammens præstation, når den anvender tidligere lært redigeringsvektorer på nye billeder og raffinerer billederne ved hjælp af 30 optimeringstrin. Disse redigeringsoperationer, der udføres af EditGAN-rammen, er disentangled for alle klasser og bevare billedkvaliteten.

Det er forbløffende, at EditGAN-rammen kan udføre ekstremt højpræcise redigeringer som dilatation af pupillerne eller redigering af hjulspigerne i bilens dæk. Derudover kan EditGAN også bruges til at redigere semantiske dele af objekter, der kun har få pixel eller kan bruges til at udføre store skalaændringer af et billede.

Udenfor Resultater

For at evaluere EditGAN’s udenfor resultater er rammen testet på MetFaces-datasættet. EditGAN-modellen bruger indenfor virkelige ansigter til at skabe redigeringsvektorer. Modellen indlejrer derefter MetFaces-portrætter, der er udenfor, ved hjælp af en 100-trins optimeringsproces og anvender redigeringsvektorerne via en 30-trins selv-suppleret raffinering.

Kvantitative Resultater

For at måle EditGAN’s billedredigeringsfunktioner kvantitativt bruger modellen en smile-redigeringsbenchmark, der først blev introduceret af MaskGAN. Ansigter med neutral udtryk erstattes med smilende ansigter, og præstationen måles på tværs af tre parametre.

• Semantisk Korrekthed

Modellen bruger en forudtrænet smile-attribut-klassifikator til at måle, om ansigterne i billederne viser smilende udtryk efter redigering.

• Fordelingsniveau Billedkvalitet

Kernel Inception Distance eller KID og Frechet Inception Distance eller FID beregnes mellem CelebA-testdatasættet og 400 redigerede testbilleder.

• Identitetsbevarelse

Modellens evne til at bevare identiteten af subjekter, når billedet redigeres, måles ved hjælp af en forudtrænet ArcFace-funktionsextraktionsnetværk.

Det ovenstående tabel sammenligner EditGAN-rammens præstation med andre baseline-modeller på smile-redigeringsbenchmarket. Metoden, der følges af EditGAN-rammen for at levere sådanne høje resultater, sammenlignes på tværs af tre forskellige baseline:

• MaskGAN

MaskGAN tager ikke-smilende billeder sammen med deres segmenteringsmasker og en mål-smilende segmenteringsmaske som input. Det er værd at bemærke, at i sammenligning med EditGAN kræver MaskGAN-rammen en stor mængde af annoteret data.

• Lokal Redigering

EditGAN sammenligner også sin præstation med lokal redigering, en metode, der bruges til at klustre GAN-funktioner til at implementere lokal redigering, og det er afhængigt af referencebilleder.

• InterFaceGAN

Ligesom EditGAN forsøger InterFaceGAN også at finde redigeringsvektorer i latente rum af modellen. Men i modsætning til EditGAN bruger InterFaceGAN-modellen en stor mængde af annoteret data, hjælpeattribut-klassifikatorer og har ikke den fine redigeringspræcision.

• StyleGAN2Destillation

Denne metode skaber en alternativ tilgang, der ikke nødvendigvis kræver virkelige billedindlejring, men i stedet bruger en redigeringsvektormodel til at oprette et træningsdatasæt.

Begrænsninger

Fordi EditGAN er baseret på GAN-rammen, har det den samme begrænsning som enhver anden GAN-model: det kan kun arbejde med billeder, der kan modelleres af GAN. EditGAN’s begrænsning til at arbejde med GAN-modellerede billeder er den primære årsag til, at det er svært at implementere EditGAN på tværs af forskellige scenarier. Men det er værd at bemærke, at EditGAN’s højpræcise redigeringer kan overføres let til andre billeder ved hjælp af redigeringsvektorer.

Konklusion

En af de primære årsager til, at GAN ikke er en industristandard i billedredigeringsfeltet, er på grund af dets begrænsede praktiskhed. GAN-rammer kræver normalt en stor mængde af annoteret træningsdata og returnerer ofte ikke høj effektivitet og præcision.

EditGAN forsøger at tackle de problemer, der præsenteres af konventionelle GAN-rammer, og det forsøger at komme som en effektiv metode til højkvalitets og højpræcis semantisk billedredigering. Resultaterne indtil nu har vist, at EditGAN faktisk tilbyder, hvad det påstår, og det er allerede bedre end nogle af de nuværende industristandardpraktikker og -modeller.