Hvordan vide, når billedsynthesesystemer producerer virkelig ‘originale’ billeder

En ny studie fra Sydkorea har foreslået en metode til at bestemme, om billedsynthesesystemer producerer virkelig nye billeder eller ‘mindre’ variationer af træningsdata, hvilket potentielt kan besejre formålet med sådanne arkitekturer (såsom produktion af nye og originale billeder).

Meget ofte er det sidstnævnte sandt, fordi de eksisterende metrikker, som sådanne systemer bruger til at forbedre deres generative kapaciteter under træning, er tvunget til at favorisere billeder, der er relativt tæt på (ikke-falske) kildebilleder i datasættet.

Efter alt, hvis et genereret billede er ‘visuelt tæt’ på kildedata, er det uundgåeligt sandsynligt, at det vil score bedre for ‘autenticitet’ end ‘originalitet’, da det er ‘trofast’ – selvom det ikke er særlig inspirerende.

I en sektor, der er for ny og uprøvet til, at dens juridiske implikationer endnu er kendt, kan dette vise sig at være et vigtigt juridisk spørgsmål, hvis det viser sig, at kommercielle syntetiske billedindhold ikke adskiller sig nok fra (ofte) ophavsretligt beskyttede kildebilleder, der i øjeblikket er tilladt at perfusere forskningssektoren i form af populære web-skrapede datasæt (potentialet for fremtidige krav om dette type har fået øget opmærksomhed i forhold til Microsofts GitHub Co-Pilot AI).

I forhold til de stadig mere koherente og semantisk robuste output fra systemer som OpenAI’s DALL-E 2, Google’s Imagen og Kinas CogView-udgivelser (samt den lavere-specifikerede DALL-E mini), er der meget få post facto-måder at pålideligt teste for originaliteten af et genereret billede.

Det er faktisk sådan, at søgning efter nogle af de mest populære nye DALL-E 2-billeder ofte kun fører til yderligere eksempler på disse samme billeder, afhængigt af søgemaskinen.

Uploading a complete 9-image DALL-E 2 output group only leads to more DALL-E 2 output groups, because the grid structure is the strongest feature. Separating and uploading the first image (from this Twitter post of 8th juni 2022, from the ‘Weird Dall-E Generations’ account) causes Google to fixate on the basketball in the picture, taking the image-based search down a semantic blind alley. For the same image-based search, Yandex seems at least to be doing some actual pixel-based deconstruction and feature-matching.

Selvom Yandex er mere sandsynlig end Google Search til at bruge de faktiske features (dvs. et billedes afledte/beregnede features, ikke nødvendigvis ansigtsfeatures af personer) og visuelle (i stedet for semantiske) karakteristika af et indsendt billede til at finde lignende billeder, har alle billedbaserede søgemaskiner enten en eller anden dagsorden eller praksis, der kan gøre det svært at identificere eksempler på kilde>genereret plagiat via web-søgninger.

Dertil kommer, at træningsdataene for et generativt model ikke nødvendigvis er offentligt tilgængelige i deres helhed, hvilket yderligere hindrer retsmedicinsk undersøgelse af originaliteten af genererede billeder.

Interessant nok finder en billedbaseret web-søgning på et af de syntetiske billeder, der er fremhævet på Googles dedikererede Imagen-side, absolut intet, der ligner emnet for billedet, når man ser på billedet og søger upartisk efter lignende billeder. I stedet vil Googles billed-søgeresultater for dette Imagen-billede ikke tillade en ren billedbaseret web-søgning af billedet uden at tilføje søgeordene ‘imagen google’ som et ekstra (og begrænsende) parameter:

Yandex, omvendt, finder en mangfoldighed af lignende (eller i hvert fald visuelt relaterede) virkelige billeder fra den amatørmæssige kunstneriske fællesskab:

Generelt ville det være bedre, hvis nytten eller originaliteten af outputtet fra billedsynthesesystemer på en eller anden måde kunne måles, uden at man behøver at trække features fra hvert enkelt web-tilgængeligt billede på internettet på det tidspunkt, modellen blev trænet, eller i ikke-offentlige datasæt, der måske bruger ophavsretligt beskyttet materiale.

Relateret til dette problem har forskere fra Kim Jaechul Graduate School of AI ved Korea Advanced Institute of Science and Technology (KAIST AI) samarbejdet med det globale ICT- og søgefirma NAVER Corp for at udvikle en Rarity Score, der kan hjælpe med at identificere de mere originale skabelser af billedsynthesesystemer.

Billederne her er genereret via StyleGAN-FFHQ. Fra venstre til højre viser kolonnerne fra værste til bedste resultater. Vi kan se, at ‘Truncation trick’-metrikken (se nedenfor) og Realism-metrikken har deres egne dagsordener, mens den nye ‘Rarity’-score (øverste række) søger efter kohærent, men originalt billedmateriale (i stedet for kun kohærent billedmateriale). Da der er billedstørrelsesbegrænsninger i denne artikel, se venligst kilde-papiret for bedre detaljer og opløsning. Kilde: https://arxiv.org/pdf/2206.08549.pdf

Den nye artikel har titlen Rarity Score: En ny metrik til at evaluere usædvanligheden af syntetiserede billeder og kommer fra tre forskere ved KAIST og tre fra NAVER Corp.

Beyond the ‘Cheap Trick’

Blandt de tidligere metrikker, som den nye artikel søger at forbedre, er ‘Truncation trick’ forslagt i 2019 i et samarbejde mellem Storbritanniens Heriot-Watt University og Googles DeepMind.

Truncation Trick bruger grundlæggende en anden latent distribution til sampling end den, der blev brugt til at træne det generative model.

Forskerne, der udviklede denne metode, var overraskede over, at den virkede, men indrømmer i den oprindelige artikel, at den reducerer variationen af genereret output. Alligevel er Truncation Trick blevet effektiv og populær i sammenhæng med, hvad der kan betegnes som en ‘billig trick’ for at opnå autentisk-udseende resultater, der ikke rigtig assimilerer alle mulighederne, der er indeholdt i data, og måske ligner kilde-data mere, end det er ønsket.

Med hensyn til Truncation Trick observerer artiklens forfattere:

‘[Det] er ikke ment til at generere sjældne prøver i træningsdatasæt, men snarere til at syntetisere typiske billeder mere stabilt. Vi formoder, at eksisterende generative modeller vil være i stand til at producere prøver, der er rigere i den virkelige datafordeling, hvis generatoren kan induceres til effektivt at producere sjældne prøver.’

Om den generelle tendens til at afhænge af traditionelle metrikker som Frechet Inception Distance (FID, som kom under intens kritik i december 2021), inception score (IS) og Kernel Inception Distance (KID) som ‘fremgangsindikatorer’ under træning af et generativt model, kommenterer forfatterne yderligere*:

‘Denne læringsstrategi fører generatoren til ikke at syntetisere mange sjældne prøver, der er unikke og har stærke karakteristika, der ikke udgør en stor proportion af den virkelige billedfordeling. Eksempler på sjældne prøver fra offentlige datasæt inkluderer personer med forskellige tilbehør i FFHQ, hvide dyr i AFHQ og usædvanlige statuer i Metfaces.

‘Evnen til at generere sjældne prøver er vigtig, ikke kun fordi det er relateret til kantkapaciteten af de generative modeller, men også fordi unikhed spiller en vigtig rolle i kreative anvendelser som f.eks. virtuelle mennesker.

‘Men de kvalitative resultater af flere nyere studier indeholder sjældent disse sjældne eksempler. Vi formoder, at naturen af den adversarial læringsstrategi tvinger den genererede billedfordeling til at ligne den for træningsdatasættet. Derfor udgør billeder med tydelig individualitet eller sjældenhed kun en lille del af billederne, der er syntetiseret af modellerne.’

Technique

Forskerne har udviklet en ny Rarity Score, der tilpasser en idé, der blev præsenteret i tidligere arbejder – brugen af K-Nearest Neighbors (KNNs) til at repræsentere arrays af ægte (træning) og syntetisk (output) data i et billedsynthesesystem.

Med hensyn til denne nye metode for analyse hævder forfatterne:

‘Vi formoder, at almindelige prøver ville være tættere på hinanden, mens unikke og sjældne prøver ville være sparsomt beliggende i feature-rummet.’

Resultatbilledet ovenfor viser de mindste nærmeste nabo-afstande (NNDs) over til de største i en StyleGAN-arkitektur, der er trænet på FFHQ.

‘For alle datasæt viser prøverne med de mindste NNDs repræsentative og typiske billeder. Omvendt har prøverne med de største NNDs stærk individualitet og er betydeligt forskellige fra de typiske billeder med de mindste NNDs.’

I teorien kan denne nye metrik, brugt som en diskriminator eller som en del af en mere kompleks diskriminatorkarkitektur, styre et generativt system væk fra ren imitation og mod en mere opfindsom algoritme, mens det stadig opretholder essentiel kohærens af begreber, der kan være kritiske for autentisk billedproduktion (dvs. ‘mand’, ‘kvinde’, ‘bil’, ‘kirke’ osv.).

Comparisons and Experiments

I tests udførte forskerne en sammenligning af Rarity Scores præstationer mod både Truncation Trick og NVIDIAs Realism Score fra 2019 og fandt, at over en række rammer og datasæt var tilgangen i stand til at individuere ‘unike’ resultater.

Selvom resultaterne, der er præsenteret i artiklen, er for omfattende til at inkludere her, synes forskerne at have demonstreret evnen til at identificere sjældenhed i både kilde- (ægte) og genererede (falske) billeder i en generativ procedure:

Udvalgte eksempler fra de omfattende visuelle resultater, der er reproduceret i artiklen (se kilde-URL ovenfor for flere detaljer). Til venstre, ægte eksempler fra FFHQ, der har meget få nærmeste naboer (dvs. er nye og usædvanlige) i det originale datasæt; til højre, falske billeder genereret af StyleGAN, som den nye metrik har identificeret som virkelig nye. Da der er billedstørrelsesbegrænsninger i denne artikel, se venligst kilde-papiret for bedre detaljer og opløsning.

Den nye Rarity Score-metrik tillader ikke kun muligheden for at identificere ‘ny’ genereret output i en enkelt arkitektur, men giver også, ifølge forskerne, mulighed for at sammenligne generative modeller af forskellige og varierende arkitekturer (dvs. autoencoder, VAE, GAN osv.).

Artiklen bemærker, at Rarity Score adskiller sig fra tidligere metrikker ved at koncentrere sig om en generativ rammes evne til at skabe unikke og sjældne billeder, i modsætning til ‘traditionelle’ metrikker, der undersøger (noget mere snævert) diversiteten mellem generationer under modellens træning.

Beyond Limited Tasks

Selvom artiklens forskere har udført tests på begrænsede-domæne-rammer (såsom generator/datasæt-kombinationer, der er designet til specifikt at producere billeder af mennesker eller katte, f.eks.), kan Rarity Score potentielt anvendes på enhver vilkårlig billedsyntheseprocedure, hvor det er ønsket at identificere genererede eksempler, der bruger distributionerne, der er afledt fra det trænede data, i stedet for at øge autenticitet (og reducere diversitet) ved at indsætte fremmede latente distributioner eller afhænge af andre ‘genveje’, der kompromitterer nytten med autenticitet.

I praksis og i mangelen på en klar forståelse af, i hvilken udstrækning systemet har virkelig assimileret visuelle og semantiske begreber (ofte hæmmet af begrænset viden om træningsdata), kunne dette være en gyldig metode til at identificere en ægte ‘øjebliks inspiration’ i et generativt system – det punkt, hvor et tilstrækkeligt antal input-koncepter og data har resulteret i noget virkelig opfindsomt, i stedet for noget, der er for meget afledt eller tæt på kilde-data.

* Min konvertering af forfatternes inline-citationer til hyperlinks.

Offentliggjort første gang den 20. juni 2022.