Billedsynthese-sektoren har antaget en fejlbehæftet metode, ifølge forskning

2021 har været et år med uhørt fremgang og en rasende pubblicationshastighed i billedsynthese-sektoren, der har budt på en strøm af nye innovationer og forbedringer i teknologier, der kan reproducere menneskelige personligheder gennem neuralt rendering, deepfakes og en række nye tilgange.

Men forskere fra Tyskland påstår nu, at den standard, der bruges til automatisk at bedømme realisme i syntetiske billeder, er dødeligt fejlbehæftet, og at de hundredvis, ja endda tusindvis af forskere verden over, der afhænger af den for at reducere omkostningerne ved dyre menneskebaserede resultatevalueringer, måske er på vej ned ad en blind alley.

For at demonstrere, hvordan standarden, Fréchet Inception Distance (FID), ikke lever op til menneskelige standarder for at evaluere billeder, udrustede forskerne deres egne GAN’er, optimeret til FID (nu en almindelig metode). De fandt, at FID følger sine egne besættelser, baseret på underliggende kode med en meget anderledes opgave end billedsynthese, og at det rutinemæssigt ikke opnår et ‘menneskeligt’ standard for diskrimination:

FID-scores (lavere er bedre) for billeder genereret af forskellige modeller med standarddatasets og arkitekturer. Forskerne bag den nye artikel stiller spørgsmålet ‘Er du enig i disse rangeringer?'”. Kilde: https://openreview.net/pdf?id=mLG96UpmbYz

Ud over påstanden om, at FID ikke er egnet til sin tilsigtede opgave, foreslår artiklen også, at ‘åbenlyse’ løsninger, såsom at udskifte dens interne motor med konkurrerende motorer, blot vil udskifte en række fordomme med en anden. Forfatterne foreslår, at det nu er op til nye forskningsinitiativer at udvikle bedre metoder til at bedømme ‘ægthed’ i syntetisk genererede billeder.

Den artikel hedder Internaliserede fordomme i Fréchet Inception Distance og kommer fra Steffen Jung på Max Planck-instituttet for informatik ved Saarland og Margret Keuper, professor for visuel beregning ved Universitetet i Siegen.

Søgen efter et scoresystem for billedsynthese

Som den nye forskning bemærker, har fremgangen i billedsynthese-rammer, såsom GAN’er og encoder/decoder-arkitekturer, overhalet metoderne til at bedømme resultaterne af disse systemer. Ud over at være dyre og derfor vanskelige at skala, tilbyder menneskelige evalueringer af output fra disse systemer ikke en empirisk og reproducerbar metode til vurdering.

Derfor er der opstået en række metode-rammer, herunder Inception Score (IS), der er nævnt i 2016-artiklen Forbedrede teknikker til træning af GAN’er, skrevet af GAN-opfinderen, Ian Goodfellow.

Underkendelsen af IS-scoren som en bredt anvendelig metode til multiple GAN-netværk i 2018 ledte til en bred anvendelse af FID i GAN-billedsynthese-fællesskabet. Men ligesom Inception Score er FID baseret på Googles Inception v3-billedeklassificeringsnetværk (IV3).

Forfatterne af den nye artikel påstår, at Fréchet Inception Distance forplante skadelige fordomme i IV3, hvilket fører til en upålidelig klassificering af billedkvalitet.

Da FID kan indarbejdes i et maskinelæring-rammeværk som en diskriminator (en indbygget ‘dommer’, der afgør, om GAN’en gør det godt eller skal ‘prøve igen’), skal det nøjagtigt repræsentere standarderne, som et menneske ville anvende, når de vurderer billederne.

Fréchet Inception Distance

FID sammenligner, hvordan funktioner er fordelt over træningsdatasettet, der bruges til at oprette en GAN (eller lignende funktion), og resultaterne af dette system.

Derfor, hvis en GAN-ramme er trænet på 10.000 billeder af (for eksempel) berømtheder, sammenligner FID de originale (ægte) billeder med de falske billeder, der er genereret af GAN’en. Jo lavere FID-scoren er, jo tættere er GAN’en kommet på ‘fotorealistiske’ billeder, ifølge FID’s kriterier.

. Her, selvom FID-scoren er en dejlig lav 5,38, er resultaterne ikke tilfredsstillende eller overbevisende for det gennemsnitlige menneske.” width=”1200″ height=”402″ /> Fra artiklen, resultater af en GAN trænet på FFHQ64, en undermængde af NVIDIAs meget populære FFHQ-dataset. Her, selvom FID-scoren er en dejlig lav 5,38, er resultaterne ikke tilfredsstillende eller overbevisende for det gennemsnitlige menneske.

Problemet, som forfatterne påstår, er, at Inception v3, hvis antagelser driver Fréchet Inception Distance, ikke kigger i de rigtige steder – i hvert fald ikke, når det kommer til opgaven.

Inception V3 er trænet på ImageNet-objekterkendelsesudfordringen, en opgave, der kan siges at være i modsætning til, hvordan billedsynthesens mål har udviklet sig i de senere år. IV3 udfordrer robustheden af en model ved at udføre dataforstærkning: det flipper billeder tilfældigt, beskærer dem til en tilfældig skala mellem 8-100%, ændrer billedforholdet (i et område fra 3/4 til 4/3) og tilfældigt indsprøjter farveforstyrrelser relateret til lysstyrke, mætning og kontrast.

De tyske forskere har fundet, at IV3 har en tendens til at favorisere udtrækning af kanter og teksturer frem for farve- og intensitetsinformation, hvilket ville være mere meningsfulde indekser for ægthed af syntetiske billeder, og at dens oprindelige formål med objektdetektion derfor er blevet inddraget i en upassende opgave. Forfatterne påstår*:

‘[Inception v3] har en fordomsfuldhed til at trække funktioner baseret på kanter og teksturer frem for farve- og intensitetsinformation. Dette stemmer overens med dens forstærkningsrørledning, der introducerer farveforstyrrelser, men holder højfrekvent information intakt (i modsætning til, for eksempel, forstærkning med Gaussisk blur).

‘Følgelig arver FID denne fordomsfuldhed. Når det bruges som rangeringsmetode, kan generative modeller, der reproducerer teksturer godt, blive foretrukket over modeller, der reproducerer farvefordelinger godt.’

Data og metode

For at teste deres hypotese trænede forfatterne to GAN-arkitekturer, DCGAN og SNGAN, på NVIDIAs FFHQ-menneskeansigtsdataset, nedskaleret til 64² billedopløsning, med det afledte dataset kaldt FFHQ64.

Tre GAN-træningsprocedurer blev gennemført: GAN G+D, en standard diskriminatorbaseret netværk; GAN FID|G+D, hvor FID fungerer som en ekstra diskriminator; og GAN FID|G, hvor GAN’en er fuldstændigt drevet af den rullende FID-score.

Teknisk set, bemærker forfatterne, burde FID-tab burde stabilisere træningen og potentielt endda kunne fuldstændigt erstatte diskriminatoren (som det gør i #3, GAN FID|G), mens det udskriver menneskevenlige resultater.

I praksis er resultaterne dog anderledes, med – som forfatterne hypotiserer – FID-assisterede modeller ‘overfitting’ på de forkerte metrikker. Forskerne bemærker:

‘Vi hypotiserer, at generatoren lærer at producere upassende funktioner for at matche træningsdatafordelingen. Denne observation bliver mere alvorlig i tilfældet af [GAN FID|G]. Her bemærker vi, at manglen på diskriminator fører til rumligt inkohærente funktionfordelinger. For eksempel [SNGAN FID|G] tilføjer primært enkelt øjne og alignerer ansigtstræk på en skræmmende måde.’

Eksempler på ansigter produceret af SNGAN FID|G.

Forfatterne konkluderer*:

‘Mens menneskelige annotatorer sandsynligvis ville foretrække billeder produceret af SNGAN D+G over SNGAN FID|G (i tilfælde, hvor datafidelitet er foretrukket over kunst), ser vi, at dette ikke afspejles af FID. FID er derfor ikke i overensstemmelse med menneskelig perception.

‘Vi argumenterer for, at diskriminerende funktioner leveret af billedklassificeringsnetværk ikke er tilstrækkelige til at danne grundlag for en meningsfuld metode.’

Ingen lette alternativer

Forfatterne fandt også, at udskiftning af Inception V3 med en lignende motor ikke løste problemet. Ved at erstatte IV3 med ‘en omfattende valg af forskellige klassificeringsnetværk’, der blev testet mod ImageNet-C (en undermængde af ImageNet designet til at benchmark almindeligt genererede korruptioner og forstyrrelser i outputbilleder fra billedsynthese-rammer), kunne forskerne ikke væsentligt forbedre deres resultater:

‘[Forudindtagelser] i Inception v3 er også vidt udbredt i andre klassificeringsnetværk. Desuden ser vi, at forskellige netværk would produce different rankings in-between corruption types.’

Forfatterne konkluderer artiklen med håbet om, at fremtidig forskning vil udvikle en ‘menneskeorienteret og upartisk metode’ i stand til at muliggøre en mere retfærdig rangering af billedgenerator-arkitekturer.

* Forfatterens fremhævelse.

Offentliggjort første gang den 20. december 2021, kl. 13.00 GMT+2.