Bildsyntesområdet har antagit en felaktig måttstock, hävdar forskning

2021 har varit ett år av utanförskap och en rasande publiceringshastighet i bildsyntesområdet, med en ström av nya innovationer och förbättringar av teknologier som kan reproducera mänskliga personligheter genom neural rendering, deepfakes och en mängd nya tillvägagångssätt.

Forskare från Tyskland hävdar nu att den standard som används för att automatiskt bedöma realismen i syntetiska bilder är dödligt felaktig, och att de hundratals, ja tusentals forskare runt om i världen som förlitar sig på den för att minska kostnaden för dyra mänskliga utvärderingsresultat kan vara på väg ner i en återvändsgränd.

För att demonstrera hur standarden, Fréchet Inception Distance (FID), inte uppfyller mänskliga standarder för att utvärdera bilder, distribuerade forskarna sina egna GANs, optimerade för FID (nu en vanlig måttstock). De fann att FID följer sina egna besattheter, baserat på underliggande kod med ett mycket annorlunda syfte än bildsyntes, och att det rutinmässigt misslyckas med att uppnå en “mänsklig” standard för diskriminering:

FID-poäng (lägre är bättre) för bilder genererade av olika modeller med standarddatauppsättningar och arkitekturer. Forskarna bakom den nya artikeln ställer frågan ‘Skulle du hålla med om dessa rankningar?’. Källa: https://openreview.net/pdf?id=mLG96UpmbYz

Utöver dess påstående att FID inte är lämplig för sitt avsedda syfte, föreslår artikeln vidare att “uppenbara” lösningar, såsom att byta ut dess interna motor för konkurrerande motorer, bara kommer att byta ut en uppsättning fördomar mot en annan. Författarna föreslår att det nu åligger nya forskningsinitiativ att utveckla bättre mått för att bedöma “autenticitet” i syntetiskt genererade foton.

Den artikeln heter Internaliserade fördomar i Fréchet Inception Distance och kommer från Steffen Jung vid Max Planck-institutet för informatik vid Saarland, och Margret Keuper, professor i visuell datorkommunikation vid universitetet i Siegen.

Sökandet efter ett poängsystem för bildsyntes

Som den nya forskningen påpekar, har framstegen inom bildsyntesramverk, såsom GANs och encoder/decoder-arkitekturer, överträffat metoderna för att bedöma resultaten av dessa system. Utöver att vara dyra och därför svåra att skala, erbjuder mänsklig utvärdering av utdata från dessa system inte en empirisk och reproducerbar metod för bedömning.

Därför har ett antal måttstocksramverk uppstått, inklusive Inception Score (IS), som presenterades i 2016 års artikel Improved Techniques for Training GANs, skriven av GAN-upphovsmannen, Ian Goodfellow.

Avskaffandet av IS-poängen som en allmänt tillämplig måttstock för flera GAN-nätverk 2018 ledde till den allmänna acceptansen av FID i GAN-bildsyntesamhället. Men, liksom Inception Score, är FID baserat på Googles Inception v3-bildklassificeringsnätverk (IV3).

Författarna till den nya artikeln hävdar att Fréchet Inception Distance sprider skadliga fördomar i IV3, vilket leder till en opålitlig klassificering av bildkvalitet.

Eftersom FID kan införlivas i ett maskinlärningsramverk som en diskriminatör (en inbyggd “domare” som bestämmer om GAN fungerar bra eller bör “försöka igen”), måste den exakt representera de standarder som en människa skulle tillämpa när de utvärderar bilderna.

Fréchet Inception Distance

FID jämför hur funktioner är fördelade över utbildningsdatauppsättningen som används för att skapa en GAN (eller liknande funktionalitet) modell, och resultaten av den modellen.

Därför, om en GAN-ramverk tränas på 10 000 bilder av (till exempel) kändisar, jämför FID de ursprungliga (verkliga) bilderna med de falska bilderna som genereras av GAN. Ju lägre FID-poäng, desto närmare har GAN kommit till “fotorealistiska” bilder, enligt FID:s kriterier.

Från artikeln, resultat av en GAN som tränats på FFHQ64, en undermängd av NVIDIAs mycket populära FFHQ-dataset. Här, trots att FID-poängen är en underbar låg 5,38, är resultaten inte tilltalande eller övertygande för den genomsnittliga människan.

Problemet, hävdar författarna, är att Inception v3, vars antaganden driver Fréchet Inception Distance, inte tittar på rätt platser – åtminstone inte när det gäller uppgiften i fråga.

Inception V3 är tränad på ImageNet-objekttävlingen, en uppgift som är väsentligen i konflikt med hur målen för bildsyntes har utvecklats under de senaste åren. IV3 utmanar robustheten hos en modell genom att utföra dataförstärkning: den vrider bilderna slumpmässigt, beskär dem till en slumpmässig skala mellan 8-100%, ändrar bildförhållandet (i ett intervall från 3/4 till 4/3) och injicerar slumpmässiga färgförvrängningar relaterade till ljusstyrka, mättnad och kontrast.

De tyska forskarna har funnit att IV3 har en tendens att föredra extrahering av kanter och texturer snarare än färg- och intensitetsinformation, vilket skulle vara mer meningsfulla index för autenticitet för syntetiska bilder, och att dess ursprungliga syfte med objektdetektering har därför olämpligt övertagits för en olämplig uppgift. Författarna hävdar*:

‘[Inception v3] har en fördom mot att extrahera funktioner baserat på kanter och texturer snarare än färg- och intensitetsinformation. Detta överensstämmer med dess förstärkningspipeline som introducerar färgförvrängningar, men håller högfrekvent information intakt (till skillnad från, till exempel, förstärkning med Gaussisk oskärpa).

‘Följaktligen ärver FID denna fördom. När den används som rangordningsmått, kan generativa modeller som reproducerar texturer bra föredras över modeller som reproducerar färgfördelningar bra. ‘

Data och metod

För att testa sin hypotes, tränade författarna två GAN-arkitekturer, DCGAN och SNGAN, på NVIDIAs FFHQ-mänskliga ansiktsdataset, nedskalad till 64² bildupplösning, med den resulterande dataseten kallad FFHQ64.

Tre GAN-träningsförfaranden utfördes: GAN G+D, ett standard- diskriminatormodell; GAN FID|G+D, där FID fungerar som en ytterligare diskriminatör; och GAN FID|G, där GAN är helt driven av den rullande FID-poängen.

Tekniskt sett, noterar författarna, bör FID-förlust stabilisera utbildningen och potentiellt till och med kunna ersätta diskriminatoren (såsom den gör i #3, GAN FID|G), samtidigt som den ger mänskligt tilltalande resultat.

I praktiken är resultaten ganska annorlunda, med – författarna hypotes – FID-assisterade modeller som “överanpassar” på fel mått. Forskarna noterar:

‘Vi hypoteserar att generatoren lär sig att producera olämpliga funktioner för att matcha utbildningsdatafördelningen. Denna observation blir mer allvarlig i fallet med [GAN FID|G]. Här märker vi att den saknade diskriminatoren leder till rumsligt inkonsekventa funktionfördelningar. Till exempel [SNGAN FID|G] lägger till mestadels enstaka ögon och justerar ansiktsdrag på ett skrämmande sätt.’

Exempel på ansikten genererade av SNGAN FID|G.

Författarna drar följande slutsats*:

‘Medan mänskliga annotatorer säkert skulle föredra bilder producerade av SNGAN D+G över SNGAN FID|G (i fall där datafidelitet föredras över konst), ser vi att detta inte återspeglas av FID. FID är inte i linje med mänsklig perception.

‘Vi hävdar att diskriminativa funktioner som tillhandahålls av bildklassificeringsnätverk inte är tillräckliga för att ge grunden för en meningsfull måttstock.’

Inga enkla alternativ

Författarna fann också att att byta ut Inception V3 mot en liknande motor inte löste problemet. Genom att ersätta IV3 med “ett omfattande urval av olika klassificeringsnätverk”, som testades mot ImageNet-C (en undermängd av ImageNet designad för att utvärdera vanligt genererade korruptioner och störningar i utdata från bildsyntesramverk), kunde forskarna inte väsentligt förbättra sina resultat:

‘[Fördomar] som finns i Inception v3 är också allmänt förekommande i andra klassificeringsnätverk. Dessutom ser vi att olika nätverk skulle producera olika rangordningar mellan korruptionstyper.’

Författarna avslutar artikeln med förhoppningen att pågående forskning kommer att utveckla en “mänskligt anpassad och obiaserad måttstock” som kan möjliggöra en rättvisare rangordning för bildgeneratorarkitekturer.

* Författarnas betoning.

Publicerad första gången den 20 december 2021, kl. 13.00 GMT+2.