Beeldsynthese-sector heeft een gebrekkige metriek overgenomen, claimt onderzoek

2021 is een jaar van ongekende vooruitgang en een furieus publicatietempo in de beeldsynthesesector, met een stroom van nieuwe innovaties en verbeteringen in technologieën die menselijke persoonlijkheden kunnen reproduceren met behulp van neurale rendering, deepfakes en een reeks nieuwe benaderingen.

Echter, onderzoekers uit Duitsland claimen nu dat de standaard die wordt gebruikt om de realiteit van synthetische beelden automatisch te beoordelen, dodelijk gebrekkig is; en dat de honderden, zelfs duizenden onderzoekers over de hele wereld die erop vertrouwen om de kosten van dure menselijke resultaatbeoordelingen te verminderen, mogelijk een blinde steeg ingaan.

Om te demonstreren hoe de standaard, Fréchet Inception Distance (FID), niet voldoet aan de menselijke standaarden voor het beoordelen van beelden, hebben de onderzoekers hun eigen GAN’s ingezet, geoptimaliseerd voor FID (nu een veelgebruikte metriek). Ze ontdekten dat FID zijn eigen obsessies volgt, gebaseerd op onderliggende code met een heel andere opdracht dan die van beeldsynthese, en dat het routinematig faalt om een ‘menselijke’ standaard van onderscheid te bereiken:

FID-scores (lager is beter) voor beelden gegenereerd door verschillende modellen met behulp van standaarddatasets en -architecturen. De onderzoekers van het nieuwe artikel stellen de vraag ‘Zouden jullie het eens zijn met deze rangschikking?’. Bron: https://openreview.net/pdf?id=mLG96UpmbYz

Naast de bewering dat FID niet geschikt is voor zijn beoogde taak, stelt het artikel verder dat ‘voor de hand liggende’ oplossingen, zoals het vervangen van de interne motor door concurrerende motoren, het probleem niet zullen oplossen. De auteurs suggereren dat het nu aan nieuwe onderzoeksinitiatieven is om betere metrieken te ontwikkelen om ‘authenticiteit’ in synthetisch gegenereerde foto’s te beoordelen.

Het artikel heet Internalized Biases in Fréchet Inception Distance en komt van Steffen Jung van het Max Planck Institute for Informatics in Saarland en Margret Keuper, professor in Visual Computing aan de Universiteit van Siegen.

De zoektocht naar een scoresysteem voor beeldsynthese

Zoals het nieuwe onderzoek aangeeft, heeft de vooruitgang in beeldsyntheseframeworks, zoals GAN’s en encoder/decoder-architecturen, de methoden die de resultaten van deze systemen kunnen beoordelen, ingehaald. Behalve dat het duur en moeilijk schaalbaar is, biedt de beoordeling van de uitvoer van deze systemen door mensen geen empirische en reproduceerbare methode van beoordeling.

Daarom zijn verschillende metriekframeworks ontwikkeld, waaronder Inception Score (IS), dat is opgenomen in het artikel uit 2016 Improved Techniques for Training GANs, mede geschreven door GAN-uitvinder Ian Goodfellow.

De diskwalificatie van de IS-score als een breed toepasbare metriek voor meerdere GAN-netwerken in 2018 leidde tot de wijdverbreide adoptie van FID in de GAN-beeldsynthesegemeenschap. Echter, net als Inception Score, is FID gebaseerd op Google’s Inception v3-beeldclassificatienetwerk (IV3).

De auteurs van het nieuwe artikel beweren dat Fréchet Inception Distance schadelijke vooroordelen in IV3 propageert, wat leidt tot onbetrouwbare classificatie van beeldkwaliteit.

Aangezien FID kan worden geïntegreerd in een machine learning-framework als een discriminator (een ingebedde ‘rechter’ die beslist of de GAN het goed doet of ‘nog een keer moet proberen’), moet het nauwkeurig de standaarden weerspiegelen die een mens zou toepassen bij het beoordelen van de beelden.

Fréchet Inception Distance

FID vergelijkt hoe kenmerken zijn verdeeld over de trainingsdataset die wordt gebruikt om een GAN (of soortgelijke functionaliteit) te creëren, en de resultaten van dat systeem.

Daarom, als een GAN-framework wordt getraind op 10.000 beelden van (bijvoorbeeld) beroemdheden, vergelijkt FID de oorspronkelijke (echte) beelden met de nepbeelden die door de GAN worden gegenereerd. Hoe lager de FID-score, hoe dichter de GAN bij ‘fotorealistische’ beelden is gekomen, volgens de criteria van FID.

Uit het artikel, resultaten van een GAN getraind op FFHQ64, een subset van NVIDIA’s populaire FFHQ-dataset. Hier, hoewel de FID-score een prachtig lage 5,38 is, zijn de resultaten niet aantrekkelijk of overtuigend voor de gemiddelde mens.

Het probleem, zo beweren de auteurs, is dat Inception v3, wiens aannames Fréchet Inception Distance aandrijven, niet naar de juiste plekken kijkt – althans, niet wanneer het gaat om de taak die voorligt.

Inception V3 is getraind op de ImageNet-objectherkenningsuitdaging, een taak die arguablemente haaks staat op de manier waarop de doelen van beeldsynthese in de afgelopen jaren zijn geëvolueerd. IV3 test de robuustheid van een model door gegevensaugmentatie uit te voeren: het draait beelden willekeurig, knipt ze naar een willekeurige schaal tussen 8-100%, verandert het aspectratio (in een bereik van 3/4 tot 4/3) en injecteert willekeurig kleurvervormingen met betrekking tot helderheid, verzadiging en contrast.

De Duitsland-gebaseerde onderzoekers hebben ontdekt dat IV3 de neiging heeft om de extractie van randen en texturen te bevorchten boven kleur- en intensiteitsinformatie, die meer betekenisvolle indices van authenticiteit voor synthetische beelden zouden zijn; en dat zijn oorspronkelijke doel van objectdetectie ongepast is overgenomen voor een ongeschikte taak. De auteurs verklaren*:

‘[Inception v3] heeft een voorkeur voor het extraheren van kenmerken op basis van randen en texturen in plaats van kleur- en intensiteitsinformatie. Dit komt overeen met zijn augmentatiepijplijn die kleurvervormingen introduceert, maar hoge frequentie-informatie intact houdt (in tegenstelling tot, bijvoorbeeld, augmentatie met Gaussian blur).

‘Als gevolg hiervan erft FID deze voorkeur. Wanneer het wordt gebruikt als rangschikkingsmetriek, kunnen generatieve modellen die texturen goed reproduceren, de voorkeur krijgen boven modellen die kleurverdelingen goed reproduceren.’

Gegevens en methode

Om hun hypothese te testen, hebben de auteurs twee GAN-architecturen getraind, DCGAN en SNGAN, op NVIDIA’s FFHQ-menselijk gezichtsdataset, gedownsampeld tot een resolutie van 64² beelden, met de afgeleide dataset genaamd FFHQ64.

Drie GAN-trainingsprocedures werden gevolgd: GAN G+D, een standaard discriminator-gebaseerd netwerk; GAN FID|G+D, waar FID fungeert als een extra discriminator; en GAN FID|G, waar de GAN volledig wordt aangedreven door de FID-score.

Technisch gezien zou FID-verlies de training moeten stabiliseren en mogelijk zelfs volledig vervangen de discriminator (zoals het doet in #3, GAN FID|G), terwijl het menselijk aantrekkelijke resultaten oplevert.

In de praktijk zijn de resultaten echter anders, met – zo vermoeden de auteurs – de FID-ondersteunde modellen ‘overfitting’ op de verkeerde metrieken. De onderzoekers merken op:

‘We vermoeden dat de generator leert om ongeschikte kenmerken te produceren om de trainingsgegevensverdeling te matchen. Deze observatie wordt ernstiger in het geval van [GAN FID|G]. Hier merken we op dat het ontbreken van een discriminator leidt tot ruimtelijk incoherente kenmerkendistributies. Bijvoorbeeld [SNGAN FID|G] voegt voornamelijk enkele ogen toe en aligneert gezichtskenmerken op een angstaanjagende manier.’

Voorbeelden van gezichten gegenereerd door SNGAN FID|G.

De auteurs concluderen*:

‘Terwijl menselijke annotators zeker de voorkeur zouden geven aan beelden gegenereerd door SNGAN D+G boven SNGAN FID|G (in gevallen waarin gegevensfideliteit de voorkeur heeft boven kunst), zien we dat dit niet wordt weerspiegeld door FID. FID is dus niet afgestemd op menselijke perceptie.

‘We betogen dat discriminatieve kenmerken die worden geboden door beeldclassificatienetwerken niet voldoende zijn om een betekenisvolle metriek te bieden.’

Geen gemakkelijke alternatieven

De auteurs ontdekten ook dat het vervangen van Inception V3 door een soortgelijke motor het probleem niet oploste. Bij het vervangen van IV3 met ‘een uitgebreide keuze aan verschillende classificatienetwerken’, die werden getest tegen ImageNet-C (een subset van ImageNet ontworpen om gemeenschappelijk gegenereerde corrupties en perturbaties in uitvoerbeelden van beeldsyntheseframeworks te benchmarken), konden de onderzoekers hun resultaten niet aanzienlijk verbeteren:

‘[Vooroordelen] die aanwezig zijn in Inception v3 zijn ook wijdverspreid in andere classificatienetwerken. Bovendien zien we dat verschillende netwerken verschillende rangschikkingen zouden produceren tussen corruptietypen.’

De auteurs concluderen het artikel met de hoop dat voortdurend onderzoek een ‘menselijk afgestemde en onbevooroordeelde metriek’ zal ontwikkelen die in staat is om een eerlijkere rangschikking voor beeldgeneratorarchitecturen mogelijk te maken.

* Auteurscursivering.

Publicatie op 20 december 2021, 13.00 GMT+2.