Il settore della sintesi di immagini ha adottato una metrica difettosa, affermano i ricercatori

Il 2021 è stato un anno di progressi senza precedenti e di un ritmo di pubblicazione furioso nel settore della sintesi di immagini, offrendo una serie di nuove innovazioni e miglioramenti nelle tecnologie in grado di riprodurre personalità umane attraverso neural rendering, deepfakes e una serie di approcci innovativi.

Tuttavia, i ricercatori tedeschi affermano che lo standard utilizzato per giudicare automaticamente la realismo delle immagini sintetiche è fatalmente difettoso; e che i centinaia, forse migliaia di ricercatori in tutto il mondo che si affidano a esso per ridurre i costi dei risultati di valutazione basati su esseri umani potrebbero essere sulla strada sbagliata.

Per dimostrare come lo standard, Fréchet Inception Distance (FID), non soddisfi gli standard umani per la valutazione delle immagini, i ricercatori hanno utilizzato i propri GAN, ottimizzati per FID (ora una metrica comune). Hanno scoperto che FID non è all’altezza degli standard umani e che di solito non riesce a raggiungere un livello di discernimento “umano”:

Punteggi FID (più basso è meglio) per immagini generate da vari modelli utilizzando dataset e architetture standard. I ricercatori del nuovo articolo pongono la domanda ‘Siete d’accordo con queste classifiche?’. Fonte: https://openreview.net/pdf?id=mLG96UpmbYz

In aggiunta alla sua affermazione che FID non è adatto al suo compito previsto, l’articolo suggerisce inoltre che “rimedi ovvi”, come sostituire il suo motore interno con motori concorrenti, semplicemente scambierebbero un set di pregiudizi con un altro. Gli autori suggeriscono che ora spetta a nuove iniziative di ricerca sviluppare migliori metriche per valutare l'”autenticità” nelle foto generate sinteticamente.

L’articolo si intitola Internalized Biases in Fréchet Inception Distance e proviene da Steffen Jung dell’Istituto Max Planck per l’informatica a Saarland e da Margret Keuper, professore di calcolo visivo all’Università di Siegen.

La ricerca di un sistema di punteggio per la sintesi di immagini

Come nota la nuova ricerca, i progressi nei framework di sintesi di immagini, come GAN e architetture encoder/decoder, hanno superato i metodi con cui i risultati di questi sistemi possono essere giudicati. Oltre a essere costosi e quindi difficili da scalare, la valutazione umana dell’output di questi sistemi non offre un metodo empirico e riproducibile di valutazione.

Pertanto, sono emerse una serie di framework metrici, tra cui Inception Score (IS), presentato nel documento Improved Techniques for Training GANs del 2016, scritto congiuntamente dall’inventore di GAN, Ian Goodfellow.

La discredita del punteggio IS come metrica ampiamente applicabile per più reti GAN nel 2018 ha portato all’adozione generalizzata di FID nella comunità di sintesi di immagini GAN. Tuttavia, come Inception Score, FID si basa sulla rete di classificazione di immagini Inception v3 di Google (IV3).

Gli autori del nuovo articolo sostengono che Fréchet Inception Distance propaga pregiudizi dannosi in IV3, portando a una classificazione non affidabile della qualità dell’immagine.

Poiché FID può essere incorporato in un framework di apprendimento automatico come discriminatore (un “giudice” incorporato che decide se il GAN sta funzionando bene o se deve “riprovare”), deve rappresentare con precisione gli standard che un essere umano applicherebbe nella valutazione delle immagini.

Fréchet Inception Distance

FID confronta come le caratteristiche sono distribuite nel set di dati di training utilizzato per creare un modello GAN (o funzionalità simile) e i risultati di quel sistema.

Pertanto, se un framework GAN è stato addestrato su 10.000 immagini di (ad esempio) celebrità, FID confronta le immagini originali (reali) con le immagini false prodotte dal GAN. Il punteggio FID più basso indica che il GAN si è avvicinato di più a immagini “fotorealistiche”, secondo i criteri di FID.

Dal documento, risultati di un GAN addestrato su FFHQ64, un subset del dataset FFHQ di NVIDIA. Qui, sebbene il punteggio FID sia basso, 5,38, i risultati non sono piacevoli o convincenti per l’essere umano medio.

Il problema, sostengono gli autori, è che Inception v3, le cui ipotesi alimentano Fréchet Inception Distance, non guarda nei posti giusti – almeno, non quando si considera il compito in questione.

Inception V3 è stato addestrato sul dataset di riconoscimento di oggetti ImageNet, un compito che è argomentabile in contraddizione con il modo in cui gli obiettivi della sintesi di immagini sono evoluti negli ultimi anni. IV3 mette alla prova la robustezza di un modello eseguendo una data augmentation: capovolge immagini casualmente, le ritaglia a una scala casuale tra l’8-100%, modifica il rapporto di aspetto (in un intervallo da 3/4 a 4/3) e inietta casualmente distorsioni di colore relative alla luminosità, saturazione e contrasto.

I ricercatori tedeschi hanno scoperto che IV3 ha la tendenza a favorire l’estrazione di bordi e texture, piuttosto che informazioni di colore e intensità, che sarebbero indici più significativi di autenticità per le immagini sintetiche; e che il suo scopo originale di rilevamento di oggetti è stato quindi inappropriatamente sequestrato per un compito inadatto. Gli autori affermano*:

‘[Inception v3] ha un pregiudizio verso l’estrazione di caratteristiche basate su bordi e texture piuttosto che informazioni di colore e intensità. Ciò si allinea con la sua pipeline di aumento dei dati che introduce distorsioni di colore, ma mantiene intatte le informazioni ad alta frequenza (a differenza, ad esempio, dell’aumento con sfocatura gaussiana). ‘

‘Di conseguenza, FID eredita questo pregiudizio. Quando utilizzato come metrica di classificazione, i modelli generativi che riproducono bene le texture potrebbero essere preferiti rispetto ai modelli che riproducono bene le distribuzioni di colore. ‘

Dati e metodo

Per testare la loro ipotesi, gli autori hanno addestrato due architetture GAN, DCGAN e SNGAN, sul dataset di volti umani FFHQ di NVIDIA, ridotto a una risoluzione di immagine di 64², con il dataset derivato chiamato FFHQ64.

Tre procedure di addestramento GAN sono state perseguite: GAN G+D, una rete discriminator-based standard; GAN FID|G+D, dove FID funge da discriminatore aggiuntivo; e GAN FID|G, dove il GAN è interamente alimentato dal punteggio FID in roll-out.

Tecnicamente, gli autori notano, la perdita FID dovrebbe stabilizzare l’addestramento e potenzialmente anche sostituire completamente il discriminatore (come fa in #3, GAN FID|G), mentre produce risultati piacevoli per l’essere umano.

In pratica, i risultati sono piuttosto diversi, con – gli autori ipotizzano – i modelli FID-assistiti che “sovradosano” sulle metriche sbagliate. I ricercatori notano:

‘Ipotizziamo che il generatore impari a produrre caratteristiche inadeguate per corrispondere alla distribuzione dei dati di addestramento. Questa osservazione diventa più grave nel caso di [GAN FID|G]. Qui, notiamo che il discriminatore mancante porta a distribuzioni di caratteristiche spazialmente incoerenti. Ad esempio [SNGAN FID|G] aggiunge principalmente singoli occhi e allinea le caratteristiche facciali in modo spaventoso.’

Esempi di volti prodotti da SNGAN FID|G.

Gli autori concludono*:

‘Mentre gli annotatori umani preferirebbero sicuramente le immagini prodotte da SNGAN D+G rispetto a SNGAN FID|G (nei casi in cui la fedeltà dei dati è preferita all’arte), vediamo che ciò non è riflesso da FID. FID non è allineato con la percezione umana. ‘

‘Sosteniamo che le caratteristiche discriminatorie fornite dalle reti di classificazione di immagini non sono sufficienti per fornire la base di una metrica significativa.’

Nessuna alternativa facile

Gli autori hanno anche scoperto che sostituire Inception V3 con un motore simile non ha alleviato il problema. Sostituendo IV3 con “un’ampia scelta di diverse reti di classificazione”, che sono state testate contro ImageNet-C (un subset di ImageNet progettato per misurare le corruzioni e le perturbazioni comuni generate nell’output delle immagini dai framework di sintesi di immagini), i ricercatori non sono riusciti a migliorare sostanzialmente i loro risultati:

‘[Pregiudizi] presenti in Inception v3 sono anche ampiamente presenti in altre reti di classificazione. Inoltre, vediamo che diverse reti produrrebbero classifiche diverse tra tipi di corruzione.’

Gli autori concludono l’articolo con la speranza che le ricerche in corso sviluppino una metrica “allineata con l’essere umano e imparziale” in grado di consentire una classificazione più equa per le architetture di generatori di immagini.

* Enfasi degli autori.

Pubblicato per la prima volta il 20 dicembre 2021, alle 13:00 GMT+2.