Nuovo Strumento Può Mostrare Ai Ricercatori Cosa Le GAN Omettono Da Un’Immagine

Recentemente, un team di ricercatori del MIT-IBM Watson AI Lab ha creato un metodo per visualizzare cosa una rete generativa antagonista (GAN) omette da un’immagine quando richiesta di generare immagini. Lo studio è stato chiamato Vedere Cosa Una GAN Non Può Generare e è stato recentemente presentato alla Conferenza Internazionale su Visione Computazionale.

Le Reti Generative Antagoniste sono diventate più robuste, sofisticate e ampiamente utilizzate negli ultimi anni. Sono diventate molto brave a rendere immagini piene di dettagli, a condizione che l’immagine sia confinata a un’area relativamente piccola. Tuttavia, quando le GAN vengono utilizzate per generare immagini di scene e ambienti più grandi, tendono a non funzionare altrettanto bene. In scenari in cui le GAN vengono utilizzate per rendere scene piene di molti oggetti e articoli, come una strada trafficata, le GAN spesso omettono molti aspetti importanti dell’immagine.

Secondo MIT News, la ricerca è stata sviluppata in parte da David Bau, uno studente di dottorato al Dipartimento di Ingegneria Elettrica e Informatica del MIT. Bau ha spiegato che i ricercatori si concentrano solitamente sul perfezionamento di ciò a cui i sistemi di apprendimento automatico prestano attenzione e su come determinati input possano essere mappati su determinati output. Tuttavia, Bau ha anche spiegato che capire quali dati vengono ignorati dai modelli di apprendimento automatico è spesso altrettanto importante e che il team di ricerca spera che i loro strumenti ispirino i ricercatori a prestare attenzione ai dati ignorati.

L’interesse di Bau per le GAN è stato stimolato dal fatto che potrebbero essere utilizzate per indagare la natura di scatola nera delle reti neurali e per acquisire un’intuizione di come le reti potrebbero ragionare. Bau ha lavorato in precedenza su uno strumento che poteva identificare specifici cluster di neuroni artificiali, etichettandoli come responsabili della rappresentazione di oggetti del mondo reale come libri, nuvole e alberi. Bau ha anche avuto esperienza con uno strumento chiamato GANPaint, che consente agli artisti di rimuovere e aggiungere specifiche caratteristiche da foto utilizzando le GAN. Secondo Bau, l’applicazione GANPaint ha rivelato un potenziale problema con le GAN, un problema che è diventato evidente quando Bau ha analizzato le immagini. Come Bau ha detto a MIT News:

“Il mio consigliere mi ha sempre incoraggiato a guardare oltre i numeri e a esaminare le immagini reali. Quando abbiamo guardato, il fenomeno è saltato fuori: le persone venivano eliminate selettivamente.”

Mentre i sistemi di apprendimento automatico sono progettati per estrarre modelli da immagini, possono anche finire per ignorare modelli rilevanti. Bau e altri ricercatori hanno sperimentato l’addestramento di GAN su varie scene interne ed esterne, ma in tutti i diversi tipi di scene le GAN hanno omesso dettagli importanti nelle scene come auto, segnali stradali, persone, biciclette, ecc. Ciò è stato vero anche quando gli oggetti omessi erano importanti per la scena in questione.

Il team di ricerca ha ipotizzato che quando la GAN viene addestrata su immagini, la GAN possa trovare più facile catturare i modelli dell’immagine che sono più facili da rappresentare, come oggetti stazionari grandi come paesaggi e edifici. Impara questi modelli rispetto ad altri, più difficili da interpretare, come auto e persone. È stato un fatto noto che le GAN spesso omettono dettagli importanti e significativi quando generano immagini, ma lo studio del team del MIT potrebbe essere la prima volta che le GAN sono state dimostrate omettere intere classi di oggetti all’interno di un’immagine.

Il team di ricerca nota che è possibile per le GAN raggiungere i loro obiettivi numerici anche quando omettono oggetti che gli esseri umani si curano quando guardano le immagini. Se le immagini generate dalle GAN vengono utilizzate per addestrare sistemi complessi come veicoli autonomi, i dati delle immagini dovrebbero essere esaminati attentamente perché c’è una preoccupazione reale che oggetti critici come segnali, persone e altre auto potrebbero essere omessi dalle immagini. Bau ha spiegato che la loro ricerca mostra perché le prestazioni di un modello non dovrebbero essere basate solo sull’accuratezza:

“Dobbiamo capire cosa le reti stanno e non stanno facendo per assicurarci che stiano prendendo le scelte che vogliamo che prendano.”