Gli informatici affrontano i pregiudizi nell'intelligenza artificiale

Gli informatici di Princeton e della Stanford University lo sono ora affrontare i problemi di bias nell'intelligenza artificiale (AI). Stanno lavorando su metodi che si traducano in set di dati più equi contenenti immagini di persone. I ricercatori lavorano a stretto contatto con ImageNet, che è un database di oltre 13 milioni di immagini. Negli ultimi dieci anni, ImageNet ha contribuito a far progredire la visione artificiale. Utilizzando i loro metodi, i ricercatori hanno poi raccomandato miglioramenti al database. 

IMAGEnet Include immagini di oggetti, paesaggi e persone. I ricercatori che creano algoritmi di apprendimento automatico per la classificazione delle immagini utilizzano ImageNet come fonte di dati. A causa delle enormi dimensioni del database, era necessario automatizzare la raccolta delle immagini e l'annotazione delle immagini tramite crowdsourcing. Ora, il team di ImageNet lavora per correggere distorsioni e altri problemi. Le immagini spesso contengono persone, conseguenze indesiderate della costruzione di ImageNet.

Olga Russakovsky è coautrice e assistente professore di informatica a Princeton. 

"La visione artificiale ora funziona davvero bene, il che significa che viene utilizzata ovunque e in ogni tipo di contesto", ha affermato. "Questo significa che ora è il momento di parlare del tipo di impatto che sta avendo sul mondo e di riflettere su questo tipo di questioni di equità".

Nel nuovo documento, il team di ImageNet ha sistematicamente identificato concetti non visivi e categorie offensive. Queste categorie includevano caratterizzazioni razziali e sessuali e il team ha proposto di rimuoverle dal database. Il team ha anche sviluppato uno strumento che consente agli utenti di specificare e recuperare gruppi di immagini di persone, e può farlo per età, espressione di genere e colore della pelle. L'obiettivo è creare algoritmi che classifichino in modo più equo i volti e le attività delle persone nelle immagini. 

Il lavoro svolto dai ricercatori è stato presentato il 30 gennaio alla conferenza dell'Association for Computing Machinery su equità, responsabilità e trasparenza a Barcellona, ​​in Spagna. 

"C'è un forte bisogno di ricercatori e laboratori con competenze tecniche di base in questo campo per impegnarsi in questo tipo di conversazioni", ha affermato Russakovsky. "Data la necessità di raccogliere dati su larga scala, e data la necessità di farlo tramite crowdsourcing perché è il metodo più efficiente e consolidato, come possiamo farlo in modo più equo, senza cadere in questo tipo di insidie ​​già esistenti? Il messaggio centrale di questo articolo riguarda soluzioni costruttive".

ImageNet è stato lanciato nel 2009 da un gruppo di informatici a Princeton e Stanford. Doveva servire come risorsa per ricercatori accademici ed educatori. La creazione del sistema è stata guidata dagli ex studenti di Princeton e membro della facoltà Fei-Fei Li. 

ImageNet è riuscita a diventare un database così grande di immagini etichettate grazie all'uso del crowdsourcing. Una delle principali piattaforme utilizzate era Amazon Mechanical Turk (MTurk) e i lavoratori venivano pagati per verificare le immagini dei candidati. Ciò ha causato alcuni problemi e c'erano molti pregiudizi e categorizzazioni inappropriate. 

L'autore principale Kaiyu Yang è uno studente laureato in informatica. 

"Quando chiedi alle persone di verificare le immagini selezionando quelle corrette da un ampio gruppo di candidati, le persone si sentono spinte a selezionare alcune immagini e quelle immagini tendono ad essere quelle con caratteristiche distintive o stereotipate", ha affermato. 

La prima parte dello studio prevedeva il filtraggio di categorie di persone potenzialmente offensive o sensibili da ImageNet. Le categorie offensive sono state definite come quelle che contenevano volgarità o insulti razziali o di genere. Una di queste categorie sensibili era la classificazione delle persone in base all'orientamento sessuale o alla religione. Dodici studenti laureati di diversa estrazione sono stati coinvolti per annotare le categorie e sono stati istruiti a etichettare una categoria come sensibile se non ne erano sicuri. Circa il 54% delle categorie è stato eliminato, ovvero 1,593 delle 2,932 categorie di persone in ImageNet. 

I lavoratori di MTurk hanno quindi valutato la "immaginabilità" delle restanti categorie su una scala da 1 a 5. 158 categorie sono state classificate come sicure e immaginabili, con un punteggio di 4 o superiore. Questo insieme filtrato di categorie includeva più di 133,000 immagini, che possono essere molto utili per l'addestramento degli algoritmi di visione artificiale. 

I ricercatori hanno studiato la rappresentazione demografica delle persone nelle immagini ed è stato valutato il livello di bias in ImageNet. I contenuti provenienti dai motori di ricerca spesso forniscono risultati che rappresentano in modo eccessivo maschi, persone di carnagione chiara e adulti di età compresa tra i 18 e i 40 anni.

"Le persone hanno scoperto che la distribuzione dei dati demografici nei risultati di ricerca di immagini è molto distorta, ed è per questo che anche la distribuzione in ImageNet è parziale", ha detto Yang. "In questo articolo abbiamo cercato di capire quanto sia parziale e anche di proporre un metodo per bilanciare la distribuzione".

I ricercatori hanno preso in considerazione tre attributi che sono protetti anche dalle leggi statunitensi contro la discriminazione: colore della pelle, espressione di genere ed età. I lavoratori MTurk hanno quindi annotato ogni attributo di ogni persona in un'immagine. 

I risultati hanno mostrato che il contenuto di ImageNet ha una notevole distorsione. I più sottorappresentati erano di pelle scura, donne e adulti di età superiore ai 40 anni.

È stato progettato uno strumento di interfaccia web che consente agli utenti di ottenere una serie di immagini demograficamente equilibrate in un modo scelto dall'utente. 

"Non vogliamo dire qual è il modo corretto per bilanciare i dati demografici, perché non è una questione molto semplice", ha affermato Yang. "La distribuzione potrebbe essere diversa in diverse parti del mondo: la distribuzione del colore della pelle negli Stati Uniti è diversa rispetto ai paesi asiatici, ad esempio. Quindi lasciamo questa domanda ai nostri utenti e ci limitiamo a fornire uno strumento per recuperare un sottoinsieme bilanciato delle immagini".

Il team di ImageNet sta ora lavorando agli aggiornamenti tecnici del suo hardware e del suo database. Stanno anche cercando di implementare il filtraggio delle categorie di persone e lo strumento di riequilibrio sviluppato in questa ricerca. ImageNet verrà ripubblicato con gli aggiornamenti, insieme a una richiesta di feedback da parte della comunità di ricerca sulla visione artificiale. 

Il documento è stato anche coautore di Princeton Ph.D. lo studente Klint Qinami e l'assistente professore di informatica Jia Deng. La ricerca è stata supportata dalla National Science Foundation.