Gli informatici affrontano i pregiudizi nell'intelligenza artificiale

Gli informatici di Princeton e della Stanford University lo sono ora affrontare i problemi di bias nell'intelligenza artificiale (AI). Stanno lavorando su metodi che si traducano in set di dati più equi contenenti immagini di persone. I ricercatori lavorano a stretto contatto con ImageNet, che è un database di oltre 13 milioni di immagini. Negli ultimi dieci anni, ImageNet ha contribuito a far progredire la visione artificiale. Utilizzando i loro metodi, i ricercatori hanno poi raccomandato miglioramenti al database. 

IMAGEnet include immagini di oggetti, paesaggi e persone. I ricercatori che creano algoritmi di apprendimento automatico che classificano le immagini utilizzano ImageNet come fonte di dati. A causa delle enormi dimensioni del database, era necessario che ci fossero una raccolta automatizzata di immagini e un'annotazione delle immagini in crowdsourcing. Ora il team di ImageNet lavora per correggere pregiudizi e altri problemi. Le immagini spesso contengono persone che sono conseguenze involontarie della costruzione di ImageNet.

Olga Russakovsky è coautrice e assistente professore di informatica a Princeton. 

"La visione artificiale ora funziona davvero bene, il che significa che viene implementata ovunque in tutti i tipi di contesti", ha affermato. "Ciò significa che ora è il momento di parlare del tipo di impatto che sta avendo sul mondo e pensare a questo tipo di problemi di equità".

Nel nuovo documento, il team di ImageNet ha sistematicamente identificato concetti non visivi e categorie offensive. Queste categorie includevano caratterizzazioni razziali e sessuali e il team ha proposto di rimuoverle dal database. Il team ha anche sviluppato uno strumento che consente agli utenti di specificare e recuperare gruppi di immagini di persone, e può farlo per età, espressione di genere e colore della pelle. L'obiettivo è creare algoritmi che classifichino in modo più equo i volti e le attività delle persone nelle immagini. 

Il lavoro svolto dai ricercatori è stato presentato il 30 gennaio alla conferenza dell'Association for Computing Machinery su equità, responsabilità e trasparenza a Barcellona, ​​in Spagna. 

"C'è davvero bisogno di ricercatori e laboratori con competenze tecniche di base in questo per impegnarsi in questo tipo di conversazioni", ha affermato Russakovsky. "Data la realtà di cui abbiamo bisogno per raccogliere i dati su larga scala, data la realtà che sarà fatto con il crowdsourcing perché è la pipeline più efficiente e consolidata, come possiamo farlo in un modo più equo - che non t cadere in questo tipo di insidie ​​precedenti? Il messaggio centrale di questo documento riguarda soluzioni costruttive”.

ImageNet è stato lanciato nel 2009 da un gruppo di informatici a Princeton e Stanford. Doveva servire come risorsa per ricercatori accademici ed educatori. La creazione del sistema è stata guidata dagli ex studenti di Princeton e membro della facoltà Fei-Fei Li. 

ImageNet è riuscita a diventare un database così grande di immagini etichettate grazie all'uso del crowdsourcing. Una delle principali piattaforme utilizzate era Amazon Mechanical Turk (MTurk) e i lavoratori venivano pagati per verificare le immagini dei candidati. Ciò ha causato alcuni problemi e c'erano molti pregiudizi e categorizzazioni inappropriate. 

L'autore principale Kaiyu Yang è uno studente laureato in informatica. 

"Quando chiedi alle persone di verificare le immagini selezionando quelle corrette da un ampio gruppo di candidati, le persone si sentono spinte a selezionare alcune immagini e quelle immagini tendono ad essere quelle con caratteristiche distintive o stereotipate", ha affermato. 

La prima parte dello studio prevedeva il filtraggio di categorie di persone potenzialmente offensive o sensibili da ImageNet. Le categorie offensive sono state definite come quelle che contenevano volgarità o insulti razziali o di genere. Una di queste categorie sensibili era la classificazione delle persone in base all'orientamento sessuale o alla religione. Dodici studenti laureati di diversa estrazione sono stati coinvolti per annotare le categorie e sono stati istruiti a etichettare una categoria come sensibile se non ne erano sicuri. Circa il 54% delle categorie è stato eliminato, ovvero 1,593 delle 2,932 categorie di persone in ImageNet. 

I lavoratori di MTurk hanno quindi valutato la "immaginabilità" delle restanti categorie su una scala da 1 a 5. 158 categorie sono state classificate come sicure e immaginabili, con un punteggio di 4 o superiore. Questo insieme filtrato di categorie includeva più di 133,000 immagini, che possono essere molto utili per l'addestramento degli algoritmi di visione artificiale. 

I ricercatori hanno studiato la rappresentazione demografica delle persone nelle immagini ed è stato valutato il livello di bias in ImageNet. I contenuti provenienti dai motori di ricerca spesso forniscono risultati che rappresentano in modo eccessivo maschi, persone di carnagione chiara e adulti di età compresa tra i 18 e i 40 anni.

"Le persone hanno scoperto che la distribuzione dei dati demografici nei risultati di ricerca di immagini è molto distorta, ed è per questo che anche la distribuzione in ImageNet è parziale", ha detto Yang. "In questo articolo abbiamo cercato di capire quanto sia parziale e anche di proporre un metodo per bilanciare la distribuzione".

I ricercatori hanno preso in considerazione tre attributi che sono protetti anche dalle leggi statunitensi contro la discriminazione: colore della pelle, espressione di genere ed età. I lavoratori MTurk hanno quindi annotato ogni attributo di ogni persona in un'immagine. 

I risultati hanno mostrato che il contenuto di ImageNet ha una notevole distorsione. I più sottorappresentati erano di pelle scura, donne e adulti di età superiore ai 40 anni.

È stato progettato uno strumento di interfaccia web che consente agli utenti di ottenere una serie di immagini demograficamente equilibrate in un modo scelto dall'utente. 

"Non vogliamo dire quale sia il modo corretto per bilanciare i dati demografici, perché non è una questione molto semplice", ha detto Yang. “La distribuzione potrebbe essere diversa nelle diverse parti del mondo: la distribuzione dei colori della pelle negli Stati Uniti è diversa rispetto ai paesi asiatici, ad esempio. Quindi lasciamo questa domanda al nostro utente e forniamo solo uno strumento per recuperare un sottoinsieme bilanciato delle immagini.

Il team di ImageNet sta ora lavorando agli aggiornamenti tecnici del suo hardware e del suo database. Stanno anche cercando di implementare il filtraggio delle categorie di persone e lo strumento di riequilibrio sviluppato in questa ricerca. ImageNet verrà ripubblicato con gli aggiornamenti, insieme a una richiesta di feedback da parte della comunità di ricerca sulla visione artificiale. 

Il documento è stato anche coautore di Princeton Ph.D. lo studente Klint Qinami e l'assistente professore di informatica Jia Deng. La ricerca è stata supportata dalla National Science Foundation.