I ricercatori sviluppano uno strumento nuovo per combattere i pregiudizi nella visione computerizzata

Una delle questioni recenti emerse nel campo dell’intelligenza artificiale (AI) è quella dei pregiudizi nella visione computerizzata. Molti esperti stanno scoprendo pregiudizi all’interno dei sistemi AI, portando a risultati distorti in varie applicazioni, come ad esempio i programmi di condanna in tribunale.

Ci sono molti sforzi in corso per risolvere alcuni di questi problemi, con l’ultimo sviluppo proveniente dall’Università di Princeton. I ricercatori dell’istituzione hanno creato uno strumento nuovo in grado di segnalare potenziali pregiudizi nelle immagini utilizzate per addestrare i sistemi AI.

Il lavoro è stato presentato il 24 agosto alla Conferenza europea virtuale sulla visione computerizzata.

Pregiudizi nei sistemi AI

Una delle principali ragioni dei pregiudizi presenti negli attuali sistemi AI è che spesso vengono addestrati su grandi insiemi di immagini provenienti da fonti online. Queste immagini possono essere stereotipate e, quando vengono utilizzate per sviluppare la visione computerizzata, il risultato può essere influenzato in modo involontario. La visione computerizzata è ciò che consente ai computer di identificare persone, oggetti e azioni.

Lo strumento sviluppato dai ricercatori è open-source e in grado di rivelare automaticamente potenziali pregiudizi nei set di dati visivi. Funziona prendendo azione prima che i set di immagini vengano utilizzati per addestrare i modelli di visione computerizzata e i problemi relativi alla sottorappresentazione e agli stereotipi possono essere risolti prima di avere un impatto.

REVISE

Lo strumento nuovo si chiama REVISE e si basa su metodi statistici per identificare potenziali pregiudizi in un set di dati. Si concentra su tre aree: basata sugli oggetti, basata sul genere e basata sulla geografia.

REVISE è completamente automatico e si basa su metodi precedenti che includevano la filtrazione e il bilanciamento delle immagini del set di dati in modo che l’utente potesse avere più controllo.

Lo strumento nuovo si basa su annotazioni e misurazioni esistenti delle immagini per analizzare il contenuto all’interno di un set di dati. Alcune di queste annotazioni esistenti includono il conteggio degli oggetti e i paesi di origine delle immagini.

In un esempio dello strumento in funzione, REVISE ha mostrato come le immagini di persone e fiori fossero diverse in base al genere. Gli uomini erano più propensi a comparire con fiori in cerimonie o incontri, mentre le donne erano più propense a comparire con fiori in dipinti o scenari messi in scena.

Olga Russaskovsky è professore assistente di scienze informatiche e principale ricercatore del Visual AI Lab. Il documento è stato co-autore con la studentessa di dottorato Angelina Wang e il professore associato di scienze informatiche Arvind Narayanan.

Dopo che lo strumento identifica le discordanze, “allora c’è la questione di se questo è un fatto completamente innocuo o se qualcosa di più profondo sta accadendo, e questo è molto difficile da automatizzare”, ha detto Russaskovsky.

Regioni sottorappresentate o mal rappresentate

Varie regioni del mondo sono sottorappresentate nei set di dati della visione computerizzata e ciò può portare a pregiudizi nei sistemi AI. Una delle scoperte è stata che una quantità drasticamente maggiore di immagini proviene dagli Stati Uniti e dai paesi europei. REVISE ha anche rivelato che le immagini di altre parti del mondo spesso non hanno didascalie nella lingua locale, il che significa che molte potrebbero provenire da una prospettiva turistica di una nazione.

“…questa analisi geografica mostra che il riconoscimento degli oggetti può ancora essere molto pregiudizievole e esclusivo e può influenzare diverse regioni e persone in modo disuguale”, ha continuato Russaskovsky.

“Le pratiche di raccolta dei dati nella scienza informatica non sono state esaminate a fondo fino a poco tempo fa”, ha detto Wang. Quando si tratta di raccolta di immagini, vengono “prese da internet e le persone non si rendono sempre conto che le loro immagini vengono utilizzate [nei set di dati]. Dovremmo raccogliere immagini da gruppi più diversificati di persone, ma quando lo facciamo, dovremmo essere attenti a ottenerle in modo rispettoso”.

Vicente Ordonez-Roman è professore assistente di scienze informatiche all’Università della Virginia.

“Gli strumenti e le prove sono un passo importante… ci consentono di catturare questi pregiudizi più precocemente nella pipeline e di rivedere il nostro setup del problema e le nostre ipotesi, nonché le pratiche di raccolta dei dati”, ha detto Ordonez-Roman. “Nella visione computerizzata ci sono alcune sfide specifiche relative alla rappresentazione e alla propagazione degli stereotipi. Lavori come quelli del Princeton Visual AI Lab aiutano a chiarire e a portare all’attenzione della comunità della visione computerizzata alcuni di questi problemi e offrono strategie per mitigarli”.

Lo strumento nuovo sviluppato dai ricercatori è un passo importante per aiutare a risolvere i pregiudizi presenti nei sistemi AI. Ora è il momento di risolvere questi problemi, poiché sarà molto più difficile quando i sistemi progrediranno e diventeranno più complessi.