Il rapporto di GEPI «How AI Fails Women» esamina come gli algoritmi amplificano i pregiudizi di genere

Un punteggio di selezione del personale, una valutazione del merito creditizio o una raccomandazione clinica possono sembrare imparziali e, al tempo stesso, perpetuare le disuguaglianze presenti nei dati su cui si basano. È questo l’avvertimento centrale del nuovo rapporto del Gender Equity Policy Institute, Come l’IA penalizza le donne: quando i pregiudizi vengono amplificati, che riunisce ricerche su come i sistemi automatizzati possano riprodurre, e talvolta intensificare, le discriminazioni di genere.

Scritto dalla scienziata specializzata nell’apprendimento automatico e senior fellow di GEPI Myriam Shiran, PhD, il rapporto esamina la letteratura accademica e grigia sulle opportunità economiche, l’assistenza sanitaria, la giustizia penale, i contenuti generati, la progettazione dell’IA per i consumatori e gli abusi sessuali basati su immagini resi possibili dall’IA. Si tratta di una sintesi delle prove esistenti, non di un nuovo esperimento che misuri tutti i sistemi di IA rispetto a un unico parametro di riferimento.

La sua tesi più importante riguarda ciò che accade dopo che un risultato distorto esce da un modello. Le raccomandazioni influenzano le decisioni, i contenuti generati plasmano le aspettative e alcuni risultati diventano materiale per l’addestramento futuro. Di conseguenza, uno schema ingiusto può diventare più difficile da individuare man mano che attraversa sistemi successivi.

Dati di input senza indicazioni di genere non garantiscono risultati equi

Eliminare il campo relativo al genere è una risposta intuitiva alla discriminazione. La rassegna di GEPI spiega perché questa misura, da sola, non basta: nomi, istruzione, storie lavorative e altri dettagli possono comunque veicolare segnali legati al genere. Anche i risultati storici possono incorporare trattamenti diseguali, prima ancora che un modello li prenda in considerazione.

Una delle verifiche sui processi di selezione citate nel rapporto, condotta da Wilson e Caliskan nel 2024, ha confrontato oltre tre milioni di curriculum simulati in nove professioni. Nei test, i modelli di selezione hanno favorito in misura significativa i nomi associati agli uomini nel 51,9% dei confronti e quelli associati alle donne nell’11,1%. Nel restante 37% non è emersa una preferenza significativa. Si tratta dei risultati di test controllati sui modelli, non della percentuale di candidate e candidati reali a cui è stato negato un impiego.

Le prove variano anche in base al disegno del test. Il rapporto descrive una verifica distinta del 2025, in cui diversi modelli linguistici non hanno mostrato differenze di genere quando i ricercatori modificavano soltanto i nomi, mentre le modifiche ai dettagli relativi all’istruzione influivano sui punteggi. Un test circoscritto può non rilevare informazioni importanti in altri passaggi dello stesso processo.

Per quanto riguarda i prestiti, la rassegna cita una ricerca su circa 80.000 prestiti personali non garantiti concessi da un importante istituto fintech statunitense. I prestiti alle donne hanno generato rendimenti più elevati per l’istituto: secondo lo studio, il modello ne sovrastimava il rischio di insolvenza e stabiliva di conseguenza il prezzo dei prestiti. In questo caso, la questione riguarda il rapporto tra rischio previsto, rimborso effettivo e prezzo pagato da chi prende in prestito, non semplicemente la presenza o meno del genere nella domanda.

Per l’IA in medicina non basta un punteggio medio elevato

L’assistenza sanitaria offre un esempio particolarmente chiaro di come le prestazioni complessive sulla popolazione possano nascondere differenze importanti. Un modello può funzionare bene nel complesso e, allo stesso tempo, commettere più errori con persone sottorappresentate nei dati usati per l’addestramento o la convalida.

GEPI cita uno studio del 2024 di Zack e colleghi, che ha sottoposto a GPT-4 casi di dolore toracico identici, descritti però come riguardanti un uomo o una donna. Su 200 esecuzioni per ciascuna descrizione, il modello ha valutato come molto importante il test da sforzo cardiaco nel 71% dei casi maschili e nel 58% di quelli femminili: una differenza di 13 punti percentuali.

Il risultato riguarda le raccomandazioni del modello in una valutazione controllata, non decisioni terapeutiche osservate o esiti clinici. La distinzione è importante, soprattutto perché il rapporto include studi esplorativi condotti in momenti diversi su modelli, malattie e attività cliniche differenti.

La rassegna aggiunge un’importante precisazione: le differenze di sesso clinicamente significative non dovrebbero essere semplicemente cancellate. La sfida consiste nello stabilire se una differenza nei consigli forniti da un modello rifletta aspetti biologici pertinenti o un presupposto privo di fondamento. A tal fine servono dati di valutazione rappresentativi e un esame attento degli errori, non la pretesa che tutte le raccomandazioni siano identiche.

I pregiudizi possono influenzare la rappresentazione oltre che le decisioni

Il rapporto distingue il danno arrecato all’accesso di una persona alle risorse, come un prestito o le cure mediche, dal danno causato dal modo in cui vengono rappresentati i gruppi. Lettere di raccomandazione e articoli di giornale generati, così come le immagini di professioni, possono rafforzare gli stereotipi anche in assenza di una conseguente decisione immediata sull’assegnazione di risorse.

Le ricerche riassunte da GEPI hanno rilevato che i modelli linguistici descrivono più spesso le donne attraverso qualità interpersonali e gli uomini attraverso capacità o doti di leadership. Gli studi sui generatori di immagini hanno riscontrato una forte segregazione di genere nelle rappresentazioni delle professioni. Questi risultati riguardano i modelli e le versioni esaminati e non vanno interpretati come una nuova verifica di tutti i sistemi attualmente disponibili.

Gli assistenti e i compagni virtuali per i consumatori sollevano una questione diversa. Le loro voci, personalità e reazioni alle molestie sono scelte deliberate di progettazione del prodotto. Valutare soltanto l’equilibrio statistico delle loro risposte può far trascurare i presupposti incorporati nell’idea stessa di ciò che un prodotto è progettato per essere.

La rassegna esamina anche le immagini sessuali sintetiche non consensuali, in cui l’IA può rendere più facile produrre e diffondere abusi. Non si tratta soltanto di una rappresentazione inesatta: usare le sembianze di una persona reale senza il suo consenso può causare un danno diretto. Questo richiede una risposta diversa dalla correzione di uno stereotipo professionale nelle immagini generate.

Perché i test indipendenti sono importanti

GEPI descrive quattro meccanismi ricorrenti: apprendere da dati storici diseguali, riprodurre stereotipi, presentare giudizi come misurazioni oggettive e permettere che risultati distorti alimentino decisioni o modelli successivi.

Le verifiche indipendenti aiutano a rendere visibili questi meccanismi. I ricercatori possono variare un singolo attributo in input altrimenti comparabili e osservare come cambiano i risultati, anche senza accedere all’architettura interna di un modello proprietario. Tuttavia, il superamento di un test su un singolo prompt o benchmark non dimostra che l’intera implementazione sia equa.

Per le organizzazioni che adottano l’IA, la conseguenza pratica è verificare il caso d’uso effettivo. Un team che si occupa di selezione del personale deve esaminare il percorso dai punteggi di preselezione alla scelta dei candidati da convocare a un colloquio. Un istituto di credito deve confrontare le stime del rischio con gli esiti dei rimborsi. Un’organizzazione sanitaria deve capire quali pazienti sono rappresentati nei dati di convalida e dove si concentrano gli errori. Queste verifiche rispondono a domande diverse da quelle sulla fluidità o sull’accuratezza media di un modello.

Cosa dimostra il rapporto e cosa resta da chiarire

Il rapporto si basa principalmente su evidenze statunitensi, segnalando anche studi internazionali quando pertinenti. Le fonti riguardano tecnologie, anni e metodologie diversi. Alcune documentano gli esiti; altre rivelano comportamenti preoccupanti nelle simulazioni. La rassegna non stabilisce un unico tasso universale di discriminazione, né dimostra che tutti i sistemi producano lo stesso tipo di distorsione.

Il rapporto individua anche un problema di misurazione: spesso i ricercatori non possono accedere ai dati istituzionali necessari per collegare un risultato alle sue conseguenze. Rilevare una disparità è importante, ma comprenderne il costo nel mondo reale può richiedere documenti in possesso di datori di lavoro, fornitori, istituti di credito o operatori sanitari.

Il contributo di GEPI consiste nel collegare risultati spesso discussi separatamente e nel chiedersi se i test e la responsabilizzazione accompagnino l’IA nelle decisioni che influenza. Il rapporto completo, Come l’IA penalizza le donne: quando i pregiudizi si amplificano, include la metodologia, i riferimenti agli studi e le evidenze suddivise per settore a sostegno di questa tesi.