L’IA non elimina i pregiudizi umani: li amplifica.

Spesso l’IA viene presentata come uno strumento per rendere le decisioni più oggettive: secondo questa logica, basta eliminare il giudizio umano per eliminare anche i pregiudizi umani. Un numero crescente di ricerche smentisce questa tesi.

I sistemi di IA apprendono dalla storia umana. Vengono addestrati sulle nostre decisioni, sul nostro linguaggio, sulle nostre istituzioni e, inevitabilmente, sui nostri punti ciechi. Quando selezionano i candidati, assegnano risorse sanitarie o valutano i dipendenti, possono riprodurre quei pregiudizi con una portata e una rapidità che nessun singolo essere umano potrebbe eguagliare.

Il problema più grande è che le decisioni sembrano neutrali. Arriva un punteggio. Compare una graduatoria. Viene generata una raccomandazione. Non ci sono segni visibili delle supposizioni che ne sono alla base e nessuno nella stanza si sente necessariamente responsabile del risultato.

Ecco perché il pregiudizio nell’IA non è principalmente un problema del modello, ma di governance. Un modello può essere riaddestrato, ma le domande più difficili sono di natura organizzativa: chi è responsabile di ogni decisione, quali obiettivi il sistema cerca di raggiungere e chi è legittimato a contestarlo.

I pregiudizi umani entrano nell’IA e tornano indietro alla velocità delle macchine

Il meccanismo non è misterioso. I modelli individuano schemi statistici nei dati di addestramento e, quando i risultati storici (chi è stato assunto, chi ha ricevuto cure) incorporano già discriminazioni, il bersaglio che il modello impara a prevedere è distorto fin dall’inizio. Studi recenti mostrano quanto facilmente ciò accada con fornitori e attività diversi:

• Assunzioni su vasta scala. Un’analisi condotta da Stanford su 4 milioni di candidature reali per posti di lavoro ha rilevato che il 26% dei candidati neri e il 15% dei candidati asiatici si erano candidati per posizioni in cui il sistema di IA discriminava il loro gruppo razziale. I modelli avevano appreso da decenni di decisioni umane in materia di assunzioni.
• Ordinamento dei CV. Ricercatori della University of Washington hanno valutato oltre 550 CV reali con gli attuali modelli linguistici e hanno scoperto che i nomi associati a persone bianche venivano favoriti nell’85% dei casi, mentre i nomi di uomini neri erano scelti di rado.
• Comunicazione sul posto di lavoro. Una ricerca di Johns Hopkins pubblicata all’inizio di quest’anno ha rilevato che GPT-4, Llama, Gemma e Mistral generavano email di lavoro meno sofisticate e meno formali quando i prompt contenevano schemi linguistici più comunemente associati alle donne.

Quando un sistema del genere viene messo in uso, questi schemi smettono di essere una caratteristica dei dati di addestramento e diventano parte delle decisioni quotidiane.

Il vero pericolo è la portata, insieme al silenzio

In un anno, un selezionatore umano prevenuto potrebbe esaminare centinaia di CV. Un sistema di selezione distorto può elaborare milioni di candidature in una notte, applicando la stessa logica fallace a ciascuna. La decisione pregiudizievole di una persona è spesso un episodio isolato; quelle di un modello possono diventare rapidamente una norma.

La sanità offre uno degli esempi più chiari. Un algoritmo ampiamente utilizzato, che ha interessato milioni di pazienti, era stato progettato per individuare le persone che avrebbero tratto beneficio da cure aggiuntive. Valutava i pazienti neri come più sani dei pazienti bianchi altrettanto malati. Nessuno aveva scritto una regola razzista. L’algoritmo utilizzava la spesa sanitaria come indicatore del bisogno di cure e, poiché storicamente i pazienti neri avevano ricevuto meno cure e quindi generato una spesa inferiore, interpretava una spesa più bassa come un segnale di salute migliore. Secondo l’analisi dei ricercatori pubblicata su Science, correggere quella singola scelta progettuale avrebbe portato dal 17,7% al 46,5% la quota di pazienti neri segnalati per ricevere ulteriore assistenza.

I sistemi di IA non si limitano a riflettere le metriche che assegniamo loro: riflettono le supposizioni alla base di quelle metriche. I pregiudizi umani sono altrettanto reali, ma più difficili da vedere e verificare; per questo la risposta sta in una governance migliore, non nell’abbandono dell’automazione.

Integrare la responsabilità nel processo decisionale

L’approccio standard all’implementazione dell’IA consiste nello scegliere un modello, integrarlo nel flusso di lavoro, monitorarne le prestazioni e migliorarlo nel tempo. Quando i risultati del sistema incidono sulle persone, non basta.

Chiamo l’alternativa «integrazione anziché messa in opera»: la persona responsabile è parte integrante del processo decisionale e ha l’autorità effettiva di modificarlo, invece di limitarsi a esaminare i cruscotti una volta a trimestre, a decisione avvenuta. Si parte da tre passaggi:

1. Mappare ogni decisione che l’IA ora filtra, valuta o approva e assegnare a ciascuna un responsabile umano identificato per nome.
2. Esaminare la storia utilizzata per addestrare il modello prima che diventi una norma.
3. Consentire di discostarsi dal modello senza rischi e monitorare la frequenza di questi interventi.

Il terzo passaggio è il più importante. Se i dipendenti imparano che dissentire dalla macchina verrà considerato un errore, smettono di farlo e l’IA diventa di fatto il decisore, anche se tecnicamente una persona resta «nel circuito». La domanda non è se una persona abbia l’ultima parola, ma se disponga dell’autorità, delle informazioni e della sicurezza psicologica necessarie per dire: «La macchina sbaglia».

Il riaddestramento è utile, ma i pregiudizi si insinuano attraverso le decisioni: su cosa il modello ottimizza, quali dati vengono considerati e chi controlla i risultati. È lì che bisogna guardare. Servono anche responsabili dell’IA capaci di chiedersi perché un sistema abbia classificato qualcosa in un certo modo e legittimati ad agire in base alla risposta.

Il tasso di interventi manuali è utile proprio perché è ambiguo. Se le persone quasi mai intervengono sul sistema, potrebbe semplicemente essere accurato. Oppure potrebbero aver imparato che non è sicuro dissentire. Se intervengono solo le persone più anziane, il personale più giovane potrebbe aver imparato a tacere, anche se spesso è quello più vicino ai risultati e alle persone coinvolte. L’obiettivo non è azzerare gli interventi manuali. È creare una cultura in cui un intervento ben motivato sia considerato un segno che il sistema funziona. Quando qualcuno interviene sul modello e si scopre che aveva ragione, raccontate ampiamente quell’episodio. Potrebbe essere il miglior materiale di formazione sull’IA che la vostra azienda abbia mai prodotto.

Verificare i risultati, non le intenzioni

Le organizzazioni non devono aspettare che si verifichi un grave fallimento per iniziare a individuare i pregiudizi. Ecco tre verifiche che si possono fare fin da subito:

1. Un confronto controllato. Svolgete la stessa attività modificando solo il segnale demografico, per esempio il nome su un curriculum o il dialetto di un prompt. Mantenete invariato tutto il resto, compresi il modello del prompt e l’ordine degli input. Poiché i risultati del modello variano da un’esecuzione all’altra, ripetete più volte ciascuna coppia e usate un numero sufficiente di coppie perché una differenza non possa essere liquidata come rumore. È sostanzialmente così che i ricercatori hanno individuato le disparità nelle classifiche dei curriculum e nelle comunicazioni sul posto di lavoro generate, e un team interno può realizzare una prima versione della verifica in un pomeriggio.
2. Una verifica delle variabili proxy. Per ogni metrica che il sistema ottimizza, ponetevi due domande: che cosa misura davvero questo numero e chi potrebbe conteggiare in misura insufficiente? L’algoritmo sanitario non era inefficace nel prevedere la metrica scelta. Era bravo a prevedere i costi. Il problema era che i costi venivano usati come indicatore del bisogno di cure mediche. Un sistema può essere accurato secondo la propria metrica e comunque sbagliare gravemente nel valutare le persone che coinvolge.
3. Un confronto dei risultati. Confrontate i tassi di selezione o approvazione dei diversi gruppi nell’uso effettivo del sistema. La regola empirica dei quattro quinti, usata nella prassi lavoristica statunitense e che segnala un gruppo il cui tasso scende sotto l’80% di quello del gruppo con il tasso più alto, è un criterio iniziale comunemente adottato. Affiancatela al monitoraggio degli interventi manuali descritto sopra.

Queste verifiche hanno dei limiti. Sostituire un nome permette di rilevare i segnali demografici espliciti, ma non le variabili proxy, come il codice postale, la scuola frequentata o le interruzioni nella carriera lavorativa: ecco perché è importante confrontare i risultati. Le misure tecniche di mitigazione (riequilibrare i dati di addestramento, aggiungere vincoli di equità, modificare le soglie decisionali) possono ridurre le disparità, ma impongono una scelta. Le ricerche di Kleinberg, Mullainathan e Raghavan e, separatamente, di Chouldechova hanno dimostrato che quando i gruppi hanno tassi di base diversi, in genere un modello non può garantire contemporaneamente calibrazione e tassi di errore uguali. La scelta della definizione di equità da privilegiare non è una questione a cui un modello possa rispondere. È una decisione di cui qualcuno deve assumersi la responsabilità e che deve documentare: così il problema torna a essere una questione di governance.

Esaminare l’equità insieme all’accuratezza

Troppo spesso l’equità viene trattata come un’iniziativa separata, da sottoporre alla valutazione delle risorse umane o dell’ufficio legale dopo che il team tecnico ha esaminato accuratezza, efficienza e costi. Questa separazione è essa stessa parte del problema. L’equità dovrebbe essere esaminata nella stessa riunione dedicata ad accuratezza e costi, con lo stesso livello di responsabilità e una persona incaricata chiaramente designata.

A questa discussione dovrebbero partecipare le risorse umane e l’ufficio legale, ma anche le persone che sono state giudicate ingiustamente da sistemi di questo tipo. Chi è stato sottovalutato spesso si accorge per primo di ciò che sfugge a un sistema. È un’idea centrale del mio libro, The Bias Advantage: le prospettive che le organizzazioni hanno storicamente trascurato diventano una potente fonte di intuizioni quando entrano a far parte del processo decisionale.

L’obiettivo non è disporre di un sistema di IA che non commetta mai errori, cosa irrealistica. È creare un’organizzazione capace di riconoscere quando l’IA sbaglia, capire perché e intervenire prima che l’errore diventi la realtà di qualcun altro.