I ricercatori sfidano un’assunzione di lunga data sull’apprendimento automatico

I ricercatori dell’Università di Carnegie Mellon stanno sfidando un’assunzione di lunga data sull’apprendimento automatico, secondo cui esiste un compromesso tra accuratezza e equità negli algoritmi utilizzati per prendere decisioni di politica pubblica.

L’utilizzo dell’apprendimento automatico sta aumentando in molti settori, come la giustizia penale, l’assunzione, la consegna di servizi sanitari e gli interventi dei servizi sociali. Con questa crescita aumentano anche le preoccupazioni sul fatto che queste nuove applicazioni possano peggiorare le disuguaglianze esistenti. Potrebbero essere particolarmente dannose per le minoranze razziali o per gli individui con svantaggi economici.

Regolazione di un sistema

Ci sono costanti regolazioni dei dati, delle etichette, dell’addestramento del modello, dei sistemi di punteggio e di altri aspetti del sistema al fine di proteggere contro i pregiudizi. Tuttavia, l’assunzione teorica è stata che il sistema diventa meno preciso quando ci sono più di queste regolazioni.

Il team di CMU ha cercato di sfidare questa teoria in uno studio recente pubblicato su Nature Machine Intelligence.

Rayid Ghani è un professore nel Dipartimento di informatica della Scuola di scienze informatiche (MLD) e del College di informatica e politiche pubbliche Heinz. È stato raggiunto da Kit Rodolfa, uno scienziato di ricerca nel MLD; e Hemank Lamba, un ricercatore post-dottorato nel SCS.

Test di applicazioni nel mondo reale

I ricercatori hanno testato questa assunzione in applicazioni nel mondo reale, e ciò che hanno trovato è che il compromesso è trascurabile in molti domini di politica.

“In realtà, puoi ottenere entrambi. Non devi sacrificare la precisione per costruire sistemi che siano equi e giusti”, ha detto Ghani. “Ma richiede che tu progetti intenzionalmente sistemi che siano equi e giusti. I sistemi pronti all’uso non funzioneranno.”

Il team si è concentrato su situazioni in cui le risorse richieste sono limitate. L’allocazione di queste risorse è aiutata dall’apprendimento automatico.

Si sono concentrati su sistemi in quattro aree:

• prioritizzazione dell’assistenza sanitale mentale limitata in base al rischio di un individuo di tornare in carcere per ridurre la recidiva;
• previsione di gravi violazioni della sicurezza per distribuire meglio gli ispettori di edilizia residenziale di una città;
• modellazione del rischio che gli studenti non si diplomino in tempo per identificare quelli che hanno più bisogno di supporto aggiuntivo;
• e aiutare gli insegnanti a raggiungere gli obiettivi di crowdfunding per le esigenze della classe.

I ricercatori hanno scoperto che i modelli ottimizzati per la precisione potevano effettivamente prevedere i risultati di interesse. Tuttavia, hanno anche dimostrato notevoli disparità nelle raccomandazioni per gli interventi.

I risultati importanti sono arrivati quando i ricercatori hanno applicato le regolazioni ai risultati dei modelli che miravano a migliorare la loro equità. Hanno scoperto che non c’era perdita di precisione quando le disparità basate sulla razza, sull’età o sul reddito sono state rimosse.

“Vogliamo che le comunità di intelligenza artificiale, informatica e apprendimento automatico smettano di accettare questa assunzione di un compromesso tra precisione ed equità e iniziare a progettare intenzionalmente sistemi che massimizzino entrambi”, ha detto Rodolfa. “Speriamo che i responsabili delle politiche accettino l’apprendimento automatico come strumento nella loro presa di decisioni per aiutarli a raggiungere risultati equi.”