Prof. Julia Stoyanovich, Direttore del Center for Responsible AI – Serie di Interviste

Julia Stoyanovich, è una professoressa alla NYU’s Tandon School of Engineering e fondatrice del Center for Responsible AI. Ha recentemente fornito una testimonianza al Comitato per la Tecnologia del Consiglio comunale di New York su un disegno di legge proposto che regolamenterebbe l’uso dell’AI per le decisioni di assunzione e impiego.

Lei è la fondatrice del Center for Responsible AI alla NYU. Potrebbe condividere con noi alcune delle iniziative intraprese da questa organizzazione?

Io e Steven Kuyan co-direttiamo il Center for Responsible AI (R/AI) alla NYU. Steven e io abbiamo interessi e competenze complementari. Io sono un’accademica, con un background in informatica e un forte interesse nel lavoro ispirato all’uso all’intersezione tra ingegneria dei dati, scienza dei dati responsabile e politica. Steven è il direttore gestionale del NYU Tandon Future Labs, una rete di incubatori e acceleratori di startup che ha già avuto un impatto economico significativo a New York. La nostra visione per R/AI è aiutare a rendere “AI responsabile” sinonimo di “AI”, attraverso una combinazione di ricerca applicata, educazione pubblica e impegno, e aiutando le aziende, grandi e piccole, a sviluppare un’AI responsabile.

Negli ultimi mesi, R/AI ha attivamente partecipato a conversazioni sull’ADS (Sistemi di decisione automatizzati) e sulla loro supervisione. Il nostro approccio si basa su una combinazione di attività educative e impegno politico.

La città di New York sta considerando una proposta di legge, Int 1894, che regolamenterebbe l’uso dell’ADS nell’assunzione attraverso una combinazione di audit e divulgazione pubblica. R/AI ha presentato commenti pubblici sulla proposta di legge, basati sulla nostra ricerca e sugli insight che abbiamo raccolto da chi cerca lavoro attraverso diverse attività di impegno pubblico.

Noi abbiamo anche collaborato con The GovLab alla NYU e con l’Istituto per l’Etica dell’AI alla Technical University of Munich su un corso online gratuito chiamato “AI Ethics: Global Perspectives” che è stato lanciato all’inizio di questo mese.

Un altro progetto recente di R/AI che ha ricevuto molta attenzione è la nostra serie di fumetti “Data, Responsibly”. Il primo volume della serie si chiama “Mirror, Mirror”, è disponibile in inglese, spagnolo e francese e accessibile con un lettore di schermo in tutte e tre le lingue. Il fumetto ha ricevuto il premio “Innovazione del mese” da Metro Lab Network e GovTech, e è stato coperto dal Toronto Star, tra gli altri.

Quali sono alcuni dei problemi attuali o potenziali con la parzialità dell’AI per le decisioni di assunzione e impiego?

Questa è una domanda complessa che richiede di essere chiari su cosa intendiamo per “parzialità”. La cosa fondamentale da notare è che i sistemi di assunzione automatizzati sono “analisi predittive” — predicono il futuro sulla base del passato. Il passato è rappresentato dai dati storici sugli individui che sono stati assunti dall’azienda e su come questi individui hanno performato. Il sistema è quindi “addestrato” su questi dati, identificando modelli statistici e utilizzandoli per fare previsioni. Questi modelli statistici sono la “magia” dell’AI, su cui si basano i modelli predittivi. È chiaro, ma importante, che i dati storici da cui sono stati estratti questi modelli sono silenti sugli individui che non sono stati assunti perché semplicemente non sappiamo come avrebbero performato sul lavoro che non hanno ottenuto. E questo è dove entra in gioco la parzialità. Se sistematicamente assumiamo più individui da specifici gruppi demografici e socioeconomici, allora l’appartenenza a questi gruppi e le caratteristiche che li accompagnano diventeranno parte del modello predittivo. Ad esempio, se vediamo solo laureati delle migliori università essere assunti per ruoli esecutivi, allora il sistema non potrà imparare che le persone che sono andate a una scuola diversa potrebbero anche fare bene. È facile vedere un problema simile per il genere, la razza e lo stato di disabilità.

La parzialità nell’AI è molto più ampia della sola parzialità nei dati. Si verifica quando cerchiamo di utilizzare la tecnologia dove una soluzione tecnica è semplicemente inadeguata, o quando impostiamo gli obiettivi sbagliati per l’AI – spesso perché non abbiamo un insieme diversificato di voci al tavolo di progettazione, o quando rinunciamo alla nostra agenzia nelle interazioni uomo-AI dopo che l’AI è stata distribuita. Ognuna di queste ragioni per la parzialità merita una discussione che probabilmente sarà più lunga dello spazio di questo articolo. E quindi, per rimanere focalizzati, tornerò alla parzialità nei dati.

Quando spiego la parzialità nei dati, mi piace utilizzare la metafora della riflessione nello specchio. I dati sono un’immagine del mondo, la sua riflessione nello specchio. Quando pensiamo alla parzialità nei dati, interrogiamo questa riflessione. Un’interpretazione della “parzialità nei dati” è che la riflessione è distorta – il nostro specchio sottorappresenta o sovrarappresenta alcune parti del mondo, o distorce le letture. Un’altra interpretazione della “parzialità nei dati” è che, anche se la riflessione fosse del 100% fedele, sarebbe comunque una riflessione del mondo così com’è oggi, e non di come potrebbe o dovrebbe essere. È importante notare che non spetta ai dati o a un algoritmo dirci se la riflessione è perfetta di un mondo rotto, o se la riflessione è rotta di un mondo perfetto, o se queste distorsioni si sommano. È compito delle persone – individui, gruppi, società nel suo complesso – raggiungere un consenso su se siamo ok con il mondo così com’è, o se non lo siamo, come dovremmo migliorarlo.

Ritornando all’analisi predittiva: più sono forti le disparità nei dati, come riflesso del passato, più è probabile che vengano rilevate dai modelli predittivi e replicate – e addirittura esacerbate – nel futuro.

Se il nostro obiettivo è migliorare le nostre pratiche di assunzione con un occhio sull’equità e la diversità, allora non possiamo semplicemente affidare questo compito alle macchine. Dobbiamo fare il lavoro difficile di identificare le vere cause della parzialità nell’assunzione e nell’impiego, e di negoziare una soluzione socio-giuridico-tecnica con l’input di tutti gli stakeholder. La tecnologia ha sicuramente un ruolo da svolgere nell’aiutarci a migliorare lo status quo: può aiutarci a rimanere onesti sui nostri obiettivi e risultati. Ma fingere che la de-biasing dei dati o dell’analisi predittiva risolverà i profondi problemi di discriminazione nell’assunzione è ingenuo, nel migliore dei casi.

Lei ha recentemente fornito una testimonianza al Comitato per la Tecnologia del Consiglio comunale di New York, un commento che ha colpito è stato il seguente: “Abbiamo scoperto che sia il budget dell’inserzionista che il contenuto dell’annuncio contribuiscono significativamente alla distorsione della consegna degli annunci di Facebook (META ). Criticamente, osserviamo una distorsione significativa nella consegna lungo linee di genere e razziali per ‘veri’ annunci di lavoro e alloggio nonostante i parametri di targeting neutrali.” Quali sono alcune soluzioni per evitare questo tipo di parzialità?

Questo commento si basa su un articolo di Ali et al. intitolato “Discriminazione attraverso l’ottimizzazione: come la consegna degli annunci di Facebook può portare a risultati distorti.” Gli autori scoprono che il meccanismo di consegna degli annunci stesso è responsabile dell’introduzione e dell’amplificazione degli effetti discriminatori. È ovvio che questo risultato è altamente problematico, soprattutto perché si svolge contro lo sfondo dell’opacità di Facebook e altre piattaforme – Google (GOOGL ) e Twitter. Il carico è sulle piattaforme per dimostrare urgentemente e in modo convincente che possono contenere gli effetti discriminatori come quelli trovati da Ali et al.. In assenza di ciò, non posso trovare una giustificazione per il continuo uso di targeting personalizzato degli annunci in settori come il lavoro e l’alloggio, dove le vite e i mezzi di sussistenza delle persone sono in gioco.

Come possono i data scientist e gli sviluppatori di AI evitare al meglio altre parzialità involontarie che possono insinuarsi nei loro sistemi?

Non è interamente responsabilità dei data scientist, o di qualsiasi altro gruppo di stakeholder, assicurarsi che i sistemi tecnici siano allineati con i valori sociali. Tuttavia, i data scientist sono, in effetti, in prima linea in questa battaglia. Come informatico, posso attestare l’attrattiva di pensare che i sistemi che progettiamo siano “oggettivi”, “ottimali” o “corretti”. Quanto è stato di successo il computer science e la data science – quanto influente e quanto ampiamente utilizzato – è sia una benedizione che una maledizione. Non abbiamo più il lusso di nasconderci dietro gli obiettivi irraggiungibili dell’oggettività e della correttezza. Il carico è su di noi per pensare attentamente al nostro posto nel mondo e per educarci sui processi sociali e politici che stiamo influenzando. La società non può permettersi che noi procediamo velocemente e rompiamo le cose, dobbiamo rallentare e riflettere.

È simbolico che la filosofia fosse una volta il fulcro di ogni discorso scientifico e sociale, poi è arrivata la matematica, poi il computer science. Ora, con la data science al centro dell’attenzione, siamo tornati al punto di partenza e abbiamo bisogno di riconnetterci con le nostre radici filosofiche.

Un’altra raccomandazione che lei ha fatto è creare un pubblico informato. Come possiamo informare un pubblico che potrebbe non essere familiare con l’AI o capire i problemi associati alla parzialità dell’AI?

C’è un disperato bisogno di educare le persone non tecniche sulla tecnologia e di educare le persone tecniche sulle implicazioni sociali. Raggiungere entrambi questi obiettivi richiederà un impegno forte e un investimento sostanziale da parte del nostro governo. Dobbiamo sviluppare materiali e metodologie educative per tutti questi gruppi e trovare modi per incentivare la partecipazione. E non possiamo lasciare questo lavoro alle entità commerciali. L’Unione Europea sta guidando la strada, con diversi governi che forniscono supporto per l’educazione di base all’AI dei suoi cittadini e incorporando i curricula dell’AI nei programmi scolastici. Noi al R/AI stiamo lavorando su un corso pubblicamente disponibile e ampiamente accessibile, mirando a creare un pubblico impegnato che aiuterà a rendere l’AI ciò che NOI vogliamo che sia. Siamo molto emozionati per questo lavoro, per favore restate sintonizzati per ulteriori informazioni nel prossimo mese.

Grazie per le grandi risposte dettagliate, i lettori che desiderano saperne di più possono visitare il Center for Responsible AI.