Nora Petrova, Machine Learning Engineer & AI Consultant at Prolific – Interview Series

Nora Petrova, è un’ingegnere di Machine Learning e consulente AI presso Prolific. Prolific è stata fondata nel 2014 e già conta tra i suoi clienti organizzazioni come Google, Stanford University, l’Università di Oxford, il King’s College London e la Commissione Europea, che utilizzano la sua rete di partecipanti per testare nuovi prodotti, addestrare sistemi di intelligenza artificiale in aree come il tracciamento degli occhi e determinare se le loro applicazioni di intelligenza artificiale rivolte agli esseri umani funzionano come previsto dai loro creatori.

Potresti condividere alcune informazioni sulla tua esperienza in Prolific e sulla tua carriera fino ad ora? Cosa ti ha interessato all’AI?

Il mio ruolo in Prolific è diviso tra essere un consulente per casi d’uso e opportunità di AI e essere un ingegnere di Machine Learning più hands-on. Ho iniziato la mia carriera come ingegnere software e mi sono gradualmente trasferito alla Machine Learning. Ho trascorso la maggior parte degli ultimi 5 anni concentrandomi su casi d’uso e problemi di NLP.

Cosa mi ha interessato all’AI inizialmente è stata la capacità di apprendere dai dati e il legame con il modo in cui noi esseri umani apprendiamo e come sono strutturati i nostri cervelli. Penso che la Machine Learning e le Neuroscienze possano complementarsi a vicenda e aiutare a migliorare la nostra comprensione di come costruire sistemi di intelligenza artificiale in grado di navigare nel mondo, esibire creatività e aggiungere valore alla società.

Quali sono alcuni dei più grandi problemi di bias nell’AI di cui sei personalmente a conoscenza?

Il bias è intrinseco nei dati che alimentiamo nei modelli di AI e rimuoverlo completamente è molto difficile. Tuttavia, è fondamentale essere consapevoli dei pregiudizi presenti nei dati e trovare modi per mitigare i tipi di pregiudizi dannosi prima di affidare ai modelli compiti importanti nella società. I più grandi problemi che stiamo affrontando sono i modelli che perpetuano stereotipi dannosi, pregiudizi sistematici e ingiustizie nella società. Dovremmo essere consapevoli di come questi modelli di AI saranno utilizzati e dell’influenza che avranno sugli utenti e assicurarci che siano sicuri prima di approvarli per utilizzi sensibili.

Alcune aree prominenti in cui i modelli di AI hanno esibito pregiudizi dannosi includono la discriminazione di gruppi sottorappresentati nelle ammissioni scolastiche e universitarie e gli stereotipi di genere che influiscono negativamente sul reclutamento delle donne. Non solo, ma un algoritmo di giustizia penale è stato trovato per aver etichettato i difensori afroamericani come “ad alto rischio” quasi al doppio del tasso con cui ha etichettato i difensori bianchi negli Stati Uniti, mentre la tecnologia di riconoscimento facciale soffre ancora di alti tassi di errore per le minoranze a causa della mancanza di dati di formazione rappresentativi.

Gli esempi sopra coprono una piccola sezione dei pregiudizi dimostrati dai modelli di AI e possiamo prevedere problemi più grandi che emergono in futuro se non ci concentriamo sulla mitigazione del pregiudizio ora. È importante tenere presente che i modelli di AI apprendono dai dati che contengono questi pregiudizi a causa della presa di decisioni umana influenzata da pregiudizi incontrollati e inconsci. In molti casi, deferire a un decisore umano può non eliminare il pregiudizio. Mitigare veramente i pregiudizi richiederà la comprensione di come sono presenti nei dati che utilizziamo per addestrare i modelli, isolare i fattori che contribuiscono a previsioni pregiudizievoli e decidere collettivamente su cosa basare le decisioni importanti. Sviluppare un set di standard, in modo da poter valutare i modelli per la sicurezza prima che vengano utilizzati per utilizzi sensibili, sarà un passo importante in avanti.

Le allucinazioni dell’AI sono un grande problema con qualsiasi tipo di AI generativa. Puoi discutere come l’addestramento human-in-the-loop (HITL) possa mitigare questi problemi?

Le allucinazioni nei modelli di AI sono problematiche in particolari utilizzi di AI generativa, ma è importante notare che non sono un problema in sé. In certi utilizzi creativi di AI generativa, le allucinazioni sono benvenute e contribuiscono a una risposta più creativa e interessante.

Possono essere problematiche in utilizzi in cui si fa affidamento su informazioni fattuali. Ad esempio, nel settore sanitario, dove la presa di decisioni robuste è fondamentale, fornire ai professionisti sanitari informazioni fattuali affidabili è imperativo.

HITL si riferisce a sistemi che consentono agli esseri umani di fornire feedback diretti a un modello per previsioni al di sotto di un certo livello di confidenza. Nel contesto delle allucinazioni, HITL può essere utilizzato per aiutare i modelli a imparare il livello di certezza che dovrebbero avere per diversi utilizzi prima di output una risposta. Questi soglie varieranno a seconda dell’utilizzo e insegnare ai modelli le differenze nella rigorosità necessaria per rispondere a domande da diversi utilizzi sarà un passo importante per mitigare le allucinazioni problematiche. Ad esempio, in un utilizzo legale, gli esseri umani possono dimostrare ai modelli di AI che il fact-checking è un passo necessario quando si rispondono a domande basate su documenti legali complessi con molte clausole e condizioni.

Come possono gli lavoratori di AI, come gli annotatori di dati, aiutare a ridurre i potenziali problemi di bias?

I lavoratori di AI possono innanzitutto aiutare a identificare i pregiudizi presenti nei dati. Una volta identificato il pregiudizio, diventa più facile elaborare strategie di mitigazione. Gli annotatori di dati possono anche aiutare a trovare modi per ridurre il pregiudizio. Ad esempio, per i compiti di NLP, possono aiutare fornendo modi alternativi di esprimere snippet di testo problematici in modo che il pregiudizio presente nel linguaggio sia ridotto. Inoltre, la diversità tra i lavoratori di AI può aiutare a mitigare i problemi di pregiudizio nell’etichettatura.

Come ti assicuri che i lavoratori di AI non alimentino involontariamente i propri pregiudizi umani nel sistema di AI?

È certamente una questione complessa che richiede una attenta considerazione. Eliminare i pregiudizi umani è quasi impossibile e i lavoratori di AI possono involontariamente alimentare i propri pregiudizi nei modelli di AI, quindi è fondamentale sviluppare processi che guidino i lavoratori verso le migliori pratiche.

Alcuni passi che possono essere intrapresi per mantenere i pregiudizi umani al minimo includono:

• Una formazione completa per i lavoratori di AI sui pregiudizi inconsci e fornire loro strumenti su come identificare e gestire i propri pregiudizi durante l’etichettatura.
• Checklist che ricordino ai lavoratori di AI di verificare le proprie risposte prima di inviarle.
• Esecuzione di una valutazione che controlli il livello di comprensione che i lavoratori di AI hanno, dove vengono mostrati esempi di risposte across diversi tipi di pregiudizi, e vengono chiesti di scegliere la risposta meno pregiudizievole.

I regolatori in tutto il mondo intendono regolamentare l’output di AI, cosa secondo te i regolatori non capiscono, e cosa hanno ragione?

È importante iniziare dicendo che questo è un problema molto difficile che nessuno ha trovato la soluzione. La società e l’AI si evolveranno e si influenzeranno a vicenda in modi che sono molto difficili da anticipare. Una parte di una strategia efficace per trovare pratiche di regolamentazione robuste e utili è prestare attenzione a cosa sta succedendo nell’AI, come le persone stanno rispondendo ad esso e quali effetti ha su diversi settori.

Penso che un ostacolo significativo alla regolamentazione efficace dell’AI sia la mancanza di comprensione di cosa possono e non possono fare i modelli di AI, e come funzionano. Ciò, a sua volta, rende più difficile prevedere le conseguenze che questi modelli avranno su diversi settori e sezioni della società. Un’altra area che è carente è la leadership del pensiero su come allineare i modelli di AI ai valori umani e cosa significhi sicurezza in termini più concreti.

I regolatori hanno cercato la collaborazione con esperti nel campo dell’AI, sono stati cauti nel non soffocare l’innovazione con regole eccessivamente stringenti sull’AI, e hanno iniziato a considerare le conseguenze dell’AI sulla disoccupazione, che sono tutte aree di focus molto importanti. È importante procedere con cautela mentre i nostri pensieri sulla regolamentazione dell’AI si chiariscono nel tempo e coinvolgere il maggior numero di persone possibile per affrontare questo problema in modo democratico.

Come possono le soluzioni di Prolific aiutare le imprese a ridurre il bias dell’AI e gli altri problemi che abbiamo discusso?

La raccolta di dati per i progetti di AI non è sempre stata un processo considerato o deliberativo. Abbiamo visto in precedenza scraping, offshoring e altri metodi diffusi. Tuttavia, come addestriamo l’AI è fondamentale e i modelli di prossima generazione dovranno essere costruiti su dati intenzionalmente raccolti, di alta qualità, da persone reali e con cui abbiamo un contatto diretto. È qui che Prolific sta facendo un’impronta.

Altri domini, come il sondaggio, la ricerca di mercato o la ricerca scientifica, hanno imparato questo a lungo tempo fa. Il pubblico che campioni ha un grande impatto sui risultati che si ottengono. L’AI sta iniziando a recuperare, e stiamo raggiungendo un incrocio adesso.

Ora è il momento di iniziare a curarsi dell’utilizzo di campioni migliori e lavorare con gruppi più rappresentativi per l’addestramento e il raffinamento dell’AI. Entrambi sono critici per lo sviluppo di modelli sicuri, non pregiudizievoli e allineati.

Prolific può aiutare a fornire gli strumenti giusti alle imprese per condurre esperimenti di AI in modo sicuro e per raccogliere dati da partecipanti dove il pregiudizio è controllato e mitigato lungo la strada. Possiamo aiutare a fornire orientamento sulle migliori pratiche relative alla raccolta di dati, selezione, compensazione e trattamento equo dei partecipanti.

Quali sono le tue opinioni sulla trasparenza dell’AI, gli utenti dovrebbero essere in grado di vedere quali dati un algoritmo di AI è stato addestrato?

Penso che ci siano pro e contro alla trasparenza e che non sia stato trovato un buon equilibrio. Le aziende stanno trattenendo informazioni relative ai dati che hanno utilizzato per addestrare i loro modelli di AI a causa della paura di azioni legali. Altri hanno lavorato per rendere i loro modelli di AI pubblicamente disponibili e hanno rilasciato tutte le informazioni relative ai dati che hanno utilizzato. La trasparenza completa apre molte opportunità per lo sfruttamento delle vulnerabilità di questi modelli. La segretezza completa non aiuta a costruire la fiducia e a coinvolgere la società nella costruzione di un’AI sicura. Un buon punto di equilibrio fornirebbe abbastanza trasparenza per instillare fiducia nel fatto che i modelli di AI siano stati addestrati su dati di buona qualità e rilevanti che abbiamo consentito. Dobbiamo prestare attenzione a come l’AI sta influenzando diversi settori e aprire dialoghi con le parti interessate e assicurarci di sviluppare pratiche che funzionino per tutti.

Penso che sia anche importante considerare cosa gli utenti trovino soddisfacente in termini di spiegabilità. Se vogliono capire perché un modello sta producendo una certa risposta, fornire loro i dati grezzi su cui il modello è stato addestrato probabilmente non aiuterà a rispondere alla loro domanda. Quindi, costruire buoni strumenti di spiegabilità e interpretazione è importante.

La ricerca sull’allineamento dell’AI mira a orientare i sistemi di AI verso gli obiettivi, le preferenze o i principi etici degli esseri umani. Puoi discutere come i lavoratori di AI sono addestrati e come ciò viene utilizzato per assicurare che l’AI sia allineata il più possibile?

Questa è un’area di ricerca attiva e non c’è ancora consenso su quali strategie dovremmo utilizzare per allineare i modelli di AI ai valori umani o anche quali set di valori dovremmo mirare ad allineare.

I lavoratori di AI vengono solitamente chiesti di rappresentare autenticamente le proprie preferenze e rispondere a domande relative alle proprie preferenze in modo veritiero, oltre ad aderire a principi relativi alla sicurezza, alla mancanza di pregiudizio, all’innocuità e all’utilità.

Per quanto riguarda l’allineamento verso gli obiettivi, i principi etici o i valori, ci sono diversi approcci che sembrano promettenti. Un esempio notevole è il lavoro dell’Istituto di Allineamento del Significato su Democratic Fine-Tuning. C’è un ottimo post che introduce l’idea qui.

Grazie per la grande intervista e per aver condiviso le tue opinioni sull’AI bias, i lettori che desiderano saperne di più possono visitare Prolific.