Andrew Gordon, Senior Research Consultant, Prolific – Intervista della serie

Andrew Gordon attinge dal suo solido background in psicologia e neuroscienze per scoprire insight come ricercatore. Con una laurea in Psicologia, master in Neuropsicologia e dottorato in Neuroscienze cognitive, Andrew utilizza principi scientifici per comprendere le motivazioni, il comportamento e la presa di decisioni dei consumatori.

Prolific è stato creato da ricercatori per ricercatori, con l’obiettivo di offrire un metodo superiore per ottenere dati e input di alta qualità per ricerche all’avanguardia. Oggi, oltre 35.000 ricercatori dall’accademia e dall’industria si affidano a Prolific AI per raccogliere dati umani definitivi e feedback. La piattaforma è nota per i suoi partecipanti affidabili, coinvolti e trattati in modo equo, con un nuovo studio lanciato ogni tre minuti.

Come si avvale del suo background in neuroscienze cognitive per aiutare i ricercatori che svolgono progetti che coinvolgono l’intelligenza artificiale?

Un buon punto di partenza è definire cosa comprende effettivamente la neuroscienza cognitiva. In sostanza, la neuroscienza cognitiva indaga le basi biologiche dei processi cognitivi. Combina principi dalle neuroscienze e dalla psicologia, e occasionalmente dalla scienza informatica, tra gli altri, aiutandoci a comprendere come il nostro cervello consenta varie funzioni mentali. In sostanza, chiunque pratichi la ricerca in neuroscienze cognitive deve avere una solida comprensione delle metodologie di ricerca e una buona comprensione di come le persone pensano e si comportano. Questi due aspetti sono cruciali e possono essere combinati per sviluppare e condurre ricerche di alta qualità sull’intelligenza artificiale. Un caveat, tuttavia, è che la ricerca sull’intelligenza artificiale è un termine ampio; può coinvolgere tutto, dalla formazione dei modelli fondamentali e dall’annotazione dei dati fino alla comprensione di come le persone interagiscono con i sistemi di intelligenza artificiale. Eseguire progetti di ricerca con l’intelligenza artificiale non è diverso dall’eseguire progetti di ricerca al di fuori dell’intelligenza artificiale; si ha ancora bisogno di una buona comprensione dei metodi, di progettare studi per creare i migliori dati, di campionare correttamente per evitare pregiudizi e quindi utilizzare quei dati in analisi efficaci per rispondere a qualsiasi domanda di ricerca si stia affrontando.

Prolific enfatizza il trattamento etico e la compensazione equa per i suoi partecipanti. Potrebbe condividere approfondimenti sulle sfide e sulle soluzioni per mantenere questi standard?

Il nostro modello di compensazione è progettato per garantire che i partecipanti siano valorizzati e ricompensati, sentendosi così parte importante della macchina della ricerca (perché lo sono). Crediamo che trattare i partecipanti in modo equo e fornire loro un tasso di pagamento equo, li motivi a impegnarsi più profondamente con la ricerca e, di conseguenza, a fornire dati di migliore qualità.

Purtroppo, la maggior parte delle piattaforme di campionamento online non applica questi principi di pagamento e trattamento etico. Il risultato è un pool di partecipanti che non è incentivato a impegnarsi con la ricerca, ma a passarla velocemente per massimizzare le loro potenzialità di guadagno, portando a dati di bassa qualità. Mantenere la posizione che abbiamo assunto in Prolific è una sfida; stiamo essenzialmente combattendo contro la marea. Lo status quo nella ricerca sull’intelligenza artificiale e in altre forme di ricerca online non si è concentrato sul trattamento o sul benessere dei partecipanti, ma piuttosto sulla massimizzazione della quantità di dati che possono essere raccolti al minor costo.

Far capire alla comunità di ricerca più ampia perché abbiamo adottato questo approccio e il valore che vedranno utilizzandoci, piuttosto che una piattaforma concorrente, presenta una sfida notevole. Un’altra sfida, dal punto di vista logistico, consiste nel dedicare una quantità significativa di tempo per rispondere alle preoccupazioni, alle richieste o alle lamentele dei nostri partecipanti o ricercatori in modo tempestivo ed equo. Dedichiamo molto tempo a questo perché mantiene gli utenti su entrambi i fronti – partecipanti e ricercatori – felici, incoraggiandoli a tornare su Prolific. Tuttavia, ci affidiamo anche fortemente ai ricercatori che utilizzano la nostra piattaforma per aderire ai nostri alti standard di trattamento e compensazione una volta che i partecipanti sono portati al compito o al sondaggio del ricercatore e quindi lasciano l’ecosistema Prolific. Quello che accade al di fuori della nostra piattaforma è realmente sotto il controllo del team di ricerca, quindi ci affidiamo non solo ai partecipanti che ci informano se qualcosa va storto, ma anche ai nostri ricercatori che mantengono gli standard più alti possibili. Cerchiamo di fornire tutte le indicazioni possibili per garantire che questo accada.

Considerando il modello di business di Prolific, quali sono le sue riflessioni sul ruolo essenziale del feedback umano nello sviluppo dell’intelligenza artificiale, in particolare in aree come la rilevazione dei pregiudizi e il miglioramento del ragionamento sociale?

Il feedback umano nello sviluppo dell’intelligenza artificiale è cruciale. Senza il coinvolgimento umano, rischiamo di perpetuare pregiudizi, di trascurare le sfumature dell’interazione sociale umana e di non affrontare alcuni degli aspetti etici negativi associati all’intelligenza artificiale. Ciò potrebbe ostacolare i nostri progressi verso la creazione di sistemi di intelligenza artificiale responsabili, efficaci ed etici. In termini di rilevazione dei pregiudizi, l’integrazione del feedback umano durante il processo di sviluppo è cruciale perché dovremmo mirare a sviluppare un’intelligenza artificiale che rifletta la più ampia gamma possibile di punti di vista e valori, senza favorirne uno a scapito di un altro. Diverse demografie, background e culture hanno tutti pregiudizi inconsci che, sebbene non necessariamente negativi, potrebbero comunque riflettere un punto di vista che non sarebbe ampiamente condiviso. Una ricerca collaborativa tra Prolific e l’Università del Michigan ha messo in luce come i background di diversi annotatori possano significativamente influenzare come valutano aspetti come la tossicità del discorso o la cortesia. Per affrontare questo, coinvolgere partecipanti da background, culture e prospettive diverse può prevenire che questi pregiudizi vengano incorporati nei sistemi di intelligenza artificiale in fase di sviluppo. Inoltre, il feedback umano consente ai ricercatori di intelligenza artificiale di rilevare forme più sottili di pregiudizio che potrebbero non essere rilevate da metodi automatizzati. Ciò offre l’opportunità di affrontare i pregiudizi attraverso aggiustamenti negli algoritmi, nei modelli sottostanti o nelle tecniche di pre-elaborazione dei dati.

La situazione con il ragionamento sociale è essenzialmente la stessa. L’intelligenza artificiale spesso fatica con compiti che richiedono ragionamento sociale perché, per natura, non è un essere sociale, mentre gli esseri umani lo sono. Rilevare il contesto quando viene posta una domanda, comprendere il sarcasmo o riconoscere segnali emotivi, richiede un ragionamento sociale simile a quello umano che l’intelligenza artificiale non può apprendere da sola. Noi, come esseri umani, impariamo socialmente, quindi l’unico modo per insegnare a un sistema di intelligenza artificiale queste tecniche di ragionamento è utilizzando effettivamente il feedback umano per addestrare l’intelligenza artificiale a interpretare e rispondere a vari segnali sociali. In Prolific, abbiamo sviluppato un dataset di ragionamento sociale progettato specificamente per insegnare a modelli di intelligenza artificiale questa importante abilità.

In sostanza, il feedback umano non solo aiuta a identificare le aree in cui i sistemi di intelligenza artificiale eccellono o falliscono, ma consente anche agli sviluppatori di apportare le necessarie migliorie e raffinamenti agli algoritmi. Un esempio pratico di ciò si osserva nel funzionamento di ChatGPT. Quando si pone una domanda, a volte ChatGPT presenta due risposte e chiede di classificarle in base a quale sia la migliore. Questo approccio è adottato perché il modello è sempre in apprendimento e gli sviluppatori comprendono l’importanza dell’input umano per determinare le migliori risposte, piuttosto che affidarsi esclusivamente a un altro modello.

Prolific è stato strumentale nel collegare ricercatori con partecipanti per la formazione e la ricerca sull’intelligenza artificiale. Potrebbe condividere alcune storie di successo o progressi significativi nell’intelligenza artificiale resi possibili attraverso la sua piattaforma?

A causa della natura commerciale di molto del nostro lavoro sull’intelligenza artificiale, in particolare negli spazi non accademici, la maggior parte dei progetti in cui siamo coinvolti sono soggetti a rigorosi accordi di non divulgazione. Ciò è principalmente per garantire la riservatezza delle tecniche o dei metodi, proteggendoli da essere replicati. Tuttavia, un progetto di cui possiamo discutere è la nostra partnership con Remesh, una piattaforma di intelligenza artificiale per insight. Abbiamo collaborato con OpenAI e Remesh per sviluppare un sistema che utilizza campioni rappresentativi della popolazione statunitense. In questo progetto, migliaia di individui da un campione rappresentativo hanno partecipato a discussioni su politiche relative all’intelligenza artificiale attraverso il sistema di Remesh, consentendo lo sviluppo di politiche sull’intelligenza artificiale che riflettono la volontà generale del pubblico, piuttosto che una demografia selettiva, grazie alla capacità di Prolific di fornire un campione così diversificato.

Guardando al futuro, qual è la sua visione per il futuro dello sviluppo etico dell’intelligenza artificiale e come Prolific intende contribuire al raggiungimento di questa visione?

La mia speranza per il futuro dell’intelligenza artificiale e del suo sviluppo si basa sul riconoscimento che l’intelligenza artificiale sarà solo buona quanto i dati su cui è addestrata. L’importanza della qualità dei dati non può essere enfatizzata abbastanza per i sistemi di intelligenza artificiale. Addestrare un sistema di intelligenza artificiale con dati di bassa qualità inevitabilmente porta a un sistema di intelligenza artificiale di qualità inferiore. L’unico modo per garantire dati di alta qualità è assicurando il reclutamento di un gruppo diversificato e motivato di partecipanti, desiderosi di fornire i dati migliori possibili. In Prolific, il nostro approccio e i principi guida mirano a favorire esattamente questo. Creando un pool di partecipanti personalizzato, accuratamente verificato e degno di fiducia, anticipiamo che i ricercatori utilizzeranno questa risorsa per sviluppare sistemi di intelligenza artificiale più efficaci, affidabili e degni di fiducia nel futuro.

Quali sono alcune delle più grandi sfide che affronta nella raccolta di dati di addestramento all’intelligenza artificiale di alta qualità e umani, e come Prolific supera questi ostacoli?

La sfida più significativa, senza dubbio, è la qualità dei dati. Non solo i dati cattivi sono inutili – possono effettivamente portare a esiti dannosi, in particolare quando i sistemi di intelligenza artificiale sono impiegati in aree critiche come i mercati finanziari o le operazioni militari. Ciò sottolinea il principio essenziale di “spazzatura dentro, spazzatura fuori”. Se i dati di input sono di bassa qualità, il sistema di intelligenza artificiale risultante sarà intrinsecamente di bassa qualità o utilità. La maggior parte dei campioni online tende a produrre dati di qualità inferiore a quanto ottimale per lo sviluppo dell’intelligenza artificiale. Ci sono numerose ragioni per questo, ma un fattore chiave che Prolific affronta è il trattamento generale dei partecipanti online. Spesso, questi individui sono considerati sacrificabili, ricevendo una bassa compensazione, un trattamento povero e poco rispetto da parte dei ricercatori. Impegnandoci nel trattamento etico dei partecipanti, Prolific ha coltivato un pool di contributori motivati, coinvolti, pensosi, onesti e attenti. Pertanto, quando i dati vengono raccolti attraverso Prolific, la loro alta qualità è assicurata, sostenendo modelli di intelligenza artificiale affidabili e degni di fiducia.

Un’altra sfida che affrontiamo con i dati di addestramento all’intelligenza artificiale è garantire la diversità all’interno del campione. Sebbene i campioni online abbiano notevolmente ampliato la portata e la varietà degli individui su cui possiamo condurre ricerche rispetto ai metodi in persona, sono spesso limitati a persone provenienti da paesi occidentali. Questi campioni spesso si inclinano verso demografie più giovani, alfabetizzate in computer, altamente istruite e più inclini a sinistra. Ciò non rappresenta appieno la popolazione globale. Per affrontare questo, Prolific ha partecipanti da oltre 38 paesi in tutto il mondo. Forniamo anche ai nostri ricercatori strumenti per specificare la composizione demografica esatta del loro campione in anticipo. Inoltre, offriamo campionamento rappresentativo attraverso modelli di abbinamento al censimento come età, genere, etnia, o anche affiliazione politica. Ciò garantisce che gli studi, i compiti di annotazione o altri progetti ricevano una gamma diversificata di partecipanti e, di conseguenza, una vasta gamma di insight.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Prolific.