Andrew Gordon, Senior Research Consultant, Prolific – Interview Series

Andrew Gordon attinge il suo robusto background in psicologia e neuroscienze per scoprire approfondimenti come ricercatore. Con una laurea in Psicologia, un master in Neuropsicologia e un dottorato in Neuroscienze cognitive, Andrew sfrutta i principi scientifici per comprendere le motivazioni dei consumatori, il comportamento e la presa di decisioni.

Prolific è stato creato da ricercatori per ricercatori, con l’obiettivo di offrire un metodo superiore per ottenere dati e input di alta qualità per ricerche all’avanguardia. Oggi, oltre 35.000 ricercatori dell’accademia e dell’industria si affidano a Prolific AI per raccogliere dati umani definitivi e feedback. La piattaforma è nota per i suoi partecipanti affidabili, coinvolti e trattati in modo equo, con un nuovo studio lanciato ogni tre minuti.

Come si avvale del suo background in neuroscienze cognitive per aiutare i ricercatori che intraprendono progetti che coinvolgono l’AI?

Un buon punto di partenza è definire cosa comprende effettivamente la neuroscienza cognitiva. In sostanza, la neuroscienza cognitiva indaga le basi biologiche dei processi cognitivi. Combina principi provenienti dalle neuroscienze e dalla psicologia, e occasionalmente dalla scienza informatica, tra gli altri, il che ci aiuta a comprendere come il nostro cervello consenta varie funzioni mentali. In sostanza, chiunque pratichi la ricerca in neuroscienze cognitive deve avere una solida comprensione delle metodologie di ricerca e una buona comprensione di come le persone pensano e si comportano. Questi due aspetti sono cruciali e possono essere combinati per sviluppare e gestire ricerche di alta qualità sull’AI. Un caveat, tuttavia, è che la ricerca sull’AI è un termine ampio; può coinvolgere tutto, dalla formazione di modelli fondamentali e dall’annotazione dei dati fino alla comprensione di come le persone interagiscono con i sistemi AI. Eseguire progetti di ricerca con l’AI non è diverso dall’eseguire progetti di ricerca al di fuori dell’AI; si ha ancora bisogno di una buona comprensione dei metodi, progettare studi per creare i migliori dati, campionare correttamente per evitare pregiudizi e utilizzare poi quei dati in analisi efficaci per rispondere a qualsiasi domanda di ricerca si stia affrontando.

Prolific enfatizza il trattamento etico e la compensazione equa per i suoi partecipanti. Potrebbe condividere approfondimenti sulle sfide e sulle soluzioni nel mantenimento di questi standard?

Il nostro modello di compensazione è progettato per garantire che i partecipanti siano valorizzati e ricompensati, sentendosi così come se stessero svolgendo un ruolo significativo nella macchina della ricerca (perché lo sono). Crediamo che trattare i partecipanti in modo equo e fornire loro un tasso di pagamento equo, li motivi a impegnarsi più profondamente con la ricerca e, di conseguenza, fornire migliori dati.

Purtroppo, la maggior parte delle piattaforme di campionamento online non applica questi principi di pagamento e trattamento etico. Il risultato è un pool di partecipanti che è incentivato non a impegnarsi con la ricerca, ma a passarci attraverso il più velocemente possibile per massimizzare il loro potenziale di guadagno, portando a dati di bassa qualità. Mantenere la posizione che assumiamo a Prolific è una sfida; stiamo essenzialmente lottando contro la marea. Lo status quo nella ricerca AI e in altre forme di ricerca online non si è concentrato sul trattamento o sul benessere dei partecipanti, ma piuttosto sulla massimizzazione della quantità di dati che possono essere raccolti al minor costo.

Far capire alla comunità di ricerca più ampia perché abbiamo adottato questo approccio e il valore che vedranno utilizzandoci, rispetto a una piattaforma concorrente, presenta una sfida abbastanza grande. Un’altra sfida, da un punto di vista logistico, coinvolge il dedicare una quantità significativa di tempo per rispondere alle preoccupazioni, alle query o alle lamentele dei nostri partecipanti o ricercatori in modo tempestivo ed equo. Dedichiamo molto tempo a questo perché mantiene gli utenti su entrambi i lati – partecipanti e ricercatori – felici, incoraggiandoli a tornare su Prolific. Tuttavia, ci affidiamo anche molto ai ricercatori che utilizzano la nostra piattaforma per aderire ai nostri alti standard di trattamento e compensazione una volta che i partecipanti vengono portati al compito o al sondaggio del ricercatore e quindi lasciano l’ecosistema Prolific. Quello che succede al di fuori della nostra piattaforma è davvero sotto il controllo del team di ricerca, quindi ci affidiamo non solo ai partecipanti che ci fanno sapere se qualcosa non va, ma anche ai nostri ricercatori che mantengono gli standard più alti possibili. Cerchiamo di fornire quanto più orientamento possibile per assicurare che questo accada.

Considerando il modello di business di Prolific, quali sono le sue riflessioni sul ruolo essenziale del feedback umano nello sviluppo dell’AI, in particolare in aree come la rilevazione dei pregiudizi e il miglioramento del ragionamento sociale?

Il feedback umano nello sviluppo dell’AI è cruciale. Senza il coinvolgimento umano, rischiamo di perpetuare pregiudizi, trascurare le sfumature dell’interazione sociale umana e non affrontare alcune delle considerazioni etiche negative associate all’AI. Ciò potrebbe ostacolare il nostro progresso verso la creazione di sistemi AI responsabili, efficaci ed etici. In termini di rilevazione dei pregiudizi, l’integrazione del feedback umano durante il processo di sviluppo è cruciale perché dovremmo mirare a sviluppare un’AI che rifletta la più ampia gamma possibile di punti di vista e valori, senza favorirne uno rispetto all’altro. Diverse demografie, background e culture hanno tutti pregiudizi inconsci che, sebbene non necessariamente negativi, potrebbero comunque riflettere un punto di vista che non sarebbe ampiamente condiviso. Una ricerca collaborativa tra Prolific e l’Università del Michigan ha messo in luce come gli background di diversi annotatori possano influenzare significativamente come valutano aspetti come la tossicità del discorso o la cortesia. Per affrontare questo, il coinvolgimento di partecipanti da background, culture e prospettive diverse può prevenire che questi pregiudizi vengano inglobati nei sistemi AI in sviluppo. Inoltre, il feedback umano consente ai ricercatori AI di rilevare forme più sottili di pregiudizio che potrebbero non essere rilevate da metodi automatizzati. Ciò facilita l’opportunità di affrontare i pregiudizi attraverso aggiustamenti negli algoritmi, nei modelli sottostanti o nelle tecniche di pre-elaborazione dei dati.

La situazione con il ragionamento sociale è essenzialmente la stessa. L’AI spesso fatica con compiti che richiedono ragionamento sociale perché, per natura, non è un essere sociale, mentre gli esseri umani lo sono. Rilevare il contesto quando viene posta una domanda, capire il sarcasmo o riconoscere segnali emotivi, richiede un ragionamento sociale simile a quello umano che l’AI non può imparare da sola. Noi, come esseri umani, impariamo socialmente, quindi l’unico modo per insegnare a un sistema AI queste tecniche di ragionamento è utilizzando effettivamente il feedback umano per addestrare l’AI a interpretare e rispondere a vari segnali sociali. A Prolific, abbiamo sviluppato un dataset di ragionamento sociale progettato specificamente per insegnare a modelli AI questa importante abilità.

In sostanza, il feedback umano non solo aiuta a identificare aree in cui i sistemi AI eccellono o falliscono, ma consente anche agli sviluppatori di apportare le necessarie migliorie e raffinamenti agli algoritmi. Un esempio pratico di ciò si osserva nel funzionamento di ChatGPT. Quando si pone una domanda, a volte ChatGPT presenta due risposte e chiede di classificare quale sia la migliore. Questo approccio è adottato perché il modello è sempre in apprendimento, e gli sviluppatori comprendono l’importanza dell’input umano per determinare le migliori risposte, piuttosto che affidarsi esclusivamente a un altro modello.

Prolific è stato strumentale nel mettere in contatto ricercatori con partecipanti per la formazione e la ricerca AI. Potrebbe condividere alcune storie di successo o progressi significativi nell’AI che sono stati resi possibili attraverso la sua piattaforma?

A causa della natura commerciale di molto del nostro lavoro AI, specialmente in spazi non accademici, la maggior parte dei progetti in cui siamo coinvolti sono sotto stretti accordi di non divulgazione. Ciò è principalmente per garantire la riservatezza delle tecniche o dei metodi, proteggendoli dall’essere replicati. Tuttavia, un progetto che possiamo discutere coinvolge la nostra partnership con Remesh, una piattaforma di insight alimentata da AI. Abbiamo collaborato con OpenAI e Remesh per sviluppare un sistema che utilizza campioni rappresentativi della popolazione degli Stati Uniti. In questo progetto, migliaia di individui da un campione rappresentativo hanno partecipato a discussioni su politiche relative all’AI attraverso il sistema di Remesh, consentendo lo sviluppo di politiche AI che riflettono la volontà ampia del pubblico, piuttosto che una demografia selezionata, grazie alla capacità di Prolific di fornire un campione così diversificato.

Guardando avanti, qual è la sua visione per il futuro dello sviluppo etico dell’AI, e come Prolific intende contribuire al raggiungimento di questa visione?

La mia speranza per il futuro dell’AI, e del suo sviluppo, si basa sul riconoscimento che l’AI sarà solo buona quanto i dati su cui è addestrata. L’importanza della qualità dei dati non può essere enfatizzata abbastanza per i sistemi AI. Addestrare un sistema AI con dati di bassa qualità inevitabilmente porta a un sistema AI di qualità scadente. L’unico modo per garantire dati di alta qualità è assicurando il reclutamento di un gruppo diversificato e motivato di partecipanti, desiderosi di fornire i migliori dati possibili. A Prolific, il nostro approccio e i principi guida mirano a coltivare esattamente questo. Creando un pool di partecipanti personalizzato, accuratamente verificato e affidabile, anticipiamo che i ricercatori useranno questa risorsa per sviluppare sistemi AI più efficaci, affidabili e degni di fiducia nel futuro.

Quali sono alcune delle sfide più grandi che affronta nella raccolta di dati di addestramento AI di alta qualità e alimentati da esseri umani, e come Prolific supera questi ostacoli?

La sfida più significativa, senza dubbio, è la qualità dei dati. Non solo i dati scadenti sono inutili – possono effettivamente portare a esiti dannosi, in particolare quando i sistemi AI vengono impiegati in aree critiche come i mercati finanziari o le operazioni militari. Ciò sottolinea il principio essenziale di “spazzatura dentro, spazzatura fuori”. Se i dati di input sono di scarsa qualità, il sistema AI risultante sarà intrinsecamente di bassa qualità o utilità. La maggior parte dei campioni online tende a produrre dati di qualità inferiore a quella ottimale per lo sviluppo AI. Ci sono numerose ragioni per questo, ma un fattore chiave che Prolific affronta è il trattamento generale dei partecipanti online. Spesso, questi individui sono considerati sacrificabili, ricevendo una bassa compensazione, un trattamento scadente e poco rispetto da parte dei ricercatori. Impegnandoci nel trattamento etico dei partecipanti, Prolific ha coltivato un pool di contributori motivati, coinvolti, pensosi, onesti e attenti. Pertanto, quando i dati vengono raccolti attraverso Prolific, la loro alta qualità è garantita, sostenendo modelli AI affidabili e degni di fiducia.

Un’altra sfida che affrontiamo con i dati di addestramento AI è assicurare la diversità all’interno del campione. Mentre i campioni online hanno notevolmente ampliato la portata e la varietà di individui con cui possiamo condurre ricerche rispetto ai metodi in presenza, sono spesso limitati a persone provenienti da paesi occidentali. Questi campioni spesso si inclinano verso demografie più giovani, alfabetizzate in computer, altamente istruite e più inclini a sinistra. Ciò non rappresenta appieno la popolazione globale. Per affrontare questo, Prolific ha partecipanti da oltre 38 paesi in tutto il mondo. Offriamo anche ai nostri ricercatori strumenti per specificare esattamente la composizione demografica del loro campione in anticipo. Inoltre, offriamo campionamento rappresentativo attraverso modelli di abbinamento ai censimenti come età, genere ed etnia, o anche per affiliazione politica. Ciò garantisce che gli studi, i compiti di annotazione o altri progetti ricevano una vasta gamma di partecipanti e, di conseguenza, una varietà di approfondimenti.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare Prolific.