Andrew Gordon, Senior Research Consultant, Prolific – Intervjuserie

Andrew Gordon använder sin robusta bakgrund inom psykologi och neurovetenskap för att avslöja insikter som forskare. Med en kandidatexamen i psykologi, masterexamen i neuropsykologi och doktorsexamen i kognitiv neurovetenskap, använder Andrew vetenskapliga principer för att förstå konsumenters motivation, beteende och beslutsfattande.

Prolific skapades av forskare för forskare, med målet att erbjuda en överlägsen metod för att erhålla högkvalitativa mänskliga data och input för banbrytande forskning. Idag använder över 35 000 forskare från akademin och näringslivet Prolific AI för att samla in definitiva mänskliga data och feedback. Plattformen är känd för sina tillförlitliga, engagerade och rättvist behandlade deltagare, med en ny studie som lanseras var tredje minut.

Hur använder du din bakgrund inom kognitiv neurovetenskap för att hjälpa forskare som genomför projekt som involverar AI?

En bra utgångspunkt är att definiera vad kognitiv neurovetenskap faktiskt omfattar. I grund och botten undersöker kognitiv neurovetenskap de biologiska underlagarna för kognitiva processer. Det kombinerar principer från neurovetenskap och psykologi, och ibland datavetenskap, vilket hjälper oss att förstå hur vår hjärna möjliggör olika mentala funktioner. I princip behöver alla som bedriver kognitiv neurovetenskaplig forskning ha en stark förståelse för forskningsmetoder och en bra förståelse för hur människor tänker och beter sig. Dessa två aspekter är avgörande och kan kombineras för att utveckla och genomföra högkvalitativ AI-forskning. En viktig kommentar är dock att AI-forskning är ett brett område; det kan omfatta allt från grundläggande modellträning och dataannotering till att förstå hur människor interagerar med AI-system. Att genomföra forskningsprojekt med AI skiljer sig inte från att genomföra forskningsprojekt utanför AI; du behöver fortfarande en bra förståelse för metoder, designa studier för att skapa de bästa data, sampel korrekt för att undvika bias och sedan använda dessa data i effektiva analyser för att besvara den forskningsfråga du hanterar.

Prolific betonar etisk behandling och rättvis kompensation för sina deltagare. Kan du dela insikter om utmaningarna och lösningarna för att upprätthålla dessa standarder?

Vår kompensationsmodell är utformad för att säkerställa att deltagare värdesätts och belönas, vilket gör att de känner sig som en viktig del av forskningsmaskinen (eftersom de är). Vi tror att en rättvis betalningsgrad och en etisk behandling av deltagare motiverar dem att engagera sig djupare i forskningen och därmed tillhandahålla bättre data.

Tyvärr upprätthåller de flesta online-urvalsplattformar inte dessa principer för etisk betalning och behandling. Resultatet är en deltagarbas som är inciterad att inte engagera sig i forskning, utan att skynda sig igenom den så snabbt som möjligt för att maximera sin inkomst, vilket leder till lågkvalitativa data. Att upprätthålla den ståndpunkt vi har på Prolific är utmanande; vi kämpar i princip mot strömmen. Status quo i AI-forskning och annan form av onlineforskning har inte fokuserat på deltagarbehandling eller välbefinnande, utan snarare på att maximera den mängd data som kan samlas in till lägsta kostnad.

Att göra den bredare forskarsamhället medvetet om varför vi har valt denna approach och de värden de kommer att se genom att använda oss, i stället för en konkurrerande plattform, presenterar en stor utmaning. En annan utmaning, ur ett logistiskt perspektiv, är att ägna en betydande mängd tid åt att svara på deltagarnas eller forskarnas problem, frågor eller klagomål på ett snabbt och rättvist sätt. Vi ägnar mycket tid åt detta, eftersom det håller användare på båda sidor – deltagare och forskare – nöjda, vilket uppmuntrar dem att fortsätta använda Prolific. Vi förlitar oss dock också tungt på att forskarna som använder vår plattform följer våra höga standarder för behandling och kompensation när deltagare tas till forskarens uppgift eller undersökning och därmed lämnar Prolifics ekosystem. Vad som händer utanför vår plattform är verkligen under forskargruppens kontroll, så vi förlitar oss inte bara på att deltagare låter oss veta om något är fel, utan också på att våra forskare upprätthåller de högsta möjliga standarderna. Vi försöker ge så mycket vägledning som möjligt för att säkerställa att detta sker.

Med tanke på Prolifics affärsmodell, vad är dina tankar om den väsentliga rollen för mänsklig feedback i AI-utveckling, särskilt inom områden som biasdetektering och social resonemangs förbättring?

Mänsklig feedback i AI-utveckling är avgörande. Utan mänskligt engagemang riskerar vi att fortsätta fördomar, förbise nyanserna i mänsklig social interaktion och misslyckas med att hantera några av de negativa etiska övervägandena som är förknippade med AI. Detta kan hindra vår framsteg mot att skapa ansvarsfulla, effektiva och etiska AI-system. När det gäller biasdetektering är det viktigt att inkorporera mänsklig feedback under utvecklingsprocessen, eftersom vi bör sträva efter att utveckla AI som speglar så många olika åsikter och värderingar som möjligt, utan att föredra en över en annan. Olika demografiska grupper, bakgrunder och kulturer har alla omedvetna fördomar som, även om de inte nödvändigtvis är negativa, kan reflektera en synvinkel som inte nödvändigtvis är allmänt accepterad. En samarbetsforskning mellan Prolific och University of Michigan betonade hur bakgrunden hos olika annotatorer kan påverka hur de bedömer aspekter som giftighet i tal eller artighet . För att hantera detta kan deltagare från olika bakgrunder, kulturer och perspektiv förhindra att dessa fördomar förankras i AI-system under utveckling. Dessutom möjliggör mänsklig feedback för AI-forskare att upptäcka mer subtila former av fördomar som kanske inte upptäcks av automatiserade metoder. Detta möjliggör möjligheten att hantera fördomar genom justeringar i algoritmerna, underliggande modellerna eller dataförbehandlingsmetoderna.

Situationen med socialt resonemang är i princip densamma. AI kämpar ofta med uppgifter som kräver socialt resonemang, eftersom det av naturen inte är ett socialt väsen, medan människor är. Att upptäcka sammanhang när en fråga ställs, förstå sarkasm eller känna igen emotionella signaler kräver mänskligt socialt resonemang som AI inte kan lära sig på egen hand. Vi, som människor, lär oss socialt, så det enda sättet att undervisa ett AI-system om dessa resonemangstekniker är genom att använda verklig mänsklig feedback för att träna AI att tolka och svara på olika sociala signaler. På Prolific har vi utvecklat en social resonemangsdataset som är specifikt utformad för att lära AI-modeller denna viktiga färdighet.

I själva verket hjälper mänsklig feedback inte bara till att identifiera områden där AI-system excellerar eller sviktar, utan möjliggör också för utvecklare att göra nödvändiga förbättringar och finjusteringar av algoritmerna. Ett praktiskt exempel på detta observeras i hur ChatGPT fungerar. När du ställer en fråga presenterar ChatGPT ibland två svar och ber dig att rangordna vilket som är det bästa. Detta tillvägagångssätt tas eftersom modellen alltid lär sig, och utvecklarna förstår vikten av mänsklig input för att bestämma de bästa svaren, snarare än att enbart förlita sig på en annan modell.

Prolific har varit avgörande för att koppla samman forskare med deltagare för AI-träning och forskning. Kan du dela några framgångshistorier eller betydande framsteg inom AI som gjorts möjliga genom din plattform?

På grund av den kommersiella naturen hos mycket av vårt AI-arbete, särskilt i icke-akademiska sammanhang, är de flesta projekten vi är involverade i under strikta sekretessavtal. Detta är i huvudsak för att säkerställa konfidentialiteten för tekniker eller metoder, skyddande dem från att replikeras. En projektpartner som vi har frihet att diskutera är vår samarbete med Remesh, en AI-driven insiktsplattform. Vi samarbetade med OpenAI och Remesh för att utveckla ett system som använder representativa urval av den amerikanska befolkningen. I detta projekt deltog tusentals individer från ett representativt urval i diskussioner om AI-relaterade policys genom Remeshs system, vilket möjliggjorde utvecklingen av AI-policys som speglar den breda allmänhetens vilja, snarare än en selektiv demografisk grupp, tack vare Prolifics förmåga att tillhandahålla ett sådant diversifierat urval.

Om vi ser framåt, vad är din vision för framtiden för etisk AI-utveckling, och hur planerar Prolific att bidra till att uppnå denna vision?

Min förhoppning för AI:s framtid och dess utveckling hänger samman med erkännandet av att AI bara kommer att vara så bra som de data den tränas på. Vikten av datakvalitet kan inte överdrivas för AI-system. Att träna ett AI-system på lågkvalitativa data resulterar oundvikligen i ett undermåligt AI-system. Den enda vägen att säkerställa högkvalitativa data är genom att säkerställa rekryteringen av en diversifierad och motiverad grupp av deltagare som är ivriga att tillhandahålla de bästa möjliga data. Prolifics tillvägagångssätt och ledande principer syftar till att främja just detta. Genom att skapa en skräddarsydd, noggrant granskad och pålitlig deltagarbas förväntar vi oss att forskare kommer att använda denna resurs för att utveckla mer effektiva, tillförlitliga och pålitliga AI-system i framtiden.

Vilka är några av de största utmaningarna du står inför när det gäller insamlingen av högkvalitativa, mänskligt drivna AI-träningsdata, och hur övervinner Prolific dessa hinder?

Den mest betydande utmaningen, utan tvekan, är datakvalitet. Dålig data är inte bara oanvändbar – den kan faktiskt leda till skadliga resultat, särskilt när AI-system används i kritiska områden som finansiella marknader eller militära operationer. Detta understryker den väsentliga principen “skräp in, skräp ut”. Om indata är undermåliga kommer det resulterande AI-systemet att vara av låg kvalitet eller nytta. De flesta onlineurval tenderar att producera data av lägre kvalitet än vad som är optimalt för AI-utveckling. Det finns många skäl till detta, men en nyckelfaktor som Prolific hanterar är den allmänna behandlingen av online-deltagare. Ofta ses dessa individer som utbytbara, med låg ersättning, dålig behandling och liten respekt från forskare. Genom att åta sig den etiska behandlingen av deltagare har Prolific odlat en grupp av motiverade, engagerade, tänkande, ärliga och uppmärksamma bidragsgivare. Därför är datan som samlas in via Prolific av hög kvalitet, vilket säkerställer tillförlitliga och pålitliga AI-modeller.

En annan utmaning vi står inför när det gäller AI-träningsdata är att säkerställa mångfald inom urvalet. Medan onlineurval har utvidgat omfattningen och variationen av individer vi kan genomföra forskning på jämfört med personliga metoder, är de ofta begränsade till personer från västerländska länder. Dessa urval tenderar att snedvridas mot yngre, datoranvändande, högt utbildade och mer vänsterlutande demografiska grupper. Detta representerar inte den globala befolkningen fullt ut. För att hantera detta har Prolific deltagare från över 38 länder världen över. Vi tillhandahåller också våra forskare med verktyg för att specificera den exakta demografiska sammansättningen av sitt urval i förväg. Dessutom erbjuder vi representativ sampling genom folkräkningsmatchningsmallar som ålder, kön, etnicitet eller till och med politisk tillhörighet. Detta säkerställer att studier, annoteringstyper eller andra projekt får ett varierat urval av deltagare och, i förlängningen, en mängd olika insikter.

Tack för den utmärkta intervjun, läsare som vill lära sig mer bör besöka Prolific.