Andrew Gordon, Senior Research Consultant, Prolific – Interview Serie

Andrew Gordon bygger på sin solide baggrund i psykologi og neurovidenskab til at afsløre indsigt som forsker. Med en BSc i psykologi, MSc i neuropsykologi og Ph.D. i kognitiv neurovidenskab, udnytter Andrew videnskabelige principper til at forstå forbrugerens motivation, adfærd og beslutningstagning.

Prolific blev skabt af forskere til forskere med det formål at tilbyde en overlegen metode til at opnå højkvalitets menneskelig data og input til fremme af forskning. I dag afhænger over 35.000 forskere fra akademiske og industrielle miljøer af Prolific AI til at indsamle afgørende menneskelig data og feedback. Platformen er kendt for sine pålidelige, engagerede og retfærdigt behandlede deltagere, med et nyt studie, der lanceres hvert tredje minut.

Hvordan udnytter du din baggrund i kognitiv neurovidenskab til at hjælpe forskere, der udfører projekter, der involverer AI?

Et godt udgangspunkt er at definere, hvad kognitiv neurovidenskab dækker over. I virkeligheden undersøger kognitiv neurovidenskab de biologiske baggrunde for kognitive processer. Det kombinerer principper fra neurovidenskab og psykologi og af og til computervidenskab, hvilket hjælper os med at forstå, hvordan vores hjerne muliggør forskellige mentale funktioner. I virkeligheden har enhver, der praktiserer kognitiv neurovidenskabsforskning, brug for at have en solid forståelse af forskningsmetoder og en god forståelse af, hvordan mennesker tænker og opfører sig. Disse to aspekter er afgørende og kan kombineres til at udvikle og køre højkvalitets AI-forskning. En reservation dog: AI-forskning er et bredt begreb; det kan involvere alt fra grundlæggende modeltræning og dataannotering til at forstå, hvordan mennesker interagerer med AI-systemer. At køre forskningsprojekter med AI adskiller sig ikke fra at køre forskningsprojekter uden for AI; du har stadig brug for en god forståelse af metoder, designstudier for at skabe de bedste data, prøve korrekt for at undgå bias, og derefter bruge disse data i effektive analyser til at besvare hvilket som helst forskningsspørgsmål, du beskæftiger dig med.

Prolific lægger vægt på etisk behandling og retfærdig kompensation for deltagerne. Kan du dele indsigt i udfordringerne og løsningerne i at opretholde disse standarder?

Vores kompensationsmodel er designet til at sikre, at deltagerne værdsættes og belønnes, og føler sig som en væsentlig del af forskningsmaskinen (fordi de er det). Vi tror på, at deltagerne skal behandles retfærdigt og modtage en retfærdig betalingsrate, hvilket motiverer dem til at engagere sig dybere i forskningen og derefter give bedre data.

Desværre gør de fleste online sampling-platforme ikke disse principper for etisk betaling og behandling gældende. Resultatet er en deltagerpool, der er motiveret til ikke at engagere sig i forskning, men til at skynde sig igennem den så hurtigt som muligt for at maksimere deres indtjening, hvilket fører til lavkvalitetsdata. At opretholde den holdning, vi har på Prolific, er udfordrende; vi kæmper i virkeligheden imod strømmen. Status quo i AI-forskning og andre former for onlineforskning har ikke været fokuseret på deltagerbehandling eller trivsel, men på at maksimere mængden af data, der kan indsamles til den lavest mulige omkostning.

At gøre det bredere forskningssamfund forstå, hvorfor vi har valgt denne tilgang, og den værdi, de vil se ved at bruge os i stedet for en konkurrerende platform, udgør en betydelig udfordring. En anden udfordring, set fra et logistisk synspunkt, involverer at bruge en betydelig mængde tid på at besvare bekymringer, forespørgsler eller klager fra vores deltagerne eller forskere på en retfærdig og rettidig måde. Vi bruger meget tid på dette, fordi det holder brugerne på begge sider – deltagerne og forskerne – glade og opmuntre dem til at fortsætte med at bruge Prolific. Men vi afhænger også stærkt af, at forskerne, der bruger vores platform, overholder vores høje standarder for behandling og kompensation, når deltagerne føres til forskerens opgave eller undersøgelse og dermed forlader Prolific-økosystemet. Hvad der sker uden for vores platform, er virkelig under forskerholdets kontrol, så vi afhænger ikke kun af, at deltagerne underretter os om, hvis noget er galt, men også af, at vores forskere opretholder de højeste mulige standarder. Vi prøver at give så megen vejledning, som vi overhovedet kan, for at sikre, at dette sker.

Med hensyn til Prolifics forretningsmodel, hvad er dine tanker om den afgørende rolle, som menneskelig feedback spiller i AI-udvikling, især i områder som bias-afsløring og forbedring af social fornuft?

Menneskelig feedback i AI-udvikling er afgørende. Uden menneskelig indblanding risikerer vi at fastholde fordomme, overse nuancerne i menneskelig social interaktion og ikke kan løse nogle af de negative etiske overvejelser, der er forbundet med AI. Dette kunne hindre vores fremgang mod at skabe ansvarlige, effektive og etiske AI-systemer. I forhold til bias-afsløring er det afgørende at inkorporere menneskelig feedback under udviklingsprocessen, fordi vi skal stræbe efter at udvikle AI, der afspejler så bredt et udvalg af synspunkter og værdier som muligt, uden at favorisere en over en anden. Forskellige demografiske grupper, baggrunde og kulturer har alle ubevidste fordomme, der, selvom de ikke nødvendigvis er negative, måske stadig afspejler en synsvinkel, der ikke ville være bredt accepteret. Fælles forskning mellem Prolific og University of Michigan fremhævede, hvordan baggrunden for forskellige annotatorer kan påvirke, hvordan de vurderer aspekter som giftighed i tale eller høflighed. For at løse dette problem kan det at involvere deltagerne fra forskellige baggrunde, kulturer og perspektiver forhindre, at disse fordomme indarbejdes i AI-systemer under udvikling. Desuden giver menneskelig feedback AI-forskerne mulighed for at afsløre mere subtile former for fordomme, der måske ikke kan opdages af automatiserede metoder. Dette giver mulighed for at løse fordomme gennem justeringer i algoritmerne, de underliggende modeller eller datapraparations-teknikker.

Situationen med social fornuft er i virkeligheden den samme. AI kæmper ofte med opgaver, der kræver social fornuft, fordi det af natur ikke er et socialt væsen, mens mennesker er det. At afsløre kontekst, når der stilles et spørgsmål, forstå sarkasme eller genkende følelsesmæssige signaler, kræver menneske-lignende social fornuft, som AI ikke kan lære på egen hånd. Vi, som mennesker, lærer socialt, så den eneste måde at lære et AI-system disse former for resonementer på er ved at bruge reel menneskelig feedback til at træne AI til at fortolke og reagere på forskellige sociale signaler. Prolific har udviklet et socialt fornuft-datasæt, der specifikt er designet til at lære AI-modeller denne vigtige færdighed.

I virkeligheden hjælper menneskelig feedback ikke kun med at identificere områder, hvor AI-systemer excellerer eller fejler, men giver også udviklerne mulighed for at foretage de nødvendige forbedringer og finjusteringer af algoritmerne. Et praktisk eksempel på dette ses i, hvordan ChatGPT fungerer. Når du stiller et spørgsmål, præsenterer ChatGPT nogle gange to svar og beder dig om at rangere, hvilket er det bedste. Denne tilgang tages, fordi modellen altid lærer, og udviklerne forstår vigtigheden af menneskelig input til at bestemme de bedste svar, i stedet for kun at afhænge af en anden model.

Prolific har været afgørende for at tilknytte forskere til deltagerne til AI-træning og -forskning. Kan du dele nogle succes-historier eller betydelige fremgang i AI, der blev muliggjort gennem jeres platform?

På grund af den kommercielle natur af meget af vores AI-arbejde, især i ikke-akademiske områder, er de fleste projekter, vi er involveret i, under strenge ikke-afsløringsaftaler. Dette er primært for at sikre fortroligheden af teknikker eller metoder og beskytte dem mod at blive reproduceret. Men ét projekt, vi har mulighed for at diskutere, involverer vores partnerskab med Remesh, en AI-drevet indsigt-platform. Vi samarbejdede med OpenAI og Remesh om at udvikle et system, der anvender repræsentative prøver af den amerikanske befolkning. I dette projekt deltog tusinder af personer fra en repræsentativ prøve i diskussioner om AI-relaterede politikker gennem Remesh’s system, hvilket muliggjorde udviklingen af AI-politikker, der afspejler den brede offentligheds vilje, i stedet for en udvalgt demografisk gruppe, takket være Prolifics evne til at tilbyde en sådan divers prøve.

Med henblik på fremtiden, hvad er din vision for fremtiden for etisk AI-udvikling, og hvordan planlægger Prolific at bidrage til at opnå denne vision?

Min håb for fremtiden for AI og dens udvikling hviler på erkendelsen af, at AI kun vil være så god, som de data, den er trænet på. Vigtigheden af datakvalitet kan ikke overdrives for AI-systemer. At træne et AI-system på dårligkvalitetsdata resulterer uundgåeligt i et undermålende AI-system. Den eneste måde at sikre højkvalitetsdata er ved at sikre rekrutteringen af en divers og motiveret gruppe af deltagerne, der er ivrige efter at give de bedste data muligt. Prolifics tilgang og retningslinjer sigter mod at fremme netop dette. Ved at skabe en skræddersyet, grundigt gennemset og troværdig deltagerpool forventer vi, at forskerne vil bruge denne ressource til at udvikle mere effektive, pålidelige og troværdige AI-systemer i fremtiden.

Hvad er nogle af de største udfordringer, du står over for i indsamlingen af højkvalitets, menneske-drevet AI-træningsdata, og hvordan overvinder Prolific disse hindringer?

Den mest betydelige udfordring, uden tvivl, er datakvalitet. Ikke kun er dårlig data unyttig – det kan faktisk føre til skadelige resultater, især når AI-systemer anvendes i kritiske områder som finansielle markeder eller militære operationer. Dette understreger den afgørende princip “skrald ind, skrald ud”. Hvis inputdata er undermålende, vil det resulterende AI-system af natur være af lav kvalitet eller nytte. De fleste onlineprøver tenderer til at producere data af lavere kvalitet end det, der er optimalt for AI-udvikling. Der er mange årsager til dette, men en nøglefaktor, som Prolific løser, er den generelle behandling af online-deltagere. Ofte ses disse personer som udskiftelige, modtager lav kompensation, dårlig behandling og ringe respekt fra forskerne. Ved at engagere os i en etisk behandling af deltagerne har Prolific dyrket en gruppe af motiverede, engagerede, tankefulde, ærlige og opmærksomme bidragydere. Derfor, når data indsamles gennem Prolific, er dens højeste kvalitet sikret, hvilket understøtter pålidelige og troværdige AI-modeller.

En anden udfordring, vi står over for i forbindelse med AI-træningsdata, er at sikre diversitet inden for prøven. Mens onlineprøver har udvidet omfanget og variationen af personer, vi kan gennemføre forskning på, i forhold til metoder på stedet, er de ofte overvejende begrænset til personer fra vestlige lande. Disse prøver er ofte fordrejede mod yngre, computerlitterære, højtbegavede og mere venstreorienterede demografiske grupper. Dette repræsenterer ikke fuldt ud den globale befolkning. For at løse dette problem har Prolific deltagerne fra over 38 lande verden over. Vi tilbyder også vores forskere værktøjer til at specificere den præcise demografiske sammensætning af deres prøve på forhånd. Desuden tilbyder vi repræsentativ prøvetagning gennem folketællingsskabeloner som alder, køn og etnicitet eller endda politisk tilhørsforhold. Dette sikrer, at studier, annoteringsopgaver eller andre projekter modtager en divers gruppe af deltagerne og dermed en bred vifte af indsigt.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Prolific.