Andrew Gordon, senior forskningskonsulent, Prolific – Intervju-serie

Andrew Gordon trekker på sin solide bakgrunn i psykologi og nevrovitenskap for å avdekke innsikt som forsker. Med en BSc i psykologi, MSc i nevrovitenskap og Ph.D. i kognitiv nevrovitenskap, bruker Andrew vitenskapelige prinsipper for å forstå konsumentmotivasjoner, atferd og beslutningstaking.

Prolific ble skapt av forskere for forskere, med mål om å tilby en overlegen metode for å få høykvalitets menneskelig data og innputt for banebrytende forskning. I dag er det over 35 000 forskere fra akademia og industri som bruker Prolific AI for å samle inn avgjørende menneskelig data og tilbakemeldinger. Plarformen er kjent for sine pålitelige, engasjerte og rettferdig behandlede deltakere, med et nytt studie lansert hver tredje minutt.

Hvordan bruker du din bakgrunn i kognitiv nevrovitenskap for å hjelpe forskere som utfører prosjekter som involverer AI?

En god utgangspunkt er å definere hva kognitiv nevrovitenskap faktisk omfatter. I essensen undersøker kognitiv nevrovitenskap de biologiske grunnlagene for kognitive prosesser. Det kombinerer prinsipper fra nevrovitenskap og psykologi, og av og til datavitenskap, blant annet, som hjelper oss å forstå hvordan vår hjerne muliggjør ulike mentale funksjoner. I praksis må alle som driver med kognitiv nevrovitenskapelig forskning ha en god forståelse av forskningsmetodologier og en god forståelse av hvordan mennesker tenker og oppfører seg. Disse to aspektene er avgjørende og kan kombineres for å utvikle og kjøre høykvalitets AI-forskning. En advarsel, likevel, er at AI-forskning er et bredt begrep; det kan omfatte alt fra grunnleggende modelltrening og dataannotering til å forstå hvordan mennesker samhandler med AI-systemer. Å kjøre forskningsprosjekter med AI er ikke forskjellig fra å kjøre forskningsprosjekter utenfor AI; du må fortsatt ha en god forståelse av metoder, designstudier for å skape de beste data, prøveutvalg for å unngå bias, og deretter bruke disse dataene i effektive analyser for å besvare hvilket som helst forskningsspørsmål du behandler.

Prolific legger vekt på etisk behandling og rettferdig kompensasjon for deltakerne. Kan du dele innsikt i utfordringene og løsningene i å opprettholde disse standardene?

Vår kompensasjonsmodell er designet for å sikre at deltakerne blir verdsett og belønnet, og føler seg som en viktig del av forskningsmaskinen (fordi de er). Vi tror på at å behandle deltakerne rettferdig og gi dem en rettferdig betalingsrate, motiverer dem til å engasjere seg dyptere i forskningen og dermed gi bedre data.

Uheldigvis gjør de fleste online-utvalgsplattformene ikke disse prinsippene om etisk betaling og behandling. Resultatet er en deltakergruppe som er motivert til å ikke engasjere seg i forskningen, men å skynde seg gjennom den så raskt som mulig for å maksimere sin inntjening, noe som fører til lavkvalitetsdata. Å opprettholde holdningen vi tar på Prolific er utfordrende; vi kjemper i praksis mot strømmen. Status quo i AI-forskning og andre former for onlineforskning har ikke vært fokusert på deltakerbehandling eller velvære, men på å maksimere mengden data som kan samles inn for lavest kostnad.

Å gjøre den videre forskningsfellesskapet forstå hvorfor vi har tatt denne tilnærmingen og verdien de vil se ved å bruke oss, i stedet for en konkurrerende plattform, presenterer en stor utfordring. En annen utfordring, fra en logistisk synsvinkel, involverer å bruke en betydelig mengde tid på å svare på bekymringer, spørsmål eller klager fra våre deltakere eller forskere på en rask og rettferdig måte. Vi dedikerer mye tid til dette fordi det holder brukerne på begge sider – deltakere og forskere – glade, og oppmuntre dem til å fortsette å bruke Prolific. Likevel avhenger vi også sterkt av at forskerne som bruker vår plattform holder våre høye standarder for behandling og kompensasjon når deltakerne tas til forskerens oppgave eller undersøkelse og dermed forlater Prolific-økosystemet. Hva skjer utenfor vår plattform er i praksis under kontroll av forskningsteamet, så vi avhenger ikke bare av at deltakerne lar oss vite om noe er galt, men også på at våre forskere holder de høyeste mulige standarder. Vi prøver å gi så mye veiledning som mulig for å sikre at dette skjer.

Med tanke på Prolifics forretningsmodell, hva er dine tanker om den essensielle rollen til menneskelig tilbakemelding i AI-utvikling, særlig i områder som bias-avdekking og forbedring av sosial fornuft?

Menneskelig tilbakemelding i AI-utvikling er avgjørende. Uten menneskelig innblanding risikerer vi å videreføre bias, overse nyansene i menneskelig sosial interaksjon og ikke å håndtere noen av de negative etiske overveielser som er forbundet med AI. Dette kunne hindre vår fremgang mot å skape ansvarlige, effektive og etiske AI-systemer. I forhold til bias-avdekking er det å inkorporere menneskelig tilbakemelding under utviklingsprosessen avgjørende fordi vi bør sikte mot å utvikle AI som reflekterer så bredt et spekter av synspunkter og verdier som mulig, uten å favorisere ett over andre. Forskjellige demografiske grupper, bakgrunner og kulturer har alle ubevisste bias som, selv om de ikke nødvendigvis er negative, likevel kan reflektere et synspunkt som ikke ville være vidt holdt. Samarbeidende forskning mellom Prolific og University of Michigan viste hvordan bakgrunnene til forskjellige annotatorer kan påvirke hvordan de vurderer aspekter som giftighet i tale eller høflighet . For å håndtere dette kan det å involvere deltakere fra forskjellige bakgrunner, kulturer og perspektiver forhindre at disse biasene blir inngrodde i AI-systemer under utvikling. I tillegg tillater menneskelig tilbakemelding AI-forskere å avdekke mer subtile former for bias som ikke nødvendigvis blir oppdaget av automatiserte metoder. Dette gir mulighet til å håndtere bias gjennom justeringer i algoritmene, underliggende modeller eller datapreprosesseringsteknikker.

Situasjonen med sosial fornuft er i praksis den samme. AI har ofte vanskeligheter med oppgaver som krever sosial fornuft fordi det, av natur, ikke er et sosialt vesen, mens mennesker er. Å avdekke kontekst når et spørsmål stilles, å forstå sarkasme eller å gjenkjenne emosjonelle signaler, krever menneske-lignende sosial fornuft som AI ikke kan lære på egen hånd. Vi, som mennesker, lærer sosialt, så den eneste måten å lære et AI-system disse typene av resoneringsteknikker er ved å bruke faktisk menneskelig tilbakemelding for å trene AI til å tolke og svare på ulike sosiale signaler. På Prolific har vi utviklet en sosial fornuft-datasett som er spesifikt designet for å lære AI-modeller denne viktige ferdigheten.

I essensen hjelper menneskelig tilbakemelding ikke bare å identifisere områder hvor AI-systemer utmerker seg eller svikter, men også å muliggjøre utviklerne å gjøre de nødvendige forbedringene og finjusteringene av algoritmene. Et praktisk eksempel på dette er å observere hvordan ChatGPT opererer. Når du stiller et spørsmål, presenterer ChatGPT noen ganger to svar og ber deg å rangere hvilket som er best. Denne tilnærmingen tas fordi modellen alltid lærer, og utviklerne forstår viktigheten av menneskelig innputt for å bestemme de beste svarene, i stedet for å bare stole på en annen modell.

Prolific har vært avgjørende i å koble forskere sammen med deltakere for AI-trening og -forskning. Kan du dele noen suksesshistorier eller betydelige fremgang i AI som ble mulig gjennom din plattform?

På grunn av den kommersielle naturen til mye av vårt AI-arbeid, spesielt i ikke-akademiske områder, er de fleste prosjektene vi er involvert i under strenge ikke-avsløringsavtaler. Dette er hovedsakelig for å sikre konfidensialiteten til teknikkene eller metodene, og beskytte dem mot å bli replisert. Likevel er det ett prosjekt vi har frihet til å diskutere som involverer vårt samarbeid med Remesh, en AI-drevet innsikt-plattform. Vi samarbeidet med OpenAI og Remesh for å utvikle et system som bruker representative prøver av den amerikanske befolkningen. I dette prosjektet deltok tusenvis av individer fra en representativ prøve i diskusjoner om AI-relaterte politikker gjennom Remeshs system, og muliggjorde utviklingen av AI-politikker som reflekterer den brede viljen til offentligheten, i stedet for en selektiv demografi, takket være Prolifics evne til å tilby en så divers prøve.

Ser du fremover, hva er din visjon for fremtiden til etisk AI-utvikling, og hvordan planlegger Prolific å bidra til å oppnå denne visjonen?

Min håp for fremtiden til AI, og dens utvikling, henger sammen med erkjennelsen av at AI bare vil være like god som dataene den er trent på. Viktigheten av datakvalitet kan ikke overdrives for AI-systemer. Å trene et AI-system på dårlig kvalitetsdata resulterer uunngåelig i et underpar AI-system. Den eneste måten å sikre høykvalitetsdata er ved å sikre rekrutteringen av en divers og motivert gruppe deltakere, ivrige etter å gi de beste dataene mulig. På Prolific er vår tilnærming og retningslinjer designet for å fremme nettopp dette. Ved å skape en skreddersydd, grundig verifisert og pålitelig deltakerprøve, forventer vi at forskerne vil bruke denne ressursen til å utvikle mer effektive, pålitelige og troværdige AI-systemer i fremtiden.

Hva er noen av de største utfordringene du møter i innhøstingen av høykvalitets, menneske-drevet AI-treningdata, og hvordan overvinner Prolific disse hindrene?

Den største utfordringen, uten tvil, er datakvalitet. Ikke bare er dårlig data nytteløs – det kan faktisk føre til skadelige resultater, særlig når AI-systemer brukes i kritiske områder som finansielle markeder eller militære operasjoner. Dette understreker den essensielle prinsippet “skralle inn, skralle ut”. Hvis inndataene er underpar, vil det resulterende AI-systemet være av lav kvalitet eller nytte. De fleste online-prøver produserer data av lavere kvalitet enn det som er optimalt for AI-utvikling. Det er flere grunner til dette, men en nøkelfaktor som Prolific håndterer er den generelle behandlingen av online-deltakere. Ofte blir disse personene sett på som utbyttable, mottar lav kompensasjon, dårlig behandling og liten respekt fra forskerne. Ved å binde oss til den etiske behandlingen av deltakere, har Prolific dyrket en gruppe motiverte, engasjerte, grundige, ærlige og oppmerksomme bidragsytere. Derfor, når data samles inn gjennom Prolific, er dens høykvalitets garantert, og understøtter pålitelige og troværdige AI-modeller.

En annen utfordring vi møter med AI-treningdata er å sikre diversitet innen prøven. Mens online-prøver har utvidet omfanget og variasjonen av personer vi kan gjennomføre forskning på sammenlignet med personlige metoder, er de ofte begrenset til personer fra vestlige land. Disse prøvene skjev ofte mot yngre, datamaskin-litterate, høyt utdannede og mer venstre-orienterte demografiske grupper. Dette representerer ikke fullt ut den globale befolkningen. For å håndtere dette har Prolific deltakere fra over 38 land verden over. Vi tilbyr også våre forskere verktøy for å spesifisere den eksakte demografiske sammensetningen av deres prøve på forhånd. I tillegg tilbyr vi representativ prøving gjennom folketellingsmatcher-maler som alder, kjønn, etnisitet eller til og med politisk tilhørighet. Dette sikrer at studier, annoteringstasks eller andre prosjekter mottar en divers gruppe deltakere og, dermed, en bred variasjon av innsikt.

Takk for det flotte intervjuet, lesere som ønsker å lære mer bør besøke Prolific.