Andrew Gordon, Senior Onderzoeksconsultant, Prolific – Interview Serie

Andrew Gordon put zijn robuuste achtergrond in psychologie en neurowetenschappen in om inzichten te verkrijgen als onderzoeker. Met een BSc in Psychologie, MSc in Neuropsychologie en Ph.D. in Cognitieve Neurowetenschappen, gebruikt Andrew wetenschappelijke principes om consumentenmotivaties, gedrag en besluitvorming te begrijpen.

Prolific is door onderzoekers voor onderzoekers gemaakt, met als doel een superieure methode te bieden voor het verkrijgen van hoogwaardige menselijke gegevens en input voor baanbrekend onderzoek. Vandaag de dag vertrouwen meer dan 35.000 onderzoekers uit de academische en industriële wereld op Prolific AI om definitieve menselijke gegevens en feedback te verzamelen. Het platform staat bekend om zijn betrouwbare, geëngageerde en eerlijk behandelde deelnemers, met een nieuw onderzoek dat elke drie minuten wordt gelanceerd.

Hoe gebruikt u uw achtergrond in cognitieve neurowetenschappen om onderzoekers te helpen die projecten uitvoeren met betrekking tot AI?

Een goed startpunt is het definiëren van wat cognitieve neurowetenschappen eigenlijk omvatten. Cognitieve neurowetenschappen onderzoeken de biologische onderbouwing van cognitieve processen. Het combineert principes uit neurowetenschappen en psychologie, en soms informatica, om te begrijpen hoe ons brein verschillende mentale functies mogelijk maakt. Iedereen die cognitieve neurowetenschappen onderzoek doet, moet een goed begrip hebben van onderzoeksmethoden en een goed begrip van hoe mensen denken en zich gedragen. Deze twee aspecten zijn cruciaal en kunnen worden gecombineerd om hoogwaardig AI-onderzoek te ontwikkelen en uit te voeren. Een voorbehoud is echter dat AI-onderzoek een breed begrip is; het kan alles omvatten, van de training van fundamentelere modellen en gegevensannotatie tot het begrijpen van hoe mensen interactie hebben met AI-systemen. Het uitvoeren van onderzoeksprojecten met AI is niet anders dan het uitvoeren van onderzoeksprojecten buiten AI; u hebt nog steeds een goed begrip van methoden nodig, ontwerp studies om de beste gegevens te creëren, monsters correct om vooroordelen te voorkomen en vervolgens die gegevens gebruiken in effectieve analyses om welk onderzoeksprobleem u ook aanpakt.

Prolific benadrukt de ethische behandeling en eerlijke compensatie van zijn deelnemers. Kunt u inzichten delen over de uitdagingen en oplossingen bij het handhaven van deze normen?

Ons compensatiemodel is ontworpen om ervoor te zorgen dat deelnemers gewaardeerd en beloond worden, waardoor ze zich een belangrijk onderdeel van de onderzoeks machine voelen (omdat ze dat zijn). We geloven dat deelnemers eerlijk behandelen en een eerlijke betalingsgraad bieden, hen motiveert om dieper in het onderzoek te participeren en gevolglijk betere gegevens te verstrekken.

Helaas hanteren de meeste online steekproefplatforms deze principes van ethische betaling en behandeling niet. Het resultaat is een deelnemersgroep die niet gemotiveerd is om met onderzoek te participeren, maar om het zo snel mogelijk af te ronden om hun verdienpotentieel te maximaliseren, wat leidt tot lage kwaliteit gegevens. Het handhaven van de houding die we bij Prolific innemen, is een uitdaging; we vechten eigenlijk tegen de stroom in. De status quo in AI-onderzoek en andere vormen van online onderzoek is niet gericht op de behandeling van deelnemers of hun welzijn, maar op het maximaliseren van de hoeveelheid gegevens die voor de laagste kosten kunnen worden verzameld.

De bredere onderzoeks gemeenschap laten begrijpen waarom we deze aanpak hebben gekozen en de waarde die ze zullen zien door ons te gebruiken, in plaats van een concurrerend platform, vormt een uitdaging. Een andere uitdaging, vanuit logistiek oogpunt, houdt in dat we veel tijd besteden aan het beantwoorden van zorgen, vragen of klachten van onze deelnemers of onderzoekers op een tijdige en eerlijke manier. We besteden veel tijd aan dit omdat het gebruikers aan beide kanten – deelnemers en onderzoekers – gelukkig houdt, hen aanmoedigt om terug te keren naar Prolific. We vertrouwen echter ook zwaar op de onderzoekers die ons platform gebruiken om onze hoge normen van behandeling en compensatie te handhaven, zodra deelnemers naar de taak of enquête van de onderzoeker worden gebracht en dus het Prolific-ecosysteem verlaten. Wat er buiten ons platform gebeurt, is echt onder controle van het onderzoeksteam, dus we vertrouwen niet alleen op deelnemers die ons laten weten als er iets mis is, maar ook op onze onderzoekers die de hoogst mogelijke normen handhaven. We proberen zoveel mogelijk leiding te geven om ervoor te zorgen dat dit gebeurt.

Gezien het Prolific-zakelijk model, wat zijn uw gedachten over de essentiële rol van menselijke feedback in AI-ontwikkeling, vooral op gebieden zoals vooroordeel detectie en sociale redenering verbetering?

Menselijke feedback in AI-ontwikkeling is cruciaal. Zonder menselijke betrokkenheid riskeren we het in stand houden van vooroordelen, het negeren van de nuances van menselijke sociale interactie en het niet aanpakken van enkele van de negatieve ethische overwegingen die samenhangen met AI. Dit kan onze vooruitgang naar het creëren van verantwoorde, effectieve en ethische AI-systemen belemmeren. Wat betreft vooroordeel detectie is het opnemen van menselijke feedback tijdens het ontwikkelingsproces cruciaal, omdat we moeten streven naar het ontwikkelen van AI die zo breed mogelijke meningen en waarden weerspiegelt, zonder een voorkeur voor een bepaalde mening. Verschillende demografische gegevens, achtergronden en culturen hebben allemaal onbewuste vooroordelen die, hoewel niet noodzakelijkerwijs negatief, nog steeds een standpunt kunnen weerspiegelen dat niet wijdverbreid wordt gehouden. Samenwerkend onderzoek tussen Prolific en de Universiteit van Michigan benadrukte hoe de achtergronden van verschillende annotators aanzienlijk kunnen beïnvloeden hoe ze aspecten zoals de giftigheid van spraak of beleefdheid beoordelen. Om dit aan te pakken, kunnen deelnemers uit diverse achtergronden, culturen en perspectieven worden betrokken om te voorkomen dat deze vooroordelen in AI-systemen worden ingebed. Bovendien stelt menselijke feedback AI-onderzoekers in staat om subtielere vormen van vooroordelen te detecteren die mogelijk niet door geautomatiseerde methoden worden opgepikt. Dit biedt de gelegenheid om vooroordelen aan te pakken door aanpassingen in algoritmes, onderliggende modellen of gegevensvoorbereidingstechnieken.

Het sociale redeneren is eigenlijk hetzelfde. AI worstelt vaak met taken die sociale redenering vereisen, omdat het van nature geen sociaal wezen is, terwijl mensen dat wel zijn. Het detecteren van context wanneer een vraag wordt gesteld, het begrijpen van sarcasme of het herkennen van emotionele signalen, vereist menselijke sociale redenering die AI niet zelf kan leren. We, als mensen, leren sociaal, dus de enige manier om een AI-systeem deze soorten redeneringstechnieken te leren, is door het gebruik van echte menselijke feedback om de AI te trainen om verschillende sociale signalen te interpreteren en te reageren. Bij Prolific hebben we een sociaal redeneringsdataset ontwikkeld, speciaal ontworpen om AI-modellen deze belangrijke vaardigheid te leren.

In wezen helpt menselijke feedback niet alleen bij het identificeren van gebieden waar AI-systemen uitblinken of falen, maar stelt ontwikkelaars ook in staat om de nodige verbeteringen en verfijningen aan de algoritmes aan te brengen. Een praktisch voorbeeld hiervan is te zien in hoe ChatGPT werkt. Wanneer u een vraag stelt, presenteert ChatGPT soms twee antwoorden en vraagt u om te rangschikken welk het beste is. Deze aanpak wordt genomen omdat het model altijd leert en de ontwikkelaars begrijpen het belang van menselijke input om de beste antwoorden te bepalen, in plaats van alleen te vertrouwen op een ander model.

Prolific heeft een belangrijke rol gespeeld bij het verbinden van onderzoekers met deelnemers voor AI-training en -onderzoek. Kunt u enkele succesverhalen of significante vooruitgang in AI delen die mogelijk zijn gemaakt door uw platform?

Vanwege de commerciële aard van veel van onze AI-werkzaamheden, vooral in niet-academische ruimtes, vallen de meeste projecten waar we bij betrokken zijn onder strikte geheimhoudingsverklaringen. Dit is voornamelijk om de vertrouwelijkheid van technieken of methoden te waarborgen, door ze te beschermen tegen replicatie. Echter, een project waar we vrij zijn om over te praten, is onze samenwerking met Remesh, een AI-gebaseerd inzichtplatform. We werkten samen met OpenAI en Remesh om een systeem te ontwikkelen dat gebruik maakt van representatieve steekproeven van de Amerikaanse bevolking. In dit project participeerden duizenden individuen uit een representatieve steekproef in discussies over AI-gerelateerde beleid via het systeem van Remesh, waardoor het ontwikkelen van AI-beleid mogelijk werd dat de brede wil van het publiek weerspiegelt, in plaats van een selecte demografie, dankzij Prolifics vermogen om zo’n diverse steekproef te bieden.

Kijkend naar de toekomst, wat is uw visie op de toekomst van ethische AI-ontwikkeling, en hoe gaat Prolific bijdragen aan het bereiken van deze visie?

Mijn hoop voor de toekomst van AI en zijn ontwikkeling, hangt af van de erkenning dat AI alleen zo goed zal zijn als de gegevens waarop het getraind is. De kwaliteit van de gegevens kan niet worden overschat voor AI-systemen. Het trainen van een AI-systeem op lage kwaliteit gegevens resulteert onherroepelijk in een ondermaats AI-systeem. De enige manier om hoogwaardige gegevens te garanderen, is door het werven van een diverse en gemotiveerde groep deelnemers, die bereid zijn om de beste gegevens mogelijk te verstrekken. Bij Prolific zijn onze aanpak en leidende principes gericht op het creëren van precies dat. Door een op maat gemaakte, grondig gecontroleerde en betrouwbare deelnemersgroep te creëren, verwachten we dat onderzoekers deze bron zullen gebruiken om in de toekomst effectievere, betrouwbaardere en meer betrouwbare AI-systemen te ontwikkelen.

Wat zijn enkele van de grootste uitdagingen die u tegenkomt bij de verzameling van hoogwaardige, door mensen aangedreven AI-trainingsgegevens, en hoe overwint Prolific deze obstakels?

De meest significante uitdaging, zonder twijfel, is gegevenskwaliteit. Slechte gegevens zijn niet alleen nutteloos – ze kunnen ook schadelijk zijn, vooral wanneer AI-systemen in kritieke gebieden zoals financiële markten of militaire operaties worden ingezet. Deze zorg onderstreept het essentiële principe van “garbage in, garbage out”. Als de invoergegevens van lage kwaliteit zijn, zal het resulterende AI-systeem inherent van lage kwaliteit of nutteloos zijn. De meeste online steekproeven produceren gegevens van lagere kwaliteit dan wat optimaal is voor AI-ontwikkeling. Er zijn veel redenen voor dit, maar een belangrijke factor die Prolific aanpakt, is de algemene behandeling van online deelnemers. Vaak worden deze personen als wegwerpartikelen beschouwd, ontvangen ze lage compensatie, slechte behandeling en weinig respect van onderzoekers. Door ons te committeren aan de ethische behandeling van deelnemers, heeft Prolific een groep gemotiveerde, geëngageerde, zorgvuldige, eerlijke en attente bijdragers gekweekt. Daarom, wanneer gegevens via Prolific worden verzameld, is de kwaliteit ervan verzekerd, waardoor betrouwbare en betrouwbare AI-modellen worden ondersteund.

Een andere uitdaging die we tegenkomen bij AI-trainingsgegevens, is het garanderen van diversiteit binnen de steekproef. Hoewel online steekproeven de reikwijdte en variëteit van personen die we kunnen onderzoeken aanzienlijk hebben verbreed in vergelijking met face-to-face methoden, zijn ze voornamelijk beperkt tot personen uit westerse landen. Deze steekproeven zijn vaak vertekend naar jongere, computergeletterde, hoogopgeleide en meer linksgeoriënteerde demografische groepen. Dit vertegenwoordigt niet de mondiale bevolking. Om dit aan te pakken, heeft Prolific deelnemers uit meer dan 38 landen over de hele wereld. We bieden onze onderzoekers ook tools om de exacte demografische samenstelling van hun steekproef van tevoren te specificeren. Bovendien bieden we representatieve steekproeven via census-match-sjablonen zoals leeftijd, geslacht, etniciteit, of zelfs politieke affiliatie. Dit zorgt ervoor dat onderzoeken, annotatietaken of andere projecten een diverse reeks deelnemers ontvangen en, als gevolg, een breed scala aan inzichten.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten Prolific bezoeken.