Andrew Gordon, Senior Onderzoeksconsultant, Prolific – Interview Serie

Andrew Gordon put zijn robuuste achtergrond in psychologie en neurowetenschappen in om inzichten te verkrijgen als onderzoeker. Met een BSc in Psychologie, MSc in Neuropsychologie en Ph.D. in Cognitieve Neurowetenschappen, gebruikt Andrew wetenschappelijke principes om consumentenmotivaties, gedrag en besluitvorming te begrijpen.

Prolific is ontwikkeld door onderzoekers voor onderzoekers, met als doel een superieure methode te bieden voor het verkrijgen van hoogwaardige menselijke gegevens en input voor baanbrekend onderzoek. Vandaag de dag vertrouwen meer dan 35.000 onderzoekers uit de academische en industriële wereld op Prolific AI om definitieve menselijke gegevens en feedback te verzamelen. Het platform staat bekend om zijn betrouwbare, betrokken en eerlijk behandelde deelnemers, met een nieuwe studie die elke drie minuten wordt gelanceerd.

Hoe gebruikt u uw achtergrond in cognitieve neurowetenschappen om onderzoekers te helpen die projecten uitvoeren met betrekking tot AI?

Een goed startpunt is het definiëren van wat cognitieve neurowetenschappen eigenlijk omvatten. Cognitieve neurowetenschappen onderzoeken de biologische onderbouwing van cognitieve processen. Het combineert principes uit neurowetenschappen en psychologie, en soms computerwetenschappen, om ons te helpen begrijpen hoe ons brein verschillende mentale functies mogelijk maakt. Iedereen die cognitieve neurowetenschappen onderzoek doet, moet een solide greep hebben op onderzoeksmethoden en een goed begrip van hoe mensen denken en zich gedragen. Deze twee aspecten zijn cruciaal en kunnen worden gecombineerd om hoogwaardig AI-onderzoek te ontwikkelen en uit te voeren. Eén voorbehoud is dat AI-onderzoek een breed begrip is; het kan alles omvatten, van fundamentelere modeltraining en gegevensannotatie tot het begrijpen van hoe mensen interactie hebben met AI-systemen. Het uitvoeren van onderzoeksprojecten met AI is niet anders dan het uitvoeren van onderzoeksprojecten buiten AI; u hebt nog steeds een goed begrip van methoden nodig, ontwerp studies om de beste gegevens te creëren, steekproeven correct uit te voeren om vooroordelen te voorkomen en vervolgens deze gegevens gebruiken in effectieve analyses om welk onderzoeksvraag u ook aan het behandelen bent.

Prolific benadrukt een ethische behandeling en eerlijke compensatie voor de deelnemers. Kunt u inzichten delen over de uitdagingen en oplossingen bij het handhaven van deze normen?

Ons compensatiemodel is ontworpen om ervoor te zorgen dat deelnemers gewaardeerd en beloond worden, waardoor ze zich een belangrijk onderdeel van de onderzoeksmachine voelen (omdat ze dat zijn). We geloven dat deelnemers eerlijk behandelen en een eerlijke betalingskoers bieden, hen motiveert om dieper in het onderzoek te duiken en daardoor betere gegevens te leveren.

Helaas hanteren de meeste online steekproefplatforms deze principes van ethische betaling en behandeling niet. Het resultaat is een deelnemersgroep die is gestimuleerd om niet met het onderzoek te engageren, maar om er zo snel mogelijk doorheen te gaan om hun verdienpotentieel te maximaliseren, waardoor lage kwaliteit gegevens ontstaan. Het handhaven van de houding die we bij Prolific innemen, is een uitdaging; we vechten eigenlijk tegen de stroom in. De status quo in AI-onderzoek en andere vormen van online onderzoek is niet gericht op de behandeling of het welzijn van deelnemers, maar op het maximaliseren van de hoeveelheid gegevens die tegen de laagste kosten kunnen worden verzameld.

Het maken van de bredere onderzoeksgemeenschap begrijpen waarom we deze aanpak hebben gekozen en de waarde die ze zullen zien door ons te gebruiken, in plaats van een concurrerend platform, is een behoorlijke uitdaging. Een andere uitdaging, vanuit logistiek oogpunt, is het besteden van een aanzienlijke hoeveelheid tijd aan het beantwoorden van zorgen, vragen of klachten van onze deelnemers of onderzoekers op een tijdige en eerlijke manier. We besteden veel tijd aan dit omdat het gebruikers aan beide kanten – deelnemers en onderzoekers – tevreden houdt, waardoor ze worden aangemoedigd om terug te keren naar Prolific. We vertrouwen echter ook zwaar op de onderzoekers die ons platform gebruiken om onze hoge normen van behandeling en compensatie in acht te nemen, zodra deelnemers zijn overgebracht naar de taak of enquête van de onderzoeker en dus onze Prolific-ecosysteem verlaten. Wat er buiten ons platform gebeurt, is echt onder controle van het onderzoeksteam, dus we vertrouwen niet alleen op deelnemers die ons laten weten als er iets mis is, maar ook op onze onderzoekers die de hoogst mogelijke normen in acht nemen. We proberen zoveel mogelijk leiding te geven om ervoor te zorgen dat dit gebeurt.

Gezien het Prolific-zakelijke model, wat zijn uw gedachten over de essentiële rol van menselijke feedback in AI-ontwikkeling, vooral op gebieden zoals vooroordeeldetectie en sociale redenverbetering?

Menselijke feedback in AI-ontwikkeling is cruciaal. Zonder menselijke betrokkenheid lopen we het risico vooroordelen te verergeren, de nuances van menselijke sociale interactie te negeren en niet in staat te zijn om enkele van de negatieve ethische overwegingen die met AI zijn verbonden aan te pakken. Dit kan onze vooruitgang naar het creëren van verantwoorde, effectieve en ethische AI-systemen belemmeren. Wat betreft vooroordeeldetectie is het integreren van menselijke feedback tijdens het ontwikkelingsproces cruciaal, omdat we moeten streven naar het ontwikkelen van AI die zo breed mogelijke meningen en waarden weerspiegelt, zonder een voorkeur voor een bepaalde groep. Verschillende demografische gegevens, achtergronden en culturen hebben allemaal onbewuste vooroordelen die, hoewel niet noodzakelijkerwijs negatief, toch een standpunt kunnen weerspiegelen dat niet algemeen wordt aanvaard. Samenwerkend onderzoek tussen Prolific en de Universiteit van Michigan benadrukte hoe de achtergrond van verschillende annotators aanzienlijk kan beïnvloeden hoe ze aspecten zoals de giftigheid van spraak of beleefdheid beoordelen. Om dit aan te pakken kan het betrekken van deelnemers uit diverse achtergronden, culturen en perspectieven deze vooroordelen voorkomen die in AI-systemen worden ingebouwd. Bovendien stelt menselijke feedback AI-onderzoekers in staat om meer subtiele vormen van vooroordelen te detecteren die mogelijk niet door geautomatiseerde methoden worden opgepikt. Dit biedt de mogelijkheid om vooroordelen aan te pakken door aanpassingen in de algoritmes, onderliggende modellen of gegevensvoorbereidingstechnieken.

De situatie met sociale reden is eigenlijk hetzelfde. AI worstelt vaak met taken die sociale reden vereisen, omdat het van nature geen sociaal wezen is, terwijl mensen dat wel zijn. Context detecteren wanneer een vraag wordt gesteld, sarcasme begrijpen of emotionele signalen herkennen, vereist menselijke sociale reden die AI niet zelf kan leren. We, als mensen, leren sociaal, dus de enige manier om een AI-systeem deze soorten redenentechnieken te leren, is door gebruik te maken van echte menselijke feedback om de AI te trainen om verschillende sociale signalen te interpreteren en te reageren. Bij Prolific hebben we een sociale redenendataset ontwikkeld die speciaal is ontworpen om AI-modellen deze belangrijke vaardigheid te leren.

In wezen helpt menselijke feedback niet alleen om te identificeren waar AI-systemen uitblinken of falen, maar stelt ontwikkelaars ook in staat om de nodige verbeteringen en verfijningen aan de algoritmes aan te brengen. Een praktisch voorbeeld hiervan is te zien in hoe ChatGPT werkt. Wanneer u een vraag stelt, presenteert ChatGPT soms twee antwoorden en vraagt u welk het beste is. Deze aanpak wordt genomen omdat het model voortdurend leert en de ontwikkelaars begrijpen het belang van menselijke input om de beste antwoorden te bepalen, in plaats van alleen te vertrouwen op een ander model.

Prolific is van grote waarde geweest bij het verbinden van onderzoekers met deelnemers voor AI-training en -onderzoek. Kunt u enkele succesverhalen of significante vooruitgang in AI delen die mogelijk zijn gemaakt door uw platform?

Vanwege de commerciële aard van veel van onze AI-werkzaamheden, vooral in niet-academische ruimtes, vallen de meeste projecten waar we bij betrokken zijn onder strikte niet-openbaarmakingsovereenkomsten. Dit is voornamelijk om de vertrouwelijkheid van technieken of methoden te waarborgen, om ze te beschermen tegen replicatie. Echter, één project waar we vrij zijn om over te praten, is onze samenwerking met Remesh, een AI-gebaseerd inzichtplatform. We werkten samen met OpenAI en Remesh om een systeem te ontwikkelen dat gebruik maakt van representatieve steekproeven van de Amerikaanse bevolking. In dit project namen duizenden individuen uit een representatieve steekproef deel aan discussies over AI-gerelateerde beleidsmaatregelen via het systeem van Remesh, waardoor het mogelijk werd om AI-beleidsmaatregelen te ontwikkelen die de brede wil van het publiek weerspiegelen, in plaats van een geselecteerde demografie, dankzij Prolifics vermogen om zo’n diverse steekproef te bieden.

Als we vooruitkijken, wat is uw visie voor de toekomst van ethische AI-ontwikkeling, en hoe gaat Prolific bijdragen aan het bereiken van deze visie?

Mijn hoop voor de toekomst van AI en zijn ontwikkeling, hangt af van de erkenning dat AI alleen zo goed zal zijn als de gegevens waarop hij wordt getraind. De belangrijkheid van gegevenskwaliteit kan niet worden overschat voor AI-systemen. Het trainen van een AI-systeem op slechte kwaliteit gegevens resulteert onvermijdelijk in een ondermaats AI-systeem. De enige manier om te garanderen dat de gegevens van hoge kwaliteit zijn, is door te garanderen dat een diverse en gemotiveerde groep deelnemers wordt geworven, die bereid zijn om de beste gegevens mogelijk te leveren. Bij Prolific zijn onze aanpak en leidende principes gericht op het creëren van precies dat. Door een op maat gemaakte, grondig gecontroleerde en betrouwbare deelnemersgroep te creëren, verwachten we dat onderzoekers deze bron zullen gebruiken om in de toekomst effectievere, betrouwbaardere en betrouwbaardere AI-systemen te ontwikkelen.

Wat zijn enkele van de grootste uitdagingen waar u mee te maken krijgt bij de verzameling van hoogwaardige, door de mens aangedreven AI-trainingsgegevens, en hoe overwint Prolific deze obstakels?

De grootste uitdaging, zonder twijfel, is gegevenskwaliteit. Niet alleen is slechte gegevens nutteloos – het kan ook schadelijke gevolgen hebben, vooral wanneer AI-systemen worden gebruikt in kritieke gebieden zoals financiële markten of militaire operaties. Dit benadrukt het essentiële principe van “garbage in, garbage out”. Als de invoergegevens van slechte kwaliteit zijn, zal het resulterende AI-systeem inherent van lage kwaliteit of nutteloos zijn. De meeste online steekproeven produceren gegevens van minder kwaliteit dan wat optimaal is voor AI-ontwikkeling. Er zijn veel redenen voor dit, maar één belangrijke factor die Prolific aanpakt, is de algemene behandeling van online deelnemers. Vaak worden deze individuen als verwisselbaar beschouwd, ontvangen ze lage compensatie, slechte behandeling en weinig respect van onderzoekers. Door ons te committeren aan de ethische behandeling van deelnemers, heeft Prolific een groep gemotiveerde, betrokken, zorgvuldige, eerlijke en attente bijdragers gecultiveerd. Daarom, wanneer gegevens via Prolific worden verzameld, is de hoge kwaliteit ervan verzekerd, waardoor betrouwbare en betrouwbare AI-modellen worden ondersteund.

Een andere uitdaging die we tegenkomen met AI-trainingsgegevens is het waarborgen van diversiteit binnen de steekproef. Hoewel online steekproeven het bereik en de variëteit van individuen waarop we onderzoek kunnen doen aanzienlijk hebben verbreed in vergelijking met face-to-face methoden, zijn ze voornamelijk beperkt tot mensen uit westerse landen. Deze steekproeven neigen naar een jongere, computergeletterde, hoogopgeleide en meer linksgeoriënteerde demografie. Dit vertegenwoordigt de wereldbevolking niet volledig. Om dit aan te pakken heeft Prolific deelnemers uit meer dan 38 landen wereldwijd. We bieden onze onderzoekers ook tools om de exacte demografische samenstelling van hun steekproef van tevoren te specificeren. Bovendien bieden we representatieve steekproeven via census-match-templates zoals leeftijd, geslacht en etniciteit, of zelfs via politieke affiliatie. Dit zorgt ervoor dat studies, annotatietaken of andere projecten een diverse reeks deelnemers en, gevolglijk, een breed scala aan inzichten ontvangen.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten Prolific bezoeken.