Andrew Gordon, Senior Research Consultant, Prolific – Haastattelusarja

Andrew Gordon hyödyntää vahvaa taustaaan psykologiassa ja neurotieteissä saadakseen selkeät näkemykset tutkijana. Psykologian kandidaatin tutkinnon, neuropsykologian maisterin tutkinnon ja kognitiivisen neurotieteen tohtorin tutkinnon suorittaneena Andrew soveltaa tieteellisiä periaatteita ymmärtääkseen kuluttajien motivaatiota, käyttäytymistä ja päätöksentekoa.

Prolific on tutkijoille kehitetty tutkijoiden toimesta, ja sen tavoitteena on tarjota korkealaatuisen ihmiskohtaisen aineiston ja syötteen hankkimiseen parempi tapa. Tänään yli 35 000 tutkijaa akateemisista ja teollisista aloista luottaa Prolific AI:hin kerätäkseen määrääväisiä ihmiskohtaisia tietoja ja palautetta. Alusta on tunnettu luotettavista, sitoutuneista ja reilusti kohteluistaan osallistujista, ja uusi tutkimus käynnistetään joka kolmas minuutti.

Miten hyödytät taustastasi kognitiivisessa neurotieteessä auttaaksesi tutkijoita, jotka toteuttavat projekteja, jotka liittyvät tekoälyyn?

Hyvä lähtökohta on määritellä, mitä kognitiivinen neurotiede oikeasti kattaa. Kognitiivinen neurotiede tutkii kognitiivisten prosessien biologisia perusteita. Se yhdistää neurotieteen ja psykologian periaatteita, ja toisinaan tietojenkäsittelytieteen periaatteita, mikä auttaa meitä ymmärtämään, miten aivomme mahdollistaa erilaiset henkiset toiminnot. Kuka tahansa, joka harjoittaa kognitiivista neurotieteen tutkimusta, tarvitsee vahvan käsityksen tutkimusmenetelmistä ja hyvän ymmärryksen siitä, miten ihmiset ajattelevat ja käyttäytyvät. Nämä kaksi asiaa ovat olennaisia ja voidaan yhdistää kehittääkseen ja suorittaaakseen korkealaatuisia tekoälytutkimuksia. Yksi varoitus on kuitenkin se, että tekoälytutkimus on laaja termi; se voi käsittää kaikkea perustavanlaatuisten mallien koulutuksesta ja datan annotoinnista aina siihen, miten ihmiset vuorovaikuttavat tekoälyjärjestelmien kanssa. Tutkimushankkeiden suorittaminen tekoälyllä ei ole erilaista kuin tutkimushankkeiden suorittaminen tekoäly ulkopuolella; sinun tarvitsee edelleen ymmärtää menetelmiä, suunnitella tutkimuksia luodaksesi parhaan datan, ottaa näyte oikein välttääksesi harhaa ja sitten käyttää tietoja tehokkaissa analyyseissä vastataksesi tutkimuskysymyksiin, joita olet tutkimassa.

Prolific korostaa eettistä kohtelua ja reilua korvausta osallistujilleen. Voitko jakaa näkemyksiä haasteista ja ratkaisuista ylläpitääksesi näitä standardeja?

Korvausmallimme on suunniteltu varmistamaan, että osallistujat arvostetaan ja palkitaan, jolloin he tuntevat olevansa merkittävä osa tutkimuskonetta (koska he ovat). Uskomme, että osallistujien reilu palkkio motivoi heitä sitoutumaan tutkimukseen ja tarjoamaan paremman datan.

Valitettavasti useimmat online-otantamenetelmät eivät noudatta näitä eettisiä palkkion ja kohtelun periaatteita. Tuloksena on osallistujajoukko, joka on motivoidun siihen, ettei sitoutuisi tutkimukseen, vaan suorittaisi sen mahdollisimman nopeasti maksimoimaan ansaitsemisen mahdollisuutensa, mikä johtaa heikkolaatuiseen dataan. Prolificin kannan ylläpitäminen on haasteellista; taistelemme itseään vastaan. Tutkimuksen tila tekoälytutkimuksessa ja muissa online-tutkimuksissa ei ole keskittynyt osallistujien kohteluun tai hyvinvointiin, vaan maksimoidaanko kerättävän datan määrää alhaisimalla kustannuksella.

Tehdäkseen tutkimusyhteisölle selväksi, miksi olemme valinneet tämän lähestymistavan ja mitä arvoa he näkevät käyttämällä meitä kilpailevan alustan sijaan, esittää haasteen. Toinen haaste on logistisesta näkökulmasta, ja se vaatii merkittävän määrän aikaa vastatakseen osallistujien tai tutkijoiden huolenaiheisiin, kysymyksiin tai valituksiin ajallaan ja reilusti. Omistamme paljon aikaa tähän, koska se pitää käyttäjiä molemmilla puolilla – osallistujia ja tutkijoita – tyytyväisinä, rohkaisten heitä palaamaan Prolificiin. Kuitenkin luotamme myös siihen, että tutkijat, jotka käyttävät alustaa, noudattavat korkeimpia mahdollisia kohtelun ja korvauksen standardeja, kun osallistujat siirtyvät tutkijan tehtävään tai kyselyyn ja jättävät Prolificin ekosysteemin. Se, mitä tapahtuu alustan ulkopuolella, on tutkimusryhmän valvontaa, joten riippumme sekä osallistujien ilmoittamisesta, jos jotain on vialla, että tutkijamme noudattavat korkeimpia mahdollisia standardeja. Yritämme tarjota niin paljon ohjeistusta kuin mahdollista varmistamaan, että tämä tapahtuu.

Miten Prolificin liiketoimintamalli vaikuttaa siihen, miten näet tekoälyn kehittämisen oleellisen roolin, erityisesti alueilla, kuten harhan havaitsemisessa ja sosiaalisen päättelyn parantamisessa?

Ihmisten palautteen merkitys tekoälyn kehittämisessä on keskeinen. Ilman ihmisten osallistumista vaaritsemme jatkamalla harhoja, ohittamalla sosiaalisen vuorovaikutuksen nuansseja ja epäonnistumalla osoittamaan joitain tekoälyyn liittyviä kielteisiä eettisiä huolenaiheita. Tämä voi hidastaa edistymistämme vastuullisten, tehokkaiden ja eettisten tekoälyjärjestelmien luomisessa. Harhan havaitsemisen suhteen ihmisten palautteen sisällyttäminen kehitysprosessiin on tärkeää, koska pyrkimyksenä on kehittää tekoälyä, joka heijastaa mahdollisimman laajan näkemyksen ja arvojen kirjoa ilman, että suositaan yhtä yli toisen. Eri demografiat, taustat ja kulttuurit kaikki sisältävät tiedostamattomia harhoja, jotka eivät välttämättä ole kielteisiä, mutta voivat silti heijastaa näkökulmaa, jota ei yleisesti pidetä. Yhteistyö Prolificin ja Michiganin yliopiston kanssa korosti, miten eri annotoijien taustat voivat vaikuttaa merkittävästi siihen, miten he arvioivat puheen myrkyllisyyttä tai kohteliaisuutta. Tämän vuoksi osallistujien rekrytointi monipuolisista taustoista, kulttuureista ja näkökulmista voi estää näiden harhojen vakiintumisen kehittyvissä tekoälyjärjestelmissä. Lisäksi ihmisten palautteen avulla tekoälytutkijat voivat havaita hienovaraisempia harhoja, joita automaattiset menetelmät eivät voi havaita. Tämä mahdollistaa mahdollisuuden oikaista harhoja sopeuttamalla algoritmeja, perusmalleja tai data-esikäsittelytekniikoita.

Sosiaalisen päättelyn tilanne on käytännössä sama. Tekoäly kamppailee usein tehtävien kanssa, jotka vaativat sosiaalista päättelyä, koska se ei luonteeltaan ole sosiaalinen olento, kun taas ihmiset ovat. Kontekstin havaitseminen, kun kysymys esitetään, sarkasmin ymmärtäminen tai emotionaalisten vihjeiden tunnistaminen vaativat inhimillistä sosiaalista päättelyä, jota tekoäly ei voi oppia itse. Opimme sosiaalisesti, joten ainoastaan keino, jolla voidaan opettaa tekoälyjärjestelmää näille sosiaalisille päättelytekniikoille, on käyttää todellista ihmisten palautetta kouluttaakseen tekoälyä tulkitsemaan ja reagoimaan eri sosiaalisiin vihjeisiin. Prolificissa kehittimme sosiaalisen päättelyn aineiston erityisesti opettaakseen tekoälymallien tätä tärkeää taitoa.

Olennaisesti ihmisten palautteen avulla voidaan tunnistaa alueet, joilla tekoälyjärjestelmät menestyvät tai epäonnistuvat, ja kehittäjät voivat tehdä tarvittavat parannukset ja hienosäätöä algoritmeihin. Praktinen esimerkki tästä on havaittavissa siinä, miten ChatGPT toimii. Kun kysyt kysymyksen, ChatGPT esittää toisinaan kaksi vastausta ja pyytää sinua arvioimaan, kumpi on paras. Tämä lähestymistapa on otettu, koska malli on aina oppimassa, ja kehittäjät ymmärtävät ihmisten syötteen merkityksen määrittääkseen parhaat vastaukset eikä riipu pelkästään toisesta mallista.

Prolific on ollut avainasemassa yhdistääkseen tutkijat osallistujien kanssa tekoälyn koulutukseen ja tutkimukseen. Voitko jakaa joitain menestystarinoita tai merkittäviä edistysaskeleita tekoälyssä, jotka olivat mahdollisia Prolificin kautta?

Johtuen kaupallisen luonteen vuoksi monista AI-työstämme, erityisesti ei-akateemisilla aloilla, useimmat hankkeemme ovat tiukkojen salassapitovelvoitteiden alaisia. Tämä on ennen kaikkea varmistamaan tekniikoiden ja menetelmien luottamuksellisuutta suojelemalla niitä jäljittelyltä. Yksi hanke, jota voimme kuitenkin keskustella, on yhteistyömme Remeshin kanssa, joka on tekoälyvoittoinen oivalluksia tarjoava alusta. Yhteistyössä OpenAI:n ja Remeshin kanssa kehittimme järjestelmän, joka hyödyntää edustavaa otantaa Yhdysvaltain väestöstä. Tässä hankkeessa tuhannet yksilöt edustavan otannan mukaisesti osallistuivat keskusteluihin tekoälyyn liittyvistä politiikoista Remeshin järjestelmän kautta, mahdollistaen tekoälypolitiikkojen kehittämisen, jotka heijastavat laajan yleisön tahdon eikä valittua demografiaa, kiitos Prolificin kyvyn tarjota sellaisen monipuolisen otannan.

Miten näet tulevaisuuden tekoälyn eettiselle kehittämiselle, ja miten Prolific aikoo vaikuttaa tämän visioon?

Toivoni tekoälyn tulevaisuudelle ja sen kehittämiselle perustuu siihen, että tekoäly on vain yhtä hyvä kuin siihen käytetty data. Datan laadun merkitystä tekoälyjärjestelmissä ei voida liioitella. Kouluttaa tekoälyjärjestelmä heikkolaatuiselle datalle, johtaa väistämättä heikkolaatuiseen tekoälyjärjestelmään. Ainoa keino varmistaa korkealaatuinen data on varmistaa, että osallistujat ovat monipuolisia ja motivoituneita ryhmä, jotka ovat halukkaita tarjoamaan parhaan mahdollisen datan. Prolificin lähestymistapa ja johtavat periaatteet tähtäävät luomaan juuri tätä. Luomalla räätälöidyn, tarkasti tarkistetun ja luotettavan osallistujajoukon odotamme, että tutkijat käyttävät tätä voimavaraa kehittääkseen tulevaisuudessa tehokkaampia, luotettavampia ja luotettavampia tekoälyjärjestelmiä.

Mitkä ovat suurimmat haasteet, joita kohtaat korkealaatuisen, ihmisten voimin tuetun tekoälykoulutusdatan keräämisessä, ja miten Prolific voittaa nämä esteet?

Suurin haaste on ilman muuta datan laatu. Huono data ei ole ainoastaan hyödytön – se voi johtaa haitallisiin lopputuloksiin, erityisesti silloin, kun tekoälyjärjestelmiä käytetään kriittisillä aloilla, kuten rahoitusmarkkinoilla tai sotilaallisilla operaatioilla. Tämä korostaa “roska sisään, roska ulos” -periaatetta. Jos syötteenä oleva data on ala-arvoista, johtaa se luonnollisesti alhaisen laadun tekoälyjärjestelmään. Useimmat online-otannat tuottavat heikkolaatuisempaa dataa kuin mitä on optimaalista tekoälykehittämiseen. On useita syitä tähän, mutta yksi avaintekijä, jota Prolific korjaa, on yleinen osallistujien kohtelu. Usein nämä yksilöt kohdellaan kuin heittokapulana, saavat alhaisen korvauksen, heikkolaatuisen kohtelun ja vähän kunnioitusta tutkijoilta. Sitoutumalla eettiseen osallistujien kohteluun Prolific on kasvattanut motivaation, sitoutuneen, ajattelevan, rehellisen ja tarkkaavaisen osallistujien joukon. Siksi kun data kerätään Prolificin kautta, sen korkealaatuinen luonne on taattu, ja se tukee luotettavia ja luotettavia tekoälymalleja.

Toinen haaste, jota kohtaamme tekoälykoulutusdatan kanssa, on varmistaa monipuolisuus otoksessa. Vaikka online-otokset ovat laajentaneet tutkimuksen piiriä ja moninaisuutta verrattuna läsnäolo-menetelmiin, ne rajoittuvat usein länsimaisiin maihin. Näiden otosten valikoima usein kallistuu nuorempiin, tietokoneen käyttäjiin, korkeasti koulutettuihin ja enemmän vasemmalle kallistuviin demografiaryhmiin. Tämä ei edusta täysin maailman väestöä. Prolificilla on osallistujia yli 38 maasta maailmanlaajuisesti. Tarjoamme myös tutkijoille työkaluja määrittääksesi tarkkaan otoksensa demografinen koostumus etukäteen. Lisäksi tarjoamme edustavan otoksen kokoamismallien kautta, kuten ikä, sukupuoli ja etnisyys tai jopa poliittinen sitoutuminen. Tämä varmistaa, että tutkimukset, annotointitehtävät tai muut hankkeet saavat monipuolisen joukon osallistujia ja siten laajan kirjon näkemyksiä. Kiitos Prolificin kyvyn tarjota sellaisen monipuolisen otoksen.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, voivat vierailla Prolificissa.