Andrew Gordon, Senior Research Consultant, Prolific – Interview Series

Andrew Gordon využívá své robustní znalosti z oblasti psychologie a neurovědy k získání poznatků jako výzkumník. S titulem BSc v oboru psychologie, MSc v oboru neuropsychologie a Ph.D. v oboru kognitivní neurovědy využívá Andrew vědecké principy k pochopení motivace spotřebitelů, chování a rozhodování.

Prolific byl vytvořen výzkumníky pro výzkumníky, s cílem nabídnout lepší metodu pro získání kvalitních lidských dat a vstupů pro pokročilý výzkum. Dnes více než 35 000 výzkumníků z akademické a průmyslové sféry spoléhá na Prolific AI pro sběr definitivních lidských dat a zpětné vazby. Platforma je známá svými spolehlivými, zapojenými a spravedlivě léčenými účastníky, s novým studiem, které je spuštěno každých tři minuty.

Jak využíváte své znalosti z oblasti kognitivní neurovědy k pomoci výzkumníkům, kteří se zabývají projekty zahrnujícími AI?

Dobrý výchozí bod je definice toho, co kognitivní neurověda vlastně zahrnuje. Základní myšlenka spočívá v tom, že kognitivní neurověda zkoumá biologické základy kognitivních procesů. Kombinuje principy z neurovědy a psychologie a příležitostně i počítačové vědy, což nám pomáhá pochopit, jak naše mozek umožňuje různé mentální funkce. Základní myšlenka je, že kdokoli, kdo praktikuje výzkum v oblasti kognitivní neurovědy, musí mít silné znalosti výzkumných metod a dobrého pochopení toho, jak lidé myslí a jednají. Tyto dva aspekty jsou zásadní a mohou být kombinovány pro vývoj a běh vysoce kvalitních výzkumných projektů AI. Jedna výhrada je však taková, že výzkum AI je široký pojem; může zahrnovat cokoli od základního školení modelů a anotace dat až po pochopení, jak lidé interagují s AI systémy. Běh výzkumných projektů s AI není jiný než běh výzkumných projektů mimo AI; stále potřebujete dobré pochopení metod, navrhnout studie pro vytvoření nejlepších dat, vzorkovat správně, aby se zabránilo zkreslení, a poté použít tato data v efektivní analýze pro zodpovězení výzkumné otázky.

Prolific zdůrazňuje etické zacházení a spravedlivé odměňování účastníků. Můžete sdílet poznatky o výzvách a řešeních při udržování těchto standardů?

Náš model odměňování je navržen tak, aby zajistil, že účastníci jsou oceněni a odměněni, a cítí se tak, že hrají významnou roli ve výzkumném procesu (protože skutečně hrají). Věříme, že spravedlivé zacházení s účastníky a poskytování spravedlivé odměny motivuje je k hlubšímu zapojení do výzkumu a následně poskytují lepší data.

Bohužel většina online vzorkovacích platforem nedodržuje tyto principy etického odměňování a zacházení. Výsledkem je účastnický bazén, který je motivován ne k zapojení do výzkumu, ale k jeho rychlému projití, aby maximalizoval svůj výdělek, což vede k nízkokvalitním datům. Udržování postoje, který zaujímáme na Prolific, je náročné; vlastně bojujeme proti proudu. Status quo ve výzkumu AI a jiných formách online výzkumu se nezaměřoval na zacházení s účastníky nebo jejich blaho, ale spíše na maximalizaci množství dat, která lze shromáždit za nejnižší náklady.

Získání širšího výzkumného společenství, aby pochopilo, proč jsme zvolili tento přístup a jakou hodnotu uvidí, když nás použijí, místo konkurenční platformy, představuje velkou výzvu. Další výzvou, z logistického hlediska, je věnovat značné množství času na odpovědi na obavy, dotazy nebo stížnosti našich účastníků nebo výzkumníků včas a spravedlivě. Věnujeme tomuto hodně času, protože to udržuje uživatele na obou stranách – účastníky a výzkumníky – spokojené, a motivuje je k návratu na Prolific. Nicméně také silně spoléháme na výzkumníky, kteří používají naši platformu, aby dodržovali naše vysoké standardy zacházení a odměňování, jednou když jsou účastníci přeneseni k úkolům nebo průzkumům výzkumníka a opouštějí ekosystém Prolific. Co se děje mimo naši platformu, je skutečně v kontrolě výzkumného týmu, takže se spoléháme nejen na účastníky, aby nás informovali o tom, zda je něco špatně, ale také na naše výzkumníky, aby dodržovali nejvyšší možné standardy. Pokoušíme se poskytnout co největší množství pokynů, aby se zajistilo, že k tomu dojde.

Při zohlednění obchodního modelu Prolific, jaké jsou vaše myšlenky na esenciální roli lidské zpětné vazby ve vývoji AI, zejména v oblastech, jako je detekce zkreslení a zlepšení sociálního uvažování?

Lidská zpětná vazba ve vývoji AI je zásadní. Bez lidského zapojení riskujeme, že budeme udržovat zkreslení, přehlížet jemnosti lidské sociální interakce a nezřídíme negativní etické úvahy spojené s AI. To by mohlo brzdit náš pokrok směrem k vytváření zodpovědných, účinných a etických AI systémů. V oblasti detekce zkreslení je zapojení lidské zpětné vazby během vývojového procesu zásadní, protože bychom měli mít za cíl vyvinout AI, které odráží co nejširší rozsah názorů a hodnot, bez upřednostňování jednoho nad druhým. Různé demografické skupiny, pozadí a kultury mají všechny nevědomá zkreslení, která, ačkoli nejsou nutně negativní, mohou stále odrážet pohled, který by nebyl široce sdílen. Společný výzkum Prolific a Michiganské univerzity ukázal, jak pozadí různých anotátorů může významně ovlivnit, jak hodnotí aspekty, jako je toxicity řeči nebo zdvořilost. Abychom tento problém řešili, zapojení účastníků z různých pozadí, kultur a perspektiv může zabránit tomu, aby se tato zkreslení vryla do AI systémů ve vývoji. Kromě toho lidská zpětná vazba umožňuje AI výzkumníkům detekovat jemnější formy zkreslení, které by nemusely být zachyceny automatickými metodami. To umožňuje příležitost řešit zkreslení prostřednictvím úprav algoritmů, základních modelů nebo technik předzpracování dat.

Situace se sociálním uvažováním je v podstatě stejná. AI často zápasí s úkoly, které vyžadují sociální uvažování, protože AI není sama o sobě sociálním být. Detekce kontextu, kdy je položena otázka, pochopení sarkasmu nebo rozpoznání emocionálních signálů, vyžaduje lidské sociální uvažování, které AI nemůže naučit samo. My, jako lidé, se učíme sociálně, takže jediný způsob, jak naučit AI systém tyto typy uvažování, je pomocí skutečné lidské zpětné vazby pro výuku AI, aby interpretoval a reagoval na různé sociální signály. Na Prolific jsme vyvinuli datovou sadu pro sociální uvažování speciálně navrženém pro výuku AI tohoto důležitého dovednosti.

V podstatě lidská zpětná vazba nejen pomáhá identifikovat oblasti, kde AI systémy vynikají nebo selhávají, ale také umožňuje vývojářům provést nezbytná vylepšení a úpravy algoritmů. Praktickým příkladem toho je pozorováno v tom, jak funguje ChatGPT. Když položíte otázku, někdy ChatGPT nabízí dvě odpovědi a žádá vás, abyste je ohodnotili, která je nejlepší. Tento přístup je zvolen, protože model se stále učí, a vývojáři chápou důležitost lidského vstupu pro určení nejlepších odpovědí, místo aby se spoléhali pouze na jiný model.

Prolific sehrál klíčovou roli v propojení výzkumníků s účastníky pro školení AI a výzkum. Můžete sdílet některé úspěchy nebo významné pokroky v AI, které byly umožněny prostřednictvím vaší platformy?

Vzhledem k komerční povaze mnoha našich projektů AI, zejména v neakademických prostorech, většina našich projektů je pod přísnými dohodami o mlčenlivosti. To je primárně zajištěno, aby se ochránilo utajení technik nebo metod, chráněno před replikací. Nicméně jeden projekt, o kterém můžeme diskutovat, zahrnuje naši spolupráci s Remesh, AI poháněnou platformou pro získání poznatků. Spolupracovali jsme s OpenAI a Remesh na vývoji systému, který využívá reprezentativní vzorky populace USA. V tomto projektu tisíce jedinců z reprezentativního vzorku se zapojily do diskusí o AI souvisejících politikách prostřednictvím systému Remesh, což umožnilo vývoj AI politik, které odrážejí širokou vůli veřejnosti, a nikoli pouze vybranou demografickou skupinu, díky schopnosti Prolific poskytnout takový rozmanitý vzorek.

Pohledem do budoucnosti, co je váš výhled pro budoucnost etického vývoje AI, a jak Prolific plánuje přispět k dosažení tohoto výhledu?

Mé naděje pro budoucnost AI a jeho vývoje spočívají v uznání, že AI bude pouze tak dobrý, jako jsou data, na kterých je trénován. Důležitost kvality dat nemůže být přehlížena pro AI systémy. Školení AI systému na nekvalitních datech nevyhnutelně vede k podprůměrnému AI systému. Jediný způsob, jak zajistit kvalitní data, je zajištění náboru rozmanité a motivované skupiny účastníků, kteří jsou ochotni poskytnout nejlepší možná data. Na Prolific naše přístupy a řídící principy směřují k tomu, aby toto prostředí vytvořily. Tvořením speciálního, důkladně ověřeného a důvěryhodného účastnického bazénu předpokládáme, že výzkumníci budou tento zdroj využívat pro vývoj efektivnějších, spolehlivějších a důvěryhodnějších AI systémů v budoucnu.

Jaké jsou některé z největších výzev, kterým čelíte při sběru vysoce kvalitních, lidsky poháněných dat pro školení AI, a jak Prolific překonává tyto překážky?

Největší výzvou, bezpochyby, je kvalita dat. Špatná data nejsou pouze nepomocná – mohou dokonce vést k škodlivým výsledkům, zejména když jsou AI systémy nasazeny v kritických oblastech, jako jsou finanční trhy nebo vojenské operace. To zdůrazňuje zásadní princip “špatný vstup, špatný výstup”. Pokud jsou vstupní data podprůměrná, výsledný AI systém bude nutně také nízké kvality nebo užitku. Většina online vzorků tenduje k produkci dat nižší kvality, než je optimální pro vývoj AI. Existuje mnoho důvodů pro to, ale jeden z klíčových faktorů, kterým se Prolific zabývá, je obecné zacházení s online účastníky. Často jsou tito jedinci považováni za výměnné, dostávají nízkou odměnu, špatné zacházení a málo respektu od výzkumníků. Díky závazku k etickému zacházení s účastníky Prolific pěstuje bazén motivovaných, zapojených, uvážlivých, upřímných a pozorných přispěvatelů. Proto, když jsou data shromažďována prostřednictvím Prolific, jejich vysoká kvalita je zajištěna, což podkládá spolehlivé a důvěryhodné AI modely.

Další výzvou, se kterou se setkáváme u dat pro školení AI, je zajištění rozmanitosti ve vzorku. Zatímco online vzorky výrazně rozšířily rozsah a variabilitu jedinců, které můžeme studovat ve srovnání s metodami osobního výzkumu, jsou převážně omezeny na lidi ze západních zemí. Tyto vzorky se často naklánějí k mladším, počítačově gramotným, vysoce vzdělaným a více levicově orientovaným demografickým skupinám. To plně neodráží globální populaci. Abychom tento problém řešili, Prolific má účastníky z více než 38 zemí po celém světě. Kromě toho poskytujeme našim výzkumníkům nástroje pro specifikaci exactní demografické skladby jejich vzorku předem. Navíc nabízíme reprezentativní vzorkování prostřednictvím šablon census match, jako je věk, pohlaví a etnický původ, nebo dokonce podle politické příslušnosti. To zajišťuje, že studie, úkoly anotace nebo jiné projekty obdrží rozmanitý rozsah účastníků a následně širokou škálu poznatků.

Děkuji za skvělý rozhovor, čtenáři, kteří chtějí se dozvědět více, by měli navštívit Prolific.