Andrew Gordon, Consultant de Cercetare Senior, Prolific – Seria de Interviuri

Andrew Gordon se bazează pe fundalul său robust în psihologie și neuroștiințe pentru a descoperi insight-uri ca cercetător. Cu o licență în psihologie, master în neuropsihologie și doctorat în neuroștiințe cognitive, Andrew folosește principiile științifice pentru a înțelege motivațiile consumatorilor, comportamentul și procesul de luare a deciziilor.

Prolific a fost creat de cercetători pentru cercetători, având scopul de a oferi o metodă superioară pentru obținerea de date și feedback de înaltă calitate pentru cercetările de ultimă generație. Astăzi, peste 35.000 de cercetători din mediul academic și industrial se bazează pe Prolific AI pentru a colecta date și feedback uman definitive. Platforma este cunoscută pentru participanții săi de încredere, implicați și tratați corect, cu un nou studiu lansat la fiecare trei minute.

Cum folosiți fundalul dvs. în neuroștiințe cognitive pentru a ajuta cercetătorii care întreprind proiecte care implică AI?

Un punct de plecare bun este definirea a ceea ce reprezintă de fapt neuroștiințele cognitive. În esență, neuroștiințele cognitive investighează fundamentele biologice ale proceselor cognitive. Acestea combină principiile din neuroștiințe și psihologie, și ocazional știința computerelor, printre altele, ceea ce ne ajută să înțelegem cum creierul nostru permite diverse funcții mentale. În esență, oricine practică cercetarea în neuroștiințe cognitive are nevoie de o înțelegere solidă a metodelor de cercetare și de o bună înțelegere a modului în care oamenii gândesc și se comportă. Aceste două aspecte sunt cruciale și pot fi combinate pentru a dezvolta și a conduce cercetări de înaltă calitate în AI. O observație importantă, totuși, este că cercetarea în AI este un termen larg; poate implica orice, de la formarea modelelor de bază și annotarea datelor până la înțelegerea modului în care oamenii interacționează cu sistemele AI. Conducerea proiectelor de cercetare cu AI nu este diferită de conducerea proiectelor de cercetare în afara AI; aveți nevoie de o bună înțelegere a metodelor, de proiectarea studiilor pentru a crea cele mai bune date, de mostre corecte pentru a evita prejudecățile și apoi de utilizarea acestor date în analize eficiente pentru a răspunde oricărei întrebări de cercetare pe care o abordați.

Prolific subliniază tratamentul etic și compensarea corectă a participanților. Puteți împărtăși insight-uri despre provocările și soluțiile pentru menținerea acestor standarde?

Modelul nostru de compensare este proiectat pentru a asigura că participanții sunt valorizați și recompensați, simțindu-se astfel că joacă un rol semnificativ în mașina de cercetare (pentru că o fac). Noi credem că tratamentul corect și plata echitabilă a participanților îi motivează să se implice mai profund în cercetare și, în consecință, să furnizeze date de calitate superioară.

Din nefericire, majoritatea platformelor de eșantionare online nu impun aceste principii de plată etică și tratament. Rezultatul este un grup de participanți care este motivat nu să se implice în cercetare, ci să o parcurgă cât mai repede posibil pentru a-și maximiza potențialul de câștig, ceea ce duce la date de calitate scăzută. Menținerea poziției noastre la Prolific este o provocare; luptăm, în esență, împotriva curentului. Status quo-ul în cercetarea AI și în alte forme de cercetare online nu s-a concentrat pe tratamentul participanților sau pe bunăstarea lor, ci mai degrabă pe maximizarea cantității de date care pot fi colectate pentru cel mai mic cost.

Faptul de a face ca comunitatea mai largă de cercetare să înțeleagă de ce am adoptat această abordare și valoarea pe care o vor vedea prin utilizarea noastră, în contrast cu o platformă concurentă, prezintă o provocare considerabilă. O altă provocare, din punct de vedere logistic, implică dedicarea unei cantități semnificative de timp pentru a răspunde la preocupările, întrebările sau plângerile participanților sau cercetătorilor noștri în mod prompt și corect. Noi dedicăm mult timp acestui aspect, deoarece menține utilizatorii de ambele părți – participanții și cercetătorii – fericiți, încurajându-i să continue să utilizeze Prolific. Cu toate acestea, ne bazăm și pe cercetătorii care utilizează platforma noastră pentru a respecta standardele noastre ridicate de tratament și compensare, odată ce participanții sunt direcționați către sarcina sau chestionarul cercetătorului și, astfel, părăsesc ecosistemul Prolific. Ce se întâmplă în afara platformei noastre este, într-adevăr, sub controlul echipei de cercetare, așa că ne bazăm nu numai pe participanți pentru a ne informa dacă există ceva în neregulă, ci și pe cercetătorii noștri pentru a menține cele mai înalte standarde posibile. Încercăm să oferim cât mai multe îndrumări posibile pentru a asigura că acest lucru se întâmplă.

Luarând în considerare modelul de afaceri Prolific, care sunt gândurile dvs. despre rolul esențial al feedback-ului uman în dezvoltarea AI, în special în domenii precum detectarea prejudecăților și îmbunătățirea raționamentului social?

Feedback-ul uman în dezvoltarea AI este crucial. Fără implicarea umană, riscăm să perpetuăm prejudecăți, să ignorăm nuanțele interacțiunii sociale umane și să nu abordăm unele dintre considerentele etice negative asociate cu AI. Acest lucru ar putea împiedica progresul nostru către crearea unor sisteme AI responsabile, eficiente și etice. În ceea ce privește detectarea prejudecăților, integrarea feedback-ului uman în timpul procesului de dezvoltare este crucială, deoarece ar trebui să ne străduim să dezvoltăm AI care să reflecte o gamă cât mai largă de opinii și valori, fără a favoriza una în detrimentul celeilalte. Diferite demografii, origini și culturi au prejudecăți inconștiente care, deși nu sunt neapărat negative, ar putea reflecta totuși o perspectivă care nu ar fi larg acceptată. O cercetare colaborativă între Prolific și Universitatea din Michigan a subliniat modul în care background-urile diferiților annotatori pot afecta semnificativ modul în care ei evaluează aspecte precum toxicitatea discursului sau politețea. Pentru a aborda acest lucru, implicarea participanților din medii diverse, culturi și perspective poate preveni încorporarea acestor prejudecăți în sistemele AI aflate în dezvoltare. În plus, feedback-ul uman permite cercetătorilor în AI să detecteze forme mai subtile de prejudecăți care nu ar fi detectate de metodele automate. Acest lucru oferă oportunitatea de a aborda prejudecățile prin ajustări în algoritmi, modele subiacente sau tehnici de prelucrare a datelor.

Situația cu raționamentul social este, în esență, aceeași. AI-ul se confruntă adesea cu dificultăți la sarcinile care necesită raționament social, deoarece, prin natura sa, nu este un ființă socială, în timp ce oamenii sunt. Detectarea contextului atunci când se pune o întrebare, înțelegerea ironiei sau recunoașterea semnalelor emoționale necesită un raționament social similar cu cel uman, pe care AI-ul nu îl poate învăța singur. Noi, ca oameni, învățăm social, așa că singura modalitate de a învăța un sistem AI aceste tehnici de raționament este prin utilizarea feedback-ului uman real pentru a antrena AI-ul să interpreteze și să răspundă la diverse semnale sociale. La Prolific, am dezvoltat un set de date pentru raționament social proiectat special pentru a preda AI-ului această abilitate importantă.

În esență, feedback-ul uman nu numai că ajută la identificarea domeniilor în care sistemele AI excelează sau eşuează, dar permite și dezvoltatorilor să facă îmbunătățirile și rafinările necesare ale algoritmilor. Un exemplu practic al acestui fapt este observat în modul în care funcționează ChatGPT. Atunci când puneți o întrebare, uneori ChatGPT oferă două răspunsuri și vă cere să evaluați care este cel mai bun. Acestă abordare se adoptă pentru că modelul este întotdeauna în curs de învățare, iar dezvoltatorii înțeleg importanța input-ului uman pentru a determina cele mai bune răspunsuri, în loc să se bazeze exclusiv pe un alt model.

Prolific a fost instrumental în conectarea cercetătorilor cu participanții pentru antrenarea și cercetarea AI. Puteți împărtăși unele povești de succes sau progrese semnificative în AI care au fost posibile prin platforma dvs.?

Datorită naturii comerciale a multor dintre lucrările noastre de AI, în special în spațiul non-academic, majoritatea proiectelor în care suntem implicați se află sub acorduri stricte de non-divulgare. Acest lucru se face, în primul rând, pentru a asigura confidențialitatea tehnicilor sau metodelor, protejându-le de a fi replicate. Cu toate acestea, un proiect pe care îl putem discuta este parteneriatul nostru cu Remesh, o platformă de insight-uri bazată pe AI. Am colaborat cu OpenAI și Remesh pentru a dezvolta un sistem care utilizează mostre reprezentative ale populației din SUA. În acest proiect, mii de indivizi dintr-un eșantion reprezentativ au participat la discuții despre politici legate de AI prin sistemul Remesh, permițând dezvoltarea unor politici de AI care reflectă voința publică largă, și nu doar a unei demografii selecte, mulțumită capacității Prolific de a oferi un astfel de eșantion divers.

Privind spre viitor, care este viziunea dvs. asupra dezvoltării etice a AI și cum intenționează Prolific să contribuie la realizarea acestei viziuni?

Speranța mea pentru viitorul AI și dezvoltarea sa se bazează pe recunoașterea faptului că AI va fi la fel de bună pe cât sunt datele pe care este antrenat. Importanța calității datelor nu poate fi supraestimată pentru sistemele AI. Antrenarea unui sistem AI pe date de calitate scăzută duce inevitabil la un sistem AI subpar. Singura modalitate de a asigura date de calitate superioară este prin asigurarea recrutării unui grup divers și motivat de participanți, dispuși să furnizeze cele mai bune date posibile. La Prolific, abordarea și principiile noastre de ghidare vizează să cultive exact acest lucru. Prin crearea unui grup de participanți personalizați, verificați și de încredere, ne așteptăm ca cercetătorii să utilizeze această resursă pentru a dezvolta sisteme AI mai eficiente, mai fiabile și mai de încredere în viitor.

Care sunt unele dintre cele mai mari provocări pe care le întâmpinați în colectarea datelor de antrenare AI de înaltă calitate, bazate pe implicarea umană, și cum depășește Prolific aceste obstacole?

Cea mai semnificativă provocare, fără îndoială, este calitatea datelor. Datele proaste nu sunt doar inutile, ci pot duce, de asemenea, la rezultate dăunătoare, în special atunci când sistemele AI sunt utilizate în domenii critice, cum ar fi piețele financiare sau operațiunile militare. Această preocupare subliniază principiul esențial “gunoi în, gunoi ieșit”. Dacă datele de intrare sunt de calitate scăzută, sistemul AI rezultat va fi, în mod inerent, de calitate scăzută sau utilitate. Majoritatea mostrelor online tind să producă date de calitate inferioară decât ceea ce este optim pentru dezvoltarea AI. Există numeroase motive pentru acest lucru, dar un factor cheie pe care Prolific îl abordează este tratamentul general al participanților online. Adesea, acești indivizi sunt priviți ca fiind de prisos, primind o compensație scăzută, un tratament prost și puțin respect din partea cercetătorilor. Prin angajamentul față de tratamentul etic al participanților, Prolific a cultivat un grup de contribuitori motivați, implicați, gânditori, onești și atenți. Prin urmare, atunci când datele sunt colectate prin Prolific, calitatea lor superioară este asigurată, susținând modele AI fiabile și de încredere.

O altă provocare pe care o întâmpinăm cu datele de antrenare AI este asigurarea diversității în eșantion. În timp ce mostrele online au extins considerabil sfera și varietatea indivizilor pe care îi putem studia, comparativ cu metodele față-în-față, acestea sunt, în mod predominant, limitate la persoane din țări occidentale. Aceste mostre se îndreaptă, de obicei, către demografii mai tinere, persoane cu abilități de utilizare a computerului, educați și mai puțin inclinați spre stânga. Acest lucru nu reflectă pe deplin populația globală. Pentru a aborda acest lucru, Prolific are participanți din peste 38 de țări din întreaga lume. De asemenea, oferim cercetătorilor noștri instrumente pentru a specifica exact structura demografică a eșantionului lor în avans. În plus, oferim mostre reprezentative prin șabloane de potrivire cu recensământul, cum ar fi vârsta, sexul și etnia, sau chiar prin afiliere politică. Acest lucru asigură că studiile, sarcinile de annotare sau alte proiecte primesc o gamă largă de participanți și, în consecință, o varietate de insight-uri.

Mulțumim pentru acest interviu minunat; cititorii care doresc să afle mai multe ar trebui să viziteze Prolific.