Andrew Gordon, Consultant de Cercetare Senior, Prolific – Seria de Interviuri

Andrew Gordon se bazează pe experiența sa solidă în psihologie și neuroștiințe pentru a descoperi insight-uri ca cercetător. Cu o diplomă de licență în psihologie, master în neuropsihologie și doctorat în neuroștiințe cognitive, Andrew folosește principiile științifice pentru a înțelege motivațiile consumatorilor, comportamentul și procesul de luare a deciziilor.

Prolific a fost creat de cercetători pentru cercetători, având ca scop oferirea unei metode superioare pentru obținerea de date de calitate și feedback uman pentru cercetarea de ultimă generație. Astăzi, peste 35.000 de cercetători din mediul academic și industrial se bazează pe Prolific AI pentru a colecta date și feedback uman definitiv. Platforma este cunoscută pentru participanții săi de încredere, implicați și tratați corect, cu un nou studiu lansat la fiecare trei minute.

Cum folosiți fundalul dvs. în neuroștiințe cognitive pentru a ajuta cercetătorii care efectuează proiecte care implică AI?

Un punct de plecare bun este definirea a ceea ce reprezintă de fapt neuroștiințele cognitive. În esență, neuroștiințele cognitive investigatează fundamentele biologice ale proceselor cognitive. Acestea combină principiile din neuroștiințe și psihologie, și uneori știința computerelor, printre altele, ceea ce ne ajută să înțelegem cum creierul nostru permite diverse funcții mentale. În esență, oricine practică cercetarea neuroștiințelor cognitive trebuie să aibă o înțelegere solidă a metodelor de cercetare și o bună înțelegere a modului în care oamenii gândesc și se comportă. Aceste două aspecte sunt cruciale și pot fi combinate pentru a dezvolta și a conduce cercetări de calitate în domeniul AI. O observație importantă, totuși, este că cercetarea AI este un termen larg; poate implica orice, de la formarea modelului de bază și annotarea datelor până la înțelegerea modului în care oamenii interacționează cu sistemele AI. Conducerea proiectelor de cercetare cu AI nu este diferită de conducerea proiectelor de cercetare în afara AI; aveți nevoie de o înțelegere bună a metodelor, de proiectarea studiilor pentru a crea cele mai bune date, de mostre corecte pentru a evita prejudecățile și apoi de utilizarea acestor date în analize eficiente pentru a răspunde oricărei întrebări de cercetare pe care o abordați.

Prolific subliniază tratamentul etic și compensarea corectă a participanților. Puteți împărtăși insight-uri despre provocările și soluțiile pentru menținerea acestor standarde?

Modelul nostru de compensare este proiectat pentru a asigura că participanții sunt apreciați și recompensați, simțindu-se astfel ca fac parte importantă din mașina de cercetare (deoarece fac parte). Credem că tratarea participanților în mod corect și oferirea unei rate de plată corecte îi motivează să se implice mai profund în cercetare și, în consecință, să ofere date de calitate superioară.

Din nefericire, majoritatea platformelor de mostre online nu impun aceste principii de plată etică și tratament. Rezultatul este un grup de participanți care sunt motivați nu pentru a se implica în cercetare, ci pentru a o trece rapid pentru a-și maximiza potențialul de câștig, ceea ce conduce la date de calitate scăzută. Menținerea poziției noastre la Prolific este o provocare; luptăm, în esență, împotriva curentului. Status quo-ul în cercetarea AI și în alte forme de cercetare online nu s-a concentrat pe tratamentul și bunăstarea participanților, ci mai degrabă pe maximizarea cantității de date care pot fi colectate pentru cel mai mic cost.

Facerea comunității de cercetare să înțeleagă de ce am adoptat această abordare și valorile pe care le vor vedea prin utilizarea noastră, în contrast cu o platformă concurentă, prezintă o provocare semnificativă. O altă provocare, din punct de vedere logistic, implică alocarea unei cantități semnificative de timp pentru a răspunde la preocupările, întrebările sau plângerile participanților sau cercetătorilor nostru într-un mod prompt și corect. Ne dedicăm mult timp acestui lucru, deoarece menține utilizatorii de ambele părți – participanți și cercetători – fericiți, încurajându-i să continue să vină la Prolific. Cu toate acestea, ne bazăm și pe cercetătorii care utilizează platforma noastră pentru a respecta standardele noastre ridicate de tratament și compensare odată ce participanții sunt direcționați către sarcina sau chestionarul cercetătorului și, prin urmare, părăsesc ecosistemul Prolific. Ce se întâmplă în afara platformei noastre este, într-adevăr, sub controlul echipei de cercetare, așa că ne bazăm nu numai pe participanți pentru a ne informa dacă există ceva în neregulă, ci și pe cercetătorii noștri pentru a respecta cele mai înalte standarde posibile. Încercăm să oferim cât mai multe îndrumări pentru a asigura că acest lucru se întâmplă.

Luând în considerare modelul de afaceri Prolific, care sunt gândurile dvs. despre rolul esențial al feedback-ului uman în dezvoltarea AI, în special în domenii precum detectarea prejudecăților și îmbunătățirea raționamentului social?

Feedback-ul uman în dezvoltarea AI este crucial. Fără implicarea umană, riscăm să perpetuăm prejudecățile, să ignorăm nuanțele interacțiunilor sociale umane și să nu abordăm unele dintre considerentele etice negative asociate cu AI. Acest lucru ar putea împiedica progresul nostru către crearea de sisteme AI responsabile, eficiente și etice. În ceea ce privește detectarea prejudecăților, integrarea feedback-ului uman în timpul procesului de dezvoltare este crucială, deoarece ar trebui să urmărim dezvoltarea unui AI care reflectă o gamă largă de opinii și valori, fără a favoriza una față de alta. Diferite demografice, fundaluri și culturi au prejudecăți inconștiente care, deși nu sunt neapărat negative, ar putea reflecta totuși o perspectivă care nu ar fi larg acceptată. O cercetare colaborativă între Prolific și Universitatea din Michigan a subliniat modul în care fundalurile diferiților annotatori pot afecta semnificativ modul în care ei evaluează aspecte precum toxicitatea discursului sau politețea. Pentru a aborda acest lucru, implicarea participanților din medii diverse, culturi și perspective poate preveni încorporarea acestor prejudecăți în sistemele AI aflate în dezvoltare. În plus, feedback-ul uman permite cercetătorilor AI să detecteze forme mai subtile de prejudecăți care nu ar putea fi detectate prin metode automate. Acest lucru oferă oportunitatea de a aborda prejudecățile prin ajustări în algoritmi, modele subiacente sau tehnici de prelucrare a datelor.

Situația cu raționamentul social este, în esență, aceeași. AI-ul are, de obicei, dificultăți cu sarcinile care necesită raționament social, deoarece, prin natura sa, nu este un ființă socială, în timp ce oamenii sunt. Detectarea contextului atunci când se pune o întrebare, înțelegerea ironiei, sau recunoașterea semnalelor emoționale, necesită un raționament social similar cu cel uman, pe care AI-ul nu îl poate învăța singur. Noi, ca oameni, învățăm social, așa că singurul mod de a învăța un sistem AI aceste tehnici de raționament este prin utilizarea feedback-ului uman real pentru a antrena AI-ul să interpreteze și să răspundă la diverse semnale sociale. La Prolific, am dezvoltat un set de date pentru raționament social special conceput pentru a preda modelelor AI această abilitate importantă.

În esență, feedback-ul uman nu numai că ajută la identificarea domeniilor în care sistemele AI excelează sau eşuează, dar permite și dezvoltatorilor să facă îmbunătățirile și rafinările necesare ale algoritmilor. Un exemplu practic al acestui lucru este observat în modul în care funcționează ChatGPT. Atunci când puneți o întrebare, uneori ChatGPT prezintă două răspunsuri și vă cere să evaluați care este cel mai bun. Acest abordare este adoptat pentru că modelul este întotdeauna în curs de învățare, iar dezvoltatorii înțeleg importanța input-ului uman pentru a determina cele mai bune răspunsuri, mai degrabă decât a se baza exclusiv pe un alt model.

Prolific a fost instrumental în conectarea cercetătorilor cu participanții pentru antrenarea și cercetarea AI. Puteți împărtăși unele povești de succes sau progrese semnificative în AI care au fost posibile prin platforma dvs.?

Datorită naturii comerciale a multor dintre proiectele noastre de AI, în special în spațiul non-academic, majoritatea proiectelor în care suntem implicați sunt sub acorduri stricte de confidențialitate. Acest lucru este, în primul rând, pentru a asigura confidențialitatea tehnicilor sau metodelor, protejându-le de a fi replicate. Cu toate acestea, un proiect pe care suntem liberi să-l discutăm implică parteneriatul nostru cu Remesh, o platformă de insights bazată pe AI. Am colaborat cu OpenAI și Remesh pentru a dezvolta un sistem care utilizează mostre reprezentative ale populației din SUA. În acest proiect, mii de indivizi dintr-o mostră reprezentativă au participat la discuții despre politici legate de AI prin sistemul Remesh, permițând dezvoltarea unor politici AI care reflectă voința largă a publicului, și nu doar a unei demografii selecte, mulțumită capacității Prolific de a oferi astfel de mostre diverse.

Privind spre viitor, care este viziunea dvs. pentru viitorul dezvoltării etice a AI, și cum intenționează Prolific să contribuie la realizarea acestei viziuni?

Speranța mea pentru viitorul AI și dezvoltarea sa se bazează pe recunoașterea faptului că AI-ul nu va fi mai bun decât datele pe care este antrenat. Importanța calității datelor nu poate fi supraestimată pentru sistemele AI. Antrenarea unui sistem AI pe date de calitate scăzută va rezulta inevitabil într-un sistem AI de calitate scăzută. Singurul mod de a asigura date de calitate este prin recrutarea unui grup divers și motivat de participanți, dispuși să ofere cele mai bune date posibile. La Prolific, abordarea și principiile noastre de conducere vizează exact acest lucru. Prin crearea unui grup de participanți verificat și de încredere, anticipăm că cercetătorii vor utiliza această resursă pentru a dezvolta sisteme AI mai eficiente, mai fiabile și mai de încredere în viitor.

Care sunt unele dintre cele mai mari provocări pe care le întâmpinați în colectarea datelor de antrenare AI de calitate, conduse de oameni, și cum depășește Prolific aceste obstacole?

Provocarea cea mai semnificativă, fără îndoială, este calitatea datelor. Nu numai că datele proaste sunt inutile, dar pot duce și la rezultate dăunătoare, în special atunci când sistemele AI sunt utilizate în domenii critice, cum ar fi piețele financiare sau operațiunile militare. Această preocupare subliniază principiul esențial “gunoi în, gunoi ieșit”. Dacă datele de intrare sunt de calitate scăzută, sistemul AI rezultat va fi, în mod inerent, de calitate scăzută sau utilitate. Majoritatea mostrelor online tind să producă date de calitate inferioară față de ceea ce este optimal pentru dezvoltarea AI. Există numeroase motive pentru acest lucru, dar un factor cheie pe care Prolific îl abordează este tratamentul general al participanților online. Adesea, acești indivizi sunt priviți ca fiind de prisos, primind o compensație scăzută, un tratament prost și puțin respect din partea cercetătorilor. Prin angajamentul nostru față de tratamentul etic al participanților, Prolific a cultivat un grup de contribuitori motivați, implicați, gânditori, onești și atenți. Prin urmare, atunci când datele sunt colectate prin Prolific, calitatea lor este asigurată, susținând modele AI de încredere și fiabile.

Altă provocare pe care o întâmpinăm cu datele de antrenare AI este asigurarea diversității în mostră. În timp ce mostrele online au extins semnificativ sfera și varietatea indivizilor pe care putem efectua cercetări, acestea sunt, în mod predominant, limitate la persoane din țări occidentale. Aceste mostre tind să se îndrepte către demografii mai tinere, alfabetizate în computer, educați și mai orientate spre stânga. Acest lucru nu reprezintă pe deplin populația globală. Pentru a aborda această problemă, Prolific are participanți din peste 38 de țări din întreaga lume. De asemenea, oferim cercetătorilor noștri instrumente pentru a specifica exact compoziția demografică a mostrei lor în avans. În plus, oferim mostre reprezentative prin șabloane de potrivire cu recensământul, cum ar fi vârsta, sexul, etnia, sau chiar afilierea politică. Acest lucru asigură că studiile, sarcinile de annotare sau alte proiecte primesc o gamă diversă de participanți și, în consecință, o varietate largă de insight-uri.

Mulțumim pentru acest interviu minunat; cititorii care doresc să afle mai multe ar trebui să viziteze Prolific.