Andrew Gordon, Starszy Konsultant Badawczy, Prolific – Seria Wywiadów

Andrew Gordon wykorzystuje swoje gruntowne doświadczenie w dziedzinie psychologii i neurobiologii, aby odkrywać nowe spostrzeżenia jako badacz. Z tytułem licencjata z psychologii, magistrem neuropsychologii i doktorem neurobiologii poznawczej, Andrew wykorzystuje zasady naukowe, aby zrozumieć motywacje konsumentów, zachowania i procesy decyzyjne.

Prolific został stworzony przez badaczy dla badaczy, z celem oferowania lepszej metody pozyskiwania wysokiej jakości danych i informacji dla najnowocześniejszych badań. Dziś, ponad 35 000 badaczy z akademii i przemysłu polega na Prolific AI, aby zebrać definitywne dane i informacje od ludzi. Platforma jest znana z jej niezawodnych, zaangażowanych i uczciwie traktowanych uczestników, z nowym badaniem uruchamianym co trzy minuty.

Jak wykorzystujesz swoje doświadczenie w dziedzinie neurobiologii poznawczej, aby pomóc badaczom prowadzącym projekty związane z AI?

Dobrym punktem wyjścia jest określenie, co tak naprawdę obejmuje neurobiologia poznawcza. Podstawowo, neurobiologia poznawcza bada biologiczne podstawy procesów poznawczych. Łączy zasady z neurobiologii i psychologii, a czasem także informatyki, co pomaga nam zrozumieć, jak nasz mózg umożliwia różne funkcje umysłowe. Podstawowo, każdy, kto prowadzi badania w dziedzinie neurobiologii poznawczej, musi mieć gruntowną wiedzę na temat metod badawczych i dobry zrozumienie, jak ludzie myślą i zachowują się. Te dwa aspekty są kluczowe i mogą być połączone, aby rozwijać i prowadzić wysokiej jakości badania z AI. Jednak jest jedna rzecz do rozważenia, AI to szeroki termin; może on obejmować wszystko, od szkolenia podstawowych modeli i annotacji danych po zrozumienie, jak ludzie wchodzą w interakcje z systemami AI. Prowadzenie badań z AI nie różni się od prowadzenia badań poza AI; nadal potrzebujesz dobrego zrozumienia metod, projektowania badań, aby stworzyć najlepsze dane, prawidłowego doboru próby, aby uniknąć stronniczości, a następnie wykorzystania tych danych w skutecznych analizach, aby odpowiedzieć na Twoje pytania badawcze.

Prolific kładzie nacisk na etyczne traktowanie i uczciwą rekompensatę dla swoich uczestników. Czy mógłbyś podzielić się spostrzeżeniami na temat wyzwań i rozwiązań w utrzymaniu tych standardów?

Nasze rozwiązanie rekompensaty jest zaprojektowane, aby zapewnić, że uczestnicy są cenieni i nagradzani, czując się ważną częścią maszyny badawczej (ponieważ nimi są). Wierzymy, że uczciwe traktowanie uczestników i zapewnienie im uczciwej stawki wynagrodzenia motywuje ich do głębszego zaangażowania w badania i konsekwentnie do dostarczania lepszych danych.

Niestety, większość platform próbkowania online nie egzekwuje tych zasad etycznego wynagrodzenia i traktowania. Rezultatem jest pulą uczestników, która jest zachęcana nie do zaangażowania się w badania, ale do przejścia przez nie jak najszybciej, aby zwiększyć swoje zarobki, co prowadzi do niskiej jakości danych. Utrzymanie stanowiska, które zajmujemy w Prolific, jest wyzwaniem; walczymy pod prąd. Status quo w badaniach AI i innych formach badań online nie koncentrował się na traktowaniu uczestników ani ich dobrostanie, ale raczej na maksymalizowaniu ilości danych, które można zebrać za najniższą cenę.

Robienie, aby szersza społeczność badawcza zrozumiała, dlaczego przyjęliśmy ten podejście i jaka wartość widzą, korzystając z nas, a nie z konkurencyjnej platformy, stanowi spore wyzwanie. Innym wyzwaniem, z punktu widzenia logistycznego, jest poświęcenie znacznej ilości czasu na odpowiedzi na obawy, zapytania lub skargi od naszych uczestników lub badaczy w terminie i uczciwy sposób. Poświęcamy dużo czasu na to, ponieważ utrzymuje użytkowników na obu stronach – uczestników i badaczy – zadowolonych, zachęcając ich do powrotu do Prolific. Jednak również polegamy na badaczach, którzy używają naszej platformy, aby przestrzegać naszych wysokich standardów traktowania i rekompensaty, kiedy uczestnicy są przenoszeni do zadania badacza lub ankiety i opuszczają ekosystem Prolific. To, co dzieje się poza naszą platformą, jest naprawdę pod kontrolą zespołu badawczego, więc polegamy nie tylko na uczestnikach, informujących nas o tym, co jest nie tak, ale również na naszych badaczach, którzy przestrzegają najwyższych możliwych standardów. Staramy się zapewnić jak najwięcej wskazówek, aby to się stało.

Biorąc pod uwagę model biznesowy Prolific, jakie są Twoje myśli na temat istotnej roli opinii ludzi w rozwoju AI, szczególnie w obszarach takich jak wykrywanie stronniczości i poprawa rozumowania społecznego?

Opinia ludzi w rozwoju AI jest niezwykle ważna. Bez udziału ludzi ryzykujemy utrwaleniem stronniczości, pominięciem subtelności ludzkich interakcji społecznych i nieustosunkowaniem się do negatywnych aspektów etycznych związanych z AI. To mogłoby utrudnić postępy w tworzeniu odpowiedzialnych, skutecznych i etycznych systemów AI. W kwestii wykrywania stronniczości, włączanie opinii ludzi w trakcie rozwoju jest kluczowe, ponieważ powinniśmy dążyć do tworzenia AI, które odzwierciedlają jak najszerszy zakres poglądów i wartości, bez faworyzowania jednej nad inną. Różne demografie, tła i kultury mają nieświadome stronniczości, które, choć niekoniecznie negatywne, mogą odzwierciedlać punkt widzenia, który nie byłby powszechnie akceptowany. Współpraca badawcza pomiędzy Prolific a Uniwersytetem Michigan wykazała, jak tła różnych anotatorów mogą znacząco wpłynąć na to, jak oceniają aspekty takie jak toksyczność mowy lub grzeczność. Aby rozwiązać ten problem, zaangażowanie uczestników z różnych środowisk, kultur i perspektyw może zapobiec utrwaleniu tych stronniczości w systemach AI w trakcie rozwoju. Ponadto, opinia ludzi pozwala badaczom AI wykryć bardziej subtelne formy stronniczości, które mogą nie być wykryte przez automatyczne metody. To umożliwia możliwość rozwiązania stronniczości poprzez dostosowania w algorytmach, modelach podstawowych lub technikach przetwarzania danych.

Sytuacja z rozumowaniem społecznym jest zasadniczo taka sama. AI często ma trudności z zadaniami wymagającymi rozumowania społecznego, ponieważ, ze swej natury, nie jest istotą społeczną, podczas gdy ludzie takimi są. Wykrywanie kontekstu, kiedy zadawane jest pytanie, zrozumienie sarkazmu lub rozpoznanie sygnałów emocjonalnych, wymaga ludzkiego rozumowania społecznego, którego AI nie może nauczyć się samodzielnie. My, jako ludzie, uczymy się społecznie, więc jedynym sposobem nauczenia systemu AI tych technik rozumowania jest wykorzystanie rzeczywistej opinii ludzi do szkolenia AI w interpretowaniu i reagowaniu na różne sygnały społeczne. W Prolific, opracowaliśmy zestaw danych do rozumowania społecznego specjalnie zaprojektowany do nauczania AI tego ważnego umiejętności.

W istocie, opinia ludzi nie tylko pomaga identyfikować obszary, w których systemy AI radzą sobie dobrze lub źle, ale również umożliwia deweloperom wprowadzanie niezbędnych ulepszeń i udoskonaleń w algorytmach. Praktycznym przykładem tego jest sposób, w jaki działa ChatGPT. Kiedy zadajesz pytanie, czasem ChatGPT przedstawia dwie odpowiedzi i prosi o ocenę, która jest lepsza. Ten podejście jest stosowany, ponieważ model jest zawsze uczony, a deweloperzy rozumieją wagę opinii ludzi, aby określić najlepsze odpowiedzi, zamiast polegać wyłącznie na innym modelu.

Prolific odegrał znaczącą rolę w łączeniu badaczy z uczestnikami do szkolenia AI i badań. Czy mógłbyś podzielić się kilkoma historiami sukcesu lub znaczącymi postępami w AI, które były możliwe dzięki Twojej platformie?

Ze względu na komercyjny charakter wielu naszych projektów AI, szczególnie w przestrzeni nieakademickiej, większość projektów, w których uczestniczymy, podlega ścisłym Umowom o Nieujawnianiu Informacji. Jest to głównie po to, aby zapewnić poufność technik lub metod, chroniąc je przed powieleniem. Jednak jeden projekt, o którym możemy dyskutować, to nasze partnerstwo z Remesh, platformą AI do generowania spostrzeżeń. Współpracowaliśmy z OpenAI i Remesh, aby opracować system, który wykorzystuje reprezentatywne próby populacji Stanów Zjednoczonych. W tym projekcie, tysiące osób z reprezentatywnej próby uczestniczyło w dyskusjach na temat polityk związanych z AI za pośrednictwem systemu Remesh, umożliwiając rozwój polityk AI, które odzwierciedlają wolę publiczną, a nie wybraną demografię, dzięki zdolności Prolific do dostarczania tak różnorodnej próby.

Spójrzając w przyszłość, jaka jest Twoja wizja rozwoju etycznego AI, i jak Prolific planuje przyczynić się do realizacji tej wizji?

Moja nadzieja na przyszłość AI i jego rozwoju opiera się na uznaniu, że AI będzie tylko tak dobry, jak dane, na których jest szkolony. Waga jakości danych nie może być przeceniona dla systemów AI. Szkolenie systemu AI na słabej jakości danych nieuchronnie prowadzi do gorszego systemu AI. Jedynym sposobem zapewnienia wysokiej jakości danych jest zapewnienie rekrutacji różnorodnej i zmotywowanej grupy uczestników, chętnych do dostarczania najlepszych danych możliwych. W Prolific, nasze podejście i wytyczne mają na celu stworzenie exactly tego. Poprzez tworzenie dostosowanego, starannie sprawdzanego i godnego zaufania puli uczestników, przewidujemy, że badacze będą wykorzystywać ten zasób do rozwijania bardziej skutecznych, niezawodnych i godnych zaufania systemów AI w przyszłości.

Jakie są największe wyzwania, z którymi spotykasz się w zbieraniu wysokiej jakości, ludzkich danych do szkolenia AI, i jak Prolific pokonuje te przeszkody?

Największym wyzwaniem, bez wątpienia, jest jakość danych. Nie tylko złe dane są niewiele pomocne – mogą one również prowadzić do szkodliwych skutków, szczególnie w przypadku, gdy systemy AI są stosowane w krytycznych obszarach, takich jak rynki finansowe lub operacje wojskowe. To podkreśla zasadniczą zasadę “śmieci na wejściu, śmieci na wyjściu”. Jeśli dane wejściowe są słabej jakości, wynikowy system AI będzie z natury niskiej jakości lub użyteczności. Większość próbek online ma tendencję do produkcji danych gorszej jakości niż optymalnej do rozwoju AI. Istnieje wiele powodów, ale jednym z kluczowych czynników, który Prolific rozwiązuje, jest ogólne traktowanie uczestników online. Często te osoby są traktowane jako niezbyt ważne, otrzymując niskie wynagrodzenie, złe traktowanie i niewielki szacunek od badaczy. Poprzez zobowiązanie do etycznego traktowania uczestników, Prolific wyhodował pulę zmotywowanych, zaangażowanych, starannych, uczciwych i uwagę przykuwających współpracowników. Dlatego, kiedy dane są zbierane za pośrednictwem Prolific, ich wysoka jakość jest zapewniona, wspierając niezawodne i godne zaufania modele AI.

Innym wyzwaniem, z którym spotykamy się w danych szkoleniowych AI, jest zapewnienie różnorodności w próbie. Chociaż próbki online znacznie rozszerzyły zakres i różnorodność osób, które możemy badać w porównaniu z metodami bezpośrednimi, są one głównie ograniczone do ludzi z krajów zachodnich. Te próbki często są przekrzywione w kierunku młodszych, kompetentnych w zakresie komputera, wysoko wykształconych i bardziej lewicowych demografii. To nie w pełni reprezentuje globalną populację. Aby rozwiązać ten problem, Prolific ma uczestników z ponad 38 krajów na całym świecie. Zapewniamy również naszym badaczom narzędzia, aby określić dokładny skład demograficzny ich próby z wyprzedzeniem. Dodatkowo, oferujemy reprezentatywne próbkowanie za pomocą szablonów dopasowanych do spisu ludności, takich jak wiek, płeć i etniczność, lub nawet przynależność polityczną. To zapewnia, że badania, zadania anotacji lub inne projekty otrzymują szeroki zakres uczestników i, w konsekwencji, szeroki zakres spostrzeżeń.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Prolific.