Andrew Gordon, Starszy Konsultant Badawczy, Prolific – Seria Wywiadów

Andrew Gordon wykorzystuje swoje gruntowne wykształcenie w dziedzinie psychologii i neurobiologii, aby odkrywać nowe spostrzeżenia jako badacz. Z tytułem licencjata z psychologii, magistrem neurobiologii i doktorem nauk o neuronaukach poznawczych, Andrew wykorzystuje zasady naukowe, aby zrozumieć motywacje konsumentów, ich zachowania i procesy podejmowania decyzji.

Prolific został stworzony przez badaczy dla badaczy, z celem oferowania lepszej metody pozyskiwania wysokiej jakości danych i informacji od ludzi dla potrzeb badań naukowych. Dziś, ponad 35 000 badaczy z uczelni i przemysłu korzysta z Prolific AI, aby pozyskać definitywne dane i informacje od ludzi. Platforma jest znana z zaufanych, zaangażowanych i uczciwie traktowanych uczestników, przy czym nowe badanie jest uruchamiane co trzy minuty.

Jak wykorzystujesz swoje wykształcenie w dziedzinie neuronauk poznawczych, aby pomóc badaczom prowadzącym projekty związane z AI?

Dobrym punktem wyjścia jest określenie, co tak naprawdę obejmuje neuronauka poznawcza. Podstawowo, neuronauka poznawcza bada biologiczne podstawy procesów poznawczych. Łączy zasady z neurobiologii i psychologii, a czasem również z informatyki, co pomaga nam zrozumieć, jak nasz mózg umożliwia różne funkcje umysłowe. Podstawą dla każdego, kto prowadzi badania w dziedzinie neuronauki poznawczej, jest posiadanie solidnej wiedzy o metodach badawczych oraz dobrego zrozumienia, jak ludzie myślą i zachowują się. Te dwa aspekty są kluczowe i mogą być połączone, aby rozwijać i prowadzić wysokiej jakości badania związane z AI. Jednak należy pamiętać, że badania AI są szerokim pojęciem; mogą one obejmować wszystko, od podstawowego szkolenia modeli i annotacji danych aż do zrozumienia, jak ludzie wchodzą w interakcje z systemami AI. Prowadzenie projektów badawczych z AI nie różni się od prowadzenia projektów badawczych poza AI; nadal potrzebna jest dobra wiedza o metodach, projektowaniu badań, aby stworzyć najlepsze dane, prawidłowym próbkowaniu, aby uniknąć stronniczości, a następnie wykorzystaniu tych danych w skutecznych analizach, aby odpowiedzieć na postawione pytania badawcze.

Prolific kładzie nacisk na etyczne traktowanie i uczciwą rekompensatę dla swoich uczestników. Czy mógłbyś podzielić się spostrzeżeniami na temat wyzwań i rozwiązań w utrzymaniu tych standardów?

Naszy model rekompensaty jest zaprojektowany, aby zapewnić, że uczestnicy są cenieni i nagradzani, dzięki czemu czują się ważni dla maszyny badawczej (ponieważ są). Wierzymy, że uczciwe traktowanie uczestników i zapewnienie im uczciwej stawki wynagrodzenia motywuje ich do głębszego zaangażowania w badania i tym samym do dostarczania lepszych danych.

Niestety, większość platform próbkowania online nie egzekwuje tych zasad etycznego wynagrodzenia i traktowania. Efektem jest pulą uczestników, którzy są zachęcani nie do zaangażowania się w badania, ale do przejścia przez nie jak najszybciej, aby zwiększyć swój potencjał zarobkowy, co prowadzi do niskiej jakości danych. Utrzymanie stanowiska, które zajmujemy w Prolific, jest wyzwaniem; walczymy z ogólnymi tendencjami. Status quo w badaniach AI i innych formach badań online nie koncentrował się na traktowaniu uczestników ani ich dobrostanie, ale raczej na maksymalizowaniu ilości danych, które można pozyskać przy najniższych kosztach.

Przekonywanie szerszej społeczności badawczej, dlaczego przyjęliśmy ten podejście i jaka wartość wynika z korzystania z naszej platformy, a nie z konkurencyjnej, stanowi spore wyzwanie. Innym wyzwaniem, z punktu widzenia logistycznego, jest poświęcanie znacznej ilości czasu na odpowiedzi na obawy, zapytania lub skargi od naszych uczestników lub badaczy w sposób terminowy i uczciwy. Poświęcamy dużo czasu na to, ponieważ utrzymuje to użytkowników na obu stronach – uczestników i badaczy – zadowolonych, zachęcając ich do powrotu na Prolific. Jednak również polegamy na badaczach, którzy korzystają z naszej platformy, aby przestrzegać naszych wysokich standardów traktowania i rekompensaty, kiedy uczestnicy są kierowani do zadań badawczych lub ankiet poza ekosystemem Prolific. To, co dzieje się poza naszą platformą, jest naprawdę pod kontrolą zespołu badawczego, więc nie tylko polegamy na uczestnikach, którzy informują nas o ewentualnych problemach, ale również na naszych badaczach, którzy przestrzegają najwyższych możliwych standardów. Staramy się zapewnić jak najwięcej wskazówek, aby zapewnić, że tak się dzieje.

Biorąc pod uwagę model biznesowy Prolific, jakie są Twoje myśli na temat istotnej roli opinii ludzi w rozwoju AI, szczególnie w obszarach takich jak wykrywanie stronniczości i poprawa rozumowania społecznego?

Opinia ludzi w rozwoju AI jest kluczowa. Bez udziału ludzi ryzykujemy utrwaleniem stronniczości, pominięciem subtelności interakcji społecznych i niepowodzeniem w rozwiązaniu negatywnych aspektów etycznych związanych z AI. To mogłoby utrudnić postęp w tworzeniu odpowiedzialnych, skutecznych i etycznych systemów AI. W kwestii wykrywania stronniczości, włączanie opinii ludzi w proces rozwoju jest kluczowe, ponieważ powinniśmy dążyć do tworzenia AI, które odzwierciedlają jak najszerszy zakres poglądów i wartości, bez faworyzowania jednych nad innymi. Różne demografie, tła i kultury mają nieświadome stronniczości, które, choć niekoniecznie negatywne, mogą odzwierciedlać punkt widzenia, który nie byłby powszechnie akceptowany. Współpraca badawcza pomiędzy Prolific a Uniwersytetem Michigan podkreśliła, jak tło różnych anotatorów może znacząco wpłynąć na to, jak oceniają takie aspekty, jak toksyczność mowy czy uprzejmość. Aby rozwiązać ten problem, zaangażowanie uczestników z różnych środowisk, kultur i perspektyw może zapobiec wbudowaniu tych stronniczości w rozwijane systemy AI. Dodatkowo, opinia ludzi pozwala badaczom AI na wykrywanie bardziej subtelnych form stronniczości, które mogą nie być wykryte przez automatyczne metody. To umożliwia możliwość rozwiązania stronniczości poprzez dostosowania w algorytmach, modelach podstawowych lub technikach przetwarzania danych.

Sytuacja z rozumowaniem społecznym jest zasadniczo taka sama. AI często ma trudności z zadaniami wymagającymi rozumowania społecznego, ponieważ nie jest istotą społeczną, podczas gdy ludzie takimi są. Wykrywanie kontekstu, kiedy zadawane jest pytanie, zrozumienie sarkazmu lub rozpoznawanie sygnałów emocjonalnych wymaga ludzkiego rozumowania społecznego, którego AI nie może nauczyć się samodzielnie. My, jako ludzie, uczymy się społecznie, więc jedynym sposobem nauczenia systemu AI tych technik rozumowania jest wykorzystanie rzeczywistej opinii ludzi do szkolenia AI w interpretowaniu i reagowaniu na różne sygnały społeczne. W Prolific opracowaliśmy zestaw danych dotyczących rozumowania społecznego specjalnie zaprojektowany do nauczania modeli AI tej ważnej umiejętności.

W istocie, opinia ludzi nie tylko pomaga identyfikować obszary, w których systemy AI radzą sobie dobrze lub źle, ale również umożliwia deweloperom wprowadzanie niezbędnych poprawek i udoskonaleń w algorytmach. Praktycznym przykładem tego jest sposób, w jaki działa ChatGPT. Kiedy zadajesz pytanie, czasem ChatGPT przedstawia dwie odpowiedzi i prosi o ocenę, która jest lepsza. Podejście to jest stosowane, ponieważ model jest ciągle uczony, a deweloperzy rozumieją wagę opinii ludzi w określaniu najlepszych odpowiedzi, zamiast polegania wyłącznie na innym modelu.

Prolific odegrał istotną rolę w łączeniu badaczy z uczestnikami do szkolenia AI i badań. Czy mógłbyś podzielić się historiami sukcesu lub znaczącymi postępami w AI, które były możliwe dzięki Twojej platformie?

Z powodu komercyjnego charakteru wielu naszych projektów AI, szczególnie w przestrzeni pozanaukowej, większość projektów, w których uczestniczymy, objęta jest ścisłymi umowami o nieujawnianiu. Jest to głównie po to, aby zapewnić poufność technik lub metod, chroniąc je przed powieleniem. Jednak jeden projekt, o którym możemy mówić, dotyczy naszego partnerstwa z Remesh, platformą AI do pozyskiwania wglądów. Współpracowaliśmy z OpenAI i Remesh, aby opracować system wykorzystujący reprezentatywne próbki populacji Stanów Zjednoczonych. W tym projekcie tysiące osób z reprezentatywnej próbki uczestniczyło w dyskusjach na temat polityk związanych z AI za pośrednictwem systemu Remesh, umożliwiając rozwój polityk AI, które odzwierciedlają wolę społeczeństwa, a nie tylko wybranej demografii, dzięki możliwościom Prolific w dostarczaniu tak różnorodnej próbki.

Spójrzmy w przyszłość, jaka jest Twoja wizja rozwoju etycznego AI, i jak Prolific planuje przyczynić się do realizacji tej wizji?

Moja nadzieja na przyszłość AI i jej rozwoju opiera się na uznaniu, że AI będzie tak dobra, jak dane, na których jest szkolona. Waga jakości danych nie może być przeceniona dla systemów AI. Szkolenie systemu AI na niskiej jakości danych nieuchronnie prowadzi do gorszego systemu AI. Jedynym sposobem, aby zapewnić wysoką jakość danych, jest zapewnienie rekrutacji różnorodnej i zmotywowanej grupy uczestników, chętnych do dostarczania najlepszych możliwych danych. W Prolific nasze podejście i zasady przewodnie mają na celu wspieranie właśnie tego. Tworząc starannie wyselekcjonowaną i godną zaufania pulę uczestników, spodziewamy się, że badacze będą korzystali z tego zasobu, aby rozwijać bardziej skuteczne, niezawodne i godne zaufania systemy AI w przyszłości.

Jakie są największe wyzwania, z którymi spotykasz się w zbieraniu wysokiej jakości danych szkoleniowych AI, i jak Prolific pokonuje te przeszkody?

Największym wyzwaniem, bez wątpienia, jest jakość danych. Nie tylko złe dane są niewiele warte – mogą one również prowadzić do szkodliwych skutków, szczególnie w przypadku zastosowań AI w krytycznych obszarach, takich jak rynki finansowe lub operacje wojskowe. To podkreśla zasadę “śmieci na wejściu, śmieci na wyjściu”. Jeśli dane wejściowe są niskiej jakości, wynikowy system AI będzie z natury niskiej jakości lub użyteczności. Większość próbek online tendencję ma do produkcji danych o niższej jakości niż optymalnej dla rozwoju AI. Istnieje wiele powodów, ale jednym z kluczowych czynników, który Prolific rozwiązuje, jest ogólne traktowanie uczestników online. Często te osoby są traktowane jako nieistotne, otrzymując niskie wynagrodzenie, złe traktowanie i niewiele szacunku od badaczy. Poprzez przywiązanie do etycznego traktowania uczestników, Prolific wyhodował pulę motywowanych, zaangażowanych, przemyślanych, uczciwych i uwagę przykujących współpracowników. Dlatego, kiedy dane są zbierane za pośrednictwem Prolific, ich wysoka jakość jest zapewniona, co podtrzymuje niezawodne i godne zaufania modele AI.

Innym wyzwaniem, z którym spotykamy się w danych szkoleniowych AI, jest zapewnienie różnorodności w próbce. Chociaż próbki online znacznie rozszerzyły zakres i różnorodność osób, które możemy badać w porównaniu z metodami bezpośrednimi, często są one ograniczone do ludzi z krajów zachodnich. Te próbki często są przesunięte w stronę młodszych, kompetentnych w dziedzinie komputera, wysoko wykształconych i bardziej lewicowych demografii. To nie w pełni reprezentuje światową populację. Aby rozwiązać ten problem, Prolific ma uczestników z ponad 38 krajów na całym świecie. Zapewniamy również naszym badaczom narzędzia do określenia dokładnego składu demograficznego ich próbki z wyprzedzeniem. Dodatkowo oferujemy reprezentatywne próbkowanie za pomocą szablonów dopasowanych do spisu powszechnego, takich jak wiek, płeć, etniczność, lub nawet przynależność polityczną. To zapewnia, że badania, zadania anotacji lub inne projekty otrzymują różnorodną grupę uczestników i, w konsekwencji, szeroki zakres spostrzeżeń.

Dziękujemy za wspaniały wywiad, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Prolific.