Nora Petrova, Inżynier Machine Learning i Konsultant AI w Prolific – Seria Wywiadów

Nora Petrova jest Inżynierem Machine Learning i Konsultantem AI w firmie Prolific. Prolific została założona w 2014 roku i już teraz ma w swoim gronie klientów takie organizacje jak Google (GOOGL ), Uniwersytet Stanforda, Uniwersytet Oksfordzki, King’s College London oraz Komisja Europejska, które wykorzystują sieć uczestników do testowania nowych produktów, szkolenia systemów AI w dziedzinach takich jak śledzenie wzroku i określanie, czy aplikacje AI działają zgodnie z zamierzeniami ich twórców.

Czy mogłabyś podzielić się informacjami na temat swojego doświadczenia w Prolific i dotychczasowej kariery? Co skłoniło Cię do zainteresowania się AI?

Moja rola w Prolific jest podzielona pomiędzy bycie doradcą w sprawie przypadków użycia AI i możliwości, a bardziej praktycznym inżynierem ML. Zaczęłam swoją karierę w dziedzinie inżynierii oprogramowania i stopniowo przechodziłam do dziedziny Machine Learning. Spędziłam większość ostatnich 5 lat, skupiając się na przypadkach użycia i problemach związanych z NLP.

To, co mnie zainteresowało AI początkowo, to możliwość uczenia się z danych i związek z tym, jak my, ludzie, uczymy się i jak są zbudowane nasze mózgi. Uważam, że ML i neurologia mogą się uzupełniać i pomóc w dalszym zrozumieniu, jak budować systemy AI, które są w stanie nawigować w świecie, wykazywać kreatywność i przynosić wartość społeczeństwu.

Jakie są największe problemy związane z AI bias, o których jesteś świadoma?

Bias jest wbudowany w dane, które wprowadzamy do modeli AI, i całkowite jego usunięcie jest bardzo trudne. Jednakże jest niezwykle ważne, abyśmy byli świadomi biasów, które są w danych, i znaleźli sposoby na złagodzenie szkodliwych rodzajów biasów, zanim powierzymy modelom ważne zadania w społeczeństwie. Największe problemy, z którymi się zmagamy, to modele, które utrwalały szkodliwe stereotypy, systemowe uprzedzenia i niesprawiedliwości w społeczeństwie. Powinniśmy być świadomi, jak te modele AI będą wykorzystywane i jaki wpływ będą miały na ich użytkowników, i upewnić się, że są one bezpieczne, zanim zostaną zatwierdzone do wrażliwych przypadków użycia.

Niektóre wybitne obszary, w których modele AI wykazały szkodliwe biasy, to dyskryminacja grup niedoreprezentowanych w przyjęciach do szkół i uniwersytetów oraz stereotypy płciowe, które negatywnie wpływają na rekrutację kobiet. Nie tylko to, ale także algorytm wymiaru sprawiedliwości został uznany za błędne oznaczenie afroamerykańskich oskarżonych jako „wysokiego ryzyka” prawie dwa razy częściej niż białych oskarżonych w USA, podczas gdy technologia rozpoznawania twarzy nadal cierpi na wysokie wskaźniki błędów dla mniejszości ze względu na brak reprezentatywnych danych szkoleniowych.

Przykłady powyżej obejmują tylko niewielką część biasów wykazanych przez modele AI, i możemy przewidzieć większe problemy, które pojawią się w przyszłości, jeśli nie skupimy się na złagodzeniu biasu teraz. Ważne jest, aby pamiętać, że modele AI uczą się z danych, które zawierają te biasy ze względu na decyzje ludzkie, które są pod wpływem niekontrolowanych i nieświadomych biasów. W wielu przypadkach, odwoływanie się do decyzji ludzkiej może nie wyeliminować biasu. Prawdziwe złagodzenie biasu będzie wymagało zrozumienia, jak są one obecne w danych, które wykorzystujemy do szkolenia modeli, izolowania czynników, które przyczyniają się do tendencyjnych predykacji, i wspólnego decydowania, na czym chcemy opierać ważne decyzje. Rozwinięcie zestawu standardów, abyśmy mogli ocenić modele pod kątem bezpieczeństwa przed ich użyciem w wrażliwych przypadkach użycia, będzie ważnym krokiem naprzód.

Halucynacje AI są ogromnym problemem w przypadku każdego rodzaju generatywnego AI. Czy możesz omówić, jak szkolenie z udziałem człowieka (HITL) może złagodzić te problemy?

Halucynacje w modelach AI są problematyczne w szczególnych przypadkach użycia generatywnego AI, ale ważne jest, aby zauważyć, że same w sobie nie są problemem. W pewnych kreatywnych zastosowaniach generatywnego AI, halucynacje są mile widziane i przyczyniają się do bardziej kreatywnych i interesujących odpowiedzi.

Mogą one być problematyczne w przypadkach użycia, w których zależy od niezawodnych informacji. Na przykład w opiece zdrowotnej, gdzie podejmowanie decyzji jest kluczowe, dostarczanie profesjonalistom ochrony zdrowia niezawodnych informacji jest niezbędne.

HITL odnosi się do systemów, które pozwalają ludziom na bezpośrednią informację zwrotną do modelu dla predykacji, które są poniżej pewnego poziomu ufności. W kontekście halucynacji HITL może być wykorzystany do pomocy modelom w nauce poziomu pewności, jaki powinny mieć dla różnych przypadków użycia przed wydaniem odpowiedzi. Te progi będą się różnić w zależności od przypadku użycia i nauczenie modeli różnic w rygorze potrzebnym do odpowiedzi na pytania z różnych przypadków użycia będzie kluczowym krokiem w kierunku złagodzenia problematycznych halucynacji. Na przykład, w przypadku użycia prawnego, ludzie mogą pokazać modelom AI, że sprawdzanie faktów jest wymaganym krokiem przy odpowiedziach na pytania oparte na złożonych dokumentach prawniczych z wieloma klauzulami i warunkami.

Jak pracownicy AI, tacy jak analitycy danych, mogą pomóc w redukowaniu potencjalnych problemów z biasem?

Pracownicy AI mogą przede wszystkim pomóc w identyfikowaniu biasów obecnych w danych. Gdy bias zostanie zidentyfikowany, staje się łatwiejsze znalezienie strategii złagodzenia. Analitycy danych mogą również pomóc w znalezieniu sposobów na redukowanie biasu. Na przykład, w przypadku zadań NLP, mogą pomóc, dostarczając alternatywne sposoby sformułowania problematycznych fragmentów tekstu, tak aby zredukować bias obecny w języku. Dodatkowo, różnorodność wśród pracowników AI może pomóc w złagodzeniu problemów z biasem w etykietowaniu.

Jak zapewniasz, że pracownicy AI nie wprowadzają nieumyślnie swoich własnych ludzkich biasów do systemu AI?

Jest to z pewnością skomplikowana kwestia, która wymaga starannej uwagi. Wyeliminowanie ludzkich biasów jest prawie niemożliwe, a pracownicy AI mogą nieumyślnie wprowadzać swoje biasy do modeli AI, więc jest kluczowe, aby rozwijać procesy, które prowadzą pracowników do najlepszych praktyk.

Niektóre kroki, które można podjąć, aby utrzymać ludzkie biasy na minimalnym poziomie, to:

• Wyczerpujące szkolenie pracowników AI na temat nieświadomych biasów i dostarczanie im narzędzi do identyfikowania i zarządzania własnymi biasami podczas etykietowania.
• Checklisty, które przypominają pracownikom AI o weryfikacji własnych odpowiedzi przed ich przesłaniem.
• Przeprowadzanie oceny, która sprawdza poziom zrozumienia, jaki mają pracownicy AI, gdzie są im pokazywane przykłady odpowiedzi na różne typy biasów, i są proszeni o wybranie najmniej tendencyjnej odpowiedzi.

Regulatorzy na całym świecie zamierzają regulować dane wyjściowe AI, co Twoim zdaniem regulatorzy nie rozumieją, a co mają rację?

Ważne jest, aby zacząć od powiedzenia, że jest to bardzo trudny problem, którego nikt nie rozwiązał. Społeczeństwo i AI będą ewoluować i wpływać na siebie w sposób, który jest bardzo trudny do przewidzenia. Częścią skutecznej strategii znalezienia solidnych i przydatnych praktyk regulacyjnych jest zwrócenie uwagi na to, co dzieje się w AI, jak ludzie reagują na nie i jakie skutki ma dla różnych branż.

Uważam, że znaczącą przeszkodą w skutecznej regulacji AI jest brak zrozumienia, co modele AI mogą i nie mogą zrobić, i jak one działają. To z kolei utrudnia dokładne przewidzenie konsekwencji, jakie te modele będą miały na różne sektory i grupy społeczne. Innym obszarem, który jest niedostatecznie rozwinięty, jest przywództwo myśli w kwestii wyrównania modeli AI do ludzkich wartości i tego, co oznacza bezpieczeństwo w bardziej konkretnych kategoriach.

Regulatorzy szukali współpracy z ekspertami w dziedzinie AI, byli ostrożni, aby nie stłumić innowacji zbyt surowymi zasadami wokół AI, i zaczęli brać pod uwagę konsekwencje AI dla utraty miejsc pracy, co są wszystkie bardzo ważne obszary uwagi. Ważne jest, aby postępować ostrożnie, gdy nasze myśli o regulacji AI się wyjaśniają z czasem, i aby zaangażować jak najwięcej ludzi, aby podejść do tego problemu w sposób demokratyczny.

Jak rozwiązania Prolific mogą pomóc przedsiębiorstwom w redukowaniu AI bias i innych problemów, o których dyskutowaliśmy?

Zbieranie danych do projektów AI nie zawsze było procesem przemyślanym i celowym. Wcześniej widzieliśmy przypadki zbierania danych, outsourcingu i innych metod, które były powszechne. Jednakże, jak trenujemy AI, jest kluczowe. Następne modele będą musiały być zbudowane na intencjonalnie zebranych, wysokiej jakości danych, od prawdziwych ludzi i od tych, z którymi mamy bezpośredni kontakt. To jest miejsce, w którym Prolific robi różnicę.

Inne dziedziny, takie jak badania rynku, badania naukowe, nauczyły się tego dawno temu. Grupa, z której się sample, ma duży wpływ na wyniki. AI zaczyna doganiać, i jesteśmy teraz na rozdrożu.

Teraz jest czas, aby zacząć dbać o korzystanie z lepszych prób i pracę z bardziej reprezentatywnymi grupami do szkolenia i doskonalenia AI. Oba są kluczowe dla rozwoju bezpiecznych, niezbyt tendencyjnych i wyrównanych modeli.

Prolific może pomóc dostarczyć odpowiednie narzędzia dla przedsiębiorstw, aby prowadzić eksperymenty AI w bezpieczny sposób i zbierać dane od uczestników, gdzie bias jest sprawdzany i złagodzony w trakcie. Możemy pomóc dostarczyć wskazówki dotyczące najlepszych praktyk w zakresie zbierania danych, wyboru, wynagrodzenia i sprawiedliwego traktowania uczestników.

Jakie są Twoje poglądy na temat transparentności AI, czy użytkownicy powinni móc zobaczyć, jakie dane są wykorzystywane do trenowania algorytmu AI?

Uważam, że są zalety i wady transparentności, i że nie znaleziono jeszcze dobrego balansu. Firmy ukrywają informacje dotyczące danych, które wykorzystują do trenowania modeli AI, ze strachu przed pozwami. Inne pracowały nad udostępnieniem swoich modeli AI publicznie i wydaniem wszystkich informacji dotyczących danych, które wykorzystały. Pełna transparentność otwiera wiele możliwości do wykorzystania słabości tych modeli. Pełna tajemnica nie pomaga w budowaniu zaufania i angażowaniu społeczeństwa w tworzenie bezpiecznego AI. Dobre rozwiązanie pośrednie dostarczyłoby wystarczającą transparentność, aby zbudować zaufanie, że modele AI są trenowane na dobrych, istotnych danych, na które wyraziliśmy zgodę. Musimy zwrócić uwagę na to, jak AI wpływa na różne branże i otworzyć dialogi z zainteresowanymi stronami, aby upewnić się, że rozwijamy praktyki, które działają dla wszystkich.

Uważam również, że ważne jest, aby rozważyć, co użytkownicy uznają za satysfakcjonujące w kwestii wyjaśnialności. Jeśli chcą zrozumieć, dlaczego model daje określoną odpowiedź, dostarczanie im surowych danych, na których model został trenowany, niekoniecznie pomoże w odpowiedzi na ich pytanie. Budowanie dobrych narzędzi do wyjaśnialności i interpretowalności jest więc ważne.

Badania nad wyrównaniem AI mają na celu skierowanie systemów AI ku celom, preferencjom lub zasadom etycznym ludzi. Czy możesz omówić, jak pracownicy AI są szkoleni i jak jest to wykorzystywane do zapewnienia, że AI jest wyrównane jak najlepiej?

Jest to aktywny obszar badań i nie ma jeszcze konsensusu co do strategii, które powinniśmy wykorzystywać, aby wyrównać modele AI do ludzkich wartości lub nawet, które zestaw wartości powinniśmy dążyć do wyrównania.

Pracownicy AI są zwykle proszeni o autentyczne reprezentowanie swoich preferencji i odpowiedzi na pytania dotyczące ich preferencji w sposób prawdziwy, a także przestrzeganie zasad dotyczących bezpieczeństwa, braku biasu, nieszkodliwości i przydatności.

Odnośnie do wyrównania do celów, zasad etycznych lub wartości, istnieją wiele podejść, które wyglądają obiecująco. Jednym z godnych uwagi przykładów jest praca Instytutu Wyrównania Znaczenia nad Demokratycznym Doskonaleniem. Jest świetny post wprowadzający tę ideę tutaj.

Dziękujemy za wspaniały wywiad i za podzielenie się swoimi poglądami na temat biasu AI, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić Prolific.