Niewidoczna, często niezadowolona siła robocza, która decyduje o przyszłości sztucznej inteligencji

Dwa nowe raporty, w tym artykuł pod przewodnictwem Google Research, wyrażają obawy, że obecny trend polegający na wykorzystywaniu taniej i często bezsilnej grupy globalnych pracowników gigowych do tworzenia podstawy prawdy dla systemów machine learning może mieć znaczące konsekwencje dla sztucznej inteligencji.

Wśród szeregu wniosków, badanie Google stwierdza, że własne uprzedzenia pracowników crowdworkers mogą zostać wbudowane w systemy sztucznej inteligencji, których podstawą prawdy będą ich odpowiedzi; że powszechne nieuczciwe praktyki pracy (w tym w Stanach Zjednoczonych) na platformach crowdworking mogą obniżyć jakość odpowiedzi; oraz że system “konsensusu” (skutecznie “mini-wyborów” dla pewnego fragmentu podstawy prawdy, który wpłynie na systemy sztucznej inteligencji) który obecnie rozstrzyga spory, może rzeczywiście odrzucić najlepsze i/lub najbardziej poinformowane odpowiedzi.

To jest złe wieści; gorsze wieści są takie, że większość środków zaradczych jest droga, czasochłonna lub obie te rzeczy.

Niepewność, losowa odrzucenie i zgorzknienie

Pierwszy artykuł, z pięciu badaczy Google, nosi tytuł Czyja podstawa prawdy? Uwzględnianie indywidualnych i zbiorowych tożsamości podczas adnotacji zbioru danych; drugi artykuł, z dwóch badaczy z Uniwersytetu w Syracuse w stanie Nowy Jork, nosi tytuł Pochodzenie i wartość niezgodności wśród osób adnotujących dane: studium przypadku indywidualnych różnic w adnotacji mowy nienawiści.

Artykuł Google zauważa, że pracownicy crowdworkers – których oceny często stanowią podstawę systemów machine learning, które mogą ostatecznie wpłynąć na nasze życie – często działają w ramach szeregu ograniczeń, które mogą wpłynąć na sposób, w jaki odpowiadają na zadania eksperymentalne.

Na przykład, obecne zasady Amazon Mechanical Turk pozwalają osobom zgłaszającym (tym, którzy wydają zadania) odrzucić pracę adnotatora bez odpowiedzialności*:

‘[W]ielka większość pracowników crowdworkers (94%) miała odrzuconą pracę lub nie została za nią zapłacona. Jednakże, osoby zgłaszające zachowują pełne prawa do otrzymanych danych, niezależnie od tego, czy zaakceptują je, czy je odrzucą; Roberts (2016) opisuje ten system jako taki, który “umożliwia kradzież wynagrodzenia”.

‘Ponadto, odrzucanie pracy i zatrzymywanie wynagrodzenia jest bolesne, ponieważ odrzucenia są często spowodowane niejasnymi instrukcjami i brakiem znaczących kanałów informacji zwrotnej; wielu pracowników crowdworkers zgłasza, że złe komunikowanie się negatywnie wpływa na ich pracę.’

Autorzy zalecają, aby badacze, którzy używają usług zewnętrznych do tworzenia zbiorów danych, brali pod uwagę, w jaki sposób platforma crowdworking traktuje swoich pracowników. Zaznaczają również, że w Stanach Zjednoczonych pracownicy crowdworkers są klasyfikowani jako “niezależni kontrahenci”, a praca jest więc nieuregulowana i nieobjęta minimalnym wynagrodzeniem przewidzianym przez Fair Labor Standards Act.

Kontekst ma znaczenie

Artykuł krytykuje również wykorzystywanie ad hoc globalnej siły roboczej do zadań adnotacji, bez uwzględnienia tła adnotatora.

Gdzie pozwala na to budżet, jest powszechne, że badacze używający AMT i podobnych platform crowdwork wydają to samo zadanie czterem adnotatorom i stosują “zasadę większości” do wyników.

Doświadczenie kontekstowe, jak argumentuje artykuł, jest szczególnie zaniedbywane. Na przykład, jeśli pytanie dotyczące seksizmu jest losowo rozdzielone między trzech zgadzających się mężczyzn w wieku 18-57 i jedną niezgodną kobietę w wieku 29, werdykt mężczyzn wygrywa, chyba że badacze zwracają uwagę na kwalifikacje swoich adnotatorów.

Podobnie, jeśli pytanie dotyczące zachowania gangów w Chicago jest rozdzielone między kobietę z obszaru wiejskiego w Stanach Zjednoczonych w wieku 36, mężczyznę mieszkającego w Chicago w wieku 42 i dwóch adnotatorów odpowiednio z Bangalore i Danii, osoba najbardziej dotknięta tym problemem (mężczyzna z Chicago) posiada jedynie ćwierć udziału w wyniku, w standardowej konfiguracji outsourcingu.

Badacze stwierdzają:

‘[P]ojęcie “jednej prawdy” w odpowiedziach crowdworkers jest mitem; niezgodność między adnotatorami, która jest często postrzegana jako negatywna, może faktycznie dostarczyć cennego sygnału. Po drugie, ponieważ wiele pul adnotatorów crowdworkers jest skażonych demograficznie, istnieją implikacje dla populacji reprezentowanych w zbiorach danych, a także dla populacji, które napotykają wyzwania związane z [crowdwork].

‘Uwzględnianie skrzywień w demografii adnotatorów jest kluczowe dla kontekstualizacji zbiorów danych i zapewnienia odpowiedzialnego ich wykorzystania. Innymi słowy, istnieje wartość w uznaniu i uwzględnieniu tła socjo-kulturowego pracowników — zarówno z punktu widzenia jakości danych, jak i wpływu społecznego.’

Brak ‘neutralnych’ opinii na gorące tematy

Nawet w sytuacji, gdy opinie czterech adnotatorów nie są skażone demograficznie ani w inny sposób, artykuł Google wyraża obawy, że badacze nie uwzględniają doświadczeń życiowych ani filozoficznego nastawienia adnotatorów:

‘[P]odczas gdy niektóre zadania tendencją mają obiektywne pytania z prawidłową odpowiedzią (czy jest ludzka twarz na zdjęciu?), często zbiorami danych są próby uchwycenia osądu na temat subiektywnych zadań bez powszechnie prawidłowej odpowiedzi (czy ten fragment tekstu jest obraźliwy?). Ważne jest, aby być intencjonalnym w odniesieniu do tego, czy polegać na subiektywnych osądach adnotatorów.’

W odniesieniu do swojego konkretnego zakresu, aby rozwiązać problemy związane z adnotacją mowy nienawiści, artykuł z Uniwersytetu w Syracuse zauważa, że bardziej kategoryczne pytania, takie jak Is there a cat in this photograph? są zauważalnie różne od pytania crowdworkerowi, czy fraza jest ‘toksyczna’:

‘Uwzględniając nieład społecznej rzeczywistości, ludzie mają różne postrzeganie toksyczności. Ich etykiety toksycznych treści opierają się na ich własnych postrzeganiach.’

Stwierdzając, że osobowość i wiek mają znaczący wpływ na wymiarową adnotację mowy nienawiści, badacze z Uniwersytetu w Syracuse dochodzą do wniosku:

‘Te wyniki sugerują, że starania, aby uzyskać spójność adnotacji wśród osób z różnymi tłem i osobowościami w odniesieniu do mowy nienawiści, mogą nigdy nie być w pełni udane.’

Sędzia może być również uprzedzony

Brak obiektywności jest prawdopodobnie iterowany w górę, zgodnie z artykułem z Uniwersytetu w Syracuse, który argumentuje, że interwencja ręczna (lub zautomatyzowana polityka, również decyzja ludzka), która określa “zwycięzcę” głosów konsensusu, powinna również podlegać kontroli.

Porównując ten proces do moderacji forum, autorzy stwierdzają*:

‘[M]oderatorzy społeczności mogą decydować o losie postów i użytkowników w swojej społeczności, promując lub ukrywając posty, a także honorując, karząc lub banując użytkowników. Decyzje moderatorów wpływają na treści dostarczane członkom społeczności i publiczności i przez to wpływają na doświadczenie społeczności w dyskusji.

‘Zakładając, że moderator ludzki jest członkiem społeczności, który ma demograficzną jednorodność z innymi członkami społeczności, wydaje się możliwe, że schemat mentalny, którym posługują się przy ocenianiu treści, będzie odpowiadał tym, którym posługują się inni członkowie społeczności.’

To daje pewne wskazówki, dlaczego badacze z Uniwersytetu w Syracuse doszli do tak pesymistycznego wniosku dotyczącego przyszłości adnotacji mowy nienawiści; implikacja jest taka, że polityki i decyzje dotyczące niezgodnych opinii crowdworkers nie mogą być po prostu losowo stosowane zgodnie z “akceptowalnymi” zasadami, które nie są ustanowione gdzieś (lub nie są redukowalne do stosowanego schematu, nawet jeśli istnieją).

Ludzie, którzy podejmują decyzje (pracownicy crowdworkers), są uprzedzeni, i byliby bezużyteczni dla takich zadań, gdyby nie byli uprzedzeni, ponieważ zadaniem jest dostarczenie wartościowania; ludzie, którzy rozstrzygają spory w wynikach crowdwork, również podejmują decyzje wartościujące przy ustalaniu polityk sporów.

Może być setki polityk w ramach jednego frameworku wykrywania mowy nienawiści, i chyba, że każda z nich zostanie wniesiona aż do Sądu Najwyższego, skąd może pochodzić “autorytatywny” konsensus?

Badacze Google sugerują, że ‘[n]iezgodności między adnotatorami mogą zawierać cenne niuanse dotyczące zadania’. Artykuł proponuje użycie metadanych w zbiorach danych, które odzwierciedlają i kontekstualizują spory.

Jednakże, trudno zobaczyć, jak taka warstwa danych mogłaby kiedykolwiek doprowadzić do porównywalnych miar, dostosować się do wymagań ustalonych testów standardowych lub wesprzeć jakiekolwiek ostateczne wyniki — poza nierzeczywistym scenariuszem przyjęcia tej samej grupy badaczy w kolejnych pracach.

Kuracja puli adnotatorów

To wszystko zakłada, że istnieje budżet w projekcie badawczym na wiele adnotacji, które doprowadzą do głosowania konsensusu. W wielu przypadkach badacze próbują “kurować” zewnętrzną pulę adnotacji taniej, określając cechy, które powinni posiadać pracownicy, takie jak położenie geograficzne, płeć lub inne czynniki kulturowe, wymieniając pluralizm na szczegółowość.

Artykuł Google utrzymuje, że droga do przodu z tych wyzwań może polegać na ustanowieniu rozbudowanych ram komunikacyjnych z adnotatorami, podobnych do minimalnych komunikacji, które aplikacja Uber ułatwia między kierowcą a pasażerem.

Taka staranna uwaga na adnotatorów byłaby, naturalnie, przeszkodą dla outsourcingu adnotacji na dużą skalę, skutkując albo ograniczonymi i niskowolumenowymi zbiorami danych, które mają lepsze uzasadnienie dla swoich wyników, albo “pośpieszną” oceną adnotatorów, uzyskując ograniczone informacje o nich i charakteryzując ich jako “nadających się do zadania” na podstawie zbyt małej ilości informacji.

To jest, jeśli adnotatorzy są szczerzy.

‘Ludzie schlebiający’ w zleceniu adnotacji zbioru danych

Z dostępną siłą roboczą, która jest niewypłacana, pod surową konkurencją o dostępne zadania, i przygnębioną przez brak perspektyw zawodowych, adnotatorzy są motywowani do szybkiego podawania “poprawnej” odpowiedzi i przejścia do następnego mini-zadania.

Jeśli “poprawna” odpowiedź jest czymś bardziej skomplikowanym niż Ma kot/Brak kota, artykuł z Uniwersytetu w Syracuse utrzymuje, że pracownik będzie próbował wywnioskować “akceptowalną” odpowiedź na podstawie treści i kontekstu pytania*:

‘[O]ba proliferacja alternatywnych konceptualizacji i powszechne stosowanie uproszczonych metod adnotacji są najprawdopodobniej hamujące postępy badań nad mową nienawiści w sieci. Na przykład, Ross i inni stwierdzili, że pokazywanie definicji Twittera mowy nienawiści adnotatorom powodowało częściowe wyrównanie ich własnych opinii z definicją. To wyrównanie skutkowało bardzo niską niezawodnością między oceniami.’

* Moja konwersja cytowań wewnętrznych artykułu na linki.

Opublikowano 13 grudnia 2021 – Zaktualizowano 18 grudnia 2021: dodano tagi