Ryzyko opartego na „wibie” oznaczania obrazów

Nawet jeśli są płaci tylko kilka dolarów (lub w ogóle nic), nieznane osoby, które oceniają obrazy pod kątem „szkodliwej” zawartości, mogą zmienić twoje życie dzięki wyborom, które podejmują. Teraz nowy artykuł od Google wydaje się sugerować, że ci annotatorzy tworzą własne reguły dotyczące tego, co jest lub nie jest „szkodliwe” lub obraźliwe – niezależnie od tego, jak dziwne lub osobiste mogą być ich reakcje na dany obraz. Co mogłoby pójść nie tak?

Opinia W tym tygodniu nowa współpraca między Google Research a Google Mind połączyła aż 13 współautorów w nowym artykule, który bada, czy „instynktowne uczucia” annotatorów obrazów powinny być brane pod uwagę przy ocenianiu obrazów dla algorytmów, nawet jeśli ich reakcje nie zgadzają się z ustalonymi standardami oceny.

To jest ważne dla ciebie, ponieważ to, co oceniający i annotatorzy uznają za obraźliwe na podstawie konsensusu, ma tendencję do wprowadzania automatycznych systemów cenzury i moderacji, oraz w kryteriach dla „obscenicznych” lub „nieakceptowalnych” materiałów, w ustawodawstwie takim jak nowy zaporę NSFW* w Wielkiej Brytanii (wersja której wkrótce zostanie wprowadzona w Australii), oraz w systemach oceny zawartości na platformach społecznościowych, wśród innych środowisk.

Im szersze kryteria obraźliwości, tym szerszy potencjał cenzury.

Cenzura oparta na „wibie”

To nie jest jedyna perspektywa, jaką oferuje nowy artykuł; stwierdza on również, że osoby, które oceniają obrazy, często są bardziej skłonne do cenzury tego, co mogłoby obrazić innych ludzi poza sobą; oraz że obrazy o niskiej jakości często wywołują obawy bezpieczeństwa, chociaż jakość obrazu nie ma nic wspólnego z zawartością obrazu.

W swoim wniosku artykuł podkreśla te dwie ustalenia, jakby centralna teza artykułu nie powiodła się, ale autorzy byli zobowiązani do opublikowania go i tak.

Chociaż nie jest to niezwykła sytuacja, artykuł daje, po starannej lekturze, bardziej złowieszczy podtekst: że praktyki annotacji mogą przyjąć to, co mogę tylko opisać jako annotację opartą na „wibie”:

‘Nasze wyniki sugerują, że istniejące ramy muszą uwzględniać subiektywne i kontekstowe wymiary, takie jak reakcje emocjonalne, niejawne osądy i kulturowe interpretacje szkodliwości. Częste używanie języka emocjonalnego przez annotatorów i ich rozbieżność z ustalonymi etykietami szkodliwości podkreślają luki w bieżących praktykach oceny.

‘Rozszerzenie wytycznych annotacji o przykładowe ilustracje różnorodnych kulturowych i emocjonalnych interpretacji może pomóc wypełnić te luki.’

Nowy artykuł, który jest słabo ilustrowany, rozpoczyna się od przykładów, które są niejednoznaczne i sympatyczne dla przeciętnego czytelnika, chociaż rzeczywisty materiał zaprasza do wielu pytań. Tutaj, pod każdym obrazem, widzimy reakcje emocjonalne annotatorów oznaczone dla ich odpowiednich obrazów. Źródło: https://arxiv.org/pdf/2507.16033

Na początku to brzmi jak propozycja rozszerzenia i lepszego określenia tego, co stanowi „szkodliwość” w obrazie – godny podziwu cel; ale artykuł powtarza kilkakrotnie, że nie jest to pożądane ani (koniecznie) wykonalne:

‘Nasze wyniki sugerują, że istniejące ramy muszą uwzględniać subiektywne i kontekstowe wymiary, takie jak reakcje emocjonalne, niejawne osądy i kulturowe interpretacje szkodliwości. Częste używanie języka emocjonalnego przez annotatorów i ich rozbieżność z ustalonymi etykietami szkodliwości podkreślają luki w bieżących praktykach oceny.

‘Rozszerzenie wytycznych annotacji o przykładowe ilustracje różnorodnych kulturowych i emocjonalnych interpretacji może pomóc wypełnić te luki […]

‘[…] Proces, w którym annotatorzy rozumieją niejasne obrazy, często odzwierciedla ich osobiste, kulturowe i emocjonalne perspektywy, które są trudne do opracowania lub standaryzacji.’

Trudno zobaczyć, jak „Rozszerzenie wytycznych annotacji o przykładowe ilustracje różnorodnych kulturowych i emocjonalnych interpretacji” może pasować do racjonalnego systemu oceny; autorzy mają trudności z wyjaśnieniem tego punktu lub sformułowaniem wyraźnej teorii, atakując materiał wielokrotnie, ale nigdy nie pokonując go. W tym zakresie ich centralny temat sam wydaje się „wibrowany”, nawet gdy zajmuje się nieuchwytnymi psychologiami.

Po prostu, wydaje się, że rozszerzenie potoku annotacji o kryteria tego rodzaju potencjalnie pozwala na „zniszczenie” lub zaciemnienie dowolnego materiału (lub klasy tematów), który annotator mógłby silnie zareagować.

Binarna ocena

Stopień, w jakim obrazy i tekst mogą powodować szkodliwość, jest rzeczywiście trudny do określenia, nie tylko dlatego, że wysoka kultura często przenika się z „niską” kulturą (na przykład z sztuką i powieściami), prowadząc do najwcześniejszych „wibrowanych” kryteriów cenzury: nawet jeśli materiał obsceniczny ucieka dokładnej definicji, wiesz, gdy go zobaczysz.

Poniżej obszernego i eksploracyjnego dyskursu nowego artykułu na temat empatii i jakościowej subtelności, praca wydaje się cicho atakować autorytet scentralizowanych, standaryzowanych taksonomii („przemoc”, „nagość”, „nienawiść” itp.), które pozwalają platformom na wdrożenie i skalowanie moderacji z tolerowalnymi marginesami błędu (zwykle).

Wynikający argument brzmi, że tylko zdecentralizowana, subiektywna, kontekstowo-świadoma ludzka informacja zwrotna może właściwie ocenić dane wyjściowe GenAI.

Jednak jest to wyraźnie nie do skalowania, ponieważ nie można uruchomić potoku filtracji obrazów o wartości bilionów na „wibach” i doświadczeniu; trzeba określić szkodliwość w różnorodne właściwości; ustalić limit zakresu wynikającego systemu filtracji; i czekać na nowe dyrektywy w „krawędziowych” przypadkach (podobnie jak strony pokrzywdzone muszą czasem czekać na uchwalenie nowych praw, które dotyczą ich szczególnych okoliczności).

Zamiast tego nowy artykuł przedstawia niejawne zlecenie dla zautomatyzowanego potoku moderacji, który rozszerza swój zakres automatycznie, i błądzi tak bardzo po stronie ostrożności, że nawet najbardziej szczegółowa i niepowtarzalna reakcja annotatora mogłaby ukarać obraz, który nie obraził nikogo innego.

Rozszerzenie moralne

Chociaż artykuł nachylony jest ku eksploracji raczej niż zajęciu stanowiska, zawiera elementy metody naukowej: autorzy opracowali ramy, aby zidentyfikować (choć nie ściśle zmierzyć) szerszy zakres reakcji annotatorów na obrazy i zbadać, jak te reakcje różnią się w zależności od płci i innych czynników demograficznych.

Oprócz analizy testów skupienia na szkodliwości^†, proces analizował „moralne rozumowanie” w uzupełniających komentarzach uczestników testowych, którzy zostali poproszeni o oznaczenie zmodyfikowanego zestawu testowego zawierającego obrazy i powiązane teksty.

„Moralny autorater sentimentu” został zaprojektowany, aby uchwycić wartości moralne Troska, Równość, Proporcjonalność, Lojalność, Władza i Czystość, zdefiniowane w Teorii Podstaw Moralnych – psychologicznej teorii, która, ze względu na swój płynny i ewolucyjny charakter, jest przeciwna tworzeniu konkretnych definicji wymaganych dla dużych systemów oceny ludzkiej.

Poinformowani o tej teorii, dodatkowe wymiary bezpieczeństwa zostały sklasyfikowane przez autorów, w tym strach, gniew, smutek, obrzydzenie, zamieszanie i niepokojącość.

Autorzy wyjaśniają pierwszy z nich, strach:

‘Wielu annotatorów używało słów takich jak “przerażający” (np. dla zniekształconych twarzy lub obrazów sugerujących przemoc, takich jak pistolet skierowany w dziecko), “niepokojący” (np. “Absolutnie obrzydliwe, widzieć, jak ktoś zostaje przejechany, bardzo niepokojące i przerażające” lub “Przerażające i wygląda na to, że jest to krew” dla czerwonej farby) lub “niepokojący” (np. “Obraz chłopca ma wiele zniekształceń… Uważam to za nieprzyjemne, ponieważ wydaje się, że chłopiec bawi się po niewłaściwej stronie poręczy”).

‘[Poniższy wykres] ilustruje „strach” jako najczęściej wymienianą emocję (233 wzmianki, z których prawie połowa jest związana z treścią przemocową, treść uznana za nie szkodliwą również wywołała najwyższą wzmiankę o strachu).’

Rozkład terminów związanych z emocjami w kategoriach szkodliwości, z wysokością słupków wskazującą proporcje komentarzy, liczbę komentarzy wyświetlanych w słupkach i łączną liczbę komentarzy powyżej każdej kategorii.

W odniesieniu do włączenia tych nowych wymiarów bezpieczeństwa, autorzy stwierdzają:

‘Te pojawiające się tematy podkreślają krytyczną potrzebę wzbogacenia ram oceny obrazów AI, integrując subiektywne, emocjonalne i percepcyjne elementy.’

To może być niebezpieczna droga, ponieważ wydaje się, że pozwala procesom annotacji na arbitralne dodawanie reguł na podstawie reakcji, które materiał może wywołać u dowolnego annotatora, zamiast wymagania, aby wszyscy annotatorzy przestrzegali ustalonych standardów i benchmarków.

Jeśli można przypisać ekonomiczną konieczność do tego pomysłu, to jest to hiperskalowalna annotacja ludzka, w której proces jest bez tarcia, uczestnicy są samoregulujący, a oni sami decydują, jakie są reguły i granice.

Pod standardową annotacją reguły są ustalane przez konsensus ludzki i przestrzegane przez ludzkich annotatorów; w scenariuszu opisanym w artykule warstwa nadzoru jest usunięta lub obniżona: skutecznie każdy obraz, który mógłby obrazić kogoś, zostanie oznaczony (nawet dlatego, że konsensus jest kosztowny, a także czasochłonny).

Osądy Rorschacha

Celem annotacji jest uzyskanie dokładnego opisu lub definicji albo za pomocą nadzoru ekspertów, albo za pomocą powszechnego konsensusu wśród wielu annotatorów, albo (idealnie) obu. Zamiast tego, rozszerzenie ograniczonej, ale dobrze zdefiniowanej hierarchii szkodliwości na „intuicyjną” i silnie osobistą interpretację, jest równoznaczne z annotowaniem testu Rorschacha.

Na przykład niektórzy annotatorzy, jak stwierdza artykuł, interpretowali słabą jakość obrazu (taką jak artefakty JPEG, a także bezsensowne błędy techniczne w obrazie) jako „przerażający” lub „wskazujący na szkodliwość”:

‘To wystąpiło, pomimo że zadanie pomijało instrukcje dotyczące jakości obrazu. Co więcej, annotatorzy interpretowali te artefakty jako znaczące semantycznie.

‘Jeden z annotatorów skomentował: „Obraz nie jest szkodliwy w ogóle; po prostu ma lekko zniekształconą twarz”. Podobnie niektórzy annotatorzy interpretowali artefakty jakości jako intencjonalną szkodliwość, przypisując emocjonalne znaczenie błędom. Na przykład inny annotator zinterpretował zniekształconą twarz w innym obrazie jako „wskazującą na ból”’

Podnosząc subiektywne, emocjonalne lub kontekstowe reakcje ponad ustalone kategorie bezpieczeństwa, pomysły przedstawione tutaj otwierają drzwi do reżimu, w którym cokolwiek może być arbitralnie oznaczone jako szkodliwe, a „chłodzący efekt” ad hoc usunięć lub negatywnej rekategoracji materiału (tj. materiału, który mógłby obrazić specjalną grupę interesu) staje się realną perspektywą.

Artykuł “Just a strange pic”: Evaluating ‘safety’ in GenAI Image safety annotation tasks from diverse annotators’ perspectives jest dostępny na Arxiv.

* Skrót, ponieważ nie jest to główny temat tutaj; zgodnie z nowymi przepisami, obraźliwe strony są oczekiwane do samoregulacji; wprowadzenia skomplikowanych i kosztownych systemów przeglądu i technologii weryfikacji wieku, które są poza zasięgiem wszystkich, z wyjątkiem największych stron; lub zablokowania ich domen dla brytyjskiej publiczności (ponownie, na własny koszt).

† Prosto wyrażone w memie „pomyśl o dzieciach”, który satyryzuje przywłaszczenie sobie cudzej agencji moralnej dla pozornie altruistycznych celów.

Pierwotnie opublikowane w piątek, 25 lipca 2025