Rizika „vibe“-založeného označování obrázků

Přestože jsou placeni pouze několika dolary (nebo dokonce nic), neznámí lidé, kteří hodnotí obrázky pro obsah „újavného“ obsahu, mohou změnit váš život svými rozhodnutími. Nyní se zdá, že nová studie od Googlu naznačuje, že tito anotátoři vytvářejí svá vlastní pravidla pro to, co je nebo není „újavné“ nebo urážlivé – bez ohledu na to, jak podivná nebo osobní mohou být jejich reakce na jakýkoli jeden obrázek. Co by mohlo být špatně?

Mínění Tento týden nová spolupráce mezi Google Research a Google Mind spojila ne méně než 13 přispěvatelů do nové studie, která zkoumá, zda by měly být „instinktivní pocity“ anotátorů obrázků zohledněny při hodnocení obrázků pro algoritmy, i když jejich reakce nejsou v souladu se stanovenými standardy hodnocení.

To je důležité pro vás, protože to, co hodnotitelé a anotátoři považují za urážlivé na základě konsensu, se tendenci stává součástí automatických systémů cenzury a moderace a kritérií pro „neslušný“ nebo „nepřijatelný“ materiál, v legislativě, jako je například nová NSFW brána* ve Spojeném království (verze, která brzy přijde do Austrálie), a v systémech hodnocení obsahu na sociálních médiích a dalších prostředích.

To znamená, že čím širší jsou kritéria pro urážlivost, tím širší je potenciál cenzury.

Vibe-Cenzura

To není jediný názor, který nová studie nabízí; také zjistila, že lidé, kteří hodnotí obrázky, jsou často více cenzurní vůči tomu, co si myslí, že by mohlo urazit jiné lidi kromě sebe; a že nízkokvalitní obrázky často vyvolávají bezpečnostní obavy, ačkoli kvalita obrázku nemá nic společného s obsahem obrázku.

Ve svém závěru studie zdůrazňuje tato dvě zjištění, jako by centrální pozice studie selhala, ale výzkumníci byli povinni ji zveřejnit.

Ačkoli to není neobvyklá situace, studie při pečlivém čtení obsahuje více zlověstný podtext: že postupy anotace by mohly zahrnovat to, co bych mohl popsat jako vibe-anotaci:

‘Naše zjištění naznačují, že stávající rámce potřebují zohlednit subjektivní a kontextové dimenze, jako jsou emocionální reakce, implicitní soudy a kulturní interpretace škody. Časté použití emocionálního jazyka anotátory a jejich odchylka od předdefinovaných škodlivých štítků zdůrazňují mezery v současných postupech hodnocení.

‘Rozšíření pokynů pro anotaci o ilustrativní příklady různých kulturních a emocionálních interpretací může pomoci tyto mezery řešit.’

Nová studie s minimálním ilustrativním materiálem začíná příklady, které jsou neambivalentní a sympatické průměrnému čtenáři, ačkoli skutečný hlavní materiál vyvolává mnoho otázek. Zde, pod každým obrázkem, vidíme emocionální reakce anotátorů označené pro jejich příslušné obrázky. Zdroj: https://arxiv.org/pdf/2507.16033

Zpočátku to zní jako návrh na rozšíření a lepší kvantifikaci toho, co tvoří „škodu“ v obrázku – chvályhodné úsilí; ale studie opakovaně uvádí, že toto není žádoucí ani (necessarily) proveditelné:

‘Naše zjištění naznačují, že stávající rámce potřebují zohlednit subjektivní a kontextové dimenze, jako jsou emocionální reakce, implicitní soudy a kulturní interpretace škody. Časté použití emocionálního jazyka anotátory a jejich odchylka od předdefinovaných škodlivých štítků zdůrazňují mezery v současných postupech hodnocení.

‘Rozšíření pokynů pro anotaci o ilustrativní příklady různých kulturních a emocionálních interpretací může pomoci tyto mezery řešit […]

‘[…] Proces, kterým anotátoři uvažují o nejasných obrázcích, často odráží jejich osobní, kulturní a emocionální perspektivy, které jsou obtížně strukturovatelné nebo standardizovatelné.’

Je obtížné vidět, jak ‘Rozšíření pokynů pro anotaci o ilustrativní příklady různých kulturních a emocionálních interpretací’ může být součástí racionálního systému hodnocení; autoři bojují s objasněním tohoto bodu nebo formulací distinktní teorie, útočí na materiál mnohokrát, ale nikdy nedosahují úspěchu. V tomto ohledu se jejich centrální téma samo o sobě zdá být „vibe“-generovaným, ačkoli se zabývá intangible psychologiemi.

Jednoduše řečeno, zdá se mi, že rozšíření procesu anotace o kritéria tohoto druhu potenciálně umožňuje „zrušení“ nebo zamlžení jakéhokoli materiálu (nebo třídy témat), který by mohl vyvolat silnou reakci u anotátora.

Binární Soud

Rozsah, v jakém mohou obrázky a text způsobit škodu, je skutečně obtížné kvantifikovat, nejméně proto, že vysoká kultura často protíná „nízkou“ kulturu (například s uměním a romány), vedoucí k prvním „vibe“-založeným kritériím cenzury: i když urážlivý materiál uniká přesné definici, budete vědět to, když uvidíte.

Pod novou studií rozsáhlou a průzkumnou diskuzí o empatii a kvalitativní nuanci se práce zdá tichým útokem na autoritu centralizovaných, standardizovaných taxonomií („násilí“, „nahota“, „nenávist“, atd.), které umožňují platformám implementovat a škálovat moderaci s přijatelnými maržemi chyby (obvykle).

Argument, který vyvstává, je ten, že pouze decentralizovaná, subjektivní, kontextově-aware lidská zpětná vazba může správně posoudit výstup GenAI.

Ačkoli je toto jasně neškálovatelné, protože nelze spustit trilionový filter pipeline na „vibech“ a zkušenostech; je nutné kvantifikovat škodu do různých vlastností; nastavit limit rozsahu výsledného filtrovacího systému; a čekat na nové směrnice v „hraničních“ případech (podobně jako strany, které jsou dotčeny, musí někdy čekat na přijetí nových zákonů, které řeší jejich konkrétní okolnosti).

Místo toho nová studie představuje tacitní mandát pro automatizovaný moderovací pipeline, který expanduje svůj rozsah automaticky a chybuje tak daleko na straně opatrnosti, že by i nejkonkrétnější a neopakovatelná reakce od anotátora mohla potrestat obrázek, který neurazil nikoho jiného.

Morální Rozšíření

Ačkoli studie se naklání spíše k průzkumu než k zaujetí pevného stanoviska, zahrnuje prvky vědecké metody: autoři vyvinuli rámec pro identifikaci (i když ne přísně měření) širšího spektra reakcí anotátorů na obrázky a pro zkoumání, jak tyto reakce variují napříč pohlavím a jinými demografickými faktory.

Kromě analýzy harm-focus^† proces analyzoval „morální uvažování“ v pomocných komentářích účastníků testů, kteří byli požádáni o anotaci modifikované testovací datové sady obsahující obrázky a přidružené texty.

Tento „morální sentiment autorater“ byl navržen tak, aby zachytil morální hodnoty Péče, Rovnost, Proportionality, Loajalita, Autorita a Čistota, jak jsou definovány v Teorii morálních základů – psychologické teorii, která, kvůli své tekuté a se vyvíjející povaze, je antagonistická k vytvoření konkrétních definic vyžadovaných pro velké lidské hodnocení systémy.

Informováni touto teorií, autoři kategorizovali další dimenze bezpečnosti, včetně strachu, hněvu, smutku, odporu, zmatku a podivnosti.

Autoři rozvíjejí první z nich, strachu:

‘Mnozí anotátoři používali termíny jako „strašidelný“ (například pro deformované tváře nebo obrázky naznačující násilí, jako je pistole namířená na dítě), „rušivý“ (například „Absolutně ohavný vidět, jak někdo jede, velmi rušivý a ohavný,“ nebo „Rušivý a vypadá to, jako by to bylo krví“ pro červenou barvu), nebo „rušivý“ (například „Obrázek dítěte má mnoho deformací… Najdu to nechutným, protože to vypadá, jako by dítě hrálo na špatné straně plotu“).’

‘[Graf níže] kvantifikuje „strach“ jako nejčastěji zmiňovanou emoci (233 zmínění, zatímco téměř polovina z těchto zmínění je spojena s násilným obsahem, obsahem, který je považován za neškodný, také vyvolal druhou nejvyšší zmínku o strachu).’

Rozdělení emocionálních termínů napříč kategoriemi škod, s výškami sloupců, které ukazují podíly komentářů, počty zobrazené uvnitř sloupců a celkové počty komentářů zobrazené nad každou kategorií.

Pokud jde o zahrnutí těchto nových dimenzí bezpečnosti, autoři uvádějí:

‘Tyto vznikající téma zdůrazňují kritickou potřebu obohatit rámce hodnocení obrázků AI o subjektivní, emocionální a percepční prvky.’

To může být nebezpečná cesta, protože zdá se, že umožňuje procesům anotace libovolně přidávat pravidla na základě reakcí, které materiál může vyvolat u libovolného anotátora, místo toho, aby vyžadovaly, aby všichni anotátoři dodržovali stanovené standardy a měřítka.

Pokud by se dalo přiřadit ekonomickou imperativ k této myšlence, je to, že tento přístup umožňuje hyperscale lidskou anotaci, ve které je proces bez tření, účastníci jsou sebe-regulující a sami rozhodují, co jsou pravidla a hranice.

Pod standardní anotací jsou pravidla stanovena lidským konsensem a dodržována lidskými anotátory; pod scénářem zobrazeným v studii je tato počáteční vrstva dohledu buď odstraněna nebo degradována: efektivní jakýkoli obrázek, který by mohl způsobit urážku komukoli, by byl označen (neboť konsensus je nákladný i časově náročný).

Rorschachovy Soudy

Úmyslem anotace je dosáhnout přesného popisu nebo definice buď prostřednictvím odborného dohledu, společného konsensu mezi několika anotátory, nebo (ideálně) obou. Místo toho, rozšíření omezené, ale dobře definované hierarchie škod na „intuitivní“ a vysoce osobní interpretační postoj, je ekvivalentní k anotaci Rorschachova testu.

Například někteří anotátoři, podle studie, interpretovali nízkou kvalitu obrázku (jako JPEG artifacty, stejně jako bezvýznamné technické vady v obrázku) jako „rušivý“ nebo „naznačující škodu“:

‘To se stalo, přestože úloha vynechala instrukce o kvalitě obrázku. Kromě toho anotátoři interpretovali tyto kvalitativní artifacty jako sémanticky významné.’

‘Jeden anotátor komentoval: „Obrázek není škodlivý vůbec; on má jen trochu deformovanou tvář.“ Stejným způsobem někteří anotátoři interpretovali artifacty kvality obrázku jako úmyslnou škodu, přisuzovali emocionální význam chybám. Například jiný anotátor interpretoval deformovanou tvář v jiném obrázku jako „naznačující bolest“’

Zvýšením subjektivních, emocionálních nebo kontextově specifických reakcí nad předdefinované bezpečnostní kategorie, myšlenky prezentované zde otevírají dveře režimu, ve kterém cokoli může být libovolně označeno jako škodlivé, a kde „chilling efekt“ ad hoc stahování nebo negativní re-kategorizace materiálu (tj. materiálu, který může „urazit“ speciální zájmovou skupinu) se stává skutečnou perspektivou.

Studie “Just a strange pic”: Evaluating ‘safety’ in GenAI Image safety annotation tasks from diverse annotators’ perspectives je dostupná na Arxiv.

* Skrz, protože to není centrální téma zde; podle nové legislativy se očekává, že urážející stránky budou buď samy policejní; zavedou komplexní a nákladné systémy přezkumu a kontrol věku, které jsou nedostupné pro všechny kromě největších stránek; nebo zablokují své domény pro britskou veřejnost (opět na své vlastní náklady).

† Jednoduše vyjádřeno v memu „myslete na děti“, který satirizuje přivlastňování si morální agentury někoho jiného pro zdánlivě altruistické účely.

Poprvé zveřejněno v pátek, 25. července 2025