Rizika „vibe“-založeného popisu obrázků

I přesto, že jsou placeni pouze několik dolarů (nebo dokonce nic), neznámí lidé, kteří hodnotí obrázky pro „urážlivý“ obsah, mohou změnit váš život svými rozhodnutími. Nyní se zdá, že nová rozsáhlá studie od Google naznačuje, že tito anotátoři vytvářejí svá vlastní pravidla pro to, co je nebo není „urážlivý“ nebo ofenzivní – bez ohledu na to, jak podivné nebo osobní jejich reakce na jakýkoli jeden obrázek mohou být. Co by mohlo být špatně?

Opinion Tento týden nová spolupráce mezi Google Research a Google Mind spojila ne méně než 13 přispěvatelů do nové studie, která zkoumá, zda by se měly „instinktivní pocity“ anotátorů obrázků brát v úvahu, když lidé hodnotí obrázky pro algoritmy, i když jejich reakce neodpovídají stanoveným standardům hodnocení.

To je důležité pro vás, protože to, co hodnotitelé a anotátoři považují za urážlivé na základě konsensu, se bude pravděpodobně stát součástí automatických systémů cenzury a moderace a kritérií pro „neslušný“ nebo „nepřijatelný“ materiál, v legislativě, jako je například nový NSFW firewall* ve Spojeném království (verze, která brzy přijde do Austrálie), a v systémech hodnocení obsahu na platformách sociálních médií, mezi jinými prostředími.

Širší jsou kritéria pro urážlivost, širší je potenciální úroveň cenzury.

Vibe-Cenzura

To není jediný názor, který nová studie nabízí; také zjistila, že lidé, kteří hodnotí obrázky, jsou často více cenzorní, co se týče toho, co si myslí, že bude urážlivý pro jiné lidi kromě sebe; a že obrázky nízké kvality často vyvolávají obavy o bezpečnost, i když kvalita obrázku nemá nic společného s obsahem obrázku.

Ve svém závěru studie zdůrazňuje tato dvě zjištění, jako by hlavní téma studie selhalo, ale výzkumníci byli povinni publikovat stejně.

Ačkoli to není neobvyklá situace, studie při pečlivém čtení obsahuje více zlověstný podtext: že postupy anotace by mohly zahrnovat to, co bych mohl popsat pouze jako vibe-anotaci:

‘Naše zjištění naznačují, že stávající rámce potřebují zohlednit subjektivní a kontextové dimenze, jako jsou emocionální reakce, implicitní soudy a kulturní interpretace škody. Časté použití emocionálního jazyka anotátory a jejich odchylka od předdefinovaných značek škody zdůrazňují mezery v současných postupech hodnocení.

‘Rozšíření pokynů pro anotaci o ilustrativní příklady různých kulturních a emocionálních interpretací může pomoci řešit tyto mezery.’

… (zbytek obsahu)