Risikoen ved ‘vibe’-baseret billedannotation

Selv om de kun betales få dollars (eller ingenting), kan de ukendte mennesker, der vurderer billeder for ‘sårende’ indhold, ændre dit liv med de valg, de træffer. Nu synes en stor ny artikel fra Google at antyde, at disse annotatorer opfinder deres egne regler for, hvad der er eller ikke er ‘sårende’ eller krænket – uanset hvor bizarre eller personlige deres reaktioner på et enkelt billede måtte være. Hvad kunne gå galt?

Mening Denne uge samarbejdede Google Research og Google Mind om en ny artikel, der samler ikke færre end 13 bidragsytere til en ny artikel, der udforsker, om ‘instinktive følelser’ fra billedannotatorer skal tages i betragtning, når mennesker vurderer billeder til algoritmer, selv om deres reaktioner ikke stemmer overens med etablerede vurderingsstandarder.

Dette er vigtigt for dig, fordi hvad vurderere og annotatorer finder krænkende efter konsensusreglen, vil tende til at blive indført i automatiske censur- og modereringssystemer, og i kriterierne for ‘obsønt’ eller ‘uacceptabelt’ materiale, i love som den nye NSFW-brandmur* i Storbritannien (en version af, der snart kommer til Australien), og i indholdsvurderingssystemer på sociale medieplatforme, blandt andre miljøer.

Jo bredere kriterierne for krænkelse er, jo bredere er det potentielle niveau af censur.

Vibe-Censur

Det er ikke den eneste synspunkt, den nye artikel har at tilbyde; den finder også, at mennesker, der vurderer billeder, ofte er mere censurøse over for, hvad de tror vil krænke andre mennesker end sig selv; og at billeder af lav kvalitet ofte giver anledning til sikkerhedsbekymringer, selv om billedkvalitet ikke har noget at gøre med billedindhold.

I artiklens afslutning fremhæves disse to resultater, som om artiklens centrale tema selv havde fejlet, men forskerne var forpligtede til at offentliggøre alligevel.

Selv om det ikke er en usædvanlig situation, giver artiklen, ved nærlæsning, en mere sinistert understrøm: at annotationspraksis kunne overveje at anvende, hvad jeg kun kan beskrive som vibe-annotation:

‘Vore resultater antyder, at eksisterende rammer skal tage højde for subjektive og kontekstuelle dimensioner, såsom emotionelle reaktioner, implicite domme og kulturelle fortolkninger af skade. Annotatorernes hyppige brug af emotionel sprog og deres afvigelse fra foruddefinerede skadelabel fremhæver huller i nuværende vurderingspraksis.

‘Udvidelse af annotationsrettelinjer til at omfatte illustrative eksempler på diverse kulturelle og emotionelle fortolkninger kan hjælpe med at løse disse huller.’

…

artiklen “Just a strange pic”: Evaluating ‘safety’ in GenAI Image safety annotation tasks from diverse annotators’ perspectives er tilgængelig på Arxiv.

* En genvej, da det ikke er hovedemnet her; ifølge den nye lovgivning forventes krænkende sites enten at politisere sig selv, pålægge komplekse og dyre gennemgangssystemer og alderskontrolteknologier, der er utilgængelige for alle andre end de største sites, eller blokere deres domæner fra det britiske publikum (igen på egen bekostning).

† Kun udtrykt i ‘tænk på børnene’-meme, der parodierer overtagelse af en andens moralsk agentur for åbenbart altruistiske midler.