Risikene ved «vibe»-basert bildeannotering

Selv om de bare betales noen få dollar (eller ingenting), kan de ukjente personene som vurderer bilder for «skadelig» innhold endre livet ditt med valgene de tar. Nå ser det ut til at en stor ny artikkel fra Google antyder at disse annotatorene lager sine egne regler for hva som er eller ikke er «skadelig» eller støtende – uansett hvor merkelige eller personlige deres reaksjoner på et bilde måtte være. Hva kunne gå galt?

Mening Denne uken ble det gjennomført et nytt samarbeid mellom Google Research og Google Mind, som samlet 13 bidragsytere til en ny artikkel som utforsker om «instinktive følelser» hos bildeannotatorer bør vurderes når mennesker vurderer bilder for algoritmer, selv om deres reaksjoner ikke stemmer overens med etablerte vurderingsstandarder.

Dette er viktig for deg, fordi hva vurderere og annotatorer finner støtende ved konsensus, vil tendere til å bli innført i automatiske sensur- og modereringssystemer, og i kriteriene for «obsønt» eller «uakseptabelt» materiale, i lovgivning som den nye NSFW-brannmuren* i Storbritannia (en versjon av denne kommer snart til Australia), og i vurderingssystemer for innhold på sosiale medier, blant andre miljøer.

Så jo bredere kriteriene for støtende innhold er, jo bredere er potensialet for sensur.

Vibe-sensur

Det er ikke det eneste standpunktet den nye artikkelen har å tilby; den finner også at mennesker som vurderer bilder ofte er mer sensurøse overfor hva de tror kan støte andre mennesker enn seg selv; og at lavkvalitetsbilder ofte utløser sikkerhetsbekymringer, selv om bildekvalitet ikke har noe å gjøre med bildeinnhold.

Ved artikkelenes konklusjon, understrekes disse to funnene, som om artikkelenes sentrale posisjon hadde feilet, men forskerne var tvunget til å publisere likevel.

Selv om dette ikke er en uvanlig situasjon, gir artikkelen, ved nøye lesning, en mer sinistertype understrøm: at annoteringspraksiser kunne vurdere å adoptere hva jeg bare kan beskrive som vibe-annotering:

‘Våre funn antyder at eksisterende rammer må ta hensyn til subjektive og kontekstuelle dimensjoner, som emosjonelle reaksjoner, implisitte dommer og kulturelle tolkninger av skade. Annotatorernes hyppige bruk av emosjonell språk og deres avvik fra forhåndsdefinerte skadelabeler understreker gap i nåværende vurderingspraksis.

‘Utvidelse av annoteringsretningene til å inkludere illustrative eksempler på diverse kulturelle og emosjonelle tolkninger kan hjelpe med å løse disse gapene.’

Den nyeste artikkelen leder med eksempler som er ubestridte og sympatiske for den gjennomsnittlige leseren, selv om det faktiske kjernematerialet inviterer til mange flere spørsmål. Her, under hvert bilde, ser vi annotatorernes emosjonelle reaksjoner notert for deres respektive bilder. Kilde: https://arxiv.org/pdf/2507.16033

Først høres dette ut som et forslag til å utvide og bedre kvantifisere hva som utgjør «skade» i et bilde – en lovetakende sak; men artikkelen gjentar flere ganger at dette ikke er ønskelig eller (nødvendigvis) gjennomførbart:

‘Våre funn antyder at eksisterende rammer må ta hensyn til subjektive og kontekstuelle dimensjoner, som emosjonelle reaksjoner, implisitte dommer og kulturelle tolkninger av skade. Annotatorernes hyppige bruk av emosjonell språk og deres avvik fra forhåndsdefinerte skadelabeler understreker gap i nåværende vurderingspraksis.

‘Utvidelse av annoteringsretningene til å inkludere illustrative eksempler på diverse kulturelle og emosjonelle tolkninger kan hjelpe med å løse disse gapene […]

‘[…] Prosessen hvor annotatorer resonerer om tvetydige bilder ofte reflekterer deres personlige, kulturelle og emosjonelle perspektiver, som er vanskelige å skaffe eller standardisere.’

Det er vanskelig å se hvordan ‘Utvidelse av annoteringsretningene til å inkludere illustrative eksempler på diverse kulturelle og emosjonelle tolkninger’ kan passe inn i et rasjonelt vurderingssystem; forfatterne sliter med å klargjøre dette punktet, eller å formulere en distinkt teori, angriper materialet mange ganger, men får aldri overtaket.

Binær dom

Omfanget av hvilken skade bilder og tekst kan forårsake, er vanskelig å kvantifisere, ikke minst fordi høykultur ofte krysser «lav» kultur (for eksempel med kunst og romaner), og fører til de første «vibe»-baserte sensurkriteriene: selv om obsønt materiale unnslipper nøyaktig definisjon, vil du kjenne det når du ser det.

Under den nye artikkelenes omfattende og utforskende diskusjon om empati og kvalitativ nuanser, ser arbeidet ut til å angripe myndigheten til sentraliserte, standardiserte taksonomier («vold», «nakenhet», «hate», osv.) som lar plattformene implementere og skalerer moderering med tolerable feilmarginer (vanligvis).

Argumentet som fremkommer, er at bare desentraliserte, subjektive, kontekst-bevisste menneskelige tilbakemeldinger kan ordentlig dømme GenAI-utgang.

Likevel er dette åpenbart uskalerbart, siden du ikke kan kjøre en trillion-bilde-filterpipeline på «vibber» og levde erfaringer. En må kvantifisere skade inn i diverse egenskaper; sette en grense for omfanget av den resulterende filterpipelinen; og vente på nye direktiver i «kant»-saker (mye som saksøkte parter må noen ganger vente på vedtak av nye lover som omhandler deres eget spesielle omstendigheter).

I stedet presenterer den nye artikkelen en taktisk mandat for en automatisert modereringspipeline som utvider sitt omfang automatisk, og feiler så langt på forsiktighetens side at selv den mest spesielle og ikke-reproduserbare reaksjonen fra en annotator kunne straffe et bilde som ikke har støtt noen andre.

Moralsk utvidelse

Selv om artikkelen helner mot utforskning snarere enn å ta en fast stilling, inkorporerer den elementer av vitenskapelig metode: forfatterne utviklet en ramme for å identifisere (om ikke strengt måle) et bredere spekter av annotatorreaksjoner på bilder, og for å undersøke hvordan disse reaksjonene varierer over kjønn og andre demografiske faktorer.

Foruten testenes analyse av skadefokus^†, analyserer prosessen «moralsk resonnement» i de tilleggskommentarene til testdeltagerne, som ble bedt om å annotere en modifisert testdatasett som inneholdt bilder og tilhørende tekst.

Dette «moralske sentiment-automaten» var designet for å fange de moralske verdiene Omsorg, Likhet, Proporsjonalitet, Lojalitet, Myndighet, og Renhet, som defineres i Moralske grunnleggende teori – en psykologisk teori som, på grunn av sin flytende og utviklende natur, er motsatt av skapelsen av konkrete definisjoner som kreves for store menneskelige vurderingssystemer.

Informert av denne teorien, kategoriserte forfatterne ytterligere dimensjoner av sikkerhet, inkludert frykt, sinne, sorg, avsky, forvirring, og uhygge.

Forfatterne utdyper om den første av disse, frykt:

‘Mange annotatorer brukte uttrykk som “skremmende” (f.eks. for forvrengte ansikter eller bilder som antyder vold som et våpen rettet mot et barn), “forstyrrende” (f.eks. “Absolutt avskyelig å se noen bli påkjørt, veldig forstyrrende og avskyelig,” eller “Forstyrrende og ser ut som blod” for rødt maleri), eller “plagende” (f.eks. “Bildet av gutten har mange forvrengninger… Jeg finner det motbydelig fordi det ser ut som om gutten spiller på feil side av skinnerne”).

‘[Grafen under] kvantifiserer “frykt” som den mest ofte nevnte emosjonen (233 nevnelser, hvor nesten halvparten av disse nevnelser er assosiert med voldelig innhold, og innhold som anses ikke å være skadelig, utløste også den nest høyeste nevningen av frykt).’

Fordeling av emosjonsrelaterte uttrykk over skadekategorier, med stolpehøyder som indikerer proporsjoner av kommentarer, tellinger vist inni stolper, og totale kommentartellinger vist over hver kategori.

Vedrørende inklusjonen av disse nye dimensjonene av sikkerhet, sier forfatterne:

‘Disse nye temaene understreker en kritisk behov for å berike AI-bildevurderingsrammer ved å integrere subjektive, emosjonelle og perseptuelle elementer.’

Dette kan være en farlig vei å gå, siden det ser ut til å tillate annoteringsprosesser å arbitrært legge til regler basert på reaksjoner som materiale kan utløse hos en enkelt annotator, i stedet for å kreve at alle annotatorer adlyder etablerte standarder og benchmark.

Rorschach-dømmere

Hensikten med annotering er å nå en nøyaktig beskrivelse eller definisjon enten gjennom ekspertoversikt, felles konsensus blant flere annotatorer, eller (ideelt) begge. I stedet for å utvide en begrenset, men veldefinert hierarki av skader til en «intuitiv» og høyt personlig tolkning, er det ekvivalent med å annotere en Rorschach-test.

For eksempel noterer artikkelen at noen annotatorer tolket lav bildekvalitet (slik som JPEG-arter, samt meningsløse tekniske feil i et bilde) som ‘forstyrrende’ eller ‘indikativt for skade’:

‘Dette skjedde til tross for at oppgaven utelot instruksjoner om bildekvalitet. Dessuten, tolket annotatorer disse kvalitetsfeilene som semantisk meningsfulle.

‘En annotator kommenterte: “Bildet er ikke skadelig i det hele tatt; han har bare et litt forvrengt ansikt.” På samme måte, tolket noen annotatorer bildekvalitetsfeil som bevisst skade, og tilskrev emosjonell mening til feil. For eksempel, tolket en annen annotator et forvrengt ansikt i et annet bilde som “indikativt for smerte”’

Ved å heve subjektive, emosjonelle eller kontekstbestemte reaksjoner over forhåndsdefinerte sikkerhetskategorier, åpner ideene presentert her døren for en regime hvor alt kan bli arbitrært flagget som skadelig, og hvor en «kjøleffekt» av ad hoc-takedown eller negativ kategorisering av materiale (dvs. materiale som kan «støte» en spesiell interessegruppe) blir en reell prospekt.

Artikkelen “Just a strange pic”: Evaluating ‘safety’ in GenAI Image safety annotation tasks from diverse annotators’ perspectives er tilgjengelig på Arxiv.

* En kortvei, siden det ikke er hovedemnet her; under den nye lovgivningen, forventes det at støtende nettsteder skal enten politisere seg selv; påføre komplekse og dyre vurderingssystemer og alderskontrollteknologier som er utenfor rekkevidde for alle unntatt de største nettstedene; eller blokkere sine domener fra britiske publikum (igjen, på egen bekostning).

† Enkelt uttrykt i «tenk på barna»-meme, som parodierer overtakelse av en annens moralsk agent for åpenbart altruistiske midler.

Først publisert fredag, 25. juli 2025