De Risico’s van ‘Vibe’-Gebaseerde Afbeeldingsannotatie

Hoewel ze slechts een paar dollar (of zelfs niets) verdienen, kunnen de onbekende mensen die afbeeldingen beoordelen op ‘schadelijke’ inhoud je leven veranderen met de keuzes die ze maken. Nu lijkt een groot nieuw onderzoeksrapport van Google te suggereren dat deze annotators hun eigen regels maken om te bepalen wat ‘schadelijk’ of offensief is – ongeacht hoe vreemd of persoonlijk hun reacties op een afbeelding ook mogen zijn. Wat kan er misgaan?

Meningsuiting Deze week is er een nieuwe samenwerking tussen Google Research en Google Mind tot stand gekomen, met niet minder dan 13 bijdragers aan een nieuw onderzoeksrapport dat onderzoekt of de ‘intuïtieve gevoelens’ van afbeeldingsannotators moeten worden meegenomen bij het beoordelen van afbeeldingen voor algoritmes, zelfs als hun reacties niet overeenkomen met vastgestelde beoordelingsnormen.

Dit is belangrijk voor jou, omdat wat beoordelaars en annotators als offensief beschouwen op basis van consensus, de neiging heeft om te worden opgenomen in automatische censuur- en moderatiesystemen, en in de criteria voor ‘obsceniteit’ of ‘onacceptabele’ materialen, in wetgeving zoals de nieuwe NSFW-firewall* van het VK (een versie van welke spoedig in Australië zal worden geïmplementeerd), en in contentbeoordelingsystemen op sociale media-platforms, onder andere omgevingen.

Het bredere de criteria voor aanstoot, het bredere het potentieel voor censuur.

Vibe-Censuur

Dat is niet het enige standpunt dat het nieuwe rapport heeft; het vindt ook dat mensen die afbeeldingen beoordelen vaak vaker censuur toepassen op wat ze denken dat anderen zou kunnen aanstoten; en dat afbeeldingen van lage kwaliteit vaak veiligheidszorgen oproepen, ook al heeft de kwaliteit van de afbeelding niets te maken met de inhoud.

Aan het einde van het rapport wordt benadrukt dat deze twee bevindingen, alsof het centrale punt van het rapport was mislukt, maar de onderzoekers verplicht waren om het toch te publiceren.

Hoewel dit geen ongebruikelijke situatie is, bevat het rapport, bij zorgvuldige lezing, een sinistere ondertoon: dat annotatiepraktijken zouden kunnen overwegen om wat ik alleen maar kan beschrijven als vibe-annotatie te gebruiken:

‘Onze bevindingen suggereren dat bestaande kaders rekening moeten houden met subjectieve en contextuele dimensies, zoals emotionele reacties, impliciete oordelen en culturele interpretaties van schade. De frequente gebruik van emotionele taal door annotators en hun afwijking van vooraf gedefinieerde schadelabels benadrukken de lacunes in de huidige evaluatiepraktijken.

‘Het uitbreiden van annotatie richtlijnen om voorbeelden van diverse culturele en emotionele interpretaties op te nemen, kan helpen om deze lacunes aan te pakken.’

Het weinig geïllustreerde nieuwe rapport begint met voorbeelden die ondubbelzinnig en sympathiek zijn voor de gemiddelde lezer, hoewel het eigenlijke kernmateriaal veel meer vragen oproept. Hieronder elke afbeelding zien we de emotionele reacties van annotators aangegeven voor hun respectievelijke afbeeldingen. Bron: https://arxiv.org/pdf/2507.16033

Aanvankelijk klinkt dit als een voorstel om uit te breiden en beter te kwantificeren wat ‘schade’ in een afbeelding is – een lovenswaardige onderneming; maar het rapport herhaalt meerdere keren dat dit noch wenselijk noch (noodzakelijkerwijs) haalbaar is:

‘Onze bevindingen suggereren dat bestaande kaders rekening moeten houden met subjectieve en contextuele dimensies, zoals emotionele reacties, impliciete oordelen en culturele interpretaties van schade. De frequente gebruik van emotionele taal door annotators en hun afwijking van vooraf gedefinieerde schadelabels benadrukken de lacunes in de huidige evaluatiepraktijken.

‘Het uitbreiden van annotatie richtlijnen om voorbeelden van diverse culturele en emotionele interpretaties op te nemen, kan helpen om deze lacunes aan te pakken […]

‘[…] Het proces waarbij annotators redeneren over dubieuze afbeeldingen weerspiegelt vaak hun persoonlijke, culturele en emotionele perspectieven, die moeilijk te structureren of te standaardiseren zijn.’

Het is moeilijk te zien hoe ‘Het uitbreiden van annotatie richtlijnen om voorbeelden van diverse culturele en emotionele interpretaties op te nemen’ in een rationeel beoordelingssysteem past; de auteurs worstelen om dit punt te verduidelijken, of om een duidelijke theorie te formuleren, door het materiaal meerdere keren aan te vallen, maar nooit de overhand te krijgen. In dit opzicht lijkt hun centrale thema zelf ‘vibe’-gegenereerd, zelfs terwijl het intangible psychologieën behandelt.

Vanzelfsprekend lijkt het mij dat het uitbreiden van de annotatiepijplijn om criteria van deze soort te omvatten, potentieel toelaat dat materiaal (of een categorie onderwerpen) dat een annotator sterk kan provoceren, wordt ‘geannuleerd’ of verduisterd.

Binaire Oordeel

De mate waarin afbeeldingen en tekst schade kunnen veroorzaken, is inderdaad moeilijk te kwantificeren, niet in de laatste plaats omdat hoge cultuur vaak samenvalt met ‘lage’ cultuur (bijvoorbeeld met kunst en romans), wat leidt tot de eerste ‘vibe’-gebaseerde censuurcriteria: zelfs als obscene materialen exacte definities ontglippen, zul je het weten wanneer je het ziet.

Onder de uitgebreide en exploratieve discussie over empathie en kwalitatieve nuances in het nieuwe rapport, lijkt het werk stilzwijgend de autoriteit van de gecentraliseerde, gestandaardiseerde taxonomieën (‘geweld’, ‘naaktheid’, ‘haat’, etc.) aan te vallen die platforms in staat stellen om moderatie te implementeren en te schalen met aanvaardbare foutmarges (meestal).

Het argument dat naar voren komt, is dat alleen gedecentraliseerde, subjectieve, contextuele menselijke feedback genaioutput kan beoordelen.

Hoewel dit duidelijk niet schaalbaar is, omdat je geen filterpijplijn van een triljoen afbeeldingen op ‘vibes’ en levenservaring kunt draaien. Je moet schade kwantificeren in diverse eigenschappen; een limiet stellen aan het bereik van het resulterende filtersysteem; en wachten op nieuwe richtlijnen in ‘rand’gevallen (net zoals benadeelde partijen soms moeten wachten op de inwerkingtreding van nieuwe wetten die hun specifieke omstandigheden aanpakken).

In plaats daarvan presenteert het nieuwe rapport een stilzwijgende opdracht voor een geautomatiseerde moderatiepijplijn die zijn bereik automatisch uitbreidt, en zo ver op de veilige kant zit dat zelfs de meest bijzondere en niet-reproduceerbare reactie van een annotator een afbeelding die niemand anders heeft aangetast, kan bestraffen.

Morale Uitbreiding

Hoewel het rapport meer naar exploratie neigt dan naar het innemen van een vast standpunt, bevat het elementen van de wetenschappelijke methode: de auteurs ontwikkelden een kader om een bredere spectrum van annotatorreacties op afbeeldingen te identificeren (hoewel niet strikt te meten), en om te onderzoeken hoe deze reacties variëren over geslacht en andere demografische factoren.

Naast de analyse van schade-focus^†, onderzocht het proces ‘morele redenering’ in de bijbehorende opmerkingen van testdeelnemers, die werden gevraagd om een gewijzigde testdataset met afbeeldingen en prompts/gerelateerde teksten te annoteren.

Deze ‘morele sentiment autorater’ was ontworpen om morele waarden Zorg, Gelijkheid, Proportionaliteit, Loyaliteit, Autoriteit, en Puurheid te vangen, zoals gedefinieerd in Morele Fundamentele Theorie – een psychologische theorie die, vanwege zijn vloeibare en evoluerende aard, tegenstrijdig is met de creatie van de concrete definities die nodig zijn voor grote menselijke beoordelingssystemen.

Geïnformeerd door deze theorie, categoriseerden de auteurs bijkomende dimensies van veiligheid, waaronder angst, woede, droefheid, walging, verwarring, en onheilspellendheid.

De auteurs verduidelijken het eerste van deze, angst:

‘Veel annotators gebruikten termen als “eng” (bijv. voor verwrongen gezichten of afbeeldingen die geweld suggereren, zoals een pistool dat op een kind wordt gericht), “verontrustend” (bijv. “Absoluut walgelijk om iemand te zien die wordt overreden, zeer verontrustend en verontrustend,” of “Verontrustend en lijkt op bloed” voor rode verf), of “verdrietig” (bijv. “De afbeelding van de jongen heeft veel verwrongen gezichten… Ik vind het walgelijk omdat het lijkt alsof de jongen aan de verkeerde kant van de spoorweg speelt”).

‘De [grafiek hieronder] kwantificeert “angst” als de meest genoemde emotie (233 vermeldingen, waarbij bijna de helft van deze vermeldingen geassocieerd is met gewelddadige inhoud, de inhoud die niet schadelijk wordt geacht, roept de op één na hoogste vermelding van angst op).’

Verdeling van emotie-gerelateerde termen over schadecategorieën, met balkhoogtes die de verhoudingen van opmerkingen aangeven, aantallen weergegeven in de balken, en totale opmerkingentallen weergegeven boven elke categorie.

Met betrekking tot het opnemen van deze nieuwe dimensies van veiligheid, verklaren de auteurs:

‘Deze opkomende thema’s benadrukken een kritieke behoefte om AI-afbeeldingsbeoordelingskaders te verrijken door subjectieve, emotionele en perceptuele elementen te integreren.’

Dit kan een gevaarlijke weg zijn, omdat het lijkt toe te staan dat annotatieprocessen willekeurig regels toevoegen op basis van reacties die materiaal bij een enkele annotator kan opwekken, in plaats van te vereisen dat alle annotators zich houden aan vastgestelde normen en benchmarks.

Als je een economische imperatief aan dit idee zou kunnen toeschrijven, is het dat deze benadering hyperschaalbare menselijke annotatie toelaat, waarbij het proces wrijvingsloos is, de deelnemers zelfregulerend zijn, en waar zij zelf beslissen wat de regels en grenzen zijn.

Onder standaardannotatie worden regels vastgesteld door menselijke consensus en nageleefd door menselijke annotators; onder het scenario dat in het rapport wordt geschetst, wordt deze initiële laag van toezicht verwijderd of verlaagd: effectief zou elke afbeelding die iemand zou kunnen aanstoten, worden gemarkeerd (niet in de laatste plaats, misschien, omdat consensus duur is en tijdrovend).

Rorschach-Oordelen

De bedoeling van annotatie is om een nauwkeurige beschrijving of definitie te bereiken, hetzij door deskundige toezicht, hetzij door consensus onder meerdere annotators, of (ideaal) beide. In plaats daarvan is het uitbreiden van een beperkt maar goed gedefinieerd hiërarchie van schade naar een ‘intuïtieve’ en zeer persoonlijke interpretatieve houding, gelijk aan het annoteren van een Rorschach-test.

Bijvoorbeeld interpreteren sommige annotators, zoals het rapport opmerkt, slechte beeldkwaliteit (zoals JPEG-artefacten, evenals zinloze technische fouten in een afbeelding) als ‘verontrustend’ of ‘indicatief voor schade’:

‘Dit gebeurde ondanks het feit dat de taak instructies over beeldkwaliteit achterwege liet. Bovendien interpreteerden annotators deze kwaliteitsartefacten als semantisch betekenisvol.

‘Een annotator merkte op: “De afbeelding is helemaal niet schadelijk; hij heeft alleen een beetje een verwrongen gezicht.” Evenzo interpreteerden sommige annotators beeldkwaliteitsartefacten als opzettelijke schade, door emotionele betekenis toe te kennen aan glitches. Bijvoorbeeld, een andere annotator interpreteerde een verwrongen gezicht in een andere afbeelding als “indicatief voor pijn”’

Door subjectieve, emotionele of contextuele reacties boven vooraf gedefinieerde veiligheids categorieën te verheffen, openen de ideeën die hier worden gepresenteerd de deur naar een regime waarin alles willekeurig als schadelijk kan worden gemarkeerd, en waar een ‘verkoelend effect’ van ad hoc -afnames of negatieve herclassificatie van materiaal (d.w.z. materiaal dat een speciale belangengroep zou kunnen ‘aanstoten’) een reëel perspectief wordt.

Het rapport “Just a strange pic”: Evaluating ‘safety’ in GenAI Image safety annotation tasks from diverse annotators’ perspectives is beschikbaar op Arxiv.

* Een shortcut, omdat het niet het centrale onderwerp hier is; onder de nieuwe wetgeving worden aanstootgevende sites verwacht om zichzelf te controleren; complexe en dure beoordelings- en leeftijdscontroletechnologieën te implementeren die alleen voor de grootste sites bereikbaar zijn; of hun domeinen te blokkeren voor het VK-publiek (opnieuw, op eigen kosten).

† Simpele uitdrukking in de ‘denk aan de kinderen’ -meme, die de toe-eigening van iemands morele agentie voor ogenschijnlijk altruïstische doeleinden satireert.

Eerste publicatie vrijdag 25 juli 2025