De Risico’s van ‘Vibe’-Gebaseerde Afbeeldingsannotatie

Hoewel ze slechts een paar dollar (of zelfs niets) krijgen, kunnen de onbekende mensen die afbeeldingen beoordelen op ‘kwetsende’ inhoud je leven veranderen met de keuzes die ze maken. Nu lijkt een groot nieuw onderzoeksrapport van Google te suggereren dat deze annotators hun eigen regels maken over wat wel of niet ‘kwetsend’ of offensief is – ongeacht hoe vreemd of persoonlijk hun reacties op een bepaalde afbeelding ook mogen zijn. Wat kan er misgaan?

Opinie Deze week bracht een nieuwe samenwerking tussen Google Research en Google Mind niet minder dan 13 bijdragers samen voor een nieuw onderzoeksrapport dat onderzoekt of de ‘intuïtieve gevoelens’ van afbeeldingsannotators moeten worden meegenomen wanneer mensen afbeeldingen beoordelen voor algoritmes, zelfs als hun reacties niet overeenkomen met gevestigde beoordelingsnormen.

Dit is belangrijk voor jou, omdat wat beoordelaars en annotators als offensief beschouwen op basis van consensus, de neiging heeft om te worden opgenomen in automatische censuur- en moderatiesystemen, en in de criteria voor ‘obsceniteit’ of ‘onacceptabele’ materiaal, in wetgeving zoals de nieuwe NSFW-firewall* van het VK (een versie hiervan komt binnenkort naar Australië), en in contentbeoordelingsystemen op socialemediaplatforms, onder andere omgevingen.

Zo is het bredere de criteria voor aanstoot, des te groter het potentieel voor censuur.

Vibe-Censuur

Dat is niet de enige standpunt dat het nieuwe onderzoeksrapport heeft te bieden; het vindt ook dat mensen die afbeeldingen beoordelen vaak vaker censuur toepassen op wat ze denken dat anderen zullen vinden; en dat lage kwaliteit afbeeldingen vaak veiligheidszorgen oproepen, zelfs als de kwaliteit van de afbeelding niets te maken heeft met de inhoud van de afbeelding.

Aan het einde van het onderzoeksrapport wordt benadrukt dat annotationpraktijken mogelijk ‘vibe-annotatie’ zouden kunnen overwegen:

‘Onze resultaten suggereren dat bestaande kaders rekening moeten houden met subjectieve en contextuele dimensies, zoals emotionele reacties, impliciete oordelen en culturele interpretaties van schade. De frequentie waarmee annotators emotionele taal gebruiken en afwijken van vooraf gedefinieerde schadelabels, benadrukt de lacunes in de huidige evaluatiepraktijken.

‘Het uitbreiden van annotatie richtlijnen om voorbeelden van diverse culturele en emotionele interpretaties op te nemen, kan helpen om deze lacunes aan te pakken.’

… (rest van de vertaling)