De ‘Onzichtbare’, Vaak Ongelukkige Werknemers Die De Toekomst Van AI Bepalen

Twee nieuwe rapporten, waaronder een paper onder leiding van Google Research, uiten hun bezorgdheid dat de huidige trend om te vertrouwen op een goedkope en vaak gemarginaliseerde groep wereldwijde gig-werkers om grondwaarheden voor machine learning-systemen te creëren, grote gevolgen kan hebben voor AI.

De Google-studie concludeert dat de eigen vooroordelen van de crowdworkers waarschijnlijk in de AI-systemen worden ingebed waarvan de grondwaarheden op hun antwoorden zijn gebaseerd; dat wijdverbreide oneerlijke arbeidspraktijken (inclusief in de VS) op crowdwork-platforms de kwaliteit van de antwoorden kunnen verslechteren; en dat het ‘consensus’-systeem (effectief een ‘mini-verkiezing’ voor een stuk grondwaarheid dat downstream AI-systemen kan beïnvloeden) dat momenteel geschillen oplost, eigenlijk de beste en/of meest geïnformeerde antwoorden kan weggooien.

Dit is het slechte nieuws; het nog slechtere nieuws is dat vrijwel alle oplossingen duur, tijdrovend of beide zijn.

Onzekerheid, Willekeurige Afwijzing en Rancune

Het eerste rapport, van vijf Google-onderzoekers, heet Wiens Grondwaarheid? Rekening Houden Met Individuele en Collectieve Identiteiten Onderliggend Aan Datasetannotatie; het tweede, van twee onderzoekers aan de Syracuse University in New York, heet De Oorsprong en Waarde Van Meningsverschillen Onder Data-labelers: Een Casestudy Van Individuele Verschillen in Haatzaaiende Taalannotatie.

De Google-paper merkt op dat crowdworkers – wiens evaluaties vaak de basis vormen van machine learning-systemen die uiteindelijk ons leven kunnen beïnvloeden – vaak onder een reeks beperkingen opereren die de manier waarop ze op experimentele opdrachten reageren, kunnen beïnvloeden.

Bijvoorbeeld, het huidige beleid van Amazon Mechanical Turk staat aanvragers (die de opdrachten uitgeven) toe om het werk van een annotator zonder verantwoording af te wijzen*:

‘[E]en grote meerderheid van crowdworkers (94%) hebben werk dat is afgewezen of waarvoor ze niet zijn betaald. Toch behouden aanvragers alle rechten over de gegevens die ze ontvangen, ongeacht of ze het werk aanvaarden of afwijzen; Roberts (2016) beschrijft dit systeem als een systeem dat “loonDiefstal mogelijk maakt”.

‘Bovendien is het afwijzen van werk en het inhouden van loon pijnlijk omdat afwijzingen vaak worden veroorzaakt door onduidelijke instructies en het ontbreken van zinvolle feedbackkanalen; veel crowdworkers melden dat slechte communicatie hun werk negatief beïnvloedt.’

De auteurs bevelen aan dat onderzoekers die outsourced diensten gebruiken om datasets te ontwikkelen, moeten overwegen hoe een crowdwork-platform zijn werknemers behandelt. Ze merken verder op dat in de Verenigde Staten, crowdworkers zijn geclassificeerd als ‘zelfstandige contractanten’, met het werk dus ongereguleerd, en niet wordt gedekt door het minimumloon zoals voorgeschreven door de Fair Labor Standards Act.

Context Maakt Verschil

Het rapport bekritiseert ook het gebruik van ad hoc wereldwijde arbeid voor annotatietaken, zonder rekening te houden met de achtergrond van de annotator.

Waar het budget het toelaat, is het gebruikelijk voor onderzoekers die AMT en soortgelijke crowdwork-platforms gebruiken om dezelfde taak aan vier annotators te geven en zich te houden aan ‘meerderheidsregel’ op de resultaten.

Contextuele ervaring, betoogt het rapport, wordt opvallend weinig gewaardeerd. Bijvoorbeeld, als een taakvraag gerelateerd is aan seksisme en willekeurig wordt verdeeld tussen drie instemmende mannen van 18-57 en één afwijkende vrouw van 29, wint de mening van de mannen, behalve in de relatief zeldzame gevallen waarin onderzoekers aandacht besteden aan de kwalificaties van hun annotators.

Evenzo, als een vraag over bendegedrag in Chicago wordt verdeeld tussen een plattelandsvrouw uit de VS van 36, een mannelijke inwoner van Chicago van 42 en twee annotators uit respectievelijk Bangalore en Denemarken, heeft de persoon die waarschijnlijk het meest door het probleem wordt getroffen (de man uit Chicago) slechts een kwart aandeel in de uitkomst, in een standaard outsourcing-configuratie.

De onderzoekers stellen*:

‘[De] notie van “één waarheid” in crowdsourcing-antwoorden is een mythe; meningsverschillen tussen annotators, die vaak als negatief worden beschouwd, kunnen eigenlijk een waardevol signaal geven. Ten tweede, aangezien veel crowdsourced annotator-pools socio-demografisch zijn gescheefd, zijn er implicaties voor welke bevolkingsgroepen worden weergegeven in datasets en welke bevolkingsgroepen worden geconfronteerd met de uitdagingen van [crowdwork].

‘Rekening houden met scheeftrekken in annotator-demografie is cruciaal voor het contextualiseren van datasets en het waarborgen van verantwoord downstream-gebruik. Kortom, er is waarde in het erkennen en rekening houden met de sociaal-culturele achtergrond van de werknemers — zowel vanuit het perspectief van gegevenskwaliteit als vanuit het perspectief van maatschappelijke impact.’

Geen ‘Neutrale’ Meningen Over Hete Onderwerpen

Zelfs waar de meningen van vier annotators niet zijn gescheefd, noch demografisch noch op een andere manier, uit het Google-rapport blijkt dat onderzoekers geen rekening houden met de levenservaring of filosofische houding van annotators*:

‘Terwijl sommige taken objectieve vragen stellen met een correct antwoord (is er een menselijk gezicht in een afbeelding?), zijn datasets vaak gericht op het vangen van oordelen over relatief subjectieve taken met geen universeel correct antwoord (is deze tekst aanstootgevend?). Het is belangrijk om intentioneel te zijn over of men moet steunen op de subjectieve oordelen van annotators.’

Met betrekking tot zijn specifieke ambitie om problemen in het labelen van haatzaaiende taal aan te pakken, merkt het Syracuse-rapport op dat meer categorale vragen zoals Is er een kat in deze foto? opvallend verschillen van het vragen aan een crowdworker of een zin ‘giftig’ is*:

‘Rekening houdend met de rommeligheid van de sociale realiteit, variëren mensen’s percepties van giftigheid aanzienlijk. Hun labels van giftige inhoud zijn gebaseerd op hun eigen percepties.’

Het Syracuse-onderzoek concludeert dat persoonlijkheid en leeftijd een ‘aanzienlijke invloed’ hebben op de dimensionale labeling van haatzaaiende taal*:

‘Deze bevindingen suggereren dat inspanningen om annotatieconsistentie te verkrijgen onder labelers met verschillende achtergronden en persoonlijkheden voor haatzaaiende taal mogelijk nooit volledig zullen slagen.’

De Rechter Kan Ook Bevooroordeeld Zijn

Deze gebrek aan objectiviteit is waarschijnlijk omhoog te itereren, volgens het Syracuse-rapport, dat betoogt dat de handmatige interventie (of geautomatiseerd beleid, ook besloten door een mens) die de ‘winnaar’ van consensusstemmen bepaalt, ook onderworpen moet worden aan onderzoek.

Het proces wordt vergeleken met forummoderatie, de auteurs stellen*:

‘[E]en gemeenschapsmoderator kan de bestemming van zowel berichten als gebruikers in hun gemeenschap bepalen door berichten te promoten of te verbergen, evenals door gebruikers te eren, te schamen of te verbannen. Moderators’ beslissingen beïnvloeden de inhoud die wordt geleverd aan gemeenschapsleden en -publiek en door uitbreiding ook de ervaring van de discussie in de gemeenschap.’

‘Als we aannemen dat een menselijke moderator een gemeenschapslid is dat demografische homogeniteit heeft met andere gemeenschapsleden, lijkt het mogelijk dat het mentale schema dat ze gebruiken om inhoud te evalueren, overeenkomt met die van andere gemeenschapsleden.’

Dit geeft enig inzicht in waarom het Syracuse-onderzoek tot zo’n sombere conclusie is gekomen over de toekomst van haatzaaiende taalannotatie; de implicatie is dat beleid en oordelen over meningsverschillen in crowdwork-opinies niet zomaar willekeurig kunnen worden toegepast volgens ‘aanvaardbare’ principes die nergens zijn vastgelegd (of niet zijn terug te voeren op een toepasbaar schema, zelfs als ze wel bestaan).

De mensen die de beslissingen nemen (de crowdworkers) zijn bevooroordeeld, en zouden nutteloos zijn voor dergelijke taken als ze niet bevooroordeeld waren, aangezien de taak is om een waardeoordeel te geven; de mensen die geschillen in crowdwork-resultaten beslechten, nemen ook waardeoordeel in het opstellen van beleid voor geschillen.

Er kunnen honderden beleidsregels zijn in slechts één kader voor haatzaaiende taaldetectie, en tenzij elk enkel beleid helemaal terug naar het Hooggerechtshof wordt genomen, waar kan ‘gezaghebbende’ consensus ontstaan?

De Google-onderzoekers suggereren dat ‘[de] meningsverschillen tussen annotators waardevolle nuances over de taak kunnen embedden’. Het rapport stelt voor om metadata in datasets te gebruiken die geschillen reflecteren en contextualiseren.

Echter, het is moeilijk te zien hoe een dergelijke contextspecifieke laag van gegevens ooit kan leiden tot vergelijkbare metingen, kan worden aangepast aan de eisen van gevestigde standaardtests, of enige definitieve resultaten kan ondersteunen – behalve in het onrealistische scenario van het aannemen van dezelfde groep onderzoekers over opeenvolgende werk.

De Annotator-Pool Cureren

Alles wat hiervoor is gesteld, gaat ervan uit dat er zelfs budget is in een onderzoeksproject voor meerdere annotaties die tot een consensusstem zouden leiden. In veel gevallen proberen onderzoekers de outsourced annotator-pool goedkoper te ‘cureren’ door kenmerken op te geven die de werknemers zouden moeten hebben, zoals geografische locatie, geslacht of andere culturele factoren, en pluraliteit in te ruilen voor specificiteit.

De Google-paper betoogt dat de manier vooruit vanuit deze uitdagingen kan zijn door het opzetten van uitgebreide communicatiekaders met annotators, vergelijkbaar met de minimale communicatie die de Uber-app faciliteert tussen een bestuurder en een passagier.

Een zorgvuldige overweging van annotators zou, van nature, een obstakel zijn voor hyperschaal-annotatie-outsourcing, resulterend in hetzij meer beperkte en lage-volumedatasets met een betere rationale voor hun resultaten, of een ‘haastige’ evaluatie van de annotators, waarbij slechts beperkte details over hen worden verkregen en ze worden gekarakteriseerd als ‘geschikt voor de taak’ op basis van te weinig informatie.

Dat is, als de annotators eerlijk zijn.

De ‘Mensenbevorderaars’ in Outsourced Dataset-Labeling

Met een beschikbare werkkracht die onderbetaald is, onder hevige concurrentie voor beschikbare opdrachten, en onderdrukt door slechte carrièreperspectieven, zijn annotators gemotiveerd om snel het ‘juiste’ antwoord te geven en door te gaan naar de volgende mini-opdracht.

Als het ‘juiste antwoord’ iets ingewikkelders is dan Heeft kat/Geen kat, betoogt het Syracuse-rapport dat de werknemer waarschijnlijk zal proberen een ‘aanvaardbaar’ antwoord te raden op basis van de inhoud en context van de vraag*:

‘Zowel de verspreiding van alternatieve concepten en de wijdverbreide gebruik van eenvoudige annotatiemethoden zijn mogelijk het progress van onderzoek naar online haatzaaiende taal hinderend. Bijvoorbeeld, Ross et al. vonden dat het tonen van Twitter’s definitie van haatzaaiende taal aan annotators hen deed gedeeltelijk hun eigen meningen aanpassen aan de definitie. Deze heraanpassing resulteerde in een zeer lage interrater-betrouwbaarheid van de annotaties.’

* Mijn conversie van de paper’s inline-citaten naar hyperlinks.

Geplaatst op 13 december 2021 – Bijgewerkt op 18 december 2021: Tags toegevoegd