De ‘osynliga’, ofta missnöjda arbetskraften som bestämmer AI:s framtid

Två nya rapporter, inklusive en studie ledd av Google Research, uttrycker oro över att den nuvarande trenden att förlita sig på en billig och ofta maktlös grupp av globala gigarbetare för att skapa grundläggande sanning för maskinlärningssystem kan ha stora nedströmskonsekvenser för AI.

Bland en rad slutsatser finner Google-studien att crowdworkers egna fördomar sannolikt kommer att införlivas i de AI-system som kommer att baseras på deras svar; att utbredd orättvis arbetspraxis (inklusive i USA) på crowdwork-plattformar sannolikt kommer att försämra kvaliteten på svaren; och att “konsensus”-systemet (i praktiken en “mini-omröstning” för någon del av grundläggande sanning som kommer att påverka nedströms AI-system) som för närvarande löser tvister faktiskt kan kasta bort de bästa och/eller mest informerade svaren.

Detta är de dåliga nyheterna; de ännu sämre nyheterna är att nästan alla lösningarna är dyra, tidskrävande eller båda.

Otrygghet, slumpmässig avvisning och bitterhet

Den första rapporten, från fem Google-forskare, heter Vems grundläggande sanning? Redovisning av individuella och kollektiva identiteter under datasettsannotering; den andra, från två forskare vid Syracuse University i New York, heter Ursprunget och värdet av oenighet bland dataetiketter: En fallstudie av individuella skillnader i hatpratsetikettering.

Google-rapporten påpekar att crowdworkers – vars utvärderingar ofta utgör den avgörande grunden för maskinlärningssystem som kan komma att påverka våra liv – ofta arbetar under en rad begränsningar som kan påverka hur de svarar på experimentella uppgifter.

Till exempel tillåter Amazon Mechanical Turks nuvarande policy att beställare (de som ger ut uppgifterna) kan avvisa en annotators arbete utan ansvar*:

‘[E]n stor majoritet av crowdworkers (94%) har haft arbete som avvisats eller för vilket de inte har betalats. Ändå behåller beställarna fulla rättigheter över de data de tar emot, oavsett om de accepterar eller avvisar dem; Roberts (2016) beskriver detta system som ett som “möjliggör lönestöld”.

‘Dessutom är avvisning av arbete och vägran att betala smärtsamt eftersom avvisningar ofta orsakas av otydliga instruktioner och brist på meningsfulla feedbackkanaler; många crowdworkers rapporterar att dålig kommunikation negativt påverkar deras arbete.’

Författarna rekommenderar att forskare som använder utkontrakterade tjänster för att utveckla dataset bör överväga hur en crowdwork-plattform behandlar sina arbetare. De påpekar vidare att i USA klassificeras crowdworkers som “självständiga entreprenörer”, med arbetet därmed oreglerat och inte omfattat av minimilönen enligt Fair Labor Standards Act.

Sammanhang är viktigt

Rapporten kritiserar också användningen av ad hoc global arbetskraft för annoteringsuppgifter, utan hänsyn till annotatorns bakgrund.

Där budgeten tillåter är det vanligt för forskare som använder AMT och liknande crowdwork-plattformar att ge samma uppgift till fyra annotatorer och följa “majoritetsprincipen” för resultaten.

Sammanhangserfarenhet, hävdar rapporten, är påfallande underutvärderad. Till exempel, om en uppgiftsfråga som rör sexism slumpmässigt fördelas mellan tre överensstämmande män i åldrarna 18-57 och en avvikande kvinna i åldern 29, vinner männen, förutom i de relativt sällsynta fallen där forskare uppmärksammar annotatorernas kvalifikationer.

Likaså, om en fråga om gängbeteende i Chicago fördelas mellan en kvinna från landsbygden i USA i åldern 36, en manlig Chicago-boende i åldern 42 och två annotatorer från Bangalore och Danmark, har personen som sannolikt är mest berörd av frågan (den manlige Chicago-boende) endast en fjärdedel av andelarna i resultatet, i en standardkonfiguration för utkontraktering.

Forskarna hävdar:

‘[B]egreppet “en sanning” i crowdsourcingsvar är en myt; oenighet mellan annotatorer, som ofta ses som negativ, kan faktiskt ge ett värdefullt signal. Dessutom, eftersom många crowdsourcade annotatorpooler är socio-demografiskt snedvridna, finns det konsekvenser för vilka befolkningar som representeras i dataset och vilka befolkningar som står inför utmaningarna med [crowdwork].

‘Att ta hänsyn till snedvridningar i annotatorernas demografi är avgörande för att sammanhangsätt dataset och säkerställa ansvarsfull nedströmsanvändning. Kort sagt, det finns värde i att erkänna och ta hänsyn till arbetarnas socio-kulturella bakgrund — både ur datorkvalitetssynpunkt och samhällspåverkan.’

Inga ‘neutrala’ åsikter om heta ämnen

Även där de fyra annotatorernas åsikter inte är snedvridna, antingen demografiskt eller genom någon annan parameter, uttrycker Google-rapporten oro över att forskare inte tar hänsyn till annotatorernas livserfarenheter eller filosofiska inställning:

‘Medan vissa uppgifter tenderar att ställa objektiva frågor med ett korrekt svar (finns det ett mänskligt ansikte i bilden?) tenderar dataset ofta att fånga bedömningar av relativt subjektiva uppgifter utan ett universellt korrekt svar (är denna text offentlig?). Det är viktigt att vara medveten om om man ska luta sig på annotatorernas subjektiva bedömningar.’

Med avseende på dess specifika område för att lösa problem med hatpratsetikettering, noterar Syracuse-rapporten att mer kategoriska frågor som Finns det en katt i denna bild? är påfallande annorlunda än att fråga en crowdworker om en fras är ‘giftig’:

‘Med hänsyn till den sociala verklighetens komplexitet varierar människors uppfattningar om giftighet avsevärt. Deras etiketter av giftigt innehåll baseras på deras egna uppfattningar.’

Efter att ha funnit att personlighet och ålder har en “avsevärd inverkan” på den dimensionella etiketteringen av hatprat, drar Syracuse-forskarna slutsatsen:

‘Dessa resultat tyder på att ansträngningar för att uppnå etiketteringskonsekvens bland etiketterare med olika bakgrunder och personligheter för hatprat kanske aldrig helt lyckas.’

Domaren kan också vara partisk

Denna brist på objektivitet kommer sannolikt att iterera uppåt också, enligt Syracuse-rapporten, som hävdar att den manuella ingripandet (eller automatiserade policyn, som också beslutas av en människa) som bestämmer “vinnaren” av konsensusomröstningar också bör granskas.

Genom att likna processen vid forummoderering, hävdar författarna:

‘[E]n communitys moderatorer kan bestämma ödet för både inlägg och användare i sin community genom att främja eller dölja inlägg, samt hedra, skämma eller förbjuda användare. Moderatorernas beslut påverkar innehållet som levereras till communitymedlemmar och publik och påverkar i förlängningen också communityns upplevelse av diskussionen.

‘Antag att en mänsklig moderator är en communitymedlem som har demografisk homogenitet med andra communitymedlemmar, det verkar möjligt att den mentala schemat de använder för att utvärdera innehåll kommer att matcha de som andra communitymedlemmar använder.’

Detta ger en viss ledtråd till varför Syracuse-forskarna har kommit till en sådan pessimistisk slutsats om hatpratsetiketteringens framtid; antydningen är att policys och värdeomdömen om avvikande crowdwork-åsikter inte kan appliceras slumpmässigt enligt “acceptabla” principer som inte är fastställda någonstans (eller inte kan reduceras till ett tillämpligt schema, även om de finns).

Personerna som fattar besluten (crowdworkers) är partiska, och skulle vara värdelösa för sådana uppgifter om de inte var partiska, eftersom uppgiften är att ge ett värdeomdöme; personerna som dömer i tvister i crowdwork-resultat fattar också värdeomdömen när de fastställer policys för tvister.

Det kan finnas hundratals policys i bara ett hatpratupptäcktsramverk, och så länge var och en av dem inte tas tillbaka till Högsta domstolen, var kan “auktoritativ” konsensus uppstå?

Google-forskarna föreslår att ‘[o]enigheterna mellan annotatorer kan innehålla värdefulla nyanser om uppgiften’. Rapporten förespråkar användningen av metadata i dataset som reflekterar och sammanhangsätter tvister.

Men det är svårt att se hur en sådan kontextspecifik datalager kan någonsin leda till liknande mått, anpassa sig till kraven från etablerade standardtester eller stödja några definitiva resultat – förutom i det orealistiska scenariot att anta samma grupp av forskare över efterföljande arbete.

Att kurera annotatorpoolen

Allt detta förutsätter att det finns en budget i ett forskningsprojekt för flera annoteringar som skulle leda till en konsensusomröstning. I många fall försöker forskare “kurera” den utkontrakterade annotatorpoolen på ett billigare sätt genom att specificera egenskaper som arbetarna bör ha, såsom geografisk plats, kön eller andra kulturella faktorer, och handla med mångfald för specificitet.

Google-rapporten hävdar att vägen framåt från dessa utmaningar kunde vara att etablera utvidgade kommunikationsramar med annotatorer, liknande den minimala kommunikation som Uber-appen möjliggör mellan en förare och en passagerare.

Sådan omsorgsfull övervägning av annotatorer skulle, naturligtvis, vara ett hinder för hyperskala-utkontraktering av annotering, vilket skulle resultera i antingen mer begränsade och lågvolymdataset som har en bättre motivering för sina resultat, eller en “rusad” utvärdering av annotatorerna, med begränsad information om dem och karakterisering av dem som “lämpliga för uppgiften” baserat på för lite information.

Det är om annotatorerna är ärliga.

‘People Pleasers’ i utkontrakterad datasettikettering

Med en tillgänglig arbetskraft som är underbetald, under allvarlig konkurrens om tillgängliga uppgifter och deprimerad av knappa karriärmöjligheter, är annotatorer motiverade att snabbt ge “rätt” svar och gå vidare till nästa mini-uppgift.

Om “rätt” svaret är något mer komplicerat än Har katt/Ingen katt, hävdar Syracuse-rapporten att arbetaren sannolikt kommer att försöka deducera ett “acceptabelt” svar baserat på innehållet och sammanhanget i frågan*:

‘Både spridningen av alternativa konceptualiseringar och den allmänna användningen av förenklade annoteringsmetoder är troligen hindrande för forskningens framsteg om hatprat på nätet. Till exempel fann Ross et al. att att visa Twitters definition av hatiskt beteende för annotatorer ledde till att de delvis anpassade sina egna åsikter till definitionen. Denna omjustering resulterade i mycket låg överensstämmelse mellan annoteringarna.’

* Mitt konvertering av rapportens inline-citationer till hyperlänkar.

Publicerad den 13:e december 2021 – Uppdaterad den 18:e december 2021: Taggar tillagda