Bristerna hos Amazon Mechanical Turk kan hota naturliga språkgenereringssystem

En ny studie från University of Massachusetts Amherst har ställt engelska lärare mot arbetare med crowdsourced Amazon Mekanisk Turk vid bedömning av resultatet av Natural Language Generation (NLG) system, som drar slutsatsen att slappa standarder och "spelandet" av värdefulla uppgifter bland AMT-arbetare kan hindra utvecklingen av sektorn.

Rapporten kommer till ett antal fördömliga slutsatser om i vilken utsträckning den billiga outsourcingen av "industriell skala" av öppna NLG-utvärderingsuppgifter kan leda till sämre resultat och algoritmer inom denna sektor.

Forskarna sammanställde också en lista med 45 artiklar om öppen textgenerering där forskningen hade använt AMT, och fann att "de allra flesta" misslyckades med att rapportera kritiska detaljer om användningen av Amazons publiktjänst, vilket gjorde det svårt att återskapa tidningarnas fynd.

Sweat-Shop Labor

Rapporten riktar kritik mot både den svettiga karaktären hos Amazon Mechanical Turk och de (sannolikt budgetbegränsade) akademiska projekt som ger AMT ytterligare tilltro genom att använda (och citera) det som en giltig och konsekvent forskningsresurs. Författarna noterar:

"Även om AMT är en bekväm och prisvärd lösning, observerar vi att stor variation mellan arbetare, dålig kalibrering och kognitivt krävande uppgifter kan få forskare att dra vilseledande vetenskapliga slutsatser (t.ex. att mänskligt skriven text är "värre" än GPT-2:s ).'

Rapporten skyller på spelet snarare än spelarna, och forskarna observerar:

"[Crowd]-arbetare är ofta underbetalda för sitt arbete, vilket skadar både kvaliteten på forskningen och ännu viktigare, förmågan för dessa folkmassaarbetare att försörja sig på ett adekvat sätt."

Ocuco-landskapet papper, med titeln Farorna med att använda Mechanical Turk för att utvärdera öppen textgenerering, drar vidare slutsatsen att "expertbedömare" som språklärare och lingvister bör användas för att utvärdera artificiellt NLG-innehåll med öppet slut, även om AMT är billigare.

Testa uppgifter

När forskarna jämförde AMT:s prestanda med mindre tidsbegränsade, expertläsare, spenderade forskarna 144 USD på AMT-tjänsterna som faktiskt användes i jämförelsetesterna (även om mycket mer spenderades på "icke-användbara" resultat - se nedan), vilket krävde slumpmässiga "turkar" att utvärdera en av 200 texter, uppdelade mellan mänskligt skapat textinnehåll och artificiellt genererad text.

Att ge professionella lärare i uppdrag med samma arbete kostade $187.50, och att bekräfta deras överlägsna prestation (jämfört med AMT-arbetare) genom att anlita Upwork-frilansare för att replikera uppgifterna kostade ytterligare $262.50.

Varje uppgift bestod av fyra utvärderingskriterier: grammatik ("Hur grammatiskt korrekt är texten i berättelsefragmentet?"); sammanhang ("Hur väl stämmer meningarna i berättelsefragmentet ihop?"); sympati ("Hur roligt tycker du att berättelsefragmentet är?"); och relevans ("Hur relevant är berättelsefragmentet för uppmaningen?").

Skapa texter

För att få NLG-material för testerna använde forskarna Facebook AI Researchs 2018 Hierarkisk neural berättelsegenerering dataset, som omfattar 303,358 15 engelska berättelser komponerade av användare på den mycket populära (XNUMXm+ användare) r/writingprompts subreddit, där prenumeranters berättelser "såddas" av "uppmaningar" i en mening på ett liknande sätt som nuvarande praxis i text-till-bild generering – och, naturligtvis, i en öppen Natural Language Generation system.

200 uppmaningar från datasetet valdes slumpmässigt ut och skickades genom en medelstor GPT-2-modell med Hugging-Face Transformers bibliotek. Sålunda erhölls två uppsättningar resultat från samma uppmaningar: de mänskligt skrivna diskursiva uppsatserna från Reddit-användare och GPT-2-genererade texter.

För att förhindra att samma AMT-arbetare dömer samma historia flera gånger, begärdes tre AMT-arbetaredomar per exempel. Tillsammans med experiment angående arbetarnas engelska språkkunskaper (se slutet av artikeln) och diskontering av resultat från lågansträngande arbetare (se 'Kort tid' nedan), ökade detta de totala utgifterna för AMT till cirka 1,500 XNUMX USD.

För att skapa lika villkor genomfördes alla tester vardagar mellan 11.00 och 11 PST.

Resultat och slutsatser

Den vidsträckta studien täcker mycket mark, men nyckelpunkterna är följande:

kort tid

Tidningen fann att en officiell Amazon-rapporterad genomsnittlig arbetstid på 360 sekunder kokade ner till en verklig arbetstid på bara 22 sekunder och en medianarbetstid på bara 13 sekunder – en fjärdedel av den tid det tar snabbast Engelsklärare replikerar uppgiften.

Från dag 2 av studien: de enskilda arbetarna (i orange) spenderade betydligt mindre tid på att utvärdera varje uppgift än de bättre betalda lärarna och (senare) de ännu bättre betalda Upwork-entreprenörerna. Källa: https://arxiv.org/pdf/2109.06835.pdf

Eftersom AMT inte sätter någon gräns för Human Intelligence Tasks (HITs) som en enskild arbetare kan ta sig an, har AMT "big hitters" dykt upp, med (lönsamt) rykte för att utföra ett stort antal uppgifter per experiment. För att kompensera för accepterade träffar av samma arbetare, mätte forskarna tiden mellan på varandra följande inlämnade HITs, och jämförde start- och sluttid för varje HIT. På detta sätt rapporterades bristen mellan AMT:s WorkTimeInSeconds och den faktiska tiden som spenderades på uppgiften kom i fokus.

Eftersom sådant arbete inte kan utföras inom dessa reducerade tidsramar, var forskarna tvungna att kompensera för detta:

"Eftersom det är omöjligt att noggrant läsa en styckelång berättelse och bedöma alla fyra egenskaperna på så lite som 13 sekunder, mäter vi effekten på genomsnittliga betyg när vi filtrerar bort arbetare som tillbringar för lite tid per HIT... Närmare bestämt tar vi bort domar från arbetare vars mediantid är under 40s (vilket är en låg stapel), och upptäcker att i genomsnitt cirka 42 % av våra betyg filtreras bort (från 20–72 % i alla experiment).'

Tidningen hävdar att felaktigt rapporterad faktisk arbetstid i AMT är "en viktig fråga" som vanligtvis förbises av forskare som använder tjänsterna.

Handhållning nödvändig

Resultaten tyder vidare på att AMT-arbetare inte på ett tillförlitligt sätt kan skilja mellan text skriven av en människa och text skriven av en maskin, såvida de inte ser båda texterna sida vid sida, vilket effektivt skulle äventyra ett typiskt utvärderingsscenario (där läsaren borde kunna göra en bedömning baserad på ett enda urval av text, "verklig" eller artificiellt genererad).

Tillfälligt accepterande av konstgjord text av låg kvalitet

AMT-arbetare bedömde konsekvent lågkvalitativ GPT-baserad konstgjord text i nivå med högre kvalitet, sammanhängande text skriven av människor, i motsats till engelsklärarna, som lätt kunde urskilja skillnaden i kvalitet.

Ingen förberedelsetid, noll sammanhang

Att gå in i rätt tänkesätt för en sådan abstrakt uppgift som utvärdering av äkthet faller inte naturligt; Engelsklärare krävde 20 uppgifter för att kalibrera sin känslighet för den utvärderande miljön, medan AMT-arbetare vanligtvis inte får någon "orienteringstid" alls, vilket sänker kvaliteten på deras input.

Spelar systemet

Rapporten hävdar att den totala tiden som AMT-arbetare spenderar på individuella uppgifter blåses upp av arbetare som accepterar flera uppgifter samtidigt och kör igenom uppgifterna på olika flikar i sina webbläsare, istället för att koncentrera sig på en uppgift under den registrerade uppgiftens varaktighet.

Ursprungsland är viktigt

Standardinställningarna för AMT filtrerar inte arbetare efter ursprungsland, och rapporten noterar tidigare arbete vilket indikerar att AMT-arbetare använder VPN för att kringgå geografiska begränsningar, vilket gör det möjligt för icke-modersmålstalare att presentera som modersmål engelska (i ett system som, kanske ganska naivt, likställer en arbetares modersmål med deras IP-baserade geografiska plats).

Således körde forskarna om utvärderingstesterna på AMT med filter som begränsar potentiella personer till ej-Engelsktalande länder, att hitta det "arbetare från icke-engelsktalande länder bedömde koherens, relevans och grammatik ... betydligt lägre än identiskt kvalificerade arbetare från engelsktalande länder".

Rapporten avslutar:

"[Expert] bedömare som lingvister eller språklärare bör användas när det är möjligt eftersom de redan har utbildats i att utvärdera skriven text, och det är inte mycket dyrare...".

Publicerad 16 september 2021 - Uppdaterad 18 december 2021: Taggar lagts till