Unghiul lui Anderson

Amazon Mechanical Turk Plătește Mai Puțin de 40% din Salariul Minim pe Oră din SUA, Sugerează Cercetarea

mm
Adaugă Unite.AI la sursele tale preferate pe Google

Rezultatele unui studiu realizat de cercetători din SUA și Mexic sugerează că lucrătorii din piața crowdsourced Amazon Mechanical Turk, cu o majoritate de 75% situați în Statele Unite, câștigă cel puțin 2,83 dolari pe oră – aproximativ 39,5% din salariul minim federal de 7,25 dolari pe oră, deoarece lucrătorii la distanță petrec o treime din timpul de muncă scanând liste de solicitări de lucru, gestionând plăți și efectuând alte tipuri de “muncă invizibilă”.

Descoperirile vin în urma unui raport recent de la Universitatea din Massachusetts Amherst, care a criticat nivelul scăzut de plată și beneficii implicate în a fi un “turker”, și care caracterizează eficient ecologia AMT ca pe un atelier de muncă de calitate scăzută pentru cercetători universitari subfinanțați.

Lansat în 2005, Amazon Mechanical Turk (AMT) oferă lucrătorilor cu sarcini umane de inteligență (HIT) ad hoc, des utilizate de cercetătorii de învățare automată în contextul unor “grupuri de studiu accesibile” pentru sarcini precum recunoașterea imaginilor, evaluarea procesării limbajului natural (NLP) și alte sarcini sistematice și programatice proiectate pentru a ajuta la formularea sau testarea algoritmilor (deși serviciul este utilizat și pe scară largă pentru a genera spam).

Munca Invizibilă pe MTurk

Noul studiu, intitulat Quantificarea muncii invizibile în munca în mulțime, a fost realizat de cercetători de la Universitatea Northeastern din Boston, Microsoft Research și Universidad Nacional Autonoma de Mexico (UNAM).

Extinderea muncii invizibile efectuate de 100 de lucrători pe peste 40.000 de sarcini HIT într-o perioadă de o săptămână. Sursă: https://arxiv.org/pdf/2110.00169.pdf

Extinderea muncii invizibile efectuate de 100 de lucrători pe peste 40.000 de sarcini HIT într-o perioadă de o săptămână. Sursă: https://arxiv.org/pdf/2110.00169.pdf

Articolul detaliază extinderea “muncii invizibile” care constituie 33% din timpul de muncă al unui “turker”, așa cum este evidențiat într-un studiu de teren realizat pentru această lucrare. Cea mai mare cantitate de “timp pierdut” a fost reprezentată de timpul pe care lucrătorii AMT îl petrec examinând detaliile plăților pentru a se asigura că au primit plata pentru o sarcină. Raportul afirmă că ‘97% dintre lucrătorii din studiul nostru au practicat muncă invizibilă în jurul vizitării secțiunii de câștiguri pe panoul de control al lucrătorilor (poate pentru a se asigura că au primit plata corectă)’.

Cel de-al doilea timp de pierdut pentru “turkeri” a fost “vigilența excesivă” necesară pentru a obține efectiv lucru, unde lucrătorii reîmprospătează paginile profilurilor solicitatorilor și caută noi sarcini anunțate în secțiunile de liste HIT ale AMT.

Monitorizarea Turkerilor

Cercetătorii au dezvoltat o extensie Chrome, pe care au făcut-o disponibilă pe GitHub, pe baza unei lucrări anterioare care a studiat obiceiurile de atenție ale lucrătorilor AMT, dar care nu a abordat evaluarea muncii invizibile. Extensia a fost instalată pe sistemele a 100 de lucrători Mechanical Turk participanți, care au realizat colectiv 40.903 de sarcini HIT într-o perioadă de o săptămână.

Principala sarcină a extensiei este de a evalua timpul real pe care un lucrător îl petrece pe o sarcină HIT și, în acest scop, monitorizează starea paginilor AMT prin extragerea și analiza conținutului HTML al unei pagini pe care “turkerul” o vizualizează în prezent, pentru a înțelege interacțiunile lucrătorului cu aceasta. Extensia dispune și de un proces de fundal condus de timp care înregistrează evenimente de browser pe domeniul MTurk și starea fiecărei pagini (de exemplu, activă, inactivă, închisă).

Aspectele consumatoare de timp monitorizate în acest sistem includ verificarea stării “calificărilor” (pentru a vedea dacă munca recent finalizată i-a “upgradat”, oferindu-le acces la sarcini HIT de calitate superioară); “vaderea și sortarea” printr-un val de postări HIT cu filtre de căutare pentru a identifica o posibilă sarcină următoare și a exclude munca nedorită; și filtrarea “sarcinilor frauduloase” și gestionarea în general a sarcinilor așteptate.

Întârzieri și Încetiniri

Sistemul recunoaște, de asemenea, “evenimente de întârziere” și “încercări false”, cum ar fi atunci când un lucrător returnează o sarcină acceptată anterior în piscina HIT, deoarece s-a dovedit a fi diferită de așteptările sale; timpul necesar pentru a “previzualiza” sarcinile HIT, sau pentru a citi informații despre sarcini; pentru a trimite mesaje originatorului sarcinii HIT pentru a înțelege mai bine cerințele sarcinii; și citirea ajutorului general al platformei de pe paginile de ajutor ale Mechanical Turk.

În categoria foarte consumatoare de timp a “plăților”, cercetarea a constatat că lucrătorii AMT erau frecvent la panoul de control pentru a verifica dacă au primit plata, deoarece este posibil ca munca finalizată să fie refuzată, neplătită, din motive pe care lucrătorul nu le va afla niciodată; vizualizarea câștigurilor, care au o secțiune dedicată pe panoul de control al MTurk, în contrast cu anunțurile despre o nouă plată; și realizarea de sarcini HIT care “expiră” – unde un lucrător nu reușește să finalizeze o sarcină HIT în timpul alocat și nu primește nicio plată pentru munca efectuată pe aceasta (o categorie pe care cercetătorii o consideră că ar trebui să fie în secțiunea “plăți”).

Pe lângă constatarea că munca invizibilă reduce salariul mediu estimat anterior ($3,76) al unui lucrător AMT cu 39,5% atunci când este luat în considerare într-o sesiune de lucru, raportul notează, de asemenea, că percepția lucrătorilor cu privire la timpul pe care l-au petrecut cu munca neplătită într-o sesiune este semnificativ mai mică decât arată sesiunile de monitorizare.

Autorii notează că au rotunjit toate estimările din constatările metodologice pentru a asigura o abordare “conservatoare” riguroasă a lucrării și pentru a evita acuzațiile de exagerare a constatărilor. Ei conchid:

‘Având în vedere că salariul mediu pe oră al lucrătorilor este de doar 3,76 dolari (fără a lua în considerare munca invizibilă), este clar că lucrătorii din mulțime încă au nevoie de o creștere dramatică a salariilor pentru a considera această muncă corectă. Cu toate acestea, acest lucru nu este doar ceva pe care solicitatorii trebuie să îl ia în considerare, ci și ceva pentru platforme, lucrători și chiar pentru factorii de decizie politică.’

Starea Lucrătorilor Mechanical Turk

Alți autori și organizații estimează că lucrătorul mediu AMT câștigă, de fapt, mai puțin decât este estimat în noul raport – cât mai puțin 1 dolar pe oră.

Susținătorii beneficiilor AMT argumentează, cu o frecvență relativă, că controversele din jurul remunerației slabe a lucrătorilor AMT sunt exagerate. Un studiu din 2020 a chestionat o secțiune de lucrători MTurk din Statele Unite, constatând că ‘situația financiară a persoanelor de pe MTurk reflectă populația generală’, și că “turkerii” ‘nu ar schimba flexibilitatea MTurk pentru mai puțin de 25 de dolari pe oră’.

Acea lucrare a fost realizată de angajați ai CloudResearch (fost TurkPrime), ale cărui servicii includ “unelte care permit cercetătorilor să ruleze studii pe Mechanical Turk”.

Deoarece lucrătorii AMT sunt considerați a fi contractori independenți, ei nu sunt, de obicei, acoperiți de legile muncii din SUA. Într-un sondaj din 2016 realizat de centrul de cercetare Pew, mai mult de jumătate dintre lucrătorii AMT (52%) au raportat că câștigă mai puțin de 4,99 dolari pe oră, ceea ce – presupunând munca cu normă întreagă, fără vacanțe sau concedii medicale – este echivalent cu un venit de 10.379,20 dolari pe an.

Pentru mulți lucrători, sondajul a constatat că Mechanical Turk reprezintă “toată sau cea mai mare parte” a venitului lor, și această categorie de “turkeri” a fost caracterizată de tineri, mai puțin educați și trăind în gospodării cu venituri mai mici.

Cu toate acestea, “turkerii” erau, conform sondajului, în general mai bine educați decât lucrătorii medii americani, cu 51% raportând că au cel puțin o diplomă de absolvire a facultății, față de 36% dintre lucrătorii adulți din SUA – cu doar 12% dintre lucrătorii AMT afirmând că au doar o diplomă de liceu sau mai puțin.

Lucrul Potrivit?

Raportul Pew a indicat, de asemenea, că lucrătorii AMT tipici pot fi exact opusul “persoanei medii” pe care majoritatea studiilor academice o urmăresc să o exploateze, cu implicații pentru măsura în care răspunsurile lor neobișnuite ar putea să influențeze sau să degradeze calitatea proiectelor de învățare automată care se bazează pe “turkeri”.

Constatarile raportului Pew afirmă că “turkerii” ‘nu sunt reprezentativi pentru americanii în general – sau chiar pentru adulții care lucrează’.

De asemenea, notează cercetări dintr-un studiu anterior (2014), care a indicat că lucrătorii AMT sunt supuși unor experimente și sondaje atât de multe, încât cantitatea acestui tip de muncă ‘ar putea condiționa lucrătorii la anumite tipuri de răspunsuri sau să-i facă să devină prea familiarizați cu tipurile de întrebări care le vor fi adresate’ – în esență, că muncitorimea AMT va face ca “turkerii” să devină experți în “a mulțumi sistemul” în loc de a oferi intrări autentice și utilitate academică (sau chiar clinică).

Scriitor pe machine learning, specialist în domeniul sintezei de imagini umane. Fost șef al conținutului de cercetare la Metaphysic.ai, până la dizolvarea sa în Brahma.ai a DNEG.
Portfolio site: martinanderson.ai
Contact: martin@martinanderson.ai