Forța de muncă „invizibilă”, adesea nefericită, care decide viitorul inteligenței artificiale

Două rapoarte noi, inclusiv un studiu condus de Google Research, exprimă îngrijorare că tendința actuală de a se baza pe un grup ieftin și adesea dezavantajat de lucrători globali pentru a crea adevărul de bază pentru sistemele de învățare automată ar putea avea implicații majore pentru inteligența artificială.

Printre alte concluzii, studiul Google constată că prejudecățile proprii ale lucrătorilor din mulțime sunt probabil să fie încorporate în sistemele de inteligență artificială ale căror adevăruri de bază se vor baza pe răspunsurile lor; că practicile de muncă larg răspândite și nedrepte (inclusiv în Statele Unite) pe platformele de muncă în mulțime sunt probabil să degradeze calitatea răspunsurilor; și că sistemul de „consens” (efectiv un „mic alegeri” pentru un anumit adevăr de bază care va influența sistemele de inteligență artificială în aval) care rezolvă în prezent disputele poate arunca de fapt cel mai bun și/sau cel mai informat răspuns.

Aceasta este veștile proaste; veștile și mai proaste sunt că majoritatea remedierilor sunt scumpe, consumatoare de timp sau ambele.

Insecuritate, respingere aleatorie și rancor

Primul studiu, de la cinci cercetători de la Google, se numește A cui este adevărul de bază? Contabilizarea identităților individuale și colective care stau la baza anotării setului de date; al doilea studiu, de la doi cercetători de la Universitatea din Syracuse, New York, se numește Originea și valoarea dezacordului dintre etichetatorii de date: Un studiu de caz al diferențelor individuale în anotarea discursului urât.

Studiul Google notează că lucrătorii din mulțime – ale căror evaluări adesea formează baza definitorie a sistemelor de învățare automată care pot afecta în cele din urmă viețile noastre – operează adesea sub diverse constrângeri care pot afecta modul în care răspund la sarcinile experimentale.

De exemplu, politicile actuale ale Amazon Mechanical Turk permit solicitatorilor (cei care oferă sarcinile) să respingă lucrarea unui anotator fără răspundere*:

‘[O] mare majoritate a lucrătorilor din mulțime (94%) au avut lucrări respinse sau pentru care nu au fost plătiți. Cu toate acestea, solicitatorii păstrează drepturi complete asupra datelor pe care le primesc, indiferent dacă le acceptă sau le resping; Roberts (2016) descrie acest sistem ca fiind unul care “permite furtul de salarii”.

‘Mai mult, respingerea lucrării și reținerea plății este dureroasă, deoarece respingerile sunt adesea cauzate de instrucțiuni neclare și de lipsa canalelor de feedback semnificative; mulți lucrători din mulțime raportează că comunicarea slabă afectează negativ munca lor.’

Autorii recomandă ca cercetătorii care utilizează servicii externalizate pentru a dezvolta seturi de date să ia în considerare modul în care o platformă de muncă în mulțime îi tratează pe lucrători. Ei mai notează că, în Statele Unite, lucrătorii din mulțime sunt clasificați ca „contractori independenți”, astfel încât munca lor este necontrolată și nu este acoperită de salariul minim impus de Legea privind standardele de muncă corecte.

Contextul contează

Studiul critică, de asemenea, utilizarea ad hoc a forței de muncă globale pentru sarcinile de anotare, fără a lua în considerare backgroundul anotatorului.

În cazul în care bugetul permite, este obișnuit ca cercetătorii care utilizează AMT și platforme similare de muncă în mulțime să ofere aceeași sarcină a patru anotatori și să se conformeze „regulii majorității” în ceea ce privește rezultatele.

Experiența contextuală, susține studiul, este notabil de subevaluată. De exemplu, dacă o întrebare legată de sexism este distribuită aleatoriu între trei bărbați de acord vârsta 18-57 și o femeie care nu este de acord vârsta 29, verdictul bărbaților câștigă, cu excepția cazurilor rare în care cercetătorii acordă atenție calificărilor anotatorilor.

La fel, dacă o întrebare despre comportamentul bandelor din Chicago este distribuită între o femeie din zona rurală a Statelor Unite vârsta 36, un bărbat rezident din Chicago vârsta 42 și doi anotatori din Bangalore și Danemarca, persoana care este probabil cel mai afectată de problema (bărbatul din Chicago) deține doar o cotă de o pătrime din rezultat, într-o configurație standard de externalizare.

Cercetătorii afirmă:

‘[N]oțiunea de “un singur adevăr” în răspunsurile muncii în mulțime este un mit; dezacordul dintre anotatori, care este adesea privit ca negativ, poate oferi de fapt un semnal valoros. În al doilea rând, deoarece multe grupuri de anotatori muncii în mulțime sunt distorsionate din punct de vedere socio-demografic, există implicații pentru populațiile reprezentate în seturile de date, precum și pentru populațiile care se confruntă cu provocările muncii în mulțime.

‘Contabilizarea distorsiunilor în demografia anotatorilor este esențială pentru contextualizarea seturilor de date și asigurarea utilizării responsabile în aval. Pe scurt, există valoare în a recunoaște și a contabiliza backgroundul socio-cultural al lucrătorului — atât din perspectiva calității datelor, cât și a impactului societal.’

Nu există opinii „neutre” pe subiecte fierbinți

Chiar și atunci când opiniile a patru anotatori nu sunt distorsionate, fie din punct de vedere demografic, fie din alt punct de vedere, studiul Google exprimă îngrijorare că cercetătorii nu iau în considerare experiențele de viață sau dispoziția filosofică a anotatorilor:

‘[Î]n timp ce unele sarcini tind să pună întrebări obiective cu un răspuns corect (există o față umană în imagine?), adesea seturile de date își propun să capteze judecăți asupra unor sarcini subiective cu un răspuns universal corect (este acest text ofensator?). Este important să fim intenționați cu privire la dacă să ne bazăm pe judecățile subiective ale anotatorilor.’

În ceea ce privește domeniul său specific de a aborda problemele de etichetare a discursului urât, studiul de la Syracuse notează că întrebări mai categorice, cum ar fi Există o pisică în această fotografie? sunt notabil de diferite de a cere unui lucrător din mulțime dacă o frază este „toxică”:

‘[L]uând în considerare haosul realității sociale, percepțiile oamenilor asupra toxicității variază substanțial. Etichetele lor de conținut toxic se bazează pe percepțiile lor.’

Constatarea că personalitatea și vârsta au o „influență substanțială” asupra etichetării dimensionale a discursului urât, cercetătorii de la Syracuse concluzionează:

‘[A]ceste constatări sugerează că eforturile de a obține consistență în etichetare între etichetatori cu background și personalități diferite pentru discursul urât ar putea să nu reușească niciodată pe deplin.’

Și judecătorul poate fi părtinitor

Lipsa de obiectivitate este probabil să se propage și în sus, conform studiului de la Syracuse, care susține că intervenția manuală (sau politica automată, decisă de asemenea de un om) care determină „câștigătorul” voturilor de consens ar trebui să fie supusă examinării.

Asemănând procesul cu moderarea forumului, autorii afirmă*:

‘[U]n moderator al comunității poate decide soarta atât a posturilor, cât și a utilizatorilor din comunitatea sa, promovând sau ascunzând posturi, precum și onorând, rușinând sau interzicând utilizatorii. Deciziile moderatorilor influențează conținutul livrat membrilor comunității și publicului și, prin extensie, influențează și experiența comunității asupra discuției.

‘[A]sumând că un moderator uman este un membru al comunității care are o omogenitate demografică cu alți membri ai comunității, pare posibil ca schema mentală pe care o utilizează pentru a evalua conținutul să se potrivească cu cea a altor membri ai comunității.’

Acest lucru oferă o pistă despre de ce cercetătorii de la Syracuse au ajuns la o concluzie atât de despondentă cu privire la viitorul anotării discursului urât; implicația este că politicile și deciziile cu privire la opiniile divergente ale muncii în mulțime nu pot fi aplicate pur și simplu în mod aleatoriu, conform „principiilor acceptabile” care nu sunt înscrise nicăieri (sau nu pot fi reduse la o schemă aplicabilă, chiar dacă există).

Oamenii care iau deciziile (lucrătorii din mulțime) sunt părtinitori și ar fi inutili pentru astfel de sarcini dacă nu ar fi nu părtinitori, deoarece sarcina constă în a oferi o judecată de valoare; oamenii care judecă disputele în rezultatele muncii în mulțime iau de asemenea decizii cu privire la valorile în stabilirea politicilor pentru dispute.

Există sute de politici într-un singur cadru de detectare a discursului urât și, cu excepția cazului în care fiecare dintre ele este dusă până la Curtea Supremă, de unde poate proveni un „consens autoritar”?

Cercetătorii de la Google sugerează că ‘[dezacordurile dintre anotatori pot încorpora nuanțe valoroase despre sarcină’. Studiul propune utilizarea metadatelor în seturile de date care reflectă și contextualizează disputele.

Cu toate acestea, este greu de văzut cum un astfel de strat de date contextualizat ar putea duce vreodată la metrici comparabile, să se adapteze la cerințele testelor standard stabilite sau să susțină orice rezultate definitive – cu excepția scenariului nerealist de a adopta același grup de cercetători în lucrările ulterioare.

Curatarea grupului de anotatori

Toate acestea presupun că există buget într-un proiect de cercetare pentru multiple anotări care ar duce la un vot de consens. În multe cazuri, cercetătorii încearcă să „curateze” grupul de anotatori externalizați mai ieftin, specificând trăsături pe care lucrătorii ar trebui să le aibă, cum ar fi locația geografică, sexul sau alte factori culturali, schimbând pluralitatea cu specificitatea.

Studiul de la Google susține că calea de urmat din aceste provocări ar putea fi prin stabilirea unor cadre de comunicare extinse cu anotatorii, similare cu comunicarea minimă pe care aplicația Uber o facilitează între un șofer și un pasager.

O astfel de considerare atentă a anotatorilor ar fi, în mod natural, un obstacol în calea externalizării hiperscale a anotării, rezultând fie seturi de date limitate și de volum mic care au o justificare mai bună pentru rezultatele lor, fie o evaluare „grăbită” a anotatorilor implicați, obținând informații limitate despre ei și caracterizându-i ca „potriviți pentru sarcină” pe baza prea puține informații.

Asta, în cazul în care anotatorii sunt onești.

‘Oamenii care plac’ în etichetarea seturilor de date externalizate

Cu o forță de muncă disponibilă care este subplatită, sub concurență severă pentru sarcinile disponibile și deprimată de perspective de carieră slabe, anotatorii sunt motivați să ofere rapid „răspunsul corect” și să treacă la următoarea mică sarcină.

Dacă „răspunsul corect” este ceva mai complicat decât Are pisică/ Nu are pisică, studiul de la Syracuse susține că lucrătorul va încerca să deducă un „răspuns acceptabil” pe baza conținutului și contextului întrebării*:

‘[A]tât proliferarea conceptualizărilor alternative, cât și utilizarea pe scară largă a metodelor de anotare simpliste sunt, probabil, împiedică progresul cercetării privind discursul urât online. De exemplu, Ross și colab. au găsit că prezentarea definiției Twitter a discursului urât anotatorilor i-a făcut să-și alinieze parțial opiniile cu definiția. Această realiniere a dus la o fiabilitate inter-răspunsori foarte scăzută a anotărilor.’

* Conversia mea a citărilor inline din lucrare în legături.

Publicat pe 13 decembrie 2021 – Actualizat pe 18 decembrie 2021: Adăugate etichete