‘Näkymättömät’, Usein Epäonnistuneet Työntekijät, Johtavat Tekoälyjen Tulevaisuutta

Kaksi uutta raporttia, mukaan lukien Google-tutkimuksen johtama raportti, ilmaisee huolen siitä, että nykyinen trendi luottaa edulliseen ja usein valtaistuneeseen joukkotyöntekijöiden joukkoon luomaan perustotuuksia koneoppimisjärjestelmille, voi johtaa merkittäviin seurauksiin tekoälylle.

Tutkimuksessa todetaan muun muassa, että joukkotyöntekijöiden omat ennakkoasenteet ovat todennäköisesti sisäänrakennettuina tekoälyjärjestelmiin, joiden perustotuuksia heidän vastauksensa muodostavat; laajamittaiset epäoikeudenmukaiset työnteon käytännöt (mukaan lukien Yhdysvalloissa) joukkotyöalustoilla ovat todennäköisesti heikentäneet vastausten laatua; ja “konsensus”-järjestelmä (joka on käytännössä “miniäänestys” jollekin perustotodistukselle, joka vaikuttaa tekoälyjärjestelmiin), joka ratkaisee riitaisuuksia, voi todella hävittää parhaat ja/tai tietävimmät vastaukset.

Tämä on huono uutinen; entistä huonompi uutinen on, että lähes kaikki korjaavat toimenpiteet ovat kalliita, aikaa vieviä tai molempia.

Turvaattomuus, Sattumanvarainen Hylkäys ja Vihamielisyys

Ensimmäinen raportti, jota johtavat viisi Google-tutkijaa, on nimeltään Kenen Perustotodistus? Yksilöllisten ja Kollektiivisten Identiteettien Merkitys Dataset-annotoinnissa; toinen raportti, jota johtavat kaksi Syracuse-yliopiston tutkijaa New Yorkissa, on nimeltään Väkivallan Arvostelu ja Ero Data-Merkinnöissä: Tapauskuva Yksilöllisistä Eroista Vihamielisyyden Merkinnöissä.

Google-raportti toteaa, että joukkotyöntekijät – joiden arviot usein muodostavat määrittävän perustan koneoppimisjärjestelmille, jotka voivat lopulta vaikuttaa elämäämme – toimivat usein rajoitusten alaisina, jotka voivat vaikuttaa siihen, miten he vastaavat kokeellisiin tehtäviin.

Esimerkiksi Amazon Mechanical Turk -palvelun nykyiset käytännöt sallivat pyynnön esittäjien (tehtävän antajien) hylätä annotaattorin työn ilman vastuuta*:

‘[S]uurin osa joukkotyöntekijöistä (94%) on kokenut työn hylkäystä tai eivät ole saaneet palkkaa. Kuitenkin pyynnön esittäjillä on edelleen täysi valta saamansa dataa kohtaan, riippumatta siitä, hyväksyvätkö he työn vai eivät; Roberts (2016) kuvailee tätä järjestelmää “palkanryöstönä”.

‘Lisäksi työn hylkäys ja palkan pidättäminen on kivulias, koska hylkäykset johtuvat usein epäselvistä ohjeista ja puuttuvista merkityllisistä palautekanavista; monet joukkotyöntekijät raportoivat, että heikko viestintä vaikuttaa heidän työhönsä negatiivisesti.’

Tutkijat suosittelevat, että tutkijat, jotka käyttävät ulkoistettuja palveluita datasettien kehittämiseen, tulisi ottaa huomioon, miten joukkotyöalusta kohtelee työntekijöitään. He toteavat myös, että Yhdysvalloissa joukkotyöntekijät luokitellaan “itsenäisiksi urakoitsijoiksi”, jolloin työ on sääntelemätöntä eikä kuulu vähimmäispalkkalakiin.

Asia Määrää

Raportti myös arvostelee ad hoc -globaalin työn käyttöä annotointitehtävissä ilman annotaattorin taustan huomioon ottamista.

Missä budjetti sallii, on yleistä, että tutkijat, jotka käyttävat AMT:ta ja muita joukkotyöalustoja, antavat saman tehtävän neljälle annotaattorille ja noudattavat “enemmistöä” tuloksissa.

Asiaan liittyvä kokemus, raportti väittää, on huomattavasti aliarvostettu. Esimerkiksi, jos tehtäväkoskaan liittyy seksismiin, ja se jaetaan satunnaisesti kolmelle sopivan ikäiselle miehelle (18-57) ja yhdelle vastaavalle naiselle (29), miesten lausunto voittaa, paitsi harvoissa tapauksissa, joissa tutkijat kiinnittävät huomiota annotaattorien pätevyyteen.

Vastaavasti, jos kysymys jengikäyttäytymisestä Chicagossa jaetaan maaseutu-Yhdysvaltalaiselle naiselle (36), Chicagolaiselle miehelle (42) ja kahdelle annotaattorille Bangalorestä ja Tanskasta, henkilö, joka todennäköisesti on eniten vaikuttunut asiasta (Chicagolainen mies), omistaa vain neljänneksen osuuden lopputuloksesta, standardoitujen ulkoistamisen asetusten mukaan.

Tutkijat toteavat:

‘[K]äsite “yksi totuus” joukkotyöntekijöiden vastauksissa on myytti; annotaattorien välisen erimielisyyden, jota usein pidetään negatiivisena, voi tosiasiassa antaa arvokkaan signaalin. Toiseksi, koska monet joukkotyöntekijät ovat sosio-demograafisesti vinoutuneita, on seurauksia siinä, mitkä väestöt ovat edustettuina dataseteissä sekä mitkä väestöt kohtaavat joukkotyön haasteita.’

‘Annotaattorien demograafisten vinoutumien huomioon ottaminen on kriittistä datasettien kontekstualisoinnissa ja vastuullisessa lopputuloksessa. Lyhykäisyydessä on arvoa tunnustaa ja ottaa huomioon työntekijöiden sosio-kulttuurista taustaa – sekä datan laadun että yhteiskunnallisen vaikuttavuuden näkökulmasta.’

Ei ‘Neutraaleja’ Mielipiteitä Polttavista Aiheista

Vaikka neljän annotaattorin mielipiteet eivät ole vinoutuneita demograafisesti tai jonkin muun mittarin mukaan, Google-raportti ilmaisee huolen siitä, että tutkijat eivät ole ottaneet huomioon annotaattorien elämänkokemuksia tai filosofista asennetta:

‘Vaikka jotkut tehtävät asettavat objektiviisia kysymyksiä oikealla vastauksella (onko kuvassa ihmiskasvo?), usein datasetit pyrkivät kuvaamaan tuomioita suhteellisen subjektiivisista tehtävistä, joilla ei ole yleisesti hyväksyttyä vastausta (onko tämä teksti loukkaava?). On tärkeää olla tietoinen siitä, onko annotaattorien subjektiivisista tuomioista riippuvainen.’

Syracuse-raportin erityisessä alueessa, joka koskee ongelmia vihamielisen puheen merkinnöissä, tutkijat toteavat, että kategorisemmat kysymykset, kuten Onko kuvassa kissa? ovat huomattavasti erilaisia kuin kysymys siitä, onko jokin lause “myrkyllinen”:

‘Ottaen huomioon sosiaalisen todellisuuden monimutkaisuuden, ihmisten käsitykset myrkyllisyydestä vaihtelevat huomattavasti. Heidän myrkyllisen sisällön merkintänsä perustuvat heidän omiin käsityksiinsä.’

Tutkijat, jotka löysivät, että persoonallisuus ja ikä vaikuttavat olennaisesti vihamielisen puheen dimensionaalisessa merkinnässä, toteavat:

‘Nämä tulokset osoittavat, että pyrkimykset saada merkintäyhtenäisyyttä eri taustoista ja persoonallisuudesta olevien merkinnänantajien keskuudessa vihamielisyydestä saattavat ei koskaan täysin onnistua.’

Tuomari Saattaa Olla Myös Vinoutunut

Tämä subjektiivisuus on todennäköisesti toistuva myös ylöspäin, Syracuse-raportin mukaan, joka väittää, että manuaalinen väliintulo (tai automaattinen käytäntö, joka myös on päättänyt ihminen), joka määrittää “voittajan” konsensusäänestyksessä, tulisi myös olla altis tarkastelulle.

Vertaamalla prosessia foorumien moderaamiseen, tutkijat toteavat*:

‘[Y]hteisön moderaattorit voivat päättää sekä viestien että käyttäjien kohtalosta heidän yhteisössään edistämällä tai piilotamalla viestejä sekä kunnioittamalla, hävittämällä tai bannimalla käyttäjiä. Moderaattorien päätökset vaikuttavat sisältöön, joka toimitetaan yhteisön jäsenille ja yleisölle ja laajemmin yhteisön keskustelun kokemukseen.

‘Olettaen, että ihmismoderaattori on yhteisön jäsen, jolla on demograafinen homogeenisuus muiden yhteisön jäsenten kanssa, on mahdollista, että mieliala, jota he käyttävät sisällön arviointiin, vastaa muiden yhteisön jäsenten mielialaa.’

Tämä antaa joitakin viitteitä sille, miksi Syracuse-tutkijat ovat tulleet sellaiseen lopputulokseen vihamielisen puheen merkinnän tulevaisuudesta; implikaatio on, että käytännöt ja tuomiot erimielisistä joukkotyöntekijöiden mielipiteistä eivät voi vain soveltaa satunnaisesti “hyväksyttyjä” periaatteita, joita ei ole määritelty (tai eivät ole palautettavissa sovellettavaan skeemaan, vaikka ne olisivat olemassa).

Ihmiset, jotka tekevät päätökset (joukkotyöntekijät), ovat vinoutuneita, ja he olisivat hyödyttömiä tällaisille tehtäville, jos he eivät olisi vinoutuneita, koska tehtävänä on antaa arvotuomio; ihmiset, jotka ratkaisevat riitaisuuksia joukkotyön tuloksissa, tekevät myös arvotuomioita käytännön politiikassa.

Vihamielisen puheen havaitsemisessä voi olla satoja käytäntöjä, ja ellei jokaista niistä viety lopulta korkeimpaan oikeuteen, mistä “virallinen” konsensus voisi syntyä?

Google-tutkijat ehdottavat, että ‘[erimielisyydet annotaattorien välillä voivat sisältää arvokkaita nuansseja tehtävistä’. Raportti ehdottaa metadataa, joka heijastaa ja kontekstualisoi riitaisuuksia dataseteissä.

Kuitenkin on vaikea nähdä, miten tällainen kontekstisidonnainen datan kerros voisi johtaa samanlaisiin mittareihin, sopeutua vakiintuneiden standarditestien vaatimuksiin tai tukea mihinkään lopullisiin tuloksiin – paitsi epärealistisessa skenaariossa, jossa sama tutkijaryhmä otetaan mukaan myöhempiin töihin.

Annotaattorien Valikoima

Kaikki olettaa, että tutkimushankkeessa on budjetti useille annotoinneille, jotka johtavat konsensusäänestykseen. Monissa tapauksissa tutkijat yrittävät “valikoida” ulkoistetun annotaattoripoolin halvemmin määrittelemällä ominaisuuksia, joita työntekijöiden tulisi omata, kuten maantieteellinen sijainti, sukupuoli tai muut kulttuuriset tekijät, kauppaa monimuotoisuuden tiukkuuden kanssa.

Google-raportti väittää, että tapa eteenpäin näistä haasteista voisi olla perustaa laajennettuja viestintäkehyksiä annotaattoreiden kanssa, samankaltaisia kuin vähäiset viestintämahdollisuudet, joita Uber-sovellus tarjoaa kuljettajalle ja matkustajalle.

Tällainen huolellinen annotaattorien huomioon ottaminen tulisi luonnollisesti esteeksi hyperskaalaiselle annotointiulkoistamiselle, johtaisi joko rajoitettuihin ja matalavolyymisiin datasetteihin, joilla on parempi perustelu tuloksilleen, tai “kiireiseen” annotaattorien arviointiin, jossa saadaan vain rajoitettu tieto heistä ja heidät luokitellaan “tehtävään sopiviksi” liian vähäisen tiedon perusteella.

Jos annotaattorit ovat rehellisiä.

‘Mieluisat Ihmiset’ Ulkoistetussa Dataset-merkinnässä

Käytettävissä olevalla työvoimalla, joka on alipalkattu, vaikeuksien alla saatavilla olevien tehtävien kilpailussa, ja masentunut urakehitysmahdollisuuksien puutteesta, annotaattorit ovat motivoituneita antamaan nopeasti “oikean” vastauksen ja siirtymään seuraavaan pikkutehtävään.

Jos “oikea vastaus” on mitään monimutkaisempaa kuin Kissa/Ei kissaa, Syracuse-raportti väittää, että työntekijä yrittää päätellä “hyväksytyn” vastauksen perustuen tehtävän sisältöön ja kontekstiin*:

‘Molemmat vaihtoehtoisten käsitteiden leviäminen ja yksinkertaisten annotointimenetelmien laaja käyttö ovat todennäköisesti hidastamassa vihamielisen puheen tutkimuksen edistymistä. Esimerkiksi Ross ja muut löysivät, että näyttäminen Twitterin määritelmä vihamielisestä käyttäytymisestä annotaattoreille sai heidät osittain sovittamaan omat mielipiteensä määritelmän mukaan. Tämä uudelleenjärjestäminen johti erittäin alhaiseen annotaattorien väliseen luotettavuuteen.’

* Minun muutos raportin sisäisistä viittauksista hyperlinkkeihin.

Julkaistu 13. joulukuuta 2021 – Päivitetty 18. joulukuuta 2021: Avainsanat lisätty