Adoben ja Metan arvostelu käyttäjätutkimusten väärinkäytöstä tietokoneen näön tutkimuksessa

Adoben ja Metan yhteistyössä Washingtonin yliopiston kanssa on julkaissut laajan arvostelun, jossa he väittävät, että käyttäjätutkimukset tietokoneen näön (CV) tutkimuksessa ovat yhä enenevissä määrin väärinkäytössä ja hyväksikäytössä.

Käyttäjätutkimukset olivat aikaisemmin tyypillisesti rajoitettu paikallisiin tai kampuksella oleviin opiskelijoihin, mutta ne ovat siirtyneet lähes kokonaan verkkopohjaisiin joukkorahoitusalustoille, kuten Amazon Mechanical Turk (AMT):iin.

Uudessa tutkimuksessa esitetään useita valituksia, mukaan lukien, että tutkimushankkeet ovat painostettu tuottamaan tutkimuksia paperien arvostelijoiden toimesta; usein tutkimukset suunnitellaan huonosti; tutkimukset tehdään usein ilman loogista perustaa; ja usein “gamed” -tyyppiset joukkorahoittajat “löytävät” halutun vastauksen sen sijaan, että ajattelevat todella ongelman parissa.

15-sivuisessa tutkielmassa (joka on otsikoitu “Kohti parempia käyttäjätutkimuksia tietokonegrafiikassa ja näössä”) esitetään useita muita kritiikkejä siitä, miten joukkorahoitetut käyttäjätutkimukset voivat todella hidastaa tietokoneen näön alasektoreiden, kuten kuvantunnistuksen ja kuvasynteesin, kehitystä.

Tutkimus keskittyy laajasti käyttäjätutkimuksiin liittyviin ongelmiin, mutta sen voimakkaimmat kritiikit kohdistuvat siihen, miten “output-arviointi” käyttäjätutkimuksissa (ts. kun joukkorahoitetut ihmiset palkataan arvioimaan esimerkiksi uusien kuvasynteesialgoritmien tuotoksia) voi vaikuttaa koko alaan negatiivisesti.

Tutkimuksen mukaan yksi esimerkki tästä on, kun uusi tutkimustyö vuonna 2021 esitti, että “yksilöt eivät pysty tarkalleen tunnistamaan tekoälyllä luotuja taideteoksia”, mutta tämä tulos väärinkäytettiin laajasti suuren yleisön keskuudessa.

Sensationalistiset tulkinnat

Tutkimuksessa esitetään useita ehdotuksia tietokoneen näön julkaisijoille, mukaan lukien varoitus “tulkkaa tulokset varovasti”. Tutkimuksessa mainitaan yksi esimerkki vuodelta 2021, jolloin uusi tutkimustyö, joka väitti, että “yksilöt eivät pysty tarkalleen tunnistamaan tekoälyllä luotuja taideteoksia”, oli laajasti väärinkäytössä suuren yleisön keskuudessa.

Yksi korkean profiilin media-raportti vuoden 2021 tutkimuksesta ‘The Role of AI Attribution Knowledge in the Evaluation of Artwork’, joka mainitaan uudessa tutkimuksessa. Tässä Daily Mailin lähde on The Times (maksumuurin takana). Lähteet: Daily Mail (arkistoitu linkki) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf

Tutkijat toteavat:

‘[Tutkimuksessa] yksi tutkimus psykologisessa lehdessä, jossa kerättiin perinteisiä taideteoksia ja tekoälyllä luotuja kuvia verkkokaupasta, ja joukkorahoittajat pyydettiin tunnistamaan, mitkä kuvat olivat peräisin mistäkin lähteestä. Tutkimuksen tuloksista pääteltiin, että “yksilöt eivät pysty tarkalleen tunnistamaan tekoälyllä luotuja taideteoksia”, mikä on erittäin laaja johtopäätös, joka ei seuraa suoraan kokeista.

‘Lisäksi tutkimus ei raportoi yksityiskohtia siitä, mitkä kuvat kerättiin tai käytettiin, mikä tekee väitteiden tarkistamisen ja toistamisen hankalaksi, ellei mahdottomaksi.

‘Enemmän huolestuttavaa on, että suuren yleisön lehdistö raportoi nämä tulokset harhaanjohtavilla väitteillä, että tekoäly voi itsenäisesti luoda taidetta yhtä hyvin kuin ihmiset.’

Joukkorahoittajien petokset

Joukkorahoittajat eivät yleensä ansaitse paljon rahaa työstään. Koska heidän mahdollisuutensa ovat vähäiset ja heidän parasta ansaitsemismahdollisuuttaan on suorittaa suuri määrä tehtäviä, monet heistä ovat, tutkimuksen mukaan, alttiita lyhentämään työtään ja etsimään keinoja nopeuttaa tehtävien suorittamista.

Tutkimuksessa todetaan, että joukkorahoittajat, samoin kuin koneoppimisjärjestelmät, oppivat toistuvia malleja käyttäjätutkimuksissa, ja ne voivat vain päätellä “oikean” tai “toivotun” vastauksen, sen sijaan että tuottaisivat aitoa, orgaanista vastausta aineistoon.

Tutkimuksessa suositellaan, että joukkorahoittajien toimintaa tarkkaillaan “validointikokeilla” tai “vartiointitutkimuksilla” – eli tekaistuilla osioilla, joiden tarkoituksena on selvittää, onko työntekijä kiinnittänyt huomiota, klikannut satunnaisesti vai seurannut joitain itse oppimiaan malleja, sen sijaan että ajattelisi valintojaan.

Tutkijat toteavat:

‘Esimerkiksi, kun on kyse paristaisista, tyylitetyistä kuvista, toinen kuva parista voi olla tietoisesti ja objektiivisesti huonoa laatua. Analyysin aikana voidaan hylätä osallistujien data, jotka epäonnistuvat ennalta määrätysti tarkastuksissa, olettaen, että ne on tuottanut huomionkiinnittämättömät tai epäjohdonmukaiset osallistujat.

‘Nämä tarkastukset on syytä lisätä satunnaisesti tutkimukseen, ja ne on esitettävä samalla tavalla kuin muut kokeet; muuten osallistujat voivat selvittää, mitkä kokeet ovat tarkastuksia.’

Tutkijoiden petokset

Tutkijat voivat olla tahallisesti tai tahattomasti osallisia tämänkaltaisessa “pelissä”; on monia tapoja, joilla he voivat “merkitä” haluamiaan valintoja joukkorahoittajille.

Esimerkiksi tutkimuksessa todetaan, että tutkijat voivat valita joukkorahoittajat, joiden profiili on sopiva saadakseen “ihannetulokset” tutkimuksessa, joka muuten olisi epäonnistunut.

Sanastoa koskeva huolenaihe on myös tärkeä:

‘Sanastoa tulisi heijastaa korkean tason tavoitteita, esim. “Kumpi kuva sisältää vähemmän virheitä?” sen sijaan kuin “Kumpi kuva sisältää vähemmän värihaittoja kasvoalueella?” Vastaavasti epätarkka tehtävän sanastoa jättää liian paljon tulkinnan varaan, esim. “Kumpi kuva on parempi?” voidaan ymmärtää “Kumpi on esteettisesti miellyttävämpää?” siinä missä tarkoituksena oli arvioida “Kumpi on realistisempi?”

Toinen tapa “hyväntahtoisesti vaikuttaa” osallistujiin on kertoa heille, avoimesti tai epäsuoraan, kumpi vaihtoehto on tutkijan menetelmä, eikä edellinen menetelmä tai satunnainen otos.

Tutkijat toteavat:

‘[Osallistujat] voivat vastata sillä, mitä he luulevat tutkijoiden haluavan, tietoisesti tai tietämättä, mikä on tunnettu “hyvä subjekti -vaikutus”. Älä merkitse tuloksia nimillä kuten “meidän menetelmämme” tai “oleva menetelmä”. Osallistujat voivat olla harhaisia valta-asetelmista (ts. tutkija, joka suorittaa tutkimuksen), tutkijoiden kielenkäytöstä (esim. “Kuinka paljon pidät tästä työkalusta, jonka rakensin eilen?”) ja tutkijoiden ja osallistujien suhteesta (esim. jos molemmat työskentelevät samassa laboratoriossa tai yrityksessä).’

Tehtävän muotoilu käyttäjätutkimuksessa voi myös vaikuttaa tutkimuksen puolueettomuuteen. Tutkijat huomauttavat, että jos vertailukuvat esitetään vierekkäin, ja vertailukohde on aina vasemmalla (ts. “kuva A”) ja uuden algoritmin tuotos oikealla, osallistujat voivat päätellä, että B on “paras” vaihtoehto, perustuen heidän kasvavaan oletukseensa tutkijoiden toivottuun lopputulokseen.

‘Muiden esittämistapojen, kuten kuvien koon ja etäisyyden toisiinsa, voi vaikuttaa osallistujien vastauksiin. Tutkimuksen pilottitutkimus muutamalla eri asettelulla voi auttaa havaitsemaan nämä mahdolliset sekaantumiset aikaisin.’

Väärät ihmiset väärään tuotteeseen

Tutkijat huomauttavat useissa kohdissa tutkimuksessa, että joukkorahoittajat ovat enemmän “yleinen” resurssi kuin mitä olisi odotettu aiemmin, jolloin tutkijat joutuivat pyytämään apua paikallisesti, usein kampuksella olevilta opiskelijoilta, jotka täydensivät tulojaan osallistumalla tutkimuksiin.

Vaadinnaisten osallistujien osallistuminen jättää heille vähän tilaa olla “ärsyyntyneitä” tuotteesta, jonka he testaavat, ja tutkimuksen tekijät suosittelevat, että tutkijat tunnistavat kohderyhmänsä ennen tuotteen kehittämistä ja tutkimusta – muuten he saattavat tuottaa jotain, joka on hyvin vaikea luoda, mutta jota kukaan ei todella halua.

‘Todella usein olemme nähneet tietokonegrafiikan tai näön tutkijoita yrittävän saada tutkimuksensa hyväksyttyä teollisuuden toimijoille, vain löytääkseen, että tutkimus ei vastaa kohderyhmän tarpeita. Tutkijat, jotka eivät tee tarpeiden selvittämistä aluksi, voivat olla yllättyneitä siitä, että käyttäjillä ei ole tarvetta tai kiinnostusta työkaluun, jonka he ovat viettäneet kuukausia tai vuosia kehittämässä.

‘Tällaiset työkalut voivat suoriutua huonosti arviointitutkimuksissa, koska käyttäjät voivat havaita, että teknologia tuottaa epäolennaisia, merkityksettömiä tai odottamattomia tuloksia.’

Tutkimus toteaa myös, että käyttäjät, jotka todella ovat todennäköisiä käyttämään tuotetta, tulisi valita tutkimuksiin, vaikka he eivät olisikaan helppoja löytää (tai edullisia).

Sen sijaan, että palattaisiin rekrytoimaan osallistujia kampuksella (joka olisi ehkä hieman vanhanaikainen askel), tutkijat suosittelevat, että tutkijat “rekrytoivat käyttäjiä luonnostaan”, osallistumalla asiaankuuluviin yhteisöihin.

‘Esimerkiksi voi olla merkittävä aktiivinen verkkokeskustelu- tai sosiaalisen median yhteisö, jota voidaan hyödyntää. Jopa yhden yhteisön jäsenen tapaaminen voi johtaa lumipallon vaikutukseen, jossa relevantit käyttäjät tarjoavat yhteyksiä samanhenkisiin yksilöihin verkostossaan.’

Palautepyynnöt

Tutkimus suosittelee myös, että tutkijat pyytävät laadullista palautetta niiltä, jotka ovat osallistuneet käyttäjätutkimuksiin, ei ainoastaan siksi, että se voi paljastaa tutkijoiden virheellisiä oletuksia.

‘Nämä voivat auttaa debuggaamaan tutkimusta, mutta ne voivat myös paljastaa odottamattomia puolia tuloksista, jotka vaikuttivat käyttäjien arvosteluihin. Oliko osallistuja “erittäin tyytymätön” tulokseen, koska se oli epärealistinen, esteettisesti epämiellyttävä, harhaanjohtava tai jostain muusta syystä?

‘Ilman laadullista tietoa tutkija voi keskittyä parantamaan algoritmia realistisemmaksi, sen sijaan että keskittyisi ratkaisemaan käyttäjän perusongelmaa.’

Kuten monissa tutkimuksen suositeluissa, tämä suositus vaatii tutkijoilta lisää aikaa ja rahaa, kulttuurissa, jossa nopeat ja käytännölliset joukkorahoitetut käyttäjätutkimukset ovat yleistyvä trendi, jota tutkimus arvostelee kautta linjan.

Yliopiskeltu

Tutkimus toteaa, että käyttäjätutkimukset ovat muuttumassa “vähimmäisvaatimukseksi” ennen julkaisemista tietokoneen näön yhteisössä, jopa silloin, kun tutkimus ei voida järkevästi suunnitella (esim. silloin, kun ideoita on niin uusia tai marginaalisia, ettei niille voida suorittaa mielekkäitä vertailuja).

Esimerkkinä “tutkimuksen pakottamisesta” (jota tutkijat eivät itse käytä) tutkijat mainitsevat ICLR 2022 -tutkimuksen, jonka arvostelut on julkaistu verkossa (arkistoitu linkki, otettu suoraan uudesta tutkimuksesta):

‘Kaksi arvostelijaa antoi hyvin negatiivisia arvosanoja osittain sen vuoksi, että tutkimuksessa ei ollut käyttäjätutkimuksia. Tutkimus hyväksyttiin lopulta, ja siihen liittyi yhteenveto, jossa arvostelijoita moitittiin siitä, että he käyttivät “käyttäjätutkimuksia” tekosyytä heikkoon arvosteluun, ja syyttivät heitä portinvartijoina. Koko keskustelu on luettavissa.

‘Lopullinen päätös totesi, että tutkimus kuvasi ohjelmistokirjastoa, jota oli käytetty vuosia ja jolla oli tuhannet käyttäjät (tietoa, jota arvostelijat eivät olleet saaneet anonyymin arvostelun vuoksi). Olisiko tutkimus, joka kuvasi erittäin vaikuttavan järjestelmän, hylätty, jos komitea ei olisi tiennyt tätä tietoa?

‘Ja jos tutkijat olisivat tehneet ylimääräisen vaivaa ja suorittaneet käyttäjätutkimuksen, olisiko se ollut mielekästä, ja olisiko se riittänyt vakuuttamaan arvostelijat?’

Tutkijat toteavat, että he ovat nähneet arvostelijoiden ja toimittajien asettavan “raskaita arviointivaatimuksia” jätetyille tutkimuksille, huolimatta siitä, olisivatko nämä arviointi vaikuttavat tai arvokkaita.

‘Olemme myös nähneet, että tutkijat ja arvostelijat käyttävät MTurk-arviointeja apuna välttääkseen vaikeat päätökset. Arvostelijoiden kommentit, kuten “En voi sanoa, kumpi kuva on parempi, ehkä käyttäjätutkimus auttaisi”, ovat potentiaalisesti haitallisia, koska ne rohkaisevat tutkijoita tekemään ylimääräistä työtä, joka ei paranna heikkolaatuista tutkimusta.’

Tutkijat päättävät:

‘[Jos] käyttäjätutkimusten ensisijainen tavoite on miellyttää arvostelijoita sen sijaan, että tuottaa uusia tietoja, tällaisen käyttäjätutkimuksen hyödyllisyys ja pätevyys on asetettava kyseenalaiseksi sekä tutkijoiden että arvostelijoiden toimesta. Rangaistus työlle, joka ei sisällä käyttäjäarviointia, johtaa siihen, että nopeasti tehty, huonosti suoritettu käyttäjätutkimus palkitaan.

‘Muistisääntö, joka on muistettava, on, että “huono käyttäjätutkimus johtaa huonoihin tuloksiin”, ja tällainen tutkimus jatkuu, jos arvostelijat jatkavat sen pyytämistä.’

* Minun muunnos tutkimuksen sisäisistä viittauksista asiaankuuluviksi linkkeihin
^† Minun korostus, ei tutkijoiden.

Julkaistu ensimmäisen kerran 24. kesäkuuta 2022.