Adobe og Meta kritisere misbruk av brukerstudier i datavisjonsforskning

Adobe og Meta, sammen med University of Washington, har publisert en omfattende kritikk av hva de hevder er en økende misbruk og misbruk av brukerstudier i datavisjonsforskning (CV).

Brukerstudier var tidligere vanligvis begrenset til lokale områder eller studenter rundt campusen til en eller flere av de deltagende akademiske institusjonene, men har siden migrert nesten helt til online crowdsourcing-plattformer som Amazon Mechanical Turk (AMT).

Blant en rekke klager, hevder den nye artikkelen at forskningsprosjekter presses til å produsere studier av papirrecensenter; ofte formulerer studiene dårlig; bestiller studier der logikken i prosjektet ikke støtter denne tilnærmingen; og ofte blir “gamed” av cyniske crowdworkers som “figurerer ut” de ønskede svarene i stedet for å tenke grundig om problemet.

Den femten sider lange avhandlingen (tittel Towards Better User Studies in Computer Graphics and Vision) som utgjør den sentrale delen av den nye artikkelen, retter mange andre kritikker mot måten crowdsourced brukerstudier kan faktisk hindre fremgangen i datavisjonsundersektorer, som bildegenkjenning og bilde syntese.

Selv om artikkelen behandler en mye bredere rekke av problemer relatert til brukerstudier, er de sterkeste kritikkene rettet mot måten utgangsevaluering i brukerstudier (dvs. når crowdsourced mennesker betales for å gjøre verdiomdømninger på – for eksempel – utgangen av nye bilde syntesealgoritmer) kan påvirke hele sektoren negativt.

La oss se på noen av de sentrale punktene.

Sensasjonelle tolkninger

Blant artikkelenes råd til de som publiserer i datavisjonssektoren, er advarselen om å “tolke resultater med omsorg”. Artikkelen nevner et eksempel fra 2021, da en ny forskningsartikkel som hevdet at “individer ikke kan nøyaktig identifisere AI-generert kunst” ble vidt spredt i populærpressen.

En av de høyere profilerte mediareportene om 2021-artikkelen ‘The Role of AI Attribution Knowledge in the Evaluation of Artwork’, av Harsha Gangadharbatla, nevnt som et eksempel i den nye artikkelen. Her er The Daily Mails kilde The Times (paywalled). Kilder: Daily Mail (arkivlenke) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf

Forfatterne skriver*:

‘[I] en studie i en psykologisk tidsskrift, ble bilder av tradisjonelle kunstverk og bilder skapt av AI-teknologier samlet inn fra nettet, og crowdworkers ble bedt om å skille disse bildene fra hverandre. Fra resultater ble det konkludert at “individer ikke kan nøyaktig identifisere AI-generert kunst”, en meget bred konklusjon som ikke følger direkte fra eksperimentene.

‘I tillegg rapporterer papiren ikke detaljer om hvilke spesifikke bilde sett som ble samlet inn eller brukt, noe som gjør det vanskelig, om ikke umulig, å verifisere og gjenta.

‘Enda mer bekymringsfullt er at populærpressen rapporterte disse resultater med misvisende påstander om at AI kan uavhengig lage kunst like godt som mennesker.’

Håndtering av crowdworkers som svindler

Crowdsourced arbeidere blir vanligvis ikke betalt mye for sine anstrengelser. Siden deres prospekter er minimale, og deres beste mulighet for å tjene penger er gjennom å fullføre en høy volum av oppgaver, er mange av dem, forskning viser, disponert til å ta noen “gjennomskjæringsveier” som vil påskynde den nåværende oppgaven så de kan gå videre til den neste mindre “giggen”.

Artikkelen observerer at crowdsourced arbeidere, like som maskinlæringsystemer, vil lære repetitive mønster i brukerstudier som forskerne formulerer, og bare infere det “korrekte” eller “ønskede” svaret, i stedet for å produsere en sann organisk respons til materialet.

Til dette formålet, anbefaler artikkelen å gjennomføre kontroller på crowdsourced arbeidere, også kjent som “valideringsforsøk” eller “sentineler” – effektivt, fake deler av en test designet for å se om arbeideren er oppmerksom, klikker tilfeldig eller bare følger et mønster som de har selv inferert fra testene, i stedet for å tenke om valgene sine.

Forfatterne skriver:

‘For eksempel, i tilfelle av par av stiliserte bilder, kan ett bilde av paret være et bevisst og objektivt dårlig kvalitetsresultat. Under analyse kan data fra deltakere som feiler noen forhåndsdefinerte antall av kontrollene kastes, antatt å være generert av deltakere som var uoppmerksomme eller inkonsistente.

‘Disse kontrollene bør være tilfeldig innført i studiet, og bør se ut som andre forsøk; ellers kan deltakerne finne ut hvilke forsøk som er kontrollene.’

Håndtering av forskere som svindler

Med eller uten intensjon, kan forskere være medvirkende til denne type “gaming”; det finnes mange måter for dem, kanskje selv uten å være klar over det, å “signalere” sine ønskede valg til crowdworkers.

For eksempel observerer artikkelen at, ved å velge crowdworkers med profiler som kan være konduktive for å få de “ideelle” svarene i en studie, nominally bevise en hypotese som ellers kunne ha feilet på en mindre “utvalgt” og mer arbitrær gruppe.

Fraseologi er også en nøkkel bekymring:

‘Ordvalg bør reflektere de overordnede målene, f.eks. “hvilket bilde inneholder færre artefakter?” i stedet for “hvilket bilde inneholder færre fargefeil i ansiktsområdet?” Omvendt, upresise oppgaveord gir for mye rom for tolkning, f.eks. “hvilket bilde er bedre?” kan bli forstått som “hvilket er mer estetisk tiltalende?” hvor intensjonen kanskje var å evaluere “hvilket er mer realistisk?”

En annen måte å “benignt påvirke” deltakere er å la dem vite, åpenlyst eller implisitt, hvilken av de mulige valgene foran dem er forfatterens metode, i stedet for en tidligere metode eller tilfeldig eksempel.

Artikkelen sier*:

‘[D]eltakerne kan svare med svarene de tror forskerne ønsker, bevisst eller ikke, som er kjent som “godt subjekt-effekt”. Ikke merke utgangene med navn som “vår metode” eller “eksisterende metode”. Deltakere kan bli fordomsfulle av maktforhold (dvs. forskeren som har makt ved å kjøre forskningssesjonen), forskere som bruker språk for å primere deltakere (f.eks. “hvor mye liker du denne verktøyen jeg bygde i går?”), og forskere og deltakernes forhold (f.eks. hvis begge jobber i samme lab eller selskap).’

Formateringen av en oppgave i en brukerstudie kan også påvirke studiens nøytralitet. Forfatterne bemerker at hvis, i en side-ved-side-presentasjon, er basislinjen konsistent plassert på venstre side (dvs. “bilde A”) og utgangen av den nye algoritmen på høyre side, kunne studie-deltakere inferere at B er det “beste” valget, basert på deres økende antagelse av forskernes håpede resultat.

‘Andre presentasjonsaspekter som størrelsen på bildene på skjermen, deres avstand til hverandre osv. kan påvirke deltakernes svar. Å teste studiet med noen få forskjellige innstillinger kan hjelpe med å spore disse potensielle feil tidlig.’

Feil personer for feil produkt

Forfatterne observerer på flere punkter i artikkelen at crowdsourced arbeidere er en mer “generisk” ressurs enn det som ville ha vært forventet i tidligere tiår, da forskerne var tvunget til å rekruttere hjelp lokalt, ofte fra fakultetsstudenter som supplerte inntekten sin gjennom studiedeltakelse.

Kravet om aktiv deltakelse lar den leide crowdworker liten rom for å være “nonplussed” av et produkt de tester, og artikkelenes forfattere anbefaler at forskerne identifiserer sine målbrukere før de utvikler og studie-tester et potensielt produkt eller tjeneste – ellers risikerer de å produsere noe svært vanskelig å skape, men som ingen egentlig ønsker.

‘I virkeligheten har vi ofte sett datagrafikk- eller visningsforskere forsøke å få sin forskning adoptert av industripakter, bare for å finne at forskningen ikke møter målbrukernes behov. Forskere som ikke utfører behovsfinn i utgangspunktet kan bli overrasket over å finne at brukerne ikke har noen behov for eller interesse i verktøyet de har brukt måneder eller år på å utvikle.

‘Slike verktøy kan fungere dårlig i evalueringstudier, ettersom brukerne kan finne at teknologien produserer unyttige, irrelevante eller uventede resultater.’

Artikkelen observerer videre at brukere som faktisk er sannsynlig å bruke et produkt, bør velges for studiene, selv om de ikke er lette å finne (eller, antageligvis, like billig).

I stedet for å returnere til rekruttering på campus (som ville være kanskje en ganske bakovervendt bevegelse), foreslår forfatterne at forskerne “rekrutterer brukere i villmarken”, engasjere seg med relevante samfunn.

‘For eksempel kan det finnes en relevant aktiv online meldingsbord eller sosialt samfunn som kan utnyttes. Å møte bare én medlem av samfunnet kan føre til snowball sampling, hvor relevante brukere tilbyr forbindelser til lignende personer i deres nettverk.’

Å innhente tilbakemelding

Artikkelen anbefaler også å innhente kvalitativ tilbakemelding fra de som har deltatt i brukerstudier, ikke minst fordi dette kan potensielt avdekke feil antagelser på forskernes side.

‘Disse kan hjelpe med å feilsøke studiet, men de kan også avsløre uventede aspekter av utgangen som påvirkte brukernes vurderinger. Var deltakeren “svært misfornøyd” [sic] med utgangen fordi den var urealistisk, ikke estetisk, fordomsfull eller av en annen grunn?

‘Uten kvalitativ informasjon kan forskeren arbeide med å forbedre algoritmen for å bli mer realistisk, i stedet for å løse det underliggende brukerproblemet.’

Som med mange av anbefalingene gjennom hele artikkelen, innebærer denne anbefalingen ytterligere utgifter av tid og penger på forskernes side, i en kultur som, arbeidet observerer, defaulter til rask og praktisk obligatorisk crowdsourced brukerstudier, som vanligvis er ganske billig, og som konformerer til en fremvoksende studie-drevet kultur som artikkelen kritiserer gjennom hele artikkelen.

Over-studert

Artikkelen foreslår at brukerstudier blir en type “minimumskrav” i pre-print datavisjonsamfunnet, selv i tilfeller hvor en studie ikke kan være rimelig formulert (for eksempel, med en idé så ny eller marginal at det ikke finnes noen “like-for-like”-analyse som kan utføres, og som kanskje ikke er mottakelig for noen rimelig metrikk som kunne gi meningsfulle resultater i en brukerstudie).

Som et eksempel på “studie-bulling” (ikke forfatternes frase), nevner forskerne en ICLR 2022-papir for hvilken peer-reviews er tilgjengelig online (arkivsnapshot tatt 24. juni 2022; lenke tatt direkte fra den nye artikkelen)^†:

‘To anmeldere ga svært negative poeng, delvis på grunn av manglende brukerstudier. Artikkelen ble til slutt akseptert, ledsaget av en sammenfatning som kritiserte anmelderne for å bruke “brukerstudier” som en unnskyldning for dårlig anmeldelse, og anklaget dem for å være porter. Den fullstendige diskusjonen er verdt å lese.

‘Den endelige avgjørelsen noterte at innleveringen beskrev en programvarebibliotek som hadde blitt deployert i årevis, med tusenvis av brukere (informasjon som ikke ble avslørt for anmelderne for anonym anmeldelse). Ville artikkelen – som beskriver et høyt impakt-system – ha blitt avvist hvis komiteen ikke hadde hatt denne informasjonen?

‘Og, hvis forfatterne hadde gått gjennom den ekstra anstrengelsen med å konstruere og utføre en brukerstudie, ville den ha vært meningsfull, og ville den ha vært nok til å overbevise anmelderne?’

Forfatterne sier at de har sett anmeldere og redaktører pålegge “plageriende evalueringkrav” på innleverte artikler, uavhengig av om slike evalueringer ville ha noen mening eller verdi.

‘Vi har også observert at forfattere og anmeldere bruker MTurk-evalueringer som en støtte for å unngå å ta vanskelige avgjørelser. Anmelderens kommentarer som “Jeg kan ikke si om bildene er bedre, kanskje en brukerstudie ville hjelpe” er potensielt skadelig, og oppmuntrer forfattere til å utføre ekstra arbeid som ikke vil forbedre en mangelfull artikkel.’

Forfatterne lukker artikkelen med en sentral “kalle til handling”, for datavisjons- og datagrafikk-samfunnene til å vurdere mer fullstendig sine krav til brukerstudier, i stedet for å la en studie-drevet kultur utvikle seg som en rote standard, uavhengig av “edge-cases” hvor noen av de mest interessante arbeidene kanskje ikke passer noen av de mest lukrative eller fruktbare forsknings- og innleveringsrører.

Forfatterne konkluderer:

‘[Hvis] det primære målet med å kjøre brukerstudier er å tilfredsstille anmelderne i stedet for å generere nye læringserfaringer, bør nytten og gyldigheten av slike brukerstudier settes i spørsmål av forfattere og anmeldere alike. Å straffe arbeid som ikke inneholder bruker-evaluering har den uventede konsekvensen av å incentivisere hastig gjennomført, dårlig utført brukerforskning.

‘En maksime å huske på er at “dårlig brukerforskning fører til dårlige resultater”, og slike studier vil fortsette hvis anmelderne fortsetter å be om dem.’

* Min konvertering av artikkelenes inline-citater til pertinente lenker
^† Min emfasering, ikke forfatternes.

Først publisert 24. juni 2022.