Adobe og Meta fordømmer misbrug af brugerstudier i computer vision-forskning

Adobe og Meta, sammen med University of Washington, har offentliggjort en omfattende kritik af, hvad de påstår er en voksende misbrug og overgreb af brugerstudier i computer vision (CV)-forskning.

Brugerstudier var tidligere typisk begrænset til lokale eller studerende omkring campus af en eller flere af de deltagende akademiske institutioner, men er siden migreret næsten helt til online crowdsourcing-platforme som Amazon Mechanical Turk (AMT).

Blandt en bred vifte af beklagelser, fastslår den nye artikel, at forskningsprojekter er under pres for at producere studier af papirrecensenter; ofte formulerer studierne dårligt; bestiller studier, hvor logikken i projektet ikke støtter denne tilgang; og ofte ‘gammes’ af cyniske crowdworkers, der ‘finder ud af’ de ønskede svar i stedet for at tænke over problemet.

Den femten sider lange afhandling (med titlen Towards Better User Studies in Computer Graphics and Vision) som udgør den centrale del af den nye artikel, retter mange andre kritikker mod, at crowdsourcede brugerstudier kan faktisk hæmme fremgangen i computer vision-underområder, såsom billedgenkendelse og billedsynthese.

Selv om artiklen behandler en bredere vifte af emner relateret til brugerstudier, er dens stærkeste kritik rettet mod, at output-evaluering i brugerstudier (dvs. når crowdsourcede mennesker betales i brugerstudier for at træffe værdi-domme om – for eksempel – outputtet af nye billedsynthesealgoritmer) kan have en negativ indvirkning på hele sektoren.

Lad os kaste et blik på nogle af de centrale punkter.

Sensationelle fortolkninger

Blandt artiklens række af forslag til dem, der offentliggør i computer vision-sektoren, er formaningen til at ‘fortolke resultaterne omhyggeligt’. Artiklen citerer et eksempel fra 2021, hvor en ny forskningsartikel, der påstod, at ‘enkeltpersoner ikke kan nøjagtigt identificere AI-genereret kunstværk’, blev bredt omtalt i den populære presse.

En af de mere prominente medieberetninger om 2021-artiklen ‘The Role of AI Attribution Knowledge in the Evaluation of Artwork’, af Harsha Gangadharbatla, citeret som et eksempel i den nye artikel. Her er The Daily Mails kilde The Times (betalt). Kilder: Daily Mail (arkivlink) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf

Forfatterne fastslår*:

‘[I] en studie i en psykologisk tidsskrift, blev billeder af traditionelle kunstværker og billeder skabt af AI-teknologier samlet fra nettet, og crowdworkers blev bedt om at skelne mellem billeder fra hvilke kilder. Fra resultaterne blev det konkluderet, at “enkeltpersoner ikke kan nøjagtigt identificere AI-genereret kunstværk,” en meget bred konklusion, der ikke følger direkte fra eksperimenterne.

‘Desuden rapporterer papiret ikke detaljer om, hvilke specifikke billedsæt blev samlet eller brugt, hvilket gør det svært, hvis ikke umuligt, at verificere og reproducere kravene.

‘Endnu mere bekymrende er, at den populære presse rapporterede disse resultater med misvisende påstande om, at AI’er kan uafhængigt lave kunst lige så godt som mennesker.’

Håndtering af crowdworkers, der snyder

Crowdsourcede arbejdere betales normalt ikke meget for deres indsats. Da deres udsigter er minimal, og deres bedste indtjeningsmulighed er gennem at fuldføre en høj volumen af opgaver, er mange af dem, forskning viser, tilbøjelige til at tage enhver ‘genvej’, der kan accelerere den aktuelle opgave, så de kan gå videre til den næste mindre ‘gig’.

Artiklen observerer, at crowdsourcede arbejdere, ligesom maskinlærings-systemer, vil lære repetitive mønstre i brugerstudier, som forskerne formulerer, og blot slutte sig til den ‘korrekte’ eller ‘ønskede’ besvarelse, i stedet for at producere en sand organisk respons til materialet.

Til dette formål anbefaler artiklen at udføre kontroller på crowdsourcede arbejdere, også kendt som ‘valideringsforsøg’ eller ‘sentineller’ – effektivt, fake-sektioner af en test designet til at se, om arbejderen er opmærksom, klikker tilfældigt eller blot følger en mønster, som de selv har sluttede fra testene, i stedet for at tænke over deres valg.

Forfatterne fastslår:

‘For eksempel, i tilfældet af par af stiliserede billeder, kan et billede af parret være et intentionelt og objektivt dårligt kvalitetsresultat. Under analyse kan data fra deltagere, der fejler et forudbestemt antal af kontrollerne, kasseres, antaget at være genereret af deltagere, der var uopmærksomme eller inkonsistente.

‘Disse kontroller skal være tilfældigt indsætte i studiet, og skal se ud som andre forsøg; ellers kan deltagere finde ud af, hvilke forsøg er kontrollerne.’

Håndtering af forskere, der snyder

Med eller uden intention kan forskere være medskyldige i denne type ‘gaming’; der er mange måder, hvorpå de, måske endda ufrivilligt, kan ‘signalere’ deres ønskede valg til crowdworkers.

For eksempel observerer artiklen, at ved at vælge crowdworkers med profiler, der måske er konduktive til at få de ‘ideelle’ svar i en studie, nominelt bevise en hypotese, der måske ellers ville være fejlet på en mindre ‘selektiv’ og mere tilfældig gruppe.

Fraseringsmåde er også en vigtig bekymring:

‘Ordføring skal reflektere de overordnede mål, f.eks. “hvilket billede indeholder færre artefakter?” i stedet for “hvilket billede indeholder færre farvefejl i ansigtsområdet?” Omvendt efterlader upræcis opgaveordføring for meget til fortolkning, f.eks. “hvilket billede er bedre?” kan forstås som “hvilket er mere æstetisk tiltalende?” hvor intentionen måske har været at evaluere “hvilket er mere realistisk?”

En anden måde at ‘benignt påvirke’ deltagere er at lade dem vide, åbent eller implicit, hvilken af de mulige valg foran dem er forfatterens metode, i stedet for en tidligere metode eller tilfældigt eksempel.

Artiklen fastslår*:

‘[Deltagerne] kan svare med svarene, de tror, forskerne ønsker, bevidst eller ikke, hvilket er kendt som “godt subjekteffekt”. Brug ikke navne som “vores metode” eller “eksisterende metode”. Deltagere kan være fordomsfulde af magtdynamik (dvs. forskeren har magt ved at køre forskningssessionen), forskere, der bruger sprog til at prime deltagere (f.eks. “Hvor meget kan du lide dette værktøj, jeg byggede i går?”), og forskere og deltagernes forhold (f.eks. hvis begge arbejder i samme laboratorium eller virksomhed).’

Formateringen af en opgave i en brugerstudie kan ligeledes påvirke neutraliteten af studiet. Forfatterne bemærker, at hvis, i en side-ved-side-præsentation, baselinjen konsekvent er placeret på venstre side (dvs. ‘billede A’) og outputtet af den nye algoritme på højre side, kan studie-deltagere slutte sig til, at B er det ‘bedste’ valg, baseret på deres voksende antagelse af forskernes håbede udfald.

‘Andre præsentationsaspekter, såsom billedernes størrelse på skærmen, deres afstand til hinanden, osv. kan påvirke deltagernes svar. At teste studiet med få forskellige indstillinger kan hjælpe med at spotte disse potentielle fejl tidligt.’

De forkerte mennesker for det forkerte produkt

Forfatterne observerer på flere punkter i artiklen, at crowdsourcede arbejdere er en mere ‘generisk’ ressource end ville have været forventet i tidligere årtier, hvor forskere var tvunget til at rekruttere hjælp lokalt, ofte fra fakultetsstuderende, der supplerede deres indtægt gennem studie-deltagelse.

Kravet om aktiv deltagelse efterlader den ansatte crowdworker lidt plads til at være ‘nonplussed’ over et produkt, de tester, og artiklens forfattere anbefaler, at forskere identificerer deres målbrugere før udvikling og studie-testning af et potentelt produkt eller tjeneste – ellers risikerer de at producere noget, der er meget svært at skabe, men som ingen virkelig ønsker.

‘Sandt enough, vi har ofte set computergrafik- eller visionforskere forsøge at få deres forskning antaget af industrien, kun for at opdage, at forskningen ikke tilgodeser målbrugernes behov. Forskere, der ikke udfører behovsfindning i begyndelsen, kan blive overrasket over, at brugerne ikke har brug for eller interesse i værktøjet, de har brugt måneder eller år på at udvikle.

‘Sådanne værktøjer kan fungere dårligt i evalueringstudier, da brugerne kan finde, at teknologien producerer ubrugelige, irrelevante eller uventede resultater.’

Artiklen observerer yderligere, at brugere, der faktisk er sandsynlige at bruge et produkt, skal vælges til studierne, selv om de ikke er lette at finde (eller, formodentlig, så billige).

I stedet for at vende tilbage til rekruttering på campus (hvilket ville være måske en lidt bagudskuende bevægelse), foreslår forfatterne, at forskere ‘rekrutterer brugere i det vilde’, engagerer sig med relevante fællesskaber.

‘For eksempel kan der være en relevant aktiv online beskedboks eller sociale medierfællesskab, der kan udnyttes. Selv at møde en medlem af fællesskabet kan føre til snowball sampling, hvor relevante brugere tilbyder forbindelser til lignende personer i deres netværk.’

At bede om feedback

Artiklen anbefaler også at bede om kvalitativ feedback fra dem, der har deltaget i brugerstudier, ikke mindst fordi dette kan potentielt afsløre fejlantagelser på forskernes side.

‘Disse kan hjælpe med at fejlfinde studiet, men de kan også afsløre uventede aspekter af outputtet, der påvirkede brugernes vurderinger. Var deltageren “meget utilfreds” [sic] med outputtet, fordi det var urealistisk, ikke æstetisk, fordomsfuldt eller af en anden grund?

‘Uden kvalitativ information kan forskeren arbejde på at forbedre algoritmen til at være mere realistisk, i stedet for at løse det underliggende brugerproblem.’

Som med mange af anbefalingerne i artiklen, indebærer denne anbefaling yderligere udgifter af tid og penge på forskernes side, i en kultur, som arbejdet observerer, er standard for hurtige og praktisk obligatoriske crowdsourcede brugerstudier, der normalt er ret billige, og som tilfredsstiller en studie-dreven kultur, som artiklen kritiserer igennem.

Over-studerede

Artiklen foreslår, at brugerstudier er ved at blive en slags ‘minimumkrav’ i den pre-print computer vision-fællesskab, selv i tilfælde, hvor en studie ikke kan være rimeligt formuleret (for eksempel med en idé, der er så ny eller marginal, at der ikke er nogen ‘lignende’ analyse at udføre, og som måske ikke er modtagelig for nogen rimelig måling, der kunne give meningsfulde resultater i en brugerstudie).

Som et eksempel på ‘studie-bullying’ (ikke forfatternes udtryk), citerer forskerne tilfældet af en ICLR 2022-artikel, for hvilken peer-reviews er tilgængelige online (arkivsnapshot taget 24. juni 2022; link taget direkte fra den nye artikel)^†:

‘To anmeldere gav meget negative vurderinger delvist på grund af manglen på brugerstudier. Artiklen blev til sidst accepteret, ledsaget af en sammenfatning, der klandrer anmelderne for at bruge “brugerstudier” som en undskyldning for dårlig anmeldelse, og anklager dem for at være gatekeepers. Den fulde diskussion er værd at læse.

‘Den endelige beslutning bemærkede, at indsendelsen beskrev en software-bibliotek, der havde været udviklet i årevis, med tusinder af brugere (information, der ikke var afsløret for anmelderne til anonym anmeldelse). Ville artiklen – som beskriver et højt impakt-system – være blevet afvist, hvis komiteen ikke havde haft denne information?

‘Og, hvis forfatterne havde gået igennem den ekstra indsats for at konstruere og udføre en brugerstudie, ville det have været meningsfuldt, og ville det have været nok til at overbevise anmelderne?’

Forfatterne fastslår, at de har set anmeldere og redaktører pålægge ‘onerøse evalueringkrav’ på indsendte artikler, uanset om sådanne evalueringer ville have nogen mening eller værdi.

‘Vi har også set forfattere og anmeldere bruge MTurk-evalueringer som en krætte til at undgå at træffe hårde beslutninger. Anmelderkommentarer som “Jeg kan ikke se, om billederne er bedre, måske ville en brugerstudie hjælpe” er potentielt skadelige, da de opmuntrer forfattere til at udføre ekstra arbejde, der ikke vil forbedre en mangelfuld artikel.’

Forfatterne afslutter artiklen med en central ‘opfordring til handling’, for computer vision- og computer graphics-fællesskaberne til at overveje mere fuldt deres anmodninger om brugerstudier, i stedet for at lade en studie-dreven kultur udvikle sig som en rutine, uanset ‘edge cases’, hvor noget af det mest interessante arbejde måske ikke passer ind i nogle af de mest profitable eller frugtbare forsknings- og indsendelsesrører.

Forfatterne konkluderer:

‘[Hvis] det primære mål med at køre brugerstudier er at tilfredsstille anmelderne snarere end at generere nye læringserfaringer, skal nyttigheden og validiteten af sådanne brugerstudier sættes i spørgsmål af forfattere og anmeldere.

‘En maksime at huske er, at “dårlig brugerforskning fører til dårlige resultater”, og sådan forskning vil fortsætte, hvis anmelderne fortsætter med at bede om det.’

* Min konvertering af artiklens inline-citationer til pertinente hyperlinks
^† Min emfase, ikke forfatternes.

Først offentliggjort 24. juni 2022.