Adobe en Meta klagen over misbruik van gebruikersstudies in computer vision-onderzoek

Adobe en Meta, samen met de Universiteit van Washington, hebben een uitgebreide kritiek gepubliceerd over wat zij claimen te zijn het groeiende misbruik en de misbruik van gebruikersstudies in computer vision (CV)-onderzoek.

Gebruikersstudies werden vroeger meestal beperkt tot lokale bewoners of studenten rond de campus van een of meer van de deelnemende academische instellingen, maar zijn sindsdien bijna helemaal verhuisd naar online crowdsourcing-platforms zoals Amazon Mechanical Turk (AMT).

Onder een breed scala aan grieven, beweert het nieuwe paper dat onderzoeksprojecten onder druk staan om studies te produceren door paperrecensenten; vaak de studies slecht formuleren; studies in opdracht geven waar de logica van het project deze aanpak niet ondersteunt; en vaak ‘gemanipuleerd’ worden door cynische crowdworkers die de gewenste antwoorden ‘uitvinden’ in plaats van echt na te denken over het probleem.

Het vijftien pagina’s tellende verhandeling (getiteld Naar betere gebruikersstudies in computergraphics en visie) dat het centrale deel van het nieuwe paper vormt, richt veel andere kritiek op de manier waarop crowdsourced gebruikersstudies de vooruitgang van computer vision-subsectoren zoals beeldherkenning en beeldsynthese mogelijk kunnen belemmeren.

Hoewel het paper een veel bredere reeks problemen aanpakt die verband houden met gebruikersstudies, zijn de sterkste kritieken gereserveerd voor de manier waarop outputevaluatie in gebruikersstudies (d.w.z. wanneer crowdsourced mensen betaald worden in gebruikersstudies om waardeoordelen te maken over – bijvoorbeeld – de output van nieuwe beeldsynthese-algoritmen) het hele sectortje mogelijk negatief beïnvloedt.

Laten we een kijkje nemen naar een selectie van enkele van de centrale punten.

Sensationele interpretaties

Onder de suggesties van het paper voor degene die publiceren in de computer vision-sector, is de waarschuwing om ‘resultaten zorgvuldig te interpreteren’. Het paper citeert een voorbeeld uit 2021, toen een nieuwe onderzoeksstudie claimde dat ‘individuen niet in staat zijn om AI-gegenereerde kunstwerken nauwkeurig te identificeren’ werd wijd verspreid in de populaire pers.

Een van de meest in het oog springende media-rapporten over de paper uit 2021 ‘The Role of AI Attribution Knowledge in the Evaluation of Artwork’, van Harsha Gangadharbatla, aangehaald als voorbeeld in het nieuwe paper. Hier is de bron van The Daily Mail The Times (betaald). Bronnen: Daily Mail (archiefkoppeling) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf

De auteurs stellen*:

‘[In] een studie in een psychologie-tijdschrift, werden afbeeldingen van traditionele kunstwerken en afbeeldingen gegenereerd door AI-technologieën verzameld van het web, en werden crowdworkers gevraagd om te onderscheiden welke afbeeldingen van welke bron kwamen. Uit de resultaten werd geconcludeerd dat “individuen niet in staat zijn om AI-gegenereerde kunstwerken nauwkeurig te identificeren”, een zeer brede conclusie die niet direct volgt uit de experimenten.

‘Bovendien rapporteert het paper geen details over welke specifieke afbeeldingssets zijn verzameld of gebruikt, waardoor de claims moeilijk, zo niet onmogelijk, te verifiëren en te reproduceren zijn.

‘Nog bezorgd makender is dat de populaire pers deze resultaten heeft gerapporteerd met misleidende claims dat AI’s onafhankelijk kunst kunnen maken die even goed is als die van mensen.’

Omgaan met crowdworkers die bedriegen

Crowdsourced werknemers worden meestal niet veel betaald voor hun inspanningen. Aangezien hun perspectieven minimaal zijn, en hun beste verdienpotentieel ligt in het voltooien van een groot volume taken, zijn veel van hen, onderzoek suggereert, geneigd om elke ‘shortcut’ te nemen die de huidige taak kan versnellen, zodat ze kunnen doorgaan naar de volgende kleine ‘gig’.

Het paper merkt op dat crowdsourced werknemers, net als machine learning-systemen, repetitieve patronen in de gebruikersstudies die onderzoekers formuleren, zullen leren, en eenvoudigweg de ‘juiste’ of ‘gewenste’ antwoord zullen afleiden, in plaats van een echte organische reactie op het materiaal te produceren.

Hiertoe beveelt het paper aan om controles uit te voeren op de crowdsourced werknemers, ook bekend als ‘validatietests’ of ‘sentinels’ – effectief, valse secties van een test ontworpen om te zien of de werknemer aandacht besteedt, willekeurig klikt of gewoon een patroon volgt dat ze zelf hebben afgeleid uit de tests, in plaats van na te denken over hun keuzes.

De auteurs stellen:

‘Bijvoorbeeld, in het geval van paren van gestileerde afbeeldingen, kan een van de afbeeldingen van het paar een opzettelijk en objectief slechte kwaliteitresultaat zijn. Tijdens de analyse kan de data van deelnemers die een vooraf ingesteld aantal controles niet halen, worden weggegooid, onder de veronderstelling dat ze onoplettend of inconsistent waren.

‘Deze controles moeten willekeurig in de studie worden ingevoegd en moeten eruitzien als andere tests; anders kunnen deelnemers ontdekken welke tests de controles zijn.’

Omgaan met onderzoekers die bedriegen

Met of zonder opzet, kunnen onderzoekers medeplichtig zijn aan dit soort ‘gaming’; er zijn veel manieren waarop ze, misschien zelfs onbewust, hun gewenste keuzes aan crowdworkers kunnen ‘seinen’.

Bijvoorbeeld, merkt het paper op, door crowdsourced werknemers te selecteren met profielen die mogelijk gunstig zijn voor het verkrijgen van de ‘ideale’ antwoorden in een studie, die een hypothese zou bewijzen die anders zou zijn mislukt op een minder ‘select’ en meer willekeurige groep.

Fraseologie is ook een belangrijke zorg*:

‘De woordkeuze moet de hoogste doelstellingen weerspiegelen, bijv. “welke afbeelding bevat minder artefacten?” in plaats van “welke afbeelding bevat minder kleurdefecten in het gezichtsgebied?” Anderszijds laat onnauwkeurige taakwoordkeuze te veel aan interpretatie over, bijv. “welke afbeelding is beter?” kan worden begrepen als “welke is esthetischer?” waar de bedoeling misschien was om te evalueren “welke is realistischer?”

Een andere manier om ‘goedwillig’ deelnemers te beïnvloeden, is om hen te laten weten, openlijk of impliciet, welke van de mogelijke keuzes voor hen de methode van de onderzoeker is, in plaats van een eerdere methode of een willekeurige steekproef.

Het paper stelt*:

‘[De] deelnemers kunnen antwoorden met de antwoorden die de onderzoekers willen, bewust of onbewust, wat bekend staat als de “goede onderwerp-effect”. Label de uitvoer niet met namen zoals “onze methode” of “bestaande methode”. Deelnemers kunnen worden beïnvloed door machtsdynamiek (d.w.z. de onderzoeker die de macht heeft om de onderzoeksessie uit te voeren), onderzoekers die taal gebruiken om deelnemers te primen (bijv. “Hoeveel houd je van dit instrument dat ik gisteren heb gebouwd?”), en onderzoekers en deelnemers’ relatie (bijv. als ze allebei in hetzelfde lab of bedrijf werken).’

De opmaak van een taak in een gebruikersstudie kan eveneens de neutraliteit van de studie beïnvloeden. De auteurs merken op dat als, in een naast-elkaar-presentatie, de baseline consistent op de linkerkant (d.w.z. ‘afbeelding A’) en de output van de nieuwe algoritme op de rechterkant, deelnemers kunnen afleiden dat B de ‘beste’ keuze is, op basis van hun groeiende veronderstelling van de onderzoekers’ gehoopte resultaat.

‘Andere presentatie-aspecten zoals de grootte van de afbeeldingen op het scherm, hun afstand tot elkaar, enz. kunnen de antwoorden van deelnemers beïnvloeden. Het testen van de studie met een paar verschillende instellingen kan helpen om deze potentiële storende factoren vroeg te ontdekken.’

De verkeerde mensen voor het verkeerde product

De auteurs merken op verschillende punten in het paper dat crowdsourced werknemers een meer ‘generieke’ bron zijn dan zou zijn verwacht in eerdere decennia, toen onderzoekers werden gedwongen om hulp in te roepen bij lokale faculteitsstudenten die hun inkomen aanvulden met deelname aan studies.

De eis van actieve deelname laat de ingehuurde crowdworker weinig ruimte om ‘onverschillig’ te zijn voor een product dat ze testen, en de auteurs van het paper raden onderzoekers aan om hun doelgebruikers te identificeren voordat ze een potentieel product of dienst ontwikkelen en testen – anders riskeert men iets te creëren dat moeilijk te maken is, maar waar niemand echt behoefte aan heeft.

‘Inderdaad hebben we vaak gezien dat computergraphics- of visieonderzoekers proberen om hun onderzoek te laten aannemen door industriepraktijken, alleen om te ontdekken dat het onderzoek de behoeften van de doelgebruikers niet aanspreekt. Onderzoekers die geen behoeftenonderzoek uitvoeren aan het begin, kunnen verrast zijn om te ontdekken dat gebruikers geen behoefte hebben aan of interesse in het instrument dat ze maanden of jaren hebben ontwikkeld.

‘Dergelijke instrumenten kunnen slecht presteren in evaluatieonderzoeken, omdat gebruikers kunnen vinden dat de technologie onbruikbare, irrelevante of onverwachte resultaten oplevert.’

Het paper merkt verder op dat gebruikers die waarschijnlijk een product zullen gebruiken, moeten worden geselecteerd voor de studies, zelfs als ze niet gemakkelijk te vinden zijn (of, vermoedelijk, zo goedkoop).

In plaats van terug te keren naar het werven van personeel op de campus (wat misschien een beetje een achterwaartse beweging zou zijn), suggereren de auteurs dat onderzoekers ‘gebruikers in het wild’ moeten werven, door betrokken te raken bij relevante gemeenschappen.

‘Bijvoorbeeld, er kan een relevante actieve online bulletinboard of sociale medianetwerkgemeenschap zijn die kan worden benut. Zelfs het ontmoeten van één lid van de gemeenschap kan leiden tot snowball sampling, waarbij relevante gebruikers verbindingen aanbieden met soortgelijke individuen in hun netwerk.’

Feedback vragen

Het paper beveelt ook aan om kwalitatieve feedback te vragen aan degenen die hebben deelgenomen aan gebruikersstudies, niet in de laatste plaats omdat dit potentieel valse aannamen van de onderzoekers kan blootleggen.

‘Deze kunnen helpen om de studie te debuggen, maar ze kunnen ook onverwachte aspecten van de output blootleggen die de beoordelingen van de gebruikers hebben beïnvloed. Was de deelnemer “zeer ontevreden” [sic] met de output omdat het onrealistisch was, niet esthetisch, bevooroordeeld of om een andere reden?

‘Zonder kwalitatieve informatie kan de onderzoeker werken aan het verfijnen van de algoritme om meer realistisch te zijn, in plaats van het onderliggende gebruikersprobleem aan te pakken.’

Net als veel van de aanbevelingen in het paper, houdt deze specifieke aanbeveling in dat onderzoekers meer tijd en geld moeten besteden, in een cultuur die, zoals het paper opmerkt, de neiging heeft om te defaulteren naar snelle en praktisch verplichte crowdsourced gebruikersstudies, die meestal vrij goedkoop zijn, en die voldoen aan een opkomende studie-gedreven cultuur die het paper doorlopend bekritiseert.

Over-geëvalueerd

Het paper suggereert dat gebruikersstudies een soort ‘minimumeis’ worden in de pre-print computer vision-gemeenschap, zelfs in gevallen waarin een studie niet redelijkerwijs kan worden opgezet (bijvoorbeeld, met een idee dat zo nieuw of marginaal is dat er geen ‘like-for-like’-analyse kan worden uitgevoerd, en dat mogelijk niet vatbaar is voor enige redelijke metriek die zinvolle resultaten in een gebruikersstudie kan opleveren).

Als voorbeeld van ‘studie-bullyen’ (niet de term van de auteurs), citeren de onderzoekers het geval van een ICLR 2022-paper waarvoor peer reviews online beschikbaar zijn (archiefmomentopname gemaakt op 24 juni 2022; link rechtstreeks uit het nieuwe paper)^†:

‘Twee recensenten gaven zeer negatieve scores, deels vanwege het ontbreken van gebruikersstudies. Het paper werd uiteindelijk aanvaard, vergezeld van een samenvatting die de recensenten berispte voor het gebruik van “gebruikersstudies” als excuus voor slecht recenseren, en hen beschuldigde van gatekeeping. De volledige discussie is de moeite waard om te lezen.

‘De definitieve beslissing noteerde dat de inzending een softwarebibliotheek beschreef die al jaren was geïmplementeerd, met duizenden gebruikers (informatie die niet aan de recensenten was onthuld voor anonieme beoordeling). Zou het paper – dat een zeer invloedrijk systeem beschrijft – zijn afgewezen als het comité deze informatie niet had gehad?

‘En, als de auteurs de extra moeite hadden genomen om een gebruikersstudie te construeren en uit te voeren, zou het dan zinvol zijn geweest, en zou het genoeg zijn geweest om de recensenten te overtuigen?’

De auteurs stellen dat ze hebben gezien dat recensenten en redacteuren ‘zware evaluatie-eisen’ opleggen aan ingediende papers, ongeacht of dergelijke evaluaties echt enige betekenis of waarde zouden hebben.

‘We hebben ook gezien dat auteurs en recensenten MTurk-evaluaties gebruiken als een crutch om moeilijke beslissingen te vermijden. Recensentenopmerkingen zoals “Ik kan niet zien of de afbeeldingen beter zijn, misschien zou een gebruikersstudie helpen” zijn potentieel schadelijk, omdat ze auteurs aanmoedigen om extra werk te doen dat de paper niet zal verbeteren.’

De auteurs sluiten het paper af met een centrale ‘oproep tot actie’, voor de computer vision- en computer graphics-gemeenschappen om hun verzoeken om gebruikersstudies meer volledig te overwegen, in plaats van een studie-gedreven cultuur te laten ontwikkelen als een rote default, ongeacht de ‘randgevallen’ waarin enkele van de meest interessante werken mogelijk niet passen in enkele van de meest winstgevende of vruchtbare onderzoeks- en indieningspijplijnen.

De auteurs concluderen:

‘[Als] het primaire doel van het uitvoeren van gebruikersstudies is om recensenten tevreden te stellen, in plaats van om nieuwe inzichten te genereren, moet de bruikbaarheid en validiteit van dergelijke gebruikersstudies in twijfel worden getrokken door auteurs en recensenten. Het bestraffen van werk dat geen gebruikersbeoordeling bevat, heeft de onbedoelde consequentie dat het haastig uitgevoerde, slecht uitgevoerde gebruikersonderzoek aanmoedigt.

‘Een maxim dat in gedachten moet worden gehouden, is dat “slecht gebruikersonderzoek tot slechte resultaten leidt”, en dat dergelijk onderzoek zal voortduren als recensenten blijven vragen om het.’

* Mijn conversie van de paper’s inline citaten naar pertinente hyperlinks
^† Mijn emphasie, niet die van de auteurs.

Publicatie op 24 juni 2022.