Společnost Adobe a Meta kritizují zneužívání uživatelských studií ve výzkumu počítačového vidění

Společnost Adobe a Meta, společně s University of Washington, zveřejnily rozsáhlou kritiku toho, co označují za rostoucí zneužívání a zneužívání uživatelských studií ve výzkumu počítačového vidění (CV).

Uživatelské studie byly dříve obvykle omezeny na místní obyvatele nebo studenty kolem kampusu jedné nebo více zúčastněných akademických institucí, ale od té doby se téměř zcela přesunuly na online platformy pro crowdsourcing, jako je Amazon Mechanical Turk (AMT).

Mezi širokou škálou stížností tvrdí nový dokument, že výzkumné projekty jsou pod tlakem, aby produkovaly studie od recenzentů; často formulují studie špatně; objednávají studie, kde logika projektu tuto metodu nepodporuje; a často jsou “ohrané” cynickými crowworkers, kteří “vysvětlí” požadované odpovědi místo toho, aby skutečně mysleli na problém.

Pětistránkový dokument (nazvaný Směrem k lepšímu uživatelským studiím v počítačové grafice a vidění) tvoří centrální část nového dokumentu a obsahuje mnoho dalších kritických připomínek k tomu, jak crowdsourcované uživatelské studie mohou skutečně brzdit pokrok v sub-sektorech počítačového vidění, jako je rozpoznávání obrazů a syntéza obrazů.

Ačkoli dokument řeší mnohem širší soubor otázek souvisejících s uživatelskými studiemi, jeho nejostřejší kritika je zaměřena na to, jak hodnocení výstupu v uživatelských studiích (tj. když jsou crowdsourcovaní lidé placeni v uživatelských studiích, aby činili hodnotící soudy o – například – výstupu nových algoritmů syntézy obrazů) může negativně ovlivňovat celý sektor.

Podívejme se na výběr některých z centrálních bodů.

Sensacionální interpretace

Mezi radami dokumentu pro ty, kteří publikují v sektoru počítačového vidění, je varování, aby “výsledky interpretovali pečlivě”. Dokument cituje jeden příklad z roku 2021, kdy nová výzkumná práce tvrdila, že “jednotlivci nejsou schopni přesně identifikovat umělecká díla vytvořená umělou inteligencí”, byla široce prezentována v populárním tisku.

Jedna z vyšších mediálních zpráv o práci z roku 2021 ‘The Role of AI Attribution Knowledge in the Evaluation of Artwork’, od Harshi Gangadharbatly, citovaná jako příklad v novém dokumentu. Zde je zdroj The Daily Mail The Times (paywalled) Zdroje: Daily Mail (archivní odkaz) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf Sources: Daily Mail (archivní odkaz) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf

Autoři uvádějí*:

‘[V] jedné studii v psychologickém časopise byly shromážděny obrazy tradičních uměleckých děl a obrazů vytvořených umělou inteligencí z webu a crowworkers byli požádáni, aby rozlišili, které obrazy pocházejí z které zdroje. Z výsledků bylo uzavřeno, že “jednotlivci nejsou schopni přesně identifikovat umělecká díla vytvořená umělou inteligencí”, což je velmi široký závěr, který nevyplývá přímo z experimentů.

‘Navíc dokument neuvádí podrobnosti o tom, které konkrétní sady obrazů byly shromážděny nebo použity, což činí tvrzení obtížnými, ne-li nemožnými, k verifikaci a reprodukci.

‘Ještě více znepokojivé je, že populární tisk tyto výsledky prezentoval s klamavou tvrzením, že umělé inteligence mohou nezávisle vytvářet umělecká díla stejně jako lidé.’

Způsob řešení crowdworkers, kteří podvádějí

Crowdsourcovaní pracovníci obvykle nejsou placeni mnoho za své úsilí. Protože jejich vyhlídky jsou minimální, a jejich nejlepší výdělečný potenciál je prostřednictvím dokončení velkého množství úkolů, mnoho z nich je, jak výzkum naznačuje, nakloněno k tomu, aby využili jakoukoli “zkratku”, která urychlí aktuální úkol, aby se mohli přesunout k dalšímu menšímu “gigu”.

Dokument pozoruje, že crowdsourcovaní pracovníci, podobně jako systémy strojového učení, se naučí opakující se vzory v uživatelských studiích, které formulují výzkumníci, a jednoduše odvodí “správnou” nebo “požadovanou” odpověď, místo aby produkovali skutečnou organickou odpověď na materiál.

Za tímto účelem dokument doporučuje provádět kontroly crowdsourcovaných pracovníků, také známé jako “validační zkoušky” nebo “hlídací psi” – efektivní, falešné části testu navržené k tomu, aby zjistily, zda je pracovník pozorný, náhodně kliká nebo prostě následuje vzor, který si sám odvodil z testů, místo aby myslel na své volby.

Autoři uvádějí:

‘Například v případě párů stylizovaných obrazů může být jeden obraz z páru úmyslně a objektivně špatné kvality. Během analýzy lze data od účastníků, kteří selhali v předem stanoveném počtu kontrol, odstranit a předpokládat, že byla generována účastníky, kteří byli nepozorní nebo nekonzistentní.

‘Tyto kontroly by měly být náhodně vloženy do studie a měly by vypadat stejně jako ostatní zkoušky; jinak účastníci mohou zjistit, které zkoušky jsou kontroly.’

Způsob řešení výzkumníků, kteří podvádějí

S nebo bez záměru mohou výzkumníci být komplicitní v tomto druhu “podvádění”; existuje mnoho způsobů, jak mohou, perhaps i neúmyslně, “signál” své požadované volby crowworkers.

Například dokument pozoruje, že výběr crowworkers s profily, které mohou být vhodné pro získání “ideálních” odpovědí ve studii, nominálně prokazujících hypotézu, která by jinak selhala na méně “výběrovém” a více náhodném skupině.

Frázeologie je také klíčovým problémem:

‘Slovník by měl odrážet vysoké cíle, například “který obraz obsahuje méně artifactů?” místo “který obraz obsahuje méně barevných defektů v obličeji?” Naopak, nepřesné zadání úkolu ponechává příliš mnoho prostoru pro interpretaci, například “který obraz je lepší?” může být chápán jako “který je estetičtější?” zatímco záměrem mohlo být vyhodnotit “který je realističtější?”

Dalším způsobem, jak “blahosklonně ovlivnit” účastníky, je nechat je vědět, otevřeně nebo implicitně, který z možných voleb před nimi je metoda autora, spíše než předchozí metoda nebo náhodný vzorek.

Dokument uvádí*:

‘[Ú]častníci mohou odpovědět na odpovědi, které si myslíme, že výzkumníci chtějí, vědomě nebo nevědomě, což je známé jako “dobrý subjektový efekt”. Nesmíte označovat výstupy názvy, jako je “naše metoda” nebo “existující metoda”. Účastníci mohou být zkresleni mocenskými dynamikami (tj. výzkumník, který vede výzkumnou relaci), výzkumníky, kteří používají jazyk k navození účastníků (například “kolik vám líbí tento nástroj, který jsem postavil včera?”), a vztahy mezi výzkumníky a účastníky (například pokud oba pracují ve stejné laboratoři nebo společnosti).’

Formátování úkolu v uživatelské studii může podobně ovlivnit neutralitu studie. Autoři poznamenávají, že pokud je v prezentaci po boku baseline konzistentně umístěna na levé straně (tj. “obraz A”) a výstup nového algoritmu na pravé straně, účastníci studie mohou odvodit, že B je “nejlepší” volba, na základě jejich rostoucí domněnky o výsledku, kterého doufají výzkumníci.

‘Jiné aspekty prezentace, jako je velikost obrazů na obrazovce, jejich vzdálenost od sebe, atd. mohou ovlivnit odpovědi účastníků. Pilotní studie s několika různými nastaveními může pomoci identifikovat tyto potenciální rušivé faktory brzy.’

Špatní lidé pro špatný produkt

Autoři pozorují na několika místech v dokumentu, že crowdsourcovaní pracovníci jsou více “obecným” zdrojem, než by se očekávalo v předchozích desetiletích, kdy výzkumníci byli nuceni žádat o pomoc lokálně, často od studentů fakulty, kteří doplňovali svůj příjem účastí ve studiích.

Požadavek na aktivní účast nechává najatého crowworkera málo prostoru, aby byl “neutrální” k produktu, který testuje, a autoři dokumentu doporučují výzkumníkům identifikovat své cílové uživatele před vývojem a testováním potenciálního produktu nebo služby – jinak riskují vytvořit něco velmi obtížného k vytvoření, ale co nikdo vlastně nechce.

‘Skutečně jsme často svědky počítačových grafiků nebo výzkumníků vidění, kteří se snaží získat přijetí své výzkumné práce od průmyslových praktiků, ale zjistí, že výzkum neřeší potřeby cílových uživatelů. Výzkumníci, kteří neidentifikují potřeby na počátku, mohou být překvapeni, že uživatelé nemají žádnou potřebu nebo zájem o nástroj, který vyvinuli.’

‘Takové nástroje mohou fungovat špatně ve studiích hodnocení, protože uživatelé mohou zjistit, že technologie produkuje neužitečné, irelevantní nebo neočekávané výsledky.’

Dokument dále pozoruje, že uživatelé, kteří jsou skutečně likely používat produkt, by měli být vybráni pro studie, i když nejsou snadno najítelní (nebo, předpokladem, tak levní).

Místo návratu k náboru na kampusu (což by bylo perhaps trochu zpátečnickým krokem) autoři doporučují výzkumníkům “najmout uživatele v terénu”, zapojit se do relevantních komunit.

‘Například může existovat relevantní aktivní online diskusní fórum nebo sociální média komunita, které lze využít. I setkání s jedním členem komunity může vést k snowball sampling, kdy relevantní uživatelé nabízejí spojení se podobnými jedinci ve své síti.’

Požádání o zpětnou vazbu

Dokument také doporučuje požádat o kvalitativní zpětnou vazbu od těch, kteří se zúčastnili uživatelských studií, nejméně proto, že to může potenciálně odhalit falešné předpoklady na straně výzkumníků.

‘Tyto mohou pomoci odstranit chyby ve studii, ale mohou také odhalit neočekávané aspekty výstupu, které ovlivnily hodnocení uživatelů. Byl účastník “velmi nespokojen” [sic] s výstupem, protože byl nerealistický, neestetičtější, zkreslený nebo z jiného důvodu?

‘Bez kvalitativní informace může výzkumník pracovat na vylepšení algoritmu, aby byl více realistický, místo aby řešil základní problém uživatele.’

Jako u mnoha doporučení po celém dokumentu, toto konkrétní doporučení vyžaduje další výdaje času a peněz ze strany výzkumníků, v kultuře, která, jak práce pozoruje, se defaultně uchyluje k rychlým a prakticky povinným crowdsourcovaným uživatelským studiím, které jsou obvykle poměrně levné a které se přizpůsobují studii驱řené kultuře, kterou dokument kritizuje po celou dobu.

Přeštudovaní

Dokument naznačuje, že uživatelské studie se stávají jakýmsi “minimálním požadavkem” v komunitě počítačového vidění, i v případech, kdy studie nemůže být rozumně formulována (například s myšlenkou tak novou nebo okrajovou, že neexistuje “podobná” analýza, a která nemusí být přístupná žádné rozumné metrice, která by mohla poskytnout smysluplné výsledky v uživatelské studii).

Jako příklad “studijního nátlaku” (což není fráze autorů) citují výzkumníci případ ICLR 2022 paper, pro který jsou k dispozici online peer recenze (archivní snímek pořízen 24. června 2022; odkaz pořízen přímo z nového dokumentu)^†:

‘Dva recenzenti dali velmi negativní hodnocení, částečně kvůli nedostatku uživatelských studií. Dokument byl nakonec přijat, doprovázený shrnutím, které kritizovalo recenzenty za použití “uživatelských studií” jako záminky pro špatné hodnocení, a obvinilo je z bránění. Celá diskuse stojí za přečtení.

‘Konečné rozhodnutí poznamenalo, že příspěvek popisoval softwarovou knihovnu, která byla nasazena po několik let, s tisíci uživateli (informace, které nebyly recenzentům známy pro anonymní recenzi). Bylo by dokument – který popisuje vysoce dopadový systém – odmítnut, kdyby výbor neměl tyto informace?

‘A kdyby autoři provedli extra úsilí a provedli uživatelskou studii, byla by to smysluplná, a byla by dostatečná k přesvědčení recenzentů?’

Autoři uvádějí, že viděli recenzenty a editory, kteří ukládají “náročné požadavky na hodnocení” na odevzdané dokumenty, bez ohledu na to, zda by takové hodnocení mělo skutečně nějaký význam nebo hodnotu.

‘Také jsme pozorovali autory a recenzenty, kteří používají hodnocení MTurk jako berlu, aby se vyhnuli těžkým rozhodnutím. Komentáře recenzentů, jako je “nemohu říci, zda jsou obrázky lepší, možná by uživatelská studie pomohla”, jsou potenciálně škodlivé, protože povzbuzují autory, aby provedli další práci, která nebude zlepšovat dokument, který chybí.’

Autoři dokumentu uzavírají s centrálním “voláním k akci”, pro komunity počítačového vidění a počítačové grafiky, aby více zvažovaly své požadavky na uživatelské studie, místo aby nechaly studijní kulturu rozvíjet se jako samozřejmost, bez ohledu na “okrajové případy”, kde může být nejzajímavější práce nejlépe umístěna mimo nejvýnosnější nebo nejplodnější výzkumné a odesílací kanály.

Autoři uzavírají:

‘[P]okud je primárním cílem uživatelských studií potěšit recenzenty spíše než generovat nové poznatky, měla by být užitelnost a platnost takových uživatelských studií zpochybněna autory a recenzenty. Trestání práce, která neobsahuje uživatelské hodnocení, má nežádoucí důsledky, protože incentivuje spěšně provedené, špatně provedené uživatelské výzkumy.

‘Maxim, který je třeba mít na paměti, je, že “špatný uživatelský výzkum vede k špatným výsledkům”, a takový výzkum bude pokračovat, pokud recenzenti budou pokračovat v jeho požadavcích.’

* Má konverze dokumentu inline citací na pertinentní odkazy
^† Má důraz, ne autorů.

Poprvé zveřejněno 24. června 2022.