Adobe și Meta critică utilizarea abuzivă a studiilor de utilizatori în cercetarea viziunii computaționale

Adobe și Meta, împreună cu Universitatea din Washington, au publicat o critică extinsă cu privire la ceea ce ei afirmă că este o utilizare abuzivă și în creștere a studiilor de utilizatori în cercetarea viziunii computaționale (CV).

Studiile de utilizatori au fost odată limitate în general la localnici sau studenți din jurul campusului uneia sau mai multor instituții academice participante, dar au migrat aproape în întregime către platforme de crowdsourcing online, cum ar fi Amazon Mechanical Turk (AMT).

Printre o gamă largă de nemulțumiri, noul document susține că proiectele de cercetare sunt presate să producă studii de către recenzorii de articole; sunt adesea formulate prost; comandă studii unde logica proiectului nu susține această abordare; și sunt adesea “jucate” de lucrători de crowdworker cinici care “ghicesc” răspunsurile dorite, în loc de a gândi cu adevărat la problema respectivă.

Tratatul de cincisprezece pagini (intitulat Spre studii de utilizatori mai bune în grafică și viziune computerizată) care reprezintă corpul central al noului document aduce multe alte critici la adresa modului în care studiile de utilizatori crowdsourcete pot împiedica, de fapt, progresul subsectoarelor de viziune computerizată, cum ar fi recunoașterea imaginilor și sinteza de imagini.

Deși documentul abordează o tranșă mult mai largă de probleme legate de studii de utilizatori, cele mai puternice critici sunt rezervate modului în care evaluarea de ieșire în studii de utilizatori (adică atunci când oamenii crowdsourcete sunt plătiți pentru a face judecăți de valoare asupra – de exemplu – ieșirii unor algoritmi de sinteză de imagini noi) poate afecta negativ întregul sector.

Să aruncăm o privire asupra unor puncte centrale.

Interpretări senzaționale

Printre sugestiile documentului pentru cei care publică în sectorul viziunii computerizate se numără și avertizarea de a “interpreta rezultatele cu atenție”. Documentul citează un exemplu din 2021, când o lucrare de cercetare nouă care afirma că “indivizii nu pot identifica cu acuratețe operele de artă generate de inteligența artificială” a fost prezentată pe scară largă în presa populară.

Una dintre raportările media de înaltă profil din 2021 despre lucrarea ‘Rolul cunoașterii atribuirii inteligenței artificiale în evaluarea operei de artă’, de Harsha Gangadharbatla, citată ca exemplu în noul document. Aici, sursa Daily Mail este The Times (cu plată). Surse: Daily Mail (legătură arhivă) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf

Autorii afirmă*:

‘[În] un studiu într-o revistă de psihologie, imagini de opere de artă tradiționale și imagini create de tehnologii de inteligență artificială au fost adunate de pe web, iar lucrătorii de crowdworker au fost rugați să distingă care imagini proveneau de unde. Din rezultate s-a concluzionat că “indivizii nu pot identifica cu acuratețe operele de artă generate de inteligența artificială”, o concluzie foarte largă care nu urmează direct din experimente.

‘Mai mult, documentul nu raportează detalii despre care seturi de imagini specifice au fost colectate sau utilizate, făcând ca afirmațiile să fie greu, dacă nu imposibil, de verificat și de replicat.

‘Mai îngrijorător este faptul că presa populară a raportat aceste rezultate cu afirmații înșelătoare, potrivit căruia inteligența artificială poate crea artă independent, la fel de bine ca și oamenii.’

Manipularea lucrătorilor de crowdworker

Lucrătorii de crowdworker nu sunt, de obicei, plătiți mult pentru eforturile lor. Deoarece perspectivele lor sunt minime, iar cel mai bun potențial de câștig este prin finalizarea unui volum mare de sarcini, mulți dintre ei sunt, după cum sugerează cercetările, dispuși să ia orice “scurtătură” care va grăbi sarcina curentă, astfel încât să poată trece la următoarea mică “sarcină”.

Documentul observă că lucrătorii de crowdworker, la fel ca și sistemele de învățare automată, vor învăța modele repetitive în studiile de utilizatori formulate de cercetători și vor infera pur și simplu “răspunsul corect” sau “răspunsul dorit”, în loc de a produce un răspuns organic adevărat la material.

Pentru aceasta, documentul recomandă efectuarea de verificări asupra lucrătorilor de crowdworker, cunoscute și sub numele de “încercări de validare” sau “sentinele” – în esență, secțiuni false ale unui test conceput pentru a vedea dacă lucrătorul este atent, face clic aleatoriu sau urmează pur și simplu un model pe care l-a inferat el însuși din test, în loc de a gândi la alegerile sale.

Autorii afirmă:

‘De exemplu, în cazul perechilor de imagini stilizate, una dintre imagini poate fi o imagine intenționat și obiectiv de calitate slabă. În timpul analizei, datele de la participanții care au eșuat la un anumit număr prestabilit de verificări pot fi eliminate, presupunându-se că au fost generate de participanți care au fost inatenți sau inconsistenti.

‘Aceste verificări ar trebui să fie inserate aleatoriu în studiu și ar trebui să apară la fel ca și alte încercări; altfel, participanții pot afla care încercări sunt verificările.’

Manipularea cercetătorilor

Cu sau fără intenție, cercetătorii pot fi complice la acest tip de “manipulare”; există multe moduri în care ei, poate chiar involuntar, pot “semnala” alegerile dorite lucrătorilor de crowdworker.

De exemplu, documentul observă că, prin selectarea lucrătorilor de crowdworker cu profiluri care ar putea fi favorabile pentru obținerea “răspunsurilor ideale” într-un studiu, nominalizând astfel o ipoteză care ar fi putut eșua pe un grup mai puțin “select” și mai arbitrar.

Fraseologia este, de asemenea, o preocupare cheie:

‘Formularea ar trebui să reflecte obiectivele de nivel înalt, de exemplu, “care imagine conține mai puține artefacte?” în loc de “care imagine conține mai puține defecte de culoare în regiunea feței?” În schimb, formularea neclară a sarcinii lasă prea mult la interpretare, de exemplu, “care imagine este mai bună?” poate fi înțeleasă ca “care este mai plăcută estetic?” unde intenția ar fi putut fi să se evalueze “care este mai realistă?”

Un alt mod de a “influența benign” participanții este să le spună, în mod deschis sau implicit, care dintre alegerile posibile din fața lor este metoda autorului, și nu o metodă anterioară sau un eșantion aleatoriu.

Documentul afirmă*:

‘[Participanții] pot răspunde cu răspunsurile pe care cred că le doresc cercetătorii, conștient sau nu, ceea ce este cunoscut sub numele de “efectul subiectului bun”. Nu etichetați ieșirile cu nume precum “metoda noastră” sau “metoda existentă”. Participanții pot fi influențați de dinamica puterii (de exemplu, cercetătorul care conduce sesiunea de cercetare), cercetătorii care folosesc limbajul pentru a primi participanții (de exemplu, “cât de mult vă place acest instrument pe care l-am construit ieri?”), și relația dintre cercetători și participanți (de exemplu, dacă amândoi lucrează în același laborator sau companie).’

Formatarea unei sarcini într-un studiu de utilizatori poate influența, de asemenea, neutralitatea studiului. Autorii notează că, într-o prezentare de tip “în paralel”, dacă baza este poziționată constant pe stânga (de exemplu, “imaginea A”) și ieșirea noului algoritm pe dreapta, participanții la studiu pot infera că B este “alegerea cea mai bună”, pe baza presupunerii crescânde a rezultatului dorit de cercetători.

‘Alte aspecte ale prezentării, cum ar fi mărimea imaginilor pe ecran, distanța dintre ele, etc. pot influența răspunsurile participanților. Pilotarea studiului cu câteva setări diferite poate ajuta la identificarea acestor potențiali factori perturbatori de la început.’

Oamenii greșiți pentru produsul greșit

Autorii observă la mai multe puncte în document că lucrătorii de crowdworker sunt o resursă mai “generică” decât s-ar fi așteptat în deceniile anterioare, când cercetătorii erau nevoiți să solicite ajutor local, adesea de la studenți de la facultate care-și completau venitul prin participarea la studii.

Cerința de participare activă lasă lucrătorului de crowdworker puțin spațiu pentru a fi “neimpresionat” de un produs pe care îl testează, iar autorii documentului recomandă cercetătorilor să identifice utilizatorii țintă înainte de a dezvolta și de a testa un produs sau serviciu potențial – altfel, riscă să creeze ceva foarte greu de creat, dar pe care nimeni nu îl dorește.

‘Într-adevăr, am fost martori adesea la încercările cercetătorilor de grafică computerizată sau de viziune de a-și face cercetarea adoptată de practicienii din industrie, doar pentru a descoperi că cercetarea nu răspunde nevoilor utilizatorilor țintă. Cercetătorii care nu efectuează identificarea nevoilor la început pot fi surprinși să constate că utilizatorii nu au nevoie sau nu sunt interesați de instrumentul pe care l-au dezvoltat timp de luni sau ani.

‘Asemenea instrumente pot performa prost în studii de evaluare, deoarece utilizatorii pot găsi că tehnologia produce rezultate inutile, irelevante sau neașteptate.’

Documentul observă, de asemenea, că utilizatorii care sunt, de fapt, probabil să utilizeze un produs ar trebui să fie selectați pentru studii, chiar dacă nu sunt ușor de găsit (sau, probabil, la fel de ieftini).

În loc de a reveni la recrutarea pe campus (care ar fi, probabil, o mișcare puțin retrogradă), autorii sugerează că cercetătorii “recrutează utilizatori în sălbăticie”, implicându-se cu comunitățile pertinente.

‘De exemplu, poate exista un forum de discuții online activ sau o comunitate de social media care poate fi exploatată. Chiar și întâlnirea cu un singur membru al comunității poate duce la mostre de zăpadă, în care utilizatorii relevanți oferă legături către indivizi asemănători din rețeaua lor.’

Solicitarea de feedback

Documentul recomandă, de asemenea, solicitarea de feedback calitativ de la cei care au participat la studii de utilizatori, nu în ultimul rând pentru că acest lucru poate expune potențial ipoteze false din partea cercetătorilor.

‘Acestea pot ajuta la depanarea studiului, dar pot revela, de asemenea, aspecte neașteptate ale ieșirii care au influențat evaluările utilizatorilor. A fost participantul “foarte nesatisfăcut” [sic] cu ieșirea pentru că a fost nerealistă, neestetică, împărtășită sau din alt motiv?

‘Fără informații calitative, cercetătorul poate lucra la rafinarea algoritmului pentru a fi mai realist, în loc de a aborda problema fundamentală a utilizatorului.’

Ca și în cazul multor recomandărilor de-a lungul documentului, această recomandare particulară implică o cheltuială suplimentară de timp și bani din partea cercetătorilor, într-o cultură care, după cum observă lucrarea, se îndreaptă spre studii de utilizatori crowdsourcete rapide și practic obligatorii, care sunt de obicei foarte ieftine și care se conformează unei culturi de studiu în curs de dezvoltare pe care documentul o critică pe tot parcursul.

Supra-studiat

Documentul sugerează că studiile de utilizatori devin o fel de “cerință minimă” în comunitatea de viziune computerizată pre-publicată, chiar și în cazurile în care un studiu nu poate fi formulat în mod rezonabil (de exemplu, cu o idee atât de nouă sau de marginală, încât nu există o analiză “la fel pentru fel” care să poată fi efectuată și care nu poate fi supusă niciunui metric care să poată produce rezultate semnificative într-un studiu de utilizatori).

Ca exemplu de “intimidare prin studiu” (nu fraza autorilor), cercetătorii citează cazul unui document ICLR 2022 pentru care recenziile sunt disponibile online (snapshot arhivat pe 24 iunie 2022; legătură preluată direct din noul document)^†:

‘Doi recenzori au dat scoruri foarte negative, în parte, din cauza lipsei de studii de utilizatori. Documentul a fost, în cele din urmă, acceptat, însoțit de o sinteză care i-a certat pe recenzori pentru utilizarea “studiilor de utilizatori” ca scuză pentru o recenzie proastă și i-a acuzat de gatekeeping. Discuția completă merită citită.

‘Decizia finală a notat că depunerea a descris o bibliotecă de software care a fost implementată timp de ani, cu mii de utilizatori (informație care nu a fost dezvăluită recenzorilor pentru o revizuire anonimă). Ar fi fost documentul – care descrie un sistem cu impact ridicat – respins dacă comitetul nu ar fi avut această informație?

‘Și, dacă autorii ar fi făcut efortul suplimentar de a concepe și de a efectua un studiu de utilizatori, ar fi fost acesta semnificativ și ar fi fost suficient pentru a convinge recenzorii?’

Autorii afirmă că au văzut recenzori și editori care impun “cerințe de evaluare oneroase” asupra documentelor depuse, în ciuda faptului că astfel de evaluări nu ar avea, de fapt, niciun sens sau valoare.

‘Am observat, de asemenea, autorii și recenzorii care folosesc evaluările MTurk ca o cruce pentru a evita luarea deciziilor grele. Comentariile recenzorilor precum “nu pot spune dacă imaginile sunt mai bune, poate că un studiu de utilizatori ar ajuta” sunt potențial dăunătoare, încurajând autorii să efectueze un efort suplimentar care nu va îmbunătăți un document slab.’

Autorii încheie documentul cu un apel central la acțiune, pentru comunitățile de viziune computerizată și grafică computerizată, de a lua în considerare mai mult cererile lor pentru studii de utilizatori, în loc de a lăsa o cultură bazată pe studii să se dezvolte ca o rutină, în ciuda “cazurilor marginale” în care unele dintre cele mai interesante lucrări nu se potrivesc cu cele mai profitabile sau mai rodnică liniile de cercetare și de depunere.

Autorii conchid:

‘[Dacă] scopul principal al efectuării studiilor de utilizatori este de a mulțumi recenzorilor, în loc de a genera noi cunoștințe, utilitatea și valabilitatea unor astfel de studii de utilizatori ar trebui să fie puse sub semnul întrebării de către autori și recenzori deopotrivă. Pedepsirea lucrărilor care nu conțin evaluări de utilizatori are consecința neintenționată de a încuraja cercetări de utilizatori făcute superficial, slab executate.

‘Un maxim de a avea în vedere este că “cercetarea de utilizatori proastă duce la rezultate proaste”, și o astfel de cercetare va continua dacă recenzorii continuă să o ceară.’

* Conversia mea a citărilor inline ale documentului în legături pertinente
^† Accentuarea mea, nu a autorilor.

Publicat pentru prima dată pe 24 iunie 2022.