Adobe e Meta criticano l’abuso degli studi utente nella ricerca di Computer Vision

Adobe e Meta, insieme all’Università di Washington, hanno pubblicato una critica estensiva riguardo a ciò che affermano essere l’abuso crescente degli studi utente nella ricerca di Computer Vision (CV).

Gli studi utente erano una volta limitati principalmente a persone locali o studenti intorno al campus di una o più istituzioni accademiche partecipanti, ma sono stati in gran parte spostati su piattaforme di crowdsourcing online come Amazon Mechanical Turk (AMT).

Tra una vasta gamma di lamentele, il nuovo articolo sostiene che i progetti di ricerca sono costretti a produrre studi da parte dei revisori dei paper; spesso formulano gli studi in modo errato; commissionano studi dove la logica del progetto non supporta questo approccio; e sono spesso “manipolati” da crowdworker cinici che “scoprono” le risposte desiderate invece di pensare realmente al problema.

Il trattato di quindici pagine che costituisce il corpo centrale del nuovo articolo (intitolato Verso migliori studi utente in Computer Graphics e Vision) solleva molte altre critiche sul modo in cui gli studi utente crowdsourcings potrebbero effettivamente ostacolare l’avanzamento dei sottocampi della visione artificiale, come il riconoscimento delle immagini e la sintesi delle immagini.

Sebbene l’articolo affronti una vasta gamma di problemi legati agli studi utente, le sue critiche più forti sono riservate al modo in cui la valutazione dell’output negli studi utente (ad esempio, quando gli esseri umani crowdsourcings vengono pagati per fare giudizi di valore su – ad esempio – l’output di nuovi algoritmi di sintesi di immagini) potrebbe avere un impatto negativo su tutto il settore.

Vediamo alcuni dei punti centrali.

Interpretazioni sensazionali

Tra le raccomandazioni dell’articolo per coloro che pubblicano nel settore della visione artificiale, c’è l’ammonimento a “interpretare i risultati con attenzione”. L’articolo cita un esempio del 2021, quando un nuovo lavoro di ricerca che affermava che “gli individui non sono in grado di identificare con precisione l’arte generata da AI” è stato ampliamente distorto sulla stampa popolare.

Una delle più importanti relazioni dei media sul paper del 2021 ‘The Role of AI Attribution Knowledge in the Evaluation of Artwork’, di Harsha Gangadharbatla, citato come esempio nel nuovo articolo. Qui, la fonte del Daily Mail è The Times (a pagamento). Fonti: Daily Mail (collegamento archiviato) / https://www.gwern.net/docs/ai/nn/gan/2021-gangadharbatla.pdf

Gli autori affermano*:

‘[In] uno studio in una rivista di psicologia, sono state raccolte immagini di opere d’arte tradizionali e immagini create da tecnologie AI, e ai crowdworker è stato chiesto di distinguere quali immagini provenivano da quali fonti. Dai risultati è stata conclusa che “gli individui non sono in grado di identificare con precisione l’arte generata da AI”, una conclusione molto ampia che non segue direttamente dagli esperimenti.

‘Inoltre, il paper non riporta dettagli su quali insiemi di immagini specifiche sono stati raccolti o utilizzati, rendendo le affermazioni difficili, se non impossibili, da verificare e riprodurre.

‘Ancor più preoccupante è che la stampa popolare ha riportato questi risultati con affermazioni fuorvianti secondo cui le AI possono creare arte indipendentemente come gli esseri umani.’

Gestione dei crowdworker che imbrogliano

I lavoratori crowdsourcings non vengono solitamente pagati molto per i loro sforzi. Poiché le loro prospettive sono minime, e il loro miglior potenziale di guadagno è attraverso la completazione di un alto volume di attività, molti di loro sono, secondo la ricerca, disposti a prendere qualsiasi “scorciatoia” che accelererà l’attività corrente in modo che possano passare alla prossima attività minore.

L’articolo osserva che i lavoratori crowdsourcings, come i sistemi di apprendimento automatico, impareranno modelli ripetitivi negli studi utente che i ricercatori formulano, e semplicemente inferiranno la “corretta” o “desiderata” risposta, invece di produrre una vera risposta organica al materiale.

A questo scopo, l’articolo raccomanda di condurre controlli sui lavoratori crowdsourcings, noti anche come “prove di validazione” o “sentinelle” – in sostanza, sezioni false di un test progettate per vedere se il lavoratore sta prestando attenzione, cliccando casualmente o semplicemente seguendo un modello che hanno loro stessi inferito dai test, invece di pensare alle loro scelte.

Gli autori affermano:

‘Ad esempio, nel caso di paia di immagini stilizzate, un’immagine della coppia può essere un risultato di qualità oggettivamente scarsa. Durante l’analisi, i dati dei partecipanti che non superano un certo numero di controlli possono essere scartati, considerati come generati da partecipanti che erano inattenti o incoerenti.

‘Questi controlli dovrebbero essere inseriti casualmente nello studio e dovrebbero apparire come gli altri trial; altrimenti, i partecipanti potrebbero capire quali trial sono i controlli.’

Gestione dei ricercatori che imbrogliano

Con o senza intenzione, i ricercatori possono essere compliciti in questo tipo di “imbroglio”; ci sono molti modi in cui possono, forse anche involontariamente, “segnalare” le loro scelte desiderate ai crowdworker.

Ad esempio, l’articolo osserva che, selezionando crowdworker con profili che possono essere propizi per ottenere le “risposte ideali” in uno studio, nominalmente provando un’ipotesi che potrebbe essere fallita in un gruppo meno “selezionato” e più arbitrario.

La fraseologia è anche una preoccupazione chiave:

‘La parola dovrebbe riflettere gli obiettivi di alto livello, ad esempio “quale immagine contiene meno artefatti?” invece di “quale immagine contiene meno difetti di colore nella regione facciale?” Al contrario, la parola del compito imprecisa lascia troppo all’interpretazione, ad esempio “quale immagine è migliore?” può essere inteso come “quale è più esteticamente piacevole?” dove l’intenzione potrebbe essere stata quella di valutare “quale è più realistico?”

Un altro modo per “influire benignamente” i partecipanti è far loro sapere, apertamente o implicitamente, quale delle possibili scelte di fronte a loro è il metodo dell’autore, piuttosto che un metodo precedente o un campione casuale.

L’articolo afferma*:

‘[I] partecipanti possono rispondere con le risposte che pensano i ricercatori vogliano, consapevolmente o no, noto come “l’effetto del buon soggetto”. Non etichettare i risultati con nomi come “il nostro metodo” o “il metodo esistente”. I partecipanti possono essere influenzati dalla dinamica del potere (ad esempio, il ricercatore che gestisce la sessione di ricerca), i ricercatori che utilizzano il linguaggio per priming i partecipanti (ad esempio, “quanto ti piace questo strumento che ho costruito ieri?”), e i ricercatori e i partecipanti hanno una relazione (ad esempio, se entrambi lavorano nello stesso laboratorio o azienda).’

Il formato di un compito in uno studio utente può influenzare inoltre la neutralità dello studio. Gli autori notano che, se in una presentazione a lato a lato, il baseline è costantemente posizionato a sinistra (ad esempio “immagine A”) e l’output del nuovo algoritmo a destra, i partecipanti allo studio potrebbero inferire che B è la “scelta migliore”, in base alla loro crescente presunzione del risultato desiderato dai ricercatori.

‘Altri aspetti della presentazione, come la dimensione delle immagini sullo schermo, la loro distanza reciproca, ecc. possono influenzare le risposte dei partecipanti. Eseguire lo studio con alcune impostazioni diverse può aiutare a rilevare questi potenziali confondenti in anticipo.’

Le persone sbagliate per il prodotto sbagliato

Gli autori osservano in diversi punti dell’articolo che i lavoratori crowdsourcings sono una risorsa più “generica” di quanto ci si aspettasse in precedenti decenni, quando i ricercatori erano costretti a chiedere aiuto localmente, spesso a studenti di facoltà che integravano il loro reddito partecipando agli studi.

La richiesta di partecipazione attiva lascia ai crowdworker assunti poco spazio per essere “nonplussed” da un prodotto che stanno testando, e gli autori dell’articolo raccomandano ai ricercatori di identificare gli utenti target prima di sviluppare e testare uno studio su un potenziale prodotto o servizio – altrimenti rischiano di produrre qualcosa di molto difficile da creare, ma che nessuno vuole realmente.

‘In effetti, abbiamo spesso visto ricercatori di computer graphics o visione tentare di far adottare la loro ricerca da parte di pratici del settore, solo per scoprire che la ricerca non risponde alle esigenze degli utenti target. I ricercatori che non eseguono la ricerca delle esigenze all’inizio possono essere sorpresi nel trovare che gli utenti non hanno bisogno o interesse per lo strumento che hanno sviluppato per mesi o anni.

‘Tali strumenti possono funzionare male negli studi di valutazione, poiché gli utenti possono trovare che la tecnologia produce risultati inutili, irrilevanti o inaspettati.’

L’articolo osserva inoltre che gli utenti che sono effettivamente probabili utilizzatori di un prodotto dovrebbero essere selezionati per gli studi, anche se non sono facili da trovare (o, presumibilmente, molto economici).

Piuttosto che tornare a reclutare sul campus (che sarebbe forse un passo indietro), gli autori suggeriscono ai ricercatori di “reclutare utenti nel mondo reale”, impegnandosi con comunità pertinenti.

‘Ad esempio, potrebbe esserci un forum di messaggistica online attivo o una comunità di social media che può essere sfruttata. Anche incontrare un membro della comunità può portare a snowball sampling, in cui gli utenti rilevanti offrono collegamenti a individui simili nella loro rete.’

Richiesta di feedback

L’articolo raccomanda inoltre di richiedere feedback qualitativi da coloro che hanno partecipato agli studi utente, non ultimo perché ciò può potenzialmente esporre false ipotesi da parte dei ricercatori.

‘Questi possono aiutare a debuggere lo studio, ma possono anche rivelare aspetti inattesi dell’output che hanno influenzato le valutazioni degli utenti. Il partecipante era “molto insoddisfatto” [sic] dell’output perché era irrealistico, non esteticamente piacevole, distorto o per qualche altro motivo?

‘Senza informazioni qualitative, il ricercatore potrebbe lavorare per raffinare l’algoritmo per renderlo più realistico, invece di affrontare il problema di base dell’utente.’

Come molte delle raccomandazioni in tutto l’articolo, questa raccomandazione particolare comporta ulteriore spesa di tempo e denaro da parte dei ricercatori, in una cultura che, come osserva il lavoro, sta facendo default a studi utente crowdsourcings rapidi e praticamente obbligatori, che sono solitamente abbastanza economici, e che si conformano a una cultura studio-guidata che l’articolo critica in tutto.

Studi eccessivi

L’articolo suggerisce che gli studi utente stanno diventando una sorta di “requisito minimo” nella comunità pre-stampa di visione artificiale, anche nei casi in cui uno studio non può essere ragionevolmente formulato (ad esempio, con un’idea così nuova o marginale che non esiste un’analisi “like-for-like” da condurre, e che potrebbe non essere suscettibile a qualsiasi metrica ragionevole che potrebbe produrre risultati significativi in uno studio utente).

Come esempio di “bullismo degli studi” (non la frase degli autori), i ricercatori citano il caso di un paper ICLR 2022 per cui le recensioni dei peer sono disponibili online (istantanea dell’archivio scattata il 24 giugno 2022; collegamento preso direttamente dal nuovo articolo)^†:

‘Due revisori hanno assegnato punteggi molto negativi a causa, in parte, della mancanza di studi utente. Il paper è stato infine accettato, accompagnato da un riassunto che criticava i revisori per aver utilizzato “studi utente” come scusa per una cattiva revisione, e li accusava di gatekeeping. La discussione completa vale la pena di essere letta.

‘La decisione finale ha notato che la presentazione descriveva una libreria di software che era stata distribuita per anni, con migliaia di utenti (informazione che non è stata rivelata ai revisori per la revisione anonima). Sarebbe stato il paper – che descrive un sistema ad alto impatto – stato rifiutato se il comitato non avesse avuto queste informazioni?

‘E, se gli autori avessero fatto lo sforzo extra di contrarre e eseguire uno studio utente, sarebbe stato significativo, e sarebbe stato sufficiente per convincere i revisori?’

Gli autori affermano di aver visto revisori e editori imporre “requisiti di valutazione onerosi” ai paper presentati, nonostante il fatto che tali valutazioni avrebbero davvero un significato o un valore.

‘Abbiamo anche osservato autori e revisori utilizzare valutazioni MTurk come un sostegno per evitare di prendere decisioni difficili. Commenti dei revisori come “non posso dire se le immagini sono migliori, forse uno studio utente potrebbe aiutare” sono potenzialmente dannosi, incoraggiando gli autori a eseguire lavori extra che non miglioreranno un paper scadente.’

Gli autori concludono l’articolo con un appello centrale all’azione, per le comunità di visione artificiale e computer graphics, per considerare più a fondo le loro richieste di studi utente, invece di lasciare che una cultura studio-guidata si sviluppi come un default, nonostante i “casi limite” in cui alcuni dei lavori più interessanti potrebbero non adattarsi ai pipeline di ricerca e presentazione più redditizi.

Gli autori concludono:

‘[Se] l’obiettivo principale dell’esecuzione degli studi utente è quello di placare i revisori piuttosto che generare nuove conoscenze, l’utilità e la validità di tali studi utente dovrebbero essere messe in discussione dagli autori e dai revisori. Penalizzare il lavoro che non contiene valutazione utente ha la conseguenza involontaria di incentivare la ricerca utente eseguita frettolosamente, poveramente eseguita.

‘Un massimo da tenere presente è che “la ricerca utente scadente porta a risultati scadenti”, e tale ricerca continuerà se i revisori continueranno a chiederla.’

* La mia conversione delle citazioni in linea del paper in collegamenti pertinenti
^† La mia enfasi, non degli autori.

Pubblicato per la prima volta il 24 giugno 2022.