L'”invisibile”, spesso infelice forza lavoro che sta decidendo il futuro dell’AI

Due nuovi rapporti, tra cui un documento guidato da Google Research, esprimono preoccupazione che l’attuale tendenza a fare affidamento su un pool di lavoratori freelance a basso costo e spesso svantaggiati per creare verità di base per i sistemi di apprendimento automatico potrebbe avere importanti implicazioni a valle per l’AI.

Tra le varie conclusioni, lo studio di Google trova che i pregiudizi propri dei lavoratori della folla sono probabilmente incorporati nei sistemi di intelligenza artificiale la cui verità di base sarà basata sulle loro risposte; che le pratiche di lavoro ingiuste diffuse (comprese negli Stati Uniti) sulle piattaforme di lavoro della folla sono probabilmente degradare la qualità delle risposte; e che il sistema di “consenso” (effettivamente una “mini-elezione” per un pezzo di verità di base che influenzerà i sistemi di intelligenza artificiale a valle) che attualmente risolve le controversie può effettivamente buttare via le migliori e/o più informate risposte.

Questo è il cattivo notizie; le peggiori notizie sono che quasi tutti i rimedi sono costosi, laboriosi o entrambi.

Insicurezza, rifiuto casuale e rancore

Il primo documento, di cinque ricercatori di Google, si intitola Di chi è la verità di base? Considerazione delle identità individuali e collettive sottostanti l’annotazione del set di dati; il secondo, di due ricercatori dell’Università di Syracuse a New York, si intitola L’origine e il valore del disaccordo tra gli etichettatori di dati: uno studio di caso sulle differenze individuali nell’annotazione del discorso d’odio.

I ricercatori di Google notano che i lavoratori della folla – le cui valutazioni spesso formano la base definitiva dei sistemi di apprendimento automatico che possono eventualmente influenzare le nostre vite – operano spesso in un contesto di vincoli che possono influenzare il modo in cui rispondono ai compiti sperimentali.

Ad esempio, le politiche attuali di Amazon Mechanical Turk consentono ai richiedenti (coloro che assegnano i compiti) di rifiutare il lavoro di un annotatore senza responsabilità*:

‘[U]na grande maggioranza di lavoratori della folla (94%) hanno avuto lavoro rifiutato o per il quale non sono stati pagati. Tuttavia, i richiedenti mantengono i diritti full sui dati che ricevono indipendentemente dal fatto che accettino o rifiutino il lavoro; Roberts (2016) descrive questo sistema come uno che “consente il furto di salario”.

‘Inoltre, rifiutare il lavoro e trattenere il pagamento è doloroso perché i rifiuti sono spesso causati da istruzioni poco chiare e dalla mancanza di canali di feedback significativi; molti lavoratori della folla riferiscono che la cattiva comunicazione influisce negativamente sul loro lavoro.’

Gli autori raccomandano che i ricercatori che utilizzano servizi di outsourcing per sviluppare set di dati considerino come una piattaforma di lavoro della folla tratta i suoi lavoratori. Sottolineano inoltre che negli Stati Uniti, i lavoratori della folla sono classificati come “lavoratori autonomi”, con il lavoro quindi non regolamentato e non coperto dal salario minimo previsto dal Fair Labor Standards Act.

Il contesto è importante

Il documento critica anche l’uso di lavoro globale ad hoc per i compiti di annotazione, senza considerare lo sfondo dell’annotatore.

Quando il budget lo consente, è comune per i ricercatori che utilizzano AMT e piattaforme di lavoro della folla simili assegnare lo stesso compito a quattro annotatori e seguire la “regola della maggioranza” sui risultati.

L’esperienza contestuale, sostengono gli autori, è notevolmente sottovalutata. Ad esempio, se una domanda relativa al sessismo viene distribuita casualmente tra tre uomini d’accordo di età compresa tra 18 e 57 anni e una donna dissenziente di 29 anni, il verdetto degli uomini vince, tranne nei casi relativamente rari in cui i ricercatori prestano attenzione alle qualifiche degli annotatori.

Allo stesso modo, se una domanda su comportamento di gang a Chicago viene distribuita tra una donna rurale statunitense di 36 anni, un residente maschio di Chicago di 42 anni e due annotatori rispettivamente di Bangalore e Danimarca, la persona probabilmente più influenzata dalla questione (l’uomo di Chicago) detiene solo una quota di un quarto nel risultato, in una configurazione di outsourcing standard.

I ricercatori affermano:

‘[L]a nozione di “una verità” nelle risposte della folla è un mito; il disaccordo tra gli annotatori, che è spesso visto come negativo, può effettivamente fornire un segnale prezioso. Inoltre, poiché molti pool di annotatori della folla sono distorti dal punto di vista socio-demografico, ci sono implicazioni per le popolazioni rappresentate nei set di dati e per le popolazioni che affrontano le sfide del lavoro della folla.

‘Considerare le distorsioni nelle demografie degli annotatori è fondamentale per contestualizzare i set di dati e garantire un uso responsabile a valle. In breve, c’è valore nel riconoscere e considerare lo sfondo socio-culturale dei lavoratori — sia dal punto di vista della qualità dei dati che dell’impatto sociale.’

Nessuna ‘opinione neutra’ su argomenti caldi

Anche quando le opinioni di quattro annotatori non sono distorte, né demograficamente né con qualche altro parametro, il documento di Google esprime preoccupazione che i ricercatori non stiano considerando le esperienze di vita o la disposizione filosofica degli annotatori:

‘Mentre alcuni compiti tendono a porre domande oggettive con una risposta corretta (c’è un volto umano in un’immagine?), spesso i set di dati mirano a catturare giudizi su compiti relativamente soggettivi senza una risposta universalmente corretta (è questo testo offensivo?). È importante essere intenzionali nel decidere se fare affidamento sui giudizi soggettivi degli annotatori.’

Riguardo al suo ambito specifico di risoluzione dei problemi di etichettatura del discorso d’odio, il documento di Syracuse nota che domande più categoriche come Is there a cat in this photograph? sono notevolmente diverse dal chiedere a un lavoratore della folla se una frase è ‘tossica’:

‘Considerando la complessità della realtà sociale, le percezioni delle persone della tossicità variano sostanzialmente. Le loro etichette di contenuto tossico si basano sulle loro stesse percezioni.’

Trovando che la personalità e l’età hanno un’influenza “sostanziale” sull’etichettatura dimensionale del discorso d’odio, i ricercatori di Syracuse concludono:

‘Questi risultati suggeriscono che gli sforzi per ottenere la coerenza dell’annotazione tra etichettatori con background e personalità diversi per il discorso d’odio potrebbero non avere mai pieno successo.’

Il giudice potrebbe essere distorto anche lui

Questa mancanza di obiettività è probabile che si ripeta anche verso l’alto, secondo il documento di Syracuse, che sostiene che l’intervento manuale (o la politica automatizzata, decisa anche da un essere umano) che determina il ‘vincitore’ dei voti di consenso dovrebbe essere soggetto a scrutinio.

Paragonando il processo alla moderazione del forum, gli autori affermano*:

‘[I] moderatori di una comunità possono decidere il destino di post e utenti all’interno della loro comunità promuovendo o nascondendo post, nonché onorando, umiliando o bandendo gli utenti. Le decisioni dei moderatori influenzano il contenuto consegnato ai membri della comunità e del pubblico e, di conseguenza, anche influenzano l’esperienza della discussione della comunità.

‘Assumendo che un moderatore umano sia un membro della comunità che ha omogeneità demografica con altri membri della comunità, sembra possibile che lo schema mentale che utilizzano per valutare il contenuto corrisponda a quello degli altri membri della comunità.’

Ciò fornisce un indizio sul perché i ricercatori di Syracuse sono giunti a una conclusione così despondente riguardo al futuro dell’annotazione del discorso d’odio; l’implicazione è che le politiche e le decisioni sui pareri discordanti del lavoro della folla non possono essere applicate casualmente secondo “principi accettabili” che non sono inscritti da nessuna parte (o non riducibili a uno schema applicabile, anche se esistono).

Le persone che prendono le decisioni (i lavoratori della folla) sono distorte, e sarebbero inutili per tali compiti se non fossero distorte, poiché il compito è fornire un giudizio di valore; le persone che giudicano le controversie nei risultati del lavoro della folla stanno anche prendendo decisioni di valore nel definire le politiche per le controversie.

Potrebbero esserci centinaia di politiche in un solo quadro di rilevamento del discorso d’odio, e a meno che ogni singola politica non sia portata fino alla Corte Suprema, da dove può provenire il “consenso autoritativo”?

I ricercatori di Google suggeriscono che ‘[i] disaccordi tra gli annotatori possono incorporare sfumature preziose sul compito’. Il documento propone l’uso di metadati nei set di dati che riflettono e contestualizzano le controversie.

Tuttavia, è difficile vedere come un tale livello di dati contestuale possa mai portare a metriche simili, adattarsi alle richieste di test standard stabiliti o supportare alcun risultato definitivo – tranne nello scenario irrealistico di adottare lo stesso gruppo di ricercatori in lavori successivi.

Curare il pool di annotatori

Tutto ciò presume che ci sia effettivamente un budget in un progetto di ricerca per più annotazioni che porterebbero a un voto di consenso. In molti casi, i ricercatori tentano di “curare” il pool di annotazione esternalizzato più a buon mercato specificando tratti che i lavoratori dovrebbero avere, come la posizione geografica, il genere o altri fattori culturali, scambiando la pluralità con la specificità.

Il documento di Google sostiene che il modo in cui procedere da queste sfide potrebbe essere quello di stabilire framework di comunicazione estesi con gli annotatori, simili alle comunicazioni minimali che l’app Uber facilita tra un conducente e un passeggero.

Una tale attenta considerazione degli annotatori sarebbe, naturalmente, un ostacolo all’esternalizzazione dell’annotazione su larga scala, risultando in set di dati più limitati e a basso volume che hanno una migliore ragione per i loro risultati, o una “valutazione affrettata” degli annotatori coinvolti, ottenendo informazioni limitate su di loro e caratterizzandoli come “idonei per il compito” sulla base di troppa poca informazione.

E se gli annotatori stanno dicendo la verità.

I “piacere-alla-gente” nell’etichettatura dei set di dati esternalizzati

Con una forza lavoro disponibile che è sottopagata, sotto concorrenza severa per gli incarichi disponibili e depressa da prospettive di carriera scarse, gli annotatori sono motivati a fornire rapidamente la “risposta giusta” e passare all’incarico successivo.

Se la “risposta giusta” è qualcosa di più complicato di Ha gatto/No gatto, il documento di Syracuse sostiene che il lavoratore probabilmente tenterà di dedurre una “risposta accettabile” basata sul contenuto e sul contesto della domanda*:

‘[L]a proliferazione di concettualizzazioni alternative e l’uso diffuso di metodi di annotazione semplicistici sono probabilmente ostacolando i progressi della ricerca sul discorso d’odio online. Ad esempio, Ross e altri hanno trovato che mostrare la definizione di condotta odiosa di Twitter agli annotatori li ha portati a allineare parzialmente le proprie opinioni con la definizione. Questo allineamento ha portato a una bassa attendibilità inter-annotatore delle annotazioni.’

* La mia conversione delle citazioni in linea del documento in collegamenti ipertestuali.

Pubblicato il 13 dicembre 2021 – Aggiornato il 18 dicembre 2021: Aggiunti tag