Sono peggiori dei dati di addestramento AI iper scala non curati rispetto a Internet stessa?

I ricercatori dell’Irlanda, del Regno Unito e degli Stati Uniti hanno avvertito che la crescita dei set di dati di addestramento AI iper scala minaccia di propagare i peggiori aspetti delle loro fonti internet, sostenendo che un recente set di dati accademici rilasciato presenta ‘immagini e testi espliciti e problematici di stupro, pornografia, stereotipi maligni, insulti razzisti ed etnici e altri contenuti estremamente problematici’.

I ricercatori ritengono che una nuova ondata di enormi set di dati multimodali non curati o filtrati in modo errato sia più dannosa nella sua capacità di rafforzare gli effetti di tali contenuti negativi, poiché i set di dati conservano immagini e altri contenuti che potrebbero essere stati rimossi dalle piattaforme online attraverso reclami degli utenti, moderazione locale o algoritmi.

Essi osservano inoltre che può richiedere anni – nel caso del potente set di dati ImageNet, un intero decennio – per affrontare le lamentele persistenti sul contenuto del set di dati, e che queste revisioni successive non sono sempre riflesse nemmeno nei nuovi set di dati derivati da essi.

Il documento, intitolato Set di dati multimodali: misoginia, pornografia e stereotipi maligni, proviene da ricercatori dell’University College Dublin & Lero, dell’Università di Edimburgo e del Chief Scientist della piattaforma di autenticazione UnifyID.

Sebbene il lavoro si concentri sul recente rilascio del set di dati CLIP-filtrato LAION-400M, gli autori sostengono contro la tendenza generale di lanciare sempre più dati ai framework di apprendimento automatico come il modello linguistico neurale GPT-3, e sostengono che la spinta verso migliori inferenze (e persino verso l’Intelligenza Artificiale Generale [AGI]) sta portando all’uso ad hoc di fonti di dati dannose con una sorveglianza dei diritti d’autore negligente; il potenziale di generare e promuovere danni; e la capacità di non solo perpetuare dati illegali che altrimenti potrebbero scomparire dal dominio pubblico, ma di incorporare effettivamente tali dati nei modelli di intelligenza artificiale a valle.

LAION-400M

Lo scorso mese, il set di dati LAION-400M è stato rilasciato, aggiungendosi al crescente numero di set di dati linguistici multimodali che si affidano al repository Common Crawl, che raschia internet in modo indiscriminato e passa la responsabilità di filtraggio e curation ai progetti che lo utilizzano. Il set di dati derivato contiene 400 milioni di coppie testo-immagine.

LAION-400M è una variante open source del set di dati chiuso WIT (WebImageText) di Google AI rilasciato nel marzo 2021, e presenta coppie testo-immagine, dove un’immagine nel database è stata associata a testo esplicito o metadati (ad esempio, il testo alternativo di un’immagine in una galleria web). Ciò consente agli utenti di eseguire il recupero di immagini basato su testo, rivelando le associazioni che l’intelligenza artificiale sottostante ha formato su questi domini (ad esempio ‘animale’, ‘bicicletta’, ‘persona’, ‘uomo’, ‘donna’).

Questa relazione tra immagine e testo, e la similarità del coseno che può incorporare pregiudizi nei risultati delle query, sono al centro dell’appello del documento per metodologie migliorate, poiché semplici query al database LAION-400M possono rivelare pregiudizi.

Ad esempio, l’immagine della pioniera astronauta femminile Eileen Collins nella libreria scitkit-image recupera due didascalie associate in LAION-400M: ‘Questo è un ritratto di un astronauta con la bandiera americana’ e ‘Questo è una fotografia di una casalinga sorridente in un jumpsuit arancione con la bandiera americana’.

L’astronauta americana Eileen Collins ottiene due interpretazioni molto diverse dei suoi risultati come prima donna nello spazio sotto LAION-400M. Fonte: https://arxiv.org/pdf/2110.01963.pdf

Le somiglianze del coseno riportate che rendono entrambe le didascalie probabili sono molto vicine tra loro, e gli autori sostengono che tali vicinanze renderebbero i sistemi di intelligenza artificiale che utilizzano LAION-400M relativamente probabili nel presentare entrambi come una didascalia appropriata.

Pornografia sale di nuovo in cima

LAION-400M ha reso disponibile un’interfaccia di ricerca disponibile, dove deselezionare il pulsante ‘ricerca sicura’ rivela l’estensione della dominanza di immagini e associazioni testuali pornografiche su etichette e classi. Ad esempio, la ricerca di ‘suora’ (NSFW se si disattiva successivamente la modalità sicura) nel database restituisce risultati principalmente relativi all’horror, al cosplay e ai costumi, con poche suore disponibili.

La disattivazione della modalità di ricerca sicura nella stessa ricerca rivela un gran numero di immagini pornografiche relative al termine, che spingono le immagini non pornografiche verso il basso della pagina dei risultati di ricerca, rivelando l’estensione della quale LAION-400M ha assegnato un peso maggiore alle immagini pornografiche, poiché sono prevalenti per il termine ‘suora’ nelle fonti online.

L’attivazione predefinita della modalità di ricerca sicura è ingannevole nell’interfaccia di ricerca online, poiché rappresenta una peculiarità dell’interfaccia utente, un filtro che non sarà necessariamente attivato nei sistemi di intelligenza artificiale derivati, ma che è stato generalizzato nel dominio ‘suora’ in un modo che non è così facilmente filtrabile o distinguibile dai risultati (relativamente) SFW in termini di utilizzo algoritmico.

Il documento presenta esempi oscurati attraverso vari termini di ricerca nei materiali supplementari alla fine. Non possono essere presentati qui a causa del linguaggio nel testo che accompagna le foto oscurate, ma i ricercatori notano il prezzo che l’esame e l’oscuramento delle immagini ha avuto su di loro, e riconoscono la sfida di curare tale materiale per la supervisione umana di grandi database:

‘Noi (così come i nostri colleghi che ci hanno aiutato) abbiamo sperimentato vari livelli di disagio, nausea e mal di testa durante il processo di sondaggio del set di dati. Inoltre, questo tipo di lavoro incontra in modo sproporzionato critiche negative significative nell’ambito accademico dell’intelligenza artificiale al momento del rilascio, il che non solo aggiunge un onere emotivo aggiuntivo al già impegnativo compito di studiare e analizzare tali set di dati, ma scoraggia anche lavori simili futuri, a grande detrimento del campo dell’intelligenza artificiale e della società in generale.’

I ricercatori sostengono che, mentre la curation umana nel loop è costosa e ha costi personali associati, i sistemi di filtraggio automatici progettati per rimuovere o affrontare in altro modo tale materiale non sono chiaramente adeguati al compito, poiché i sistemi di linguaggio naturale hanno difficoltà a isolare o scontare il materiale offensivo che può dominare un set di dati raschiato, e successivamente essere percepito come significativo a causa del volume.

Consacrazione di contenuti vietati e rimozione delle protezioni del diritto d’autore

Il documento sostiene che set di dati non curati di questa natura sono ‘altamente probabili’ a perpetuare lo sfruttamento di individui appartenenti a minoranze, e affronta se o meno progetti di dati open source simili abbiano il diritto, legalmente o moralmente, di scaricare la responsabilità per il materiale sull’utente finale:

‘Gli individui possono cancellare i loro dati da un sito web e supporre che siano scomparsi per sempre, mentre potrebbero ancora esistere sui server di diversi ricercatori e organizzazioni. C’è una questione su chi è responsabile per la rimozione di quei dati dall’uso nel set di dati? Per LAION-400M, i creatori hanno delegato questo compito all’utente del set di dati. Dato che tali processi sono intenzionalmente resi complessi e che l’utente medio manca della conoscenza tecnica per rimuovere i propri dati, è questo un approccio ragionevole?’

Essi sostengono inoltre che LAION-400M potrebbe non essere adatto per il rilascio sotto il modello di licenza Creative Common CC-BY 4.0 adottato, nonostante i potenziali vantaggi per la democratizzazione dei grandi set di dati, in precedenza il dominio esclusivo di società ben finanziate come Google e OpenAI.

Il dominio LAION-400M afferma che le immagini del set di dati ‘sono sotto il loro copyright’ – un meccanismo ‘pass-through’ ampiamente consentito da sentenze giudiziarie e linee guida governative degli ultimi anni che approvano in larga misura il web scraping per scopi di ricerca. Fonte: https://rom1504.github.io/clip-retrieval/

Gli autori suggeriscono che i volontari potrebbero affrontare alcuni dei problemi del set di dati, e che i ricercatori potrebbero sviluppare tecniche di filtraggio migliorate.

‘Tuttavia, i diritti del soggetto dei dati rimangono irrisolti. È imprudente e pericoloso sottovalutare i danni inerenti a tali grandi set di dati e incoraggiarne l’uso in ambienti industriali e commerciali. La responsabilità del regime di licenza sotto cui il set di dati è fornito ricade interamente sul creatore del set di dati’.

I problemi della democratizzazione dei dati iper scala

Il documento sostiene che set di dati visivo-linguistici come LAION-400M erano in precedenza indisponibili al di fuori delle grandi società tecnologiche e del numero limitato di istituti di ricerca che possiedono le risorse per raccogliere, curare e elaborare tali set di dati. Essi salutano lo spirito del nuovo rilascio, criticandone tuttavia l’esecuzione.

Gli autori sostengono che la definizione accettata di ‘democratizzazione’, come si applica ai set di dati iper scala open source, è troppo limitata, e ‘non tiene conto dei diritti, del benessere e degli interessi di individui e comunità vulnerabili, molti dei quali sono probabilmente i più colpiti dagli impatti a valle di questo set di dati e dei modelli addestrati su di esso’.

Poiché lo sviluppo di modelli open source di grandi dimensioni come GPT-3 è progettato per essere diffuso a milioni (e per procura, forse miliardi) di utenti in tutto il mondo, e poiché i progetti di ricerca possono adottare set di dati prima che vengano successivamente modificati o addirittura rimossi, perpetuando i problemi che erano stati progettati per essere affrontati nelle modifiche, gli autori sostengono che le uscite imprudenti di set di dati non curati non dovrebbero diventare una caratteristica abituale nell’apprendimento automatico open source.

Mettere il genio di nuovo nella bottiglia

Alcuni set di dati che erano stati soppressi molto tempo dopo che il loro contenuto era passato, forse inestricabilmente, in progetti di intelligenza artificiale a lungo termine, hanno incluso il set di dati Duke MTMC (Multi-Target, Multi-Camera), che è stato ritirato a causa di preoccupazioni ripetute da parte di organizzazioni per i diritti umani intorno al suo utilizzo da parte di autorità repressive in Cina; Microsoft Celeb (MS-Celeb-1M), un set di dati di 10 milioni di immagini di ‘celebrità’ che si è scoperto includere giornalisti, attivisti, responsabili politici e scrittori, il cui esposto di dati biometrici nel rilascio è stato fortemente criticato; e il set di dati Tiny Images, ritirato nel 2020 per ‘pregiudizi, immagini offensive e terminologia denigratoria’.

Riguardo ai set di dati che sono stati modificati piuttosto che ritirati a seguito di critiche, esempi includono il set di dati ImageNet, che, come notano i ricercatori, ha impiegato dieci anni (2009-2019) per agire su critiche ripetute intorno alla privacy e alle classi non immaginabili.

Il documento osserva che LAION-400M mette effettivamente questi miglioramenti tardivi indietro, ‘ignorando in larga misura’ le suddette revisioni nella rappresentazione di ImageNet nel nuovo rilascio, e individua una tendenza più ampia in questo senso*:

‘Questo è evidenziato dall’emergere di set di dati più grandi come il set di dati di immagini ML di Tencent (nel febbraio 2020) che comprende la maggior parte di queste classi non immaginabili, la continua disponibilità di modelli addestrati sul set di dati full-ImageNet-21k in repository come TF-hub, l’uso continuo del set di dati non filtrato ImageNet-21k negli ultimi modelli SotA (come il modello EfficientNetV2 di Google e il modello CoAtNet) e gli annunci espliciti che consentono l’uso del pre-addestramento non filtrato ImageNet-21k in contesti reputati come la sfida LVIS 2021.

‘Sottolineiamo questa osservazione cruciale: un team del calibro di ImageNet che gestisce meno di 15 milioni di immagini ha lottato e fallito in questi tentativi di disintossicazione finora.

‘La portata degli sforzi accurati richiesti per disintossicare completamente questo enorme set di dati multimodale e i modelli di intelligenza artificiale addestrati su questo set di dati che potrebbero coprire potenzialmente miliardi di coppie di immagini e didascalie sarà indubbiamente astronomica.’

* La mia conversione delle citazioni in linea dell’autore in collegamenti ipertestuali.