MINT-1T: Scalare i dati multimodali open-source di 10 volte

La formazione di grandi modelli multimodali (LMM) richiede dataset su larga scala con sequenze di immagini e testo in forma libera. Sebbene i LMM open-source si siano evoluti rapidamente, c’è ancora una grave carenza di dataset multimodali intercalati su larga scala che sono open-source. L’importanza di questi dataset non può essere esagerata, poiché costituiscono la base per la creazione di sistemi di intelligenza artificiale avanzati in grado di comprendere e generare contenuti in diverse modalità. Senza un’adeguata fornitura di dataset intercalati completi, il potenziale per lo sviluppo di LMM più sofisticati e capaci è notevolmente limitato. Questi dataset consentono ai modelli di apprendere da una vasta gamma di input, rendendoli più versatili ed efficaci in vari applicazioni. Inoltre, la scarsità di tali dataset rappresenta una sfida per la comunità open-source, che si basa su risorse condivise per guidare l’innovazione e la collaborazione.

I LMM open-source hanno fatto notevoli progressi negli ultimi anni, ma la loro crescita è ostacolata dalla limitata disponibilità di dataset multimodali intercalati su larga scala. Per superare questo ostacolo, sono necessari sforzi concertati per curare, annotare e rilasciare dataset più completi che possano supportare lo sviluppo e il perfezionamento continuo dei modelli multimodali. Inoltre, la creazione e la diffusione di questi dataset comportano la superazione di diverse sfide tecniche e logistiche. La raccolta dei dati deve essere estensiva e rappresentativa dei diversi contesti in cui i LMM saranno impiegati. L’annotazione richiede una attenta considerazione per garantire che le sequenze intercalate di immagini e testo siano allineate in modo da potenziare le capacità di apprendimento del modello. Inoltre, garantire che i dataset siano open-source comporta la gestione di considerazioni legate alla privacy dei dati e ai diritti di utilizzo. L’ampliamento della disponibilità di dataset multimodali intercalati di alta qualità e su larga scala è essenziale per il futuro della ricerca e dello sviluppo dell’intelligenza artificiale. Affrontando la scarsità attuale, la comunità dell’intelligenza artificiale può favorire una maggiore innovazione e collaborazione, portando alla creazione di LMM più potenti e versatili in grado di affrontare problemi complessi e reali.

Sviluppando questo concetto, MINT-1T è il più grande e diversificato dataset multimodale intercalato open-source fino ad oggi. MINT-1T: una scala 10 volte più grande, che include un trilione di token di testo e 3,4 miliardi di immagini rispetto ai dataset open-source esistenti. Il dataset MINT-1T introduce anche nuove fonti non esposte in precedenza, come i file PDF e gli articoli di ArXiv. Poiché i dataset multimodali intercalati non si scalano facilmente, è importante che il dataset MINT-1T condivida il processo di cura dei dati in modo che gli altri possano anche eseguire esperimenti su tali varianti ricche di informazioni. Il dataset MINT-1T dimostra che il suo metodo; i modelli di linguaggio trainati su MINT-1T sono competitivi (sebbene in qualche modo) con lo stato dell’arte precedente OBELICS.

MINT-1T: un dataset multimodale con un trilione di token

I grandi dataset di pre-training open-source sono stati fondamentali per la comunità di ricerca nell’esplorazione dell’ingegneria dei dati e nella formazione di modelli open-source trasparenti. Nel dominio del testo, lavori precoci come C4 e The Pile hanno svolto un ruolo cruciale nell’abilitare la comunità a formare i primi modelli di linguaggio open-source di grandi dimensioni come GPT-J, GPT-Neo e altri. Questi sforzi fondamentali hanno anche aperto la strada a miglioramenti successivi nei metodi di filtraggio dei dati e di scalabilità. Allo stesso modo, nello spazio immagine-testo, i grandi dataset open-source hanno stimolato innovazioni nei metodi di cura dei dati, come le reti di filtraggio dei dati e T-MARS. C’è un cambiamento evidente dai laboratori di frontiera verso la formazione di grandi modelli multimodali (LMM) che richiedono estensivi dataset multimodali intercalati composti da sequenze di immagini e testo in forma libera. Mentre le capacità dei modelli di frontiera avanzano rapidamente, si sta creando un divario significativo nei dati di training multimodali tra i modelli chiusi e quelli open-source. I dataset multimodali intercalati open-source attuali sono più piccoli e meno diversificati rispetto ai loro omologhi solo testo, essendo principalmente derivati da documenti HTML, il che limita la larghezza e la varietà dei dati. Questa limitazione ostacola lo sviluppo di LMM open-source robusti e crea una disparità tra le capacità dei modelli chiusi e quelli open-source.

Per affrontare questo divario, MINT-1T è stato creato come il più grande e diversificato dataset multimodale intercalato open-source fino ad oggi. MINT-1T contiene un totale di un trilione di token di testo e tre miliardi di immagini, derivati da origini diverse come HTML, PDF e ArXiv. Prima di MINT-1T, il più grande dataset open-source in questo settore era OBELICS, che includeva 115 miliardi di token di testo e 353 milioni di immagini, tutti derivati da HTML.

I contributi di MINT-1T sono i seguenti:

• Ingegneria dei dati: La scalabilità di questi dati multimodali intercalati presenta più una sfida di ingegneria che la costruzione di dataset solo testo o di coppie immagine-testo. Gestire dimensioni di documenti più grandi e preservare l’ordine originale di immagini e testo è cruciale.
• Diversità: MINT-1T è il primo nello spazio dei dataset multimodali intercalati a raccogliere documenti multimodali di alta qualità su larga scala da fonti come i file PDF di CommonCrawl e gli articoli di ArXiv.
• Eserimenti del modello: Gli esperimenti mostrano che i LMM trainati su MINT-1T non solo eguagliano ma potenzialmente superano le prestazioni dei modelli trainati sul miglior dataset open-source esistente, OBELICS, offrendo al contempo un aumento di scala di dieci volte.

MINT-1T: costruzione del dataset

MINT-1T cura un dataset open-source su larga scala che utilizza fonti più diverse di documenti intercalati, come i file PDF e gli articoli di ArXiv. Questa sezione descrive i metodi di MINT-1T per la raccolta di documenti multimodali, il filtraggio di contenuti di bassa qualità, la deduplicazione dei dati e la rimozione di materiale non adatto al lavoro o indesiderabile. Il dataset finale comprende 922 miliardi di token HTML, 106 miliardi di token PDF e 9 miliardi di token ArXiv.

Raccolta di grandi quantità di documenti multimodali

Pipeline HTML

MINT-1T segue il metodo di OBELICS per estrarre documenti multimodali intercalati da file WARC di CommonCrawl analizzando l’albero DOM di ogni voce WARC. Mentre OBELICS ha elaborato solo documenti da febbraio 2020 a febbraio 2023 dei dump di CommonCrawl, MINT-1T ha esteso la raccolta di documenti per includere documenti HTML da maggio 2017 ad aprile 2024 (con dump completi da ottobre 2018 ad aprile 2024 e dump parziali degli anni precedenti). Allo stesso modo di OBELICS, MINT-1T filtra i documenti che non contengono immagini, più di trenta immagini o immagini con URL che includono sottosttringhe inadeguate come logo, avatar, porn o xxx.

Pipeline PDF

MINT-1T ottiene documenti PDF da file WAT di CommonCrawl dai dump di febbraio 2023 ad aprile 2024. Inizialmente, tutti i collegamenti a PDF vengono estratti da questi dump. MINT-1T tenta quindi di scaricare e leggere i PDF utilizzando PyMuPDF, scartando i PDF oltre 50 MB (probabilmente contenenti grandi immagini) e quelli oltre 50 pagine. Le pagine senza testo vengono escluse e si stabilisce un ordine di lettura per le pagine rimanenti. L’ordine di lettura viene determinato trovando il rettangolo di delimitazione di tutti i blocchi di testo in una pagina, raggruppando i blocchi in base alle colonne e ordinandoli da sinistra in alto a destra in basso. Le immagini vengono integrate nella sequenza in base alla loro vicinanza ai blocchi di testo nella stessa pagina.

Pipeline ArXiv

MINT-1T costruisce documenti intercalati di ArXiv dal codice sorgente LaTeX utilizzando TexSoup per trovare le etichette delle figure e intercalare le immagini con il testo dell’articolo. Per articoli multi-file, MINT-1T identifica il file principale Tex e sostituisce le etichette di input con il contenuto dei suoi file. Il codice LaTeX viene pulito rimuovendo le importazioni, la bibliografia, le tabelle e le etichette di citazione. Poiché ArXiv è già una fonte di dati altamente curata, non vengono eseguite ulteriori operazioni di filtraggio e deduplicazione.

Filtraggio della qualità del testo

MINT-1T evita di utilizzare euristica basata sui modelli per il filtraggio del testo, seguendo le pratiche stabilite da RefinedWeb, Dolma e FineWeb. Inizialmente, vengono eliminati i documenti non in inglese utilizzando il modello di identificazione linguistica Fasttext (con una soglia di confidenza di 0,65). Vengono rimossi i documenti con URL che contengono sottosttringhe NSFW per escludere contenuti pornografici e indesiderabili. Vengono applicati metodi di filtraggio del testo da RefinedWeb, in particolare rimuovendo documenti con eccessivi n-grammi duplicati o identificati come di bassa qualità utilizzando le regole di MassiveText.

Filtraggio delle immagini

Dopo la cura dei PDF e dei file HTML, MINT-1T tenta di scaricare tutti gli URL delle immagini nel set di dati HTML, scartando i collegamenti non recuperabili e rimuovendo i documenti senza collegamenti di immagini validi. Le immagini più piccole di 150 pixel vengono scartate per evitare immagini rumorose come i loghi e le icone, e le immagini più grandi di 20.000 pixel vengono rimosse poiché di solito corrispondono a immagini fuori tema. Per i documenti HTML, le immagini con un rapporto di aspetto maggiore di due vengono rimosse per filtrare le immagini di bassa qualità come le banner pubblicitarie. Per i PDF, la soglia viene regolata a tre per preservare le figure scientifiche e le tabelle.

La figura sopra rappresenta come MINT-1T include in modo unico dati da PDF e articoli di ArXiv oltre alle fonti HTML.

Filtraggio della sicurezza

• Filtraggio delle immagini NSFW: MINT-1T applica un rilevatore di immagini NSFW a tutte le immagini del dataset. Se un documento contiene una singola immagine NSFW, l’intero documento viene scartato.
• Rimozione delle informazioni personali: per mitigare il rischio di perdita di dati personali, gli indirizzi email e gli indirizzi IP nei dati testuali vengono resi anonimi. Gli indirizzi email vengono sostituiti con modelli come “[email protected]” e gli IP con indirizzi IP non funzionali generati casualmente.

Deduplicazione

MINT-1T esegue la deduplicazione dei paragrafi e dei documenti all’interno di ogni snapshot di CommonCrawl e la deduplicazione delle immagini per rimuovere immagini ripetitive e non informative come icone e loghi. Tutti i passaggi di deduplicazione vengono eseguiti separatamente per ogni fonte di dati.

Deduplicazione dei paragrafi e dei documenti

Seguendo la metodologia di Dolma, MINT-1T utilizza un filtro di Bloom per la deduplicazione efficiente del testo, impostando il tasso di falsi positivi su 0,01 e deduplicando paragrafi di 13 grammi (indicati da delimitatori di newline doppio) da ogni documento. Se più dell’80% dei paragrafi di un documento sono duplicati, l’intero documento viene scartato.

Rimozione del testo boilerplate comune

Dopo la deduplicazione dei paragrafi, MINT-1T rimuove le frasi di testo boilerplate comuni nei documenti HTML, come “Vai al contenuto” o “Archivio del blog”. Ciò viene fatto eseguendo la deduplicazione dei paragrafi esatti sul 2% di ogni snapshot di CommonCrawl, in linea con le pratiche di CCNet, garantendo principalmente la rimozione del testo boilerplate comune.

La figura sopra dimostra il processo di filtraggio per MINT-1T e mostra come i token vengono rimossi lungo la pipeline dei dati per HTML, PDF e articoli di ArXiv.

Deduplicazione delle immagini

All’interno di ogni snapshot di CommonCrawl, MINT-1T rimuove le immagini che si verificano frequentemente in base agli hash SHA256. Piuttosto che una deduplicazione rigorosa, solo le immagini che appaiono più di dieci volte all’interno di uno snapshot vengono rimosse, seguendo le pratiche di Multimodal-C4. Coerentemente con OBELICS, le immagini ripetute all’interno di un singolo documento vengono rimosse, mantenendo solo la prima occorrenza.

Infrastruttura

Durante l’elaborazione dei dati, MINT-1T ha avuto accesso a una media di 2.350 core CPU da un mix di nodi da 190 e 90 processori. Complessivamente, sono stati utilizzati circa 4,2 milioni di ore di CPU per costruire questo dataset.

Confronto della composizione dei documenti in MINT-1T con OBELICS

Nella valutazione della composizione dei dataset intercalati, due caratteristiche chiave vengono esaminate: la distribuzione dei token di testo per documento e il numero di immagini per documento. Per questo analisi, 50.000 documenti sono stati campionati casualmente da OBELICS e da ogni fonte di dati in MINT-1T. Il tokenizer di GPT-2 è stato utilizzato per calcolare il numero di token di testo. Gli outlier sono stati rimossi escludendo i documenti che cadevano al di fuori dell’intervallo interquartile di 1,5 per il numero di token di testo e immagini. Come mostrato nella figura seguente, il sottoinsieme HTML di MINT-1T si allinea strettamente con la distribuzione dei token vista in OBELICS. Tuttavia, i documenti derivati da PDF e ArXiv tendono ad essere più lunghi dei documenti HTML in media, evidenziando i vantaggi della raccolta di dati da fonti diverse. La figura 5 esamina la densità delle immagini in tutti i documenti, rivelando che i PDF e gli articoli di ArXiv contengono più immagini rispetto ai documenti HTML, con gli esempi di ArXiv che sono i più densi di immagini.

COME le diverse fonti di dati migliorano la diversità dei documenti?

Una motivazione importante per ampliare la raccolta di documenti multimodali oltre gli HTML è il miglioramento della copertura dei domini. Per quantificare la diversità e la profondità di questa copertura, un modello LDA è stato addestrato su 100.000 documenti campionati dal dataset OBELICS, dal sottoinsieme HTML di MINT-1T e dal sottoinsieme PDF (escluso ArXiv) di MINT-1T per ottenere 200 argomenti. GPT-4 è stato utilizzato per classificare l’insieme di parole per identificare i domini dominanti – come Salute e Medicina, Scienza, Business, Umanità, Storia, ecc. – in base ai domini MMMU. L’analisi rivela tendenze distinte nella distribuzione dei domini:

• OBELICS: Questo dataset mostra una concentrazione pronunciata nelle “Umanità e Scienze Sociali”. Ciò può essere attribuito al suo processo di costruzione dei dati, che include il filtraggio dei documenti che non assomigliano agli articoli di Wikipedia, alterando così la distribuzione verso contenuti di conoscenza generale e umanistici.
• Sottoinsieme HTML di MINT-1T: A differenza di OBELICS, il sottoinsieme HTML di MINT-1T non è fortemente distorto verso un particolare dominio, suggerendo una rappresentazione dei domini più ampia e più equilibrata.
• Sottoinsieme PDF di MINT-1T: C’è una maggiore proporzione di documenti di “Scienza e Tecnologia” all’interno dei documenti PDF di MINT-1T. Ciò è probabilmente dovuto alla natura della comunicazione scientifica, dove i PDF sono il formato preferito per la condivisione di articoli di ricerca dettagliati e rapporti tecnici.

MINT-1T: risultati e esperimenti

Per tutti gli esperimenti, MINT-1T addestra il modello sul 50% dei lotti di didascalie di immagini e testo e sul 50% dei lotti di documenti intercalati multimodali. Un massimo di 2048 token multimodali viene campionato da ogni documento intercalato e 340 token da ogni esempio di immagine e testo. Allo stesso modo di Flamingo, un token “end” viene aggiunto per indicare la fine di una sequenza di immagine e testo adiacente. Durante l’addestramento, il 50% dei documenti intercalati con una sola immagine vengono scartati casualmente per campionare i documenti con più immagini. Il dataset di immagine e testo è composto da una miscela di dataset di didascalie internamente curati. La capacità del modello di ragionare su sequenze multimodali intercalate viene valutata attraverso le sue capacità di apprendimento in contesto e le prestazioni di ragionamento su più immagini.

La figura sopra illustra la percentuale di documenti da ogni dominio in MMMU per OBELICS e sottinsiemi di MINT-1T.

Apprendimento in contesto: I modelli vengono valutati sulle prestazioni di apprendimento in contesto a quattro e otto shot su vari benchmark di didascalie (COCO (test di Karpathy) e TextCaps (validazione)) e dataset di risposta a domande visive (VQAv2 (validazione), OK-VQA (validazione), TextVQA (validazione) e VizWiz (validazione)). Le dimostrazioni vengono campionate casualmente dal set di addestramento. I punteggi vengono mediati su più esecuzioni di valutazione, con dimostrazioni casuali per tenere conto della sensibilità ai prompt scelti. Vengono ablati diversi prompt per ogni attività per selezionare quelli con le migliori prestazioni.

Ragionamento su più immagini: I modelli vengono valutati su MMMU (contenente sia domande a immagine singola che multi-immagine) e Mantis-Eval (tutte domande multi-immagine) per testare le capacità di ragionamento su più immagini oltre alle valutazioni dell’apprendimento in contesto.

Addestramento su documenti HTML

Inizialmente, la porzione HTML di MINT-1T viene confrontata con OBELICS, poiché OBELICS è il dataset intercalato principale precedente, anch’esso curato da documenti HTML. Due modelli vengono addestrati sulle porzioni HTML di MINT-1T e OBELICS per un totale di 10 miliardi di token multimodali. Le loro prestazioni di apprendimento in contesto vengono valutate. La tabella seguente presenta le prestazioni a quattro e otto shot su benchmark comuni; il modello addestrato sui documenti HTML di MINT-1T si esibisce meglio di OBELICS sui compiti VQA ma peggio sui benchmark di didascalie. In media, OBELICS si esibisce leggermente meglio di MINT-1T (HTML).

Aggiunta di documenti PDF e ArXiv

Successivamente, l’addestramento viene condotto sulle fonti di dati complete di MINT-1T, con una miscela di documenti HTML, PDF e ArXiv. I documenti intercalati vengono campionati con il 50% da HTML, il 45% da PDF e il 5% da ArXiv. Il modello viene addestrato per un totale di 10 miliardi di token multimodali. Come mostrato nella tabella sopra, il modello addestrato sulla miscela completa dei dati di MINT-1T supera OBELICS e MINT-1T (HTML) nella maggior parte dei benchmark di apprendimento in contesto. Su benchmark di ragionamento multimodale più complessi, il modello MINT-1T supera OBELICS su MMMU ma si esibisce peggio su Mantis-Eval.

Tendenze fine-grane

COME le prestazioni di apprendimento in contesto scalano con le dimostrazioni?

Le prestazioni di apprendimento in contesto vengono valutate quando viene fornito con una o otto dimostrazioni. Un singolo tentativo per ogni shot count viene eseguito per ogni benchmark di valutazione. Come mostrato nella figura seguente, il modello addestrato su MINT-1T supera il modello addestrato sul sottoinsieme HTML di MINT-1T e OBELICS in tutti gli shot. Il modello MINT-1T (HTML) si esibisce leggermente peggio di OBELICS.

Prestazioni su attività di didascalie e risposta a domande visive

La figura seguente presenta le prestazioni medie di apprendimento in contesto su benchmark di didascalie e risposta a domande visive (VQA). OBELICS supera tutte le varianti di MINT-1T sui benchmark di didascalie a quattro shot e si esibisce leggermente peggio rispetto a MINT-1T sugli benchmark di didascalie a otto shot. Tuttavia, MINT-1T supera notevolmente entrambi i benchmark di VQA. MINT-1T (HTML) supera anche OBELICS sui compiti VQA.

Prestazioni su diversi domini

L’inclusione di diversi domini in MINT-1T è finalizzata a migliorare la generalizzazione del modello. La figura precedente suddivide le prestazioni su MMMU per ogni dominio. Ad eccezione del dominio Business, MINT-1T supera OBELICS e MINT-1T (HTML). L’aumento delle prestazioni nei domini Scienza e Tecnologia per MINT-1T è attribuito alla prevalenza di questi domini nei documenti di ArXiv e PDF.

Pensieri finali

In questo articolo abbiamo parlato di MINT-1T, il più grande e diversificato dataset multimodale intercalato open-source fino ad oggi. MINT-1T: una scala 10 volte più grande, che include un trilione di token di testo e 3,4 miliardi di immagini rispetto ai dataset open-source esistenti. Il dataset MINT-1T introduce anche nuove fonti non esposte in precedenza, come i file PDF e gli articoli di ArXiv. Poiché i dataset multimodali intercalati non si scalano facilmente, è importante che il dataset MINT-1T condivida il processo di cura dei dati in modo che gli altri possano anche eseguire esperimenti su tali varianti ricche di informazioni. Il dataset MINT-1T dimostra che il suo metodo; i modelli di linguaggio trainati su MINT-1T sono competitivi (sebbene in qualche modo) con lo stato dell’arte precedente OBELICS.