MINT-1T: Skalerer åpne kilde multimodale data med 10x

Trening av store multimodale modeller (LMM) krever store skala datasett med sammenflettede sekvenser av bilder og tekst i fri form. Selv om åpne kilde LMM har utviklet seg raskt, finnes det fortsatt en stor mangel på multimodale sammenflettede datasett i skala som er åpne kilde. Viktigheten av disse datasett kan ikke overdrives, da de utgjør grunnlaget for å lage avanserte AI-systemer som kan forstå og generere innhold på tvers av ulike modi. Uten en tilstrekkelig forsyning av omfattende og sammenflettede datasett, er potensialet for å utvikle mer avanserte og kapable LMM betydelig hemmet. Disse datasett gjør det mulig for modellene å lære fra en mangfoldig rekke innlinger, noe som gjør dem mer allsidige og effektive i ulike anvendelser. Videre utgjør mangel på slike datasett en utfordring for åpne kilde-samfunnet, som avhenger av felles ressurser for å drive innovasjon og samarbeid.

Åpne kilde LMM har gjort betydelige fremskritt i de siste årene, men deres vekst er hemmet av den begrensede tilgjengeligheten av store skala, sammenflettede datasett. For å overvinne dette hindret, er samordnede innsats nødvendig for å kurere, annotere og utgi mer omfattende datasett som kan støtte den pågående utviklingen og finpussingen av multimodale modeller. I tillegg innebærer skapingen og spredningen av disse datasett å overvinne flere tekniske og logistiske hindre. Datainnsamling må være omfattende og representativ for de ulike kontekstene hvor LMM vil bli utbredt. Annotering krever omsorg for å sikre at de sammenflettede sekvensene av bilder og tekst er justert på en måte som forbedrer modellens læringsmuligheter. Videre medfører å sikre at datasett er åpne kilde å håndtere juridiske og etiske overveielser relatert til datapersonvern og brukerrettigheter. Utvidelsen av tilgjengeligheten av høykvalitets, store skala multimodale sammenflettede datasett er essensiell for fremtiden til AI-forskning og utvikling. Ved å håndtere den nåværende mangel, kan AI-samfunnet fremme større innovasjon og samarbeid, noe som fører til skapingen av mer kraftfulle og allsidige LMM i stand til å takle komplekse, virkelige problemer.

Byggende på denne bemerkningen, MINT-1T, det største og mest diverse multimodale sammenflettede åpne kilde datasett til dags dato. MINT-1T: En 10x større skala, inkludert en billion teksttokene og 3,4 milliarder bilder enn eksisterende åpne kilde datasett. MINT-1T datasett introduserer også aldri eksponerte kilder som PDF-filer og ArXiv-papirer. Ettersom multimodale sammenflettede datasett ikke skalerer lett, er det viktig at MINT-1T datasett deler datakureringprosessen så andre også kan utføre eksperimenter på slike informasjonsrike varianter. MINT-1T datasett demonstrerer at dens metode; LM-modeller trent på MINT-1T er konkurrerende (om enn noe) til tidligere stat-of-the-art OBELICS.

MINT-1T: Et Multimodalt Dataset med En Billion Token

Store åpne kilde forhånds-trening datasett har vært avgjørende for forskningssamfunnet i å utforske dataingeniørarbeid og trening av transparente, åpne kilde modeller. I tekstdomenet, tidlige arbeider som C4 og The Pile spilte avgjørende roller i å muliggjøre samfunnet å trene det første settet åpne kilde store språkmodeller som GPT-J, GPT-Neo og andre. Disse grunnleggende innsatsene åpnet også vei for påfølgende forbedringer i datafiltreringsmetoder og skaleringsmuligheter. Liknende, i bilde-tekst rommet, store åpne kilde datasett har fremmet innovasjoner i bedre datakurering metoder, som Data filtreringsnettverk og T-MARS. Det er en merkbart skift fra frontier lab til trening av store multimodale modeller (LMM) som krever omfattende multimodale sammenflettede datasett bestående av frie sekvenser av bilder og tekst. Ettersom evnene til frontier modeller utvikler seg raskt, oppstår det en betydelig gap i multimodal trening data mellom lukkede og åpne kilde modeller. Nåværende åpne kilde multimodale sammenflettede datasett er mindre og mindre diverse enn deres tekst-bare motparter, hovedsakelig hentet fra HTML-dokumenter, noe som begrenser bredde og variasjon av data. Denne begrensningen hemmer utviklingen av robuste åpne kilde LMM og skaper en ulikhet mellom evnene til åpne og lukkede kilde modeller.

… (rest of the translation remains the same, following the exact structure and format as the original)