MINT-1T: Skalierung von Open-Source-Multimodal-Daten um das 10-fache

Das Training von großen multimodalen Modellen (LMMs) erfordert große Datenmengen mit ineinander verflochtenen Sequenzen von Bildern und Texten in freier Form. Obwohl Open-Source-LMMs rasch fortgeschritten sind, fehlt es immer noch an großen, offengelegten multimodalen Datenmengen, die ineinander verflochtene Sequenzen von Bildern und Texten enthalten. Die Bedeutung dieser Datenmengen kann nicht überbetont werden, da sie die Grundlage für die Erstellung fortschrittlicher KI-Systeme bilden, die in der Lage sind, Inhalte in verschiedenen Modalitäten zu verstehen und zu generieren. Ohne eine ausreichende Menge umfassender, ineinander verflochtener Datenmengen ist das Potenzial für die Entwicklung noch leistungsfähigerer und vielseitigerer LMMs erheblich eingeschränkt. Diese Datenmengen ermöglichen es Modellen, aus einer Vielzahl von Eingaben zu lernen, was sie in verschiedenen Anwendungen effektiver und vielseitiger macht. Darüber hinaus stellt die Knappheit solcher Datenmengen eine Herausforderung für die Open-Source-Community dar, die auf gemeinsam genutzte Ressourcen angewiesen ist, um Innovation und Zusammenarbeit zu fördern.

Open-Source-LMMs haben in den letzten Jahren große Fortschritte gemacht, aber ihr Wachstum wird durch die begrenzte Verfügbarkeit großer, ineinander verflochtener Datenmengen behindert. Um dieses Hindernis zu überwinden, sind konzentrierte Anstrengungen erforderlich, um umfassendere Datenmengen zu kuratieren, zu annotieren und zu veröffentlichen, die die weitere Entwicklung und Verfeinerung multimodaler Modelle unterstützen können. Darüber hinaus erfordert die Erstellung und Verbreitung dieser Datenmengen die Überwindung mehrerer technischer und logistischer Hürden. Die Datensammlung muss umfassend und repräsentativ für die verschiedenen Kontexte sein, in denen LMMs eingesetzt werden. Die Annotation erfordert sorgfältige Überlegung, um sicherzustellen, dass die ineinander verflochtenen Sequenzen von Bildern und Texten auf eine Weise ausgerichtet sind, die die Lernfähigkeit des Modells verbessert. Darüber hinaus erfordert die Sicherstellung, dass die Datenmengen Open-Source sind, die Berücksichtigung von rechtlichen und ethischen Aspekten im Zusammenhang mit Datenschutz und Nutzungsrechten. Die Erhöhung der Verfügbarkeit von hochwertigen, großen multimodalen Datenmengen ist für die Zukunft der KI-Forschung und -Entwicklung von entscheidender Bedeutung. Durch die Bekämpfung der aktuellen Knappheit kann die KI-Community eine größere Innovation und Zusammenarbeit fördern, was zu der Erstellung noch leistungsfähigerer und vielseitigerer LMMs führt, die in der Lage sind, komplexe, reale Probleme zu lösen.

MINT-1T, die größte und vielfältigste offengelegte multimodale Datenmenge, umfasst eine Billion Texttoken und 3,4 Milliarden Bilder, die aus verschiedenen Quellen wie HTML, PDFs und ArXiv stammen. Da multimodale Datenmengen nicht leicht skaliert werden können, ist es wichtig, dass die MINT-1T-Datenmenge den Datencurierungsprozess teilt, damit andere auch Experimente mit solchen informationsreichen Varianten durchführen können. Die MINT-1T-Datenmenge zeigt, dass ihre Methode leistungsfähig ist; LMMs, die auf MINT-1T trainiert werden, sind wettbewerbsfähig (wenn auch ein wenig) mit den bisherigen State-of-the-Art-Modellen von OBELICS.

MINT-1T: Eine Multimodale Datenmenge mit einer Billion Token

Große offengelegte Vortrainingsdatenmengen haben für die Forschungsgemeinschaft eine wichtige Rolle bei der Erforschung von Datenengineering und der Ausbildung transparenter, offengelegter Modelle gespielt. Im Textbereich haben frühe Arbeiten wie C4 und The Pile eine wichtige Rolle bei der Ermöglichung der Ausbildung der ersten offengelegten großen Sprachmodelle wie GPT-J, GPT-Neo und anderen gespielt. Diese grundlegenden Bemühungen haben auch den Weg für nachfolgende Verbesserungen bei der Datenfilterung und Skalierung geebnet. Ähnlich verhält es sich im Bild-Text-Bereich, wo große offengelegte Datenmengen Innovationen bei der Datenkuratierung wie Datenfilternetzwerken und T-MARS gefördert haben. Es gibt einen bemerkenswerten Trend weg von Frontier-Labs hin zu der Ausbildung großer multimodaler Modelle (LMMs), die umfassende multimodale Datenmengen erfordern, die aus ineinander verflochtenen Sequenzen von Bildern und Texten in freier Form bestehen. Da die Fähigkeiten von Frontier-Modellen rasch voranschreiten, entsteht eine signifikante Lücke bei den multimodalen Trainingsdaten zwischen geschlossenen und offengelegten Modellen. Aktuelle offengelegte multimodale Datenmengen sind kleiner und weniger vielfältig als ihre Text-only-Gegenstücke und stammen hauptsächlich aus HTML-Dokumenten, was die Breite und Vielfalt der Daten einschränkt. Diese Einschränkung behindert die Entwicklung robuster offengelegter LMMs und schafft eine Diskrepanz zwischen den Fähigkeiten von offenen und geschlossenen Modellen.

Um diese Lücke zu schließen, wurde MINT-1T als größte und vielfältigste offengelegte multimodale Datenmenge erstellt. MINT-1T umfasst insgesamt eine Billion Texttoken und drei Milliarden Bilder, die aus verschiedenen Quellen wie HTML, PDFs und ArXiv stammen. Vor MINT-1T war die größte offengelegte Datenmenge in diesem Bereich OBELICS, die 115 Milliarden Texttoken und 353 Millionen Bilder umfasste, die alle aus HTML stammten.

Die Beiträge von MINT-1T sind wie folgt:

• Dateningenieurwesen: Das Skalieren dieser multimodalen Datenmengen stellt eine größere Herausforderung dar als die Erstellung von Text-only- oder Bild-Text-Paar-Datenmengen. Die Bewältigung viel größerer Dokumentgrößen und die Erhaltung der ursprünglichen Reihenfolge von Bildern und Texten ist von entscheidender Bedeutung.
• Vielfalt: MINT-1T ist die erste Datenmenge im multimodalen Bereich, die hochwertige multimodale Dokumente in großem Umfang aus Quellen wie CommonCrawl-PDFs und ArXiv sammelt.
• Modell-Experimente: Experimente zeigen, dass LMMs, die auf MINT-1T trainiert werden, nicht nur mit den Leistungen von Modellen, die auf den besten vorhandenen offengelegten Datenmengen trainiert werden, mithalten, sondern diese sogar übertreffen, während sie eine zehnfache Skalierung bieten.

MINT-1T: Konstruktion der Datenmenge

MINT-1T kuratiert eine große offengelegte Datenmenge, die eine Vielzahl von Quellen für ineinander verflochtene Dokumente wie PDFs und ArXiv-Papiere nutzt. Dieser Abschnitt beschreibt MINT-1T’s Methoden für die Beschaffung multimodaler Dokumente, die Filterung von minderwertigen Inhalten, die Deduplizierung von Daten und die Entfernung von nicht sicheren oder unerwünschten Materialien. Die endgültige Datenmenge umfasst 922 Milliarden (B) HTML-Tokens, 106B PDF-Tokens und 9B ArXiv-Tokens.

Beschaffung großer Mengen an multimodalen Dokumenten

HTML-Pipeline

MINT-1T folgt OBELICS’ Methode für die Extraktion von ineinander verflochtenen multimodalen Dokumenten aus CommonCrawl-WARC-Dateien, indem sie jeden WARC-Eintrag parsen. Während OBELICS nur Dokumente aus den CommonCrawl-Dumps von Februar 2020 bis Februar 2023 verarbeitet, hat MINT-1T den Dokumentenpool erweitert, um HTML-Dokumente aus den Dumps von Mai 2017 bis April 2024 (mit vollständigen Dumps von Oktober 2018 bis April 2024 und teilweisen Dumps aus früheren Jahren) zu umfassen. Ähnlich wie OBELICS filtert MINT-1T Dokumente aus, die keine Bilder enthalten, mehr als dreißig Bilder oder Bilder mit URLs, die unangemessene Substrings wie Logo, Avatar, Porn oder xxx enthalten.

PDF-Pipeline

MINT-1T bezieht PDF-Dokumente aus CommonCrawl-WAT-Dateien aus den Dumps von Februar 2023 bis April 2024. Zunächst werden alle PDF-Links aus diesen Dumps extrahiert. MINT-1T versucht dann, die PDFs mithilfe von PyMuPDF herunterzuladen und zu lesen, wobei PDFs über 50 MB (wahrscheinlich große Bilder enthaltend) und solche mit mehr als 50 Seiten Länge verworfen werden. Seiten ohne Text werden ausgeschlossen und eine Lesereihenfolge für die verbleibenden Seiten wird festgelegt. Die Lesereihenfolge wird durch das Finden der Begrenzungsbox aller Textblöcke auf einer Seite, das Clustern der Blöcke basierend auf Spalten und das Ordnen von oben links nach unten rechts bestimmt. Bilder werden in die Sequenz integriert, basierend auf ihrer Nähe zu Textblöcken auf der gleichen Seite.

ArXiv-Pipeline

MINT-1T erstellt ArXiv-Dokumente aus LaTeX-Quellcode, indem es TexSoup verwendet, um Figure-Tags zu finden und Bilder mit dem Text des Papiers zu verflechten. Für Mehrfachdatei-Papiere identifiziert MINT-1T die Haupt-Tex-Datei und ersetzt Input-Tags durch den Inhalt ihrer Dateien. Der LaTeX-Code wird bereinigt, indem Importe, Bibliographien, Tabellen und Zitier-Tags entfernt werden. Da ArXiv bereits eine hoch kuratierte Datenquelle ist, werden keine zusätzlichen Filter- und Deduplizierungsschritte durchgeführt.

Textqualitätsfilterung

MINT-1T vermeidet die Verwendung von modellbasierten Heuristiken für die Textfilterung und folgt den von RefinedWeb, Dolma und FineWeb etablierten Praktiken. Zunächst werden nicht-englische Dokumente mithilfe von Fasttext’s Sprachidentifizierungsmodell (mit einem Konfidenzschwellenwert von 0,65) eliminiert. Dokumente mit URLs, die NSFW-Substrings enthalten, werden ebenfalls entfernt, um pornografische und unerwünschte Inhalte auszuschließen. Textfiltermethoden von RefinedWeb werden angewendet, insbesondere das Entfernen von Dokumenten mit übermäßigen duplizierten n-Grammen oder solchen, die als minderwertig identifiziert werden, indem MassiveText-Regeln angewendet werden.

Bildfilterung

Nach der Kuratierung von PDFs und HTML-Dateien versucht MINT-1T, alle Bild-URLs in der HTML-Datenmenge herunterzuladen, nicht abrufbare Links zu entfernen und Dokumente ohne gültige Bild-Links zu entfernen. Bilder kleiner als 150 Pixel werden entfernt, um lästige Bilder wie Logos und Symbole zu vermeiden, und Bilder größer als 20.000 Pixel werden ebenfalls entfernt, da sie normalerweise nicht zum Thema gehören. Für HTML-Dokumente werden Bilder mit einem Seitenverhältnis größer als zwei entfernt, um minderwertige Bilder wie Werbebannern zu filtern. Für PDFs wird der Schwellenwert auf drei angepasst, um wissenschaftliche Abbildungen und Tabellen zu erhalten.

Das obige Bild zeigt, wie MINT-1T einzigartig Daten aus PDFs und ArXiv-Dokumenten über HTML-Quellen hinaus enthält.

Sicherheitsfilterung

• NSFW-Bildfilterung: MINT-1T wendet einen NSFW-Bild-Detektor auf alle Bilder in der Datenmenge an. Wenn ein Dokument ein einzelnes NSFW-Bild enthält, wird das gesamte Dokument entfernt.
• Entfernung personenbezogener Daten: Um das Risiko von persönlichen Datenlecks zu mindern, werden E-Mail-Adressen und IP-Adressen in den Textdaten anonymisiert. E-Mail-Adressen werden durch Vorlagen wie “[email protected]” ersetzt und IPs durch zufällig generierte nicht-funktionale IPs.

Deduplizierung

MINT-1T führt Absatz- und Dokumenttext-Deduplizierung innerhalb jeder CommonCrawl-Snapshot und Bild-Deduplizierung durch, um repetitive, uninformative Bilder wie Symbole und Logos zu entfernen. Alle Deduplizierungsschritte werden getrennt für jede Datenquelle durchgeführt.

Absatz- und Dokument-Deduplizierung

MINT-1T verwendet eine Bloom-Filter-Methode für die effiziente Text-Deduplizierung, setzt die Falsch-Positiv-Rate auf 0,01 und dedupliziert 13-Gramm-Absätze (indem Doppelzeilendelimiter verwendet werden) aus jedem Dokument. Wenn mehr als 80 % der Absätze eines Dokuments Duplikate sind, wird das gesamte Dokument entfernt.

Entfernung gemeinsamer Boilerplate-Texte

Nach der Absatz-Deduplizierung entfernt MINT-1T kurze gemeinsame Boilerplate-Sätze in HTML-Dokumenten, wie “Skip to content” oder “Blog-Archiv”. Dies geschieht durch die Anwendung von exakter Absatz-Deduplizierung auf 2 % jeder CommonCrawl-Snapshot, analog zu CCNet-Praktiken, um in erster Linie die Entfernung gemeinsamer Boilerplate-Texte sicherzustellen.

Das obige Bild zeigt den Filterprozess für MINT-1T und zeigt, wie Token während des Daten-Pipelines für HTML, PDFs und ArXiv-Papiere entfernt werden.

Bild-Deduplizierung

Innerhalb jeder CommonCrawl-Snapshot entfernt MINT-1T häufig vorkommende Bilder basierend auf SHA256-Hashes. Anstatt strikter Deduplizierung werden nur Bilder entfernt, die mehr als zehn Mal innerhalb einer Snapshot vorkommen, analog zu Multimodal-C4-Praktiken. Konsistent mit OBELICS werden wiederholte Bilder innerhalb eines Dokuments entfernt, wobei nur die erste Instanz beibehalten wird.

Infrastruktur

Während der Datenverarbeitung hatte MINT-1T Zugang zu durchschnittlich 2.350 CPU-Kernen aus einer Mischung von 190- und 90-Prozessor-Knoten. Insgesamt wurden etwa 4,2 Millionen CPU-Stunden verwendet, um diese Datenmenge zu erstellen.

Vergleich der Dokumentzusammensetzung in MINT-1T mit OBELICS

Bei der Bewertung der Zusammensetzung von ineinander verflochtenen Datenmengen werden zwei Schlüsselmerkmale untersucht: die Verteilung von Text-Tokens pro Dokument und die Anzahl von Bildern pro Dokument. Für diese Analyse wurden 50.000 Dokumente zufällig aus OBELICS und jeder Datenquelle in MINT-1T ausgewählt. GPT-2’s Tokenizer wurde verwendet, um die Anzahl der Text-Tokens zu berechnen. Ausreißer wurden entfernt, indem Dokumente ausgeschlossen wurden, die außerhalb des 1,5-fachen Interquartilsbereichs für die Anzahl von Text-Tokens und Bildern lagen. Wie in der folgenden Abbildung gezeigt, stimmt die HTML-Untermenge von MINT-1T eng mit der Token-Verteilung in OBELICS überein. Dokumente aus PDFs und ArXiv sind jedoch im Durchschnitt länger als HTML-Dokumente, was die Vorteile der Nutzung von Daten aus verschiedenen Quellen unterstreicht. Die Abbildung 5 untersucht die Bild-Dichte über alle Dokumente hinweg und zeigt, dass PDFs und ArXiv-Dokumente mehr Bilder enthalten als HTML-Dokumente, wobei ArXiv-Proben am bildreichsten sind.

Wie verbessern unterschiedliche Datenquellen die Dokumentenvielfalt?

Ein wichtiger Grund für die Erweiterung des Pools multimodaler Dokumente über HTML hinaus ist die Verbesserung der Domänenabdeckung. Um die Vielfalt und Tiefe dieser Abdeckung zu quantifizieren, wurde ein Latent-Dirichlet-Allocation-Modell (LDA) auf 100.000 Dokumenten trainiert, die aus der OBELICS-Datenmenge, der HTML-Untermenge von MINT-1T und der PDF-Untermenge (ohne ArXiv) von MINT-1T ausgewählt wurden, um 200 Themen zu erhalten. GPT-4 wurde verwendet, um die Menge der Wörter zu klassifizieren, um die dominanten Domänen wie Gesundheit & Medizin, Wissenschaft, Wirtschaft, Geisteswissenschaften, Geschichte usw. basierend auf MMMU-Domänen zu identifizieren. Die Analyse zeigt deutliche Trends in der Domänenverteilung:

• OBELICS: Diese Datenmenge zeigt eine starke Konzentration in “Geisteswissenschaften und Sozialwissenschaften”. Dies kann der Tatsache zugeschrieben werden, dass die Datenkonstruktion von OBELICS das Filtern von Dokumenten beinhaltet, die nicht wie Wikipedia-Artikel aussehen, was möglicherweise die Verteilung zu allgemeineren Kenntnissen und geisteswissenschaftlich orientierten Inhalten verschiebt.
• MINT-1T’s HTML-Untermenge: Im Gegensatz zu OBELICS ist die HTML-Untermenge von MINT-1T nicht stark zu einer bestimmten Domäne tendenziell, was auf eine breitere und ausgewogenere Domänenrepräsentation hinweist.
• MINT-1T’s PDF-Untermenge: Es gibt einen höheren Anteil von “Wissenschaft und Technologie”-Dokumenten innerhalb der PDF-Dokumente von MINT-1T. Dieser Trend ist wahrscheinlich auf die Natur der wissenschaftlichen Kommunikation zurückzuführen, bei der PDFs das bevorzugte Format für die Verbreitung detaillierter Forschungsarbeiten und technischer Berichte sind.

MINT-1T: Ergebnisse und Experimente

Für alle Experimente trainiert MINT-1T das Modell auf 50 % Bild-Text-Kapitel und 50 % multimodalen ineinander verflochtenen Batches. Ein Maximum von 2048 multimodalen Token wird aus jedem ineinander verflochtenen Dokument und 340 Token aus jedem Bild-Text-Beispiel ausgewählt. Ähnlich wie bei Flamingo wird ein “Ende”-Token hinzugefügt, um das Ende einer benachbarten Bild-Text-Sequenz anzuzeigen. Während des Trainings werden 50 % der einzelnen Bild-Dokumente zufällig entfernt, um Multi-Bild-Dokumente aufzuwerten. Die Bild-Text-Datenmenge besteht aus einer Mischung von intern kuratierten Kapitel-Datenmengen. Die Fähigkeit des Modells, über multimodale ineinander verflochtene Sequenzen zu argumentieren, wird durch seine Fähigkeiten zum Kontextlernen und seine Leistung bei der Beantwortung von Fragen zu mehreren Bildern bewertet.

Das obige Bild zeigt den Prozentsatz der Dokumente aus jeder Domäne in MMMU für OBELICS und Untermengen von MINT-1T.

Kontextuelles Lernen: Die Modelle werden auf vier-Shot- und acht-Shot-Kontextuelles Lernen auf verschiedenen Kapitel-Benchmarks (COCO (Karpathy-Test) und TextCaps (Validierung)) und visuellen Frage-Antwort-Datenmengen (VQAv2 (Validierung), OK-VQA (Validierung), TextVQA (Validierung) und VizWiz (Validierung)) getestet. Demonstrationen werden zufällig aus der Trainingsmenge ausgewählt. Die Ergebnisse werden über mehrere Bewertungsläufe gemittelt, wobei zufällig ausgewählte Demonstrationen verwendet werden, um die Empfindlichkeit gegenüber den gewählten Prompts zu berücksichtigen. Für jede Aufgabe werden verschiedene Prompts abgeklagt, um die beste Leistung zu erzielen.

Mehrbild-Argumentation: Modelle werden auf MMMU (enthält sowohl einzelne als auch mehrere Bild-Fragen) und Mantis-Eval (nur mehrere Bild-Fragen) getestet, um die Fähigkeit zur Argumentation über mehrere Bilder zu untersuchen, die über die Bewertung des Kontextlernens hinausgeht.

Training auf HTML-Dokumenten

Zunächst wird der HTML-Anteil von MINT-1T mit OBELICS verglichen, da OBELICS die vorherige führende ineinander verflochtene Datenmenge ist, die ebenfalls aus HTML-Dokumenten kuratiert wurde. Zwei Modelle werden auf den HTML-Anteil von MINT-1T und OBELICS trainiert, insgesamt 10 Milliarden multimodale Token. Ihre Leistung beim Kontextuellen Lernen wird bewertet. Die folgende Tabelle zeigt die 4-Shot- und 8-Shot-Leistung auf gemeinsamen Benchmarks; das Modell, das auf MINT-1T-HTML-Dokumenten trainiert wurde, performt besser als OBELICS auf VQA-Aufgaben, aber schlechter auf Kapitel-Benchmarks. Im Durchschnitt performt OBELICS leicht besser als MINT-1T (HTML).

Hinzufügen von PDF- und ArXiv-Dokumenten

Anschließend wird das Training auf MINT-1T’s vollständigen Datenquellen durchgeführt, mit einer Mischung aus HTML-, PDF- und ArXiv-Dokumenten. Die ineinander verflochtenen Dokumente werden mit 50 % aus HTML, 45 % aus PDFs und 5 % aus ArXiv ausgewählt. Das Modell wird insgesamt 10 Milliarden multimodale Token trainiert. Wie in der obigen Tabelle zu sehen, performt das Modell, das auf der vollständigen MINT-1T-Datenmischung trainiert wurde, besser als OBELICS und MINT-1T (HTML) auf den meisten Kontextlern-Benchmarks. Auf komplexeren multimodalen Argumentations-Benchmarks performt das MINT-1T-Modell besser als OBELICS auf MMMU, aber schlechter auf Mantis-Eval.

Feinvergrößerte Trends

Wie skaliert die Leistung des Kontextuellen Lernens mit Demonstrationen?

Die Leistung des Kontextuellen Lernens wird bewertet, wenn mit einer bis acht Demonstrationen promptet wird. Ein einzelner Versuch pro Schuss wird für jeden Bewertungsbenchmark durchgeführt. Wie in der folgenden Abbildung zu sehen, performt das auf MINT-1T trainierte Modell besser als das auf dem HTML-Anteil von MINT-1T und OBELICS trainierte Modell bei allen Schüssen. Das MINT-1T (HTML)-Modell performt leicht schlechter als OBELICS.

Leistung auf Kapitel- und visuellen Frage-Antwort-Aufgaben

Die folgende Abbildung zeigt die durchschnittliche Leistung des Kontextuellen Lernens auf Kapitel- und visuellen Frage-Antwort-Benchmarks. OBELICS performt besser als alle MINT-1T-Varianten auf vier-Shot-Kapitel-Benchmarks und performt leicht schlechter als MINT-1T auf acht-Shot-Kapitel-Benchmarks. MINT-1T performt jedoch deutlich besser als beide Baselines auf VQA-Benchmarks. MINT-1T (HTML) performt auch besser als OBELICS auf VQA-Aufgaben.

Leistung auf verschiedenen Domänen

Die Einbeziehung verschiedener Domänen in MINT-1T zielt darauf ab, die Modellgeneralisierung zu verbessern. Die Abbildung zeigt die Leistung auf MMMU für jede Domäne. Mit Ausnahme der Business-Domäne performt MINT-1T besser als OBELICS und MINT-1T (HTML). Die Leistungssteigerung in den Domänen Wissenschaft und Technologie für MINT-1T ist auf die Häufigkeit dieser Domänen in ArXiv- und PDF-Dokumenten zurückzuführen.

Schlussgedanken

In diesem Artikel haben wir über MINT-1T gesprochen, die größte und vielfältigste offengelegte multimodale ineinander verflochtene Datenmenge, die es bisher gibt. MINT-1T: Eine zehnfach größere Skalierung, einschließlich einer Billion Texttoken und 3,4 Milliarden Bilder im Vergleich zu bestehenden offengelegten Datenmengen. Die MINT-1T-Datenmenge führt auch neue, bisher unveröffentlichte Quellen wie PDF-Dateien und ArXiv-Papiere ein. Da multimodale ineinander verflochtene Datenmengen nicht leicht skaliert werden können, ist es wichtig, dass die MINT-1T-Datenmenge den Datencurierungsprozess teilt, damit andere auch Experimente mit solchen informationsreichen Varianten durchführen können. Die MINT-1T-Datenmenge zeigt, dass ihre Methode leistungsfähig ist; LMMs, die auf MINT-1T trainiert werden, sind wettbewerbsfähig (wenn auch ein wenig) mit den bisherigen State-of-the-Art-Modellen von OBELICS.