MINT-1T: توسيع البيانات متعددة الوسائط مفتوحة المصدر بعشر مرات

يتطلب تدريب نماذج متعددة الوسائط الكبيرة (LMMs) مجموعات بيانات كبيرة الحجم تحتوي على تسلسلات متداخلة من الصور والنصوص في شكل حر. على الرغم من تطور النماذج LMM مفتوحة المصدر بسرعة، لا تزال هناك نقص كبير في مجموعات بيانات متعددة الوسائط متداخلة بمقياس كبير مفتوحة المصدر. لا يمكن التقليل من أهمية هذه المجموعات البيانية، لأنها تشكل الأساس لإنشاء أنظمة ذكاء اصطناعي متقدمة قادرة على فهم وإنتاج المحتوى عبر مختلف الوسائط. بدون إمداد كافٍ من مجموعات البيانات الشاملة المتداخلة، يتم حظر إمكانية تطوير نماذج LMM أكثر تطورًا وقدرة. تمكن هذه المجموعات البيانية النماذج من التعلم من مجموعة متنوعة من المدخلات، مما يجعلها أكثر مرونة وفعالية في التطبيقات المختلفة. بالإضافة إلى ذلك، يُعتبر ندرة هذه المجموعات البيانية تحديًا للمجتمع مفتوح المصدر، الذي يعتمد على الموارد المشتركة لتحفيز الابتكار والتعاون.

لقد أحرزت النماذج LMM مفتوحة المصدر تقدمًا كبيرًا في السنوات الأخيرة، ولكن نموها معاق بتوافر مجموعات بيانات متعددة الوسائط متداخلة كبيرة الحجم. للتفوق على هذا الحاجز، هناك حاجة إلى جهود متعمدة لتحضير وتنقية وتوزيع مجموعات بيانات أكثر شمولاً يمكن دعم استمرار تطوير وتحسين نماذج متعددة الوسائط. بالإضافة إلى ذلك، يتضمن إنشاء ونشر هذه المجموعات البيانية التغلب على عقبات تقنية ولوغستية متعددة. يجب أن تكون جمع البيانات شاملاً وممثلاً لمختلف السياقات التي سيتم نشر النماذج LMM فيها. يتطلب التصنيف考虑ًا دقيقًا لضمان أن تكون التسلسلات المتداخلة من الصور والنصوص موزعة بترتيب يعزز قدرات التعلم للنموذج. علاوة على ذلك، يتضمن ضمان أن تكون المجموعات البيانية مفتوحة المصدر معالجة الاعتبارات القانونية والاخلاقية المتعلقة بخصوصية البيانات و حقوق الاستخدام. يُعتبر توسيع توافر مجموعات بيانات متعددة الوسائط متداخلة كبيرة الحجم أمرًا ضروريًا لمستقبل أبحاث الذكاء الاصطناعي وتطويرها. من خلال معالجة النقص الحالي، يمكن للمجتمع الاصطناعي تعزيز الابتكار والتعاون، مما يؤدي إلى إنشاء نماذج LMM أكثر قوة وتنوعًا قادرة على حل مشاكل حقيقية معقدة.

بناءً على ذلك، يُعتبر MINT-1T أكبر وأكثر مجموعة بيانات متعددة الوسائط متداخلة مفتوحة المصدر حتى الآن. MINT-1T: مجموعة بيانات بمقياس أكبر بعشر مرات، بما في ذلك تريليون من الرموز النصية و 3.4 مليار صورة أكثر من مجموعات البيانات مفتوحة المصدر الحالية. كما تقدم مجموعة بيانات MINT-1T مصادر غير معروضة من قبل، مثل ملفات PDF وورقات ArXiv. منذ أن لا تتمتع مجموعات البيانات متعددة الوسائط المتداخلة بسهولة للتوسيع، من المهم أن تشارك مجموعة بيانات MINT-1T عملية تنقية البيانات حتى يتمكن الآخرون من إجراء تجارب على هذه المتغيرات الغنية بالمعلومات. تُظهر مجموعة بيانات MINT-1T أن أسلوبها؛ نماذج اللغة المُدرَّبة على MINT-1T تتمتع بأداء تنافسي (على الرغم من كونها أقل قليلًا) مع نماذج OBELICS السابقة الأفضل على الإطلاق.

MINT-1T: مجموعة بيانات متعددة الوسائط مع تريليون رمز

لقد لعبت مجموعات البيانات مفتوحة المصدر دورًا حاسمًا في مجتمع البحث في مجال هندسة البيانات و تدريب النماذج مفتوحة المصدر الشفافة. في مجال النص، لعبت الأعمال الأولى مثل C4 و The Pile دورًا حاسمًا في تمكين المجتمع من تدريب أول مجموعة من نماذج اللغة الكبيرة مفتوحة المصدر مثل GPT-J و GPT-Neo وغيرها. كما مهدت هذه الجهود الأساسية الطريق لتحسينات لاحقة في أساليب تنقية البيانات وتوسيعها. بشكل مشابه، في مجال الصور والنص، أدت مجموعات البيانات مفتوحة المصدر كبيرة الحجم إلى تحفيز الابتكارات في أساليب تنقية البيانات، مثل شبكات تنقية البيانات و T-MARS. هناك تحول واضح من مختبرات الطليعة نحو تدريب نماذج متعددة الوسائط كبيرة تتطلب مجموعات بيانات متعددة الوسائط متداخلة شاملة تتكون من تسلسلات حرّة من الصور والنص. مع تقدم قدرات النماذج الطليعية بسرعة، ي出现 فجوة كبيرة في بيانات التدريب المتعددة الوسائط بين النماذج مفتوحة المصدر والمنغلق المصدر. مجموعات البيانات متعددة الوسائط متداخلة مفتوحة المصدر الحالية أصغر وأقل تنوعًا من نظيراتها النصية فقط، حيث يتم استخلاصها بشكل رئيسي من وثائق HTML، مما يحد من عمق وتنوع البيانات. هذا التحديد يعوق تطوير نماذج LMM مفتوحة المصدر قوية و يخلق تفاوتًا بين قدرات النماذج مفتوحة المصدر والمنغلق المصدر.

للتغلب على هذا الفجوة، تم إنشاء MINT-1T كأكبر وأكثر مجموعة بيانات متعددة الوسائط متداخلة مفتوحة المصدر حتى الآن. تحتوي MINT-1T على تريليون رمز نصي و 3 مليار صورة، مستمدة من مصادر متنوعة مثل HTML و PDF و ArXiv. قبل MINT-1T، كانت أكبر مجموعة بيانات مفتوحة المصدر في هذا المجال هي OBELICS، التي تضمنت 115 مليار رمز نصي و 353 مليون صورة، جميعها مستمدة من HTML.

مساهمات MINT-1T هي كما يلي:

• هندسة البيانات: يُعتبر توسيع هذه البيانات متعددة الوسائط المتداخلة تحديًا هندسيًا أكثر من بناء مجموعات بيانات نصية فقط أو أزواج صور ونص. من المهم معالجة أحجام وثائق أكبر وتحديد الترتيب الأصلي للصور والنص.
• التنوع: MINT-1T هي الأولى في مجال البيانات متعددة الوسائط المتداخلة التي تجمع وثائق متعددة الوسائط عالية الجودة بمقاييس كبيرة من مصادر مثل CommonCrawl و ArXiv.
• تجارب النماذج: تُظهر التجارب أن نماذج اللغة المُدرَّبة على MINT-1T لا تُقصر فقط عن أداء نماذج OBELICS السابقة الأفضل على الإطلاق، بل تتجاوزها في بعض الجوانب، مع تقديم زيادة بمقدار عشرة أضعاف في الحجم.

MINT-1T: بناء المجموعة البيانية

تُقوم MINT-1T بتحضير مجموعة بيانات مفتوحة المصدر كبيرة الحجم باستخدام مصادر أكثر تنوعًا لتوثيق متداخل، مثل ملفات PDF وورقات ArXiv. هذا القسم يُفصِّل أساليب MINT-1T لاستخلاص وثائق متعددة الوسائط، وتنقية المحتوى منخفض الجودة، وازالة التكرارات، وإزالة المحتوى غير المناسب.

استخلاص كميات كبيرة من الوثائق متعددة الوسائط

خط أنابيب HTML

تتبع MINT-1T أسلوب OBELICS لاستخلاص وثائق متعددة الوسائط متداخلة من ملفات WARC في CommonCrawl عن طريق تحليل شجرة DOM لكل مدخل WARC. في حين أن OBELICS قامت بمعالجة وثائق فقط من فبراير 2020 إلى فبراير 2023 من ملفات CommonCrawl، قامت MINT-1T بتوسيع مجموعة الوثائق لتشمل وثائق HTML من مايو 2017 إلى أبريل 2024. بشكل مشابه ل OBELICS، تقوم MINT-1T بإزالة الوثائق التي لا تحتوي على صور أو تحتوي على أكثر من ثلاثين صورة أو تحتوي على صور ذات روابط تحتوي على مصطلحات غير لائقة.

خط أنابيب PDF

تستخلص MINT-1T ملفات PDF من ملفات WAT في CommonCrawl من فبراير 2023 إلى أبريل 2024. يتم استخراج جميع روابط ملفات PDF من هذه الملفات، ثم يتم محاولة تحميل وتحليل ملفات PDF باستخدام PyMuPDF. يتم إزالة ملفات PDF أكبر من 50 ميغابايت (التي قد تحتوي على صور كبيرة) وأيضًا تلك التي تحتوي على أكثر من 50 صفحة. يتم استبعاد الصفحات التي لا تحتوي على نص، ويتم تحديد ترتيب القراءة للصفحات المتبقية. يتم تحديد ترتيب القراءة عن طريق العثور على مربع التحيط بجميع كتلة النص على صفحة، وتبويب الكتل بناءً على الأعمدة، وترتيبها من الأعلى اليسار إلى الأسفل اليمين. يتم دمج الصور في التسلسل بناءً على قربها من كتل النص على نفس الصفحة.

خط أنابيب ArXiv

تُقوم MINT-1T ببناء وثائق متعددة الوسائط متداخلة من شفرة LaTeX باستخدام TexSoup للعثور على علامات الصور ودمج الصور مع نص الورقة.对于 الأوراق متعددة الملفات، يتم تحديد الملف الرئيسي و استبدال علامات الإدخال بمحتوى الملفات. يتم تنظيف شفرة LaTeX بإزالة الاستيرادات والمراجع والجداول و علامات الاقتباس.由于 ArXiv هو بالفعل مصدر بيانات مهيئ جيدًا، لا يتم إجراء أي تنقية أو إزالة تكرارات إضافية.

تنقية جودة النص

تتجنب MINT-1T استخدام أساليب مُحددة بالنموذج لتنقية النص، متبعةً ممارسات RefinedWeb و Dolma و FineWeb. يتم استبعاد الوثائق غير الإنجليزية في البداية باستخدام نموذج تحديد اللغة Fasttext (بأقل عتبة ثقة 0.65). يتم إزالة الوثائق التي تحتوي على روابط تحتوي على مصطلحات غير لائقة. يتم تطبيق أساليب تنقية النص من RefinedWeb، خاصةً بإزالة الوثائق التي تحتوي على نغمات مكررة أو تم تحديدها على أنها منخفضة الجودة باستخدام قواعد MassiveText.

تنقية الصور

بعد تحضير ملفات PDF و HTML، تقوم MINT-1T بمحاولة تحميل جميع روابط الصور في مجموعة البيانات HTML، و إزالة الروابط غير القابلة للتحميل و إزالة الوثائق التي لا تحتوي على روابط صور صالحة. يتم إزالة الصور أصغر من 150 بكسل لتجنب الصور المضطربة مثل الشعارات والأيقونات، و إزالة الصور أكبر من 20,000 بكسل لأنها عادةً ما تتعلق بالصور غير المرتبطة.对于 وثائق HTML، يتم إزالة الصور ذات نسبة العرض إلى الارتفاع أكبر من 2 لتصفية الصور منخفضة الجودة مثل لافتات الإعلانات.对于 ملفات PDF، يتم تعديل العتبة إلى 3 لتحفظ الرسومات العلمية والجداول.

الرسم البياني أعلاه يُظهر كيف تشارك MINT-1T بشكل فريد بيانات من ملفات PDF و ArXiv إلى جانب مصادر HTML.

تنقية الأمان

• تنقية الصور غير المناسبة: تُطبق MINT-1T كاشف صور غير مناسبة على جميع الصور في المجموعة البيانية. إذا كانت الوثيقة تحتوي على صورة واحدة غير مناسبة، يتم إزالة الوثيقة بأكملها.
• إزالة المعلومات الشخصية: لتقليل خطر تسرب البيانات الشخصية، يتم إزالة عناوين البريد الإلكتروني وعناوين IP من بيانات النص. يتم استبدال عناوين البريد الإلكتروني bằng قوالب مثل “[email protected]” وعناوين IP bằng عناوين IP غير وظيفية تم إنشاؤها بشكل عشوائي.

إزالة التكرارات

تقوم MINT-1T بإجراء إزالة التكرارات للفقرات والوثائق النصية داخل كل لقطة من CommonCrawl و إزالة التكرارات للصور لإزالة الصور غير المهمة مثل الأيقونات والشعارات. يتم إجراء جميع خطوات إزالة التكرارات بشكل منفصل لكل مصدر بيانات.

إزالة التكرارات للفقرات والوثائق

تتبع MINT-1T أسلوب Dolma باستخدام مرشح بلوم لتنقية الفقرات بشكل فعال، مع ضبط معدل الإيجابيات الكاذبة إلى 0.01 و إزالة الفقرات المكررة (المحددة بواسطة فاصلين سطرين مزدوجين) من كل وثيقة. إذا كانت أكثر من 80% من فقرات الوثيقة مكررة، يتم إزالة الوثيقة بأكملها.

إزالة النص الشائع

بعد إزالة التكرارات للفقرات، تقوم MINT-1T بإزالة جمل قصيرة شائعة في وثائق HTML، مثل “تخطى إلى المحتوى” أو “أرشيف المدونة”. يتم إجراء ذلك عن طريق تشغيل تنقية الفقرات الدقيقة على 2% من كل لقطة من CommonCrawl، وفقًا لممارسات CCNet، مما يضمن في الغالب إزالة النص الشائع.

الرسم البياني أعلاه يُظهر عملية التنقية لمجموعة بيانات MINT-1T ويُظهر كيف يتم إزالة الرموز النصية على طول خط أنابيب البيانات لملفات HTML و PDF و ArXiv.

إزالة التكرارات للصور

داخل كل لقطة من CommonCrawl، تقوم MINT-1T بإزالة الصور التي تظهر بشكل متكرر بناءً على هاشات SHA256. بدلاً من إزالة التكرارات الصارمة، يتم إزالة الصور فقط التي تظهر أكثر من عشرة مرات داخل اللقطة، متبعةً ممارسات Multimodal-C4. يتم إزالة الصور المكررة داخل وثيقة واحدة، مع الاحتفاظ فقط بالظهور الأول.

البنية التحتية

خلال معالجة البيانات، كان لدى MINT-1T وصول إلى متوسط 2350 نواة معالجة من مزيج من عقد مع 190 معالج و 90 معالج. تم استخدام ما يقرب من 4.2 مليون ساعة معالجة لإنشاء هذه المجموعة البيانية.

مقارنة تركيبة الوثائق في MINT-1T مع OBELICS

عند تقييم تركيبة مجموعات البيانات المتداخلة، يتم فحص两个 سمات رئيسيين: توزيع الرموز النصية لكل وثيقة وعدد الصور لكل وثيقة. تم اختبار 50,000 وثيقة بشكل عشوائي من كل من OBELICS وكل مصدر بيانات في MINT-1T. تم استخدام tokenizer GPT-2 لحساب عدد الرموز النصية. تم استبعاد القيم الشاذة بإزالة الوثائق التي تقع خارج نطاق 1.5 من التباين لعدد الرموز النصية والصور. كما هو موضح في الشكل التالي، تقترب مجموعة بيانات HTML من MINT-1T بشكل وثيق من توزيع الرموز في OBELICS. ومع ذلك، تميل الوثائق المستخلصة من ملفات PDF و ArXiv إلى أن تكون أطول من الوثائق المستخلصة من HTML، مما يبرز فوائد استخلاص البيانات من مصادر متنوعة.

كيف تحسن مصادر البيانات المختلفة من تنوع الوثائق؟

دافع هام لتوسيع مجموعة الوثائق المتداخلة إلى ما وراء وثائق HTML هو تحسين تغطية المجالات. لقياس تنوع وعمق هذه التغطية، تم تدريب نموذج LDA على 100,000 وثيقة تم اختبارها من مجموعة بيانات OBELICS، مجموعة بيانات HTML من MINT-1T، ومجموعة بيانات PDF (مستثنية ArXiv) من MINT-1T للحصول على 200 موضوع. ثم تم استخدام GPT-4 لتصنيف مجموعة الكلمات لتحديد المجالات السائدة – مثل الصحة والطب، العلوم، الأعمال، العلوم الإنسانية، التاريخ، إلخ – بناءً على مجالات MMMU. يُظهر التحليل اتجاهات واضحة في توزيع المجالات:

• OBELICS: تُظهر هذه المجموعة البيانية تركيزًا واضحًا على “العلوم الإنسانية والعلوم الاجتماعية”. هذا قد يكون نتيجة لعمليتها في بناء البيانات، التي تتضمن تصفية الوثائق التي لا تشبه مقالات ويكيبيديا، مما قد يغير التوزيع لصالح المعرفة العامة والعلوم الإنسانية.
• مجموعة بيانات HTML من MINT-1T: في المقابل، لا تُظهر مجموعة بيانات HTML من MINT-1T انحيازًا قويًا تجاه مجال معين، مما يشير إلى تمثيل أكثر توازنًا للمجالات.
• مجموعة بيانات PDF من MINT-1T: هناك نسبة أعلى من وثائق “العلوم والتكنولوجيا” في مجموعة بيانات PDF من MINT-1T. هذا الاتجاه يرجع إلى طبيعة التواصل العلمي، حيث تفضل الملفات PDF لتبادل الأوراق البحثية والتقارير الفنية.

MINT-1T: النتائج والتجارب

لجميع التجارب، يتم تدريب MINT-1T على 50% من دفعات تعليم الصور والنص و 50% من دفعات متعددة الوسائط المتداخلة. يتم عينة أقصى 2048 رمز متعددة الوسائط من كل وثيقة متداخلة و 340 رمز من كل عينة صورة ونص. يتم إضافة رمز “نهاية” إلى نهاية كل تسلسل صورة ونص متداخل. خلال التدريب، يتم إسقاط 50% من الوثائق المتداخلة التي تحتوي على صورة واحدة بشكل عشوائي لتعزيز الوثائق المتعددة الصور. يتم تكوين مجموعة بيانات الصور والنص من مزيج من مجموعات بيانات التسمية الداخلية.

الرسم البياني أعلاه يُظهر نسبة الوثائق من كل مجال في MMMU لمجموعة بيانات OBELICS ومجموعات بيانات MINT-1T.

التعلم في السياق: يتم تقييم قدرة النماذج على التعلم في السياق من خلال أدائها على مهام التسمية و أسئلة الاستفهام البصرية. يتم اختبارها على أربعة مهام وثمانية مهام، مع عينة عشوائية من مجموعة التدريب. يتم ت平均 النتائج على عدة تشغيل لتقييمات مختلفة، مع تدوير العينات لتحسين القدرة على التكيف مع مختلف الدفعات. يتم اختيار أفضل الدفعات لتحقيق أفضل أداء.

التعرف على الصور المتعددة: يتم تقييم النماذج على مجموعة MMMU (التي تحتوي على أسئلة واحدة ومتعددة الصور) و Mantis-Eval (التي تحتوي على أسئلة متعددة الصور فقط) لاختبار قدراتها على التعرف على الصور المتعددة.

التدريب على وثائق HTML

في البداية، يتم مقارنة جزء HTML من MINT-1T مع OBELICS، حيث أن OBELICS هي المجموعة البيانية الرائدة السابقة التي تم استخلاصها من وثائق HTML. يتم تدريب نموذجين على أجزاء HTML من MINT-1T و OBELICS، مع إجمالي 10 مليار رمز متعددة الوسائط. يتم تقييم أداءهم في التعلم في السياق. الجدول التالي يُظهر أداءهم على مهام التسمية و أسئلة الاستفهام البصرية؛ النموذج المُدرَّب على جزء HTML من MINT-1T يؤدي بشكل أفضل من OBELICS على مهام الاستفهام البصري، ولكن أسوأ على مهام التسمية. بشكل عام، يؤدي OBELICS بشكل أفضل قليلاً من MINT-1T (HTML).

إضافة ملفات PDF و ArXiv

بعد ذلك، يتم إجراء التدريب على جميع مصادر بيانات MINT-1T، مع مزيج من وثائق HTML و PDF و ArXiv. يتم عينة الوثائق المتداخلة بنسبة 50% من HTML و 45% من PDF و 5% من ArXiv. يتم تدريب النموذج لمدة 10 مليار رمز متعددة الوسائط. كما هو موضح في الجدول أعلاه، يؤدي النموذج المُدرَّب على مزيج كامل من بيانات MINT-1T بشكل أفضل من OBELICS و MINT-1T (HTML) على معظم مهام التعلم في السياق. على مهام الاستفهام البصري المتعددة الوسائط الأكثر تعقيدًا، يؤدي نموذج MINT-1T بشكل أفضل من OBELICS على MMMU، ولكن يؤدي بشكل أسوأ على Mantis-Eval.

اتجاهات دقيقة

كيف يتغير أداء التعلم في السياق مع زيادة العينات؟

يتم تقييم أداء التعلم في السياق عند تقديم عينة واحدة إلى ثماني عينات. يتم تشغيل تجربة واحدة لكل عدد من العينات لكل مجموعة من مجموعات التقييم. كما هو موضح في الشكل التالي، يؤدي النموذج المُدرَّب على MINT-1T بشكل أفضل من النموذج المُدرَّب على جزء HTML من MINT-1T و OBELICS على جميع العينات. يؤدي نموذج MINT-1T (HTML) بشكل أسوأ قليلاً من OBELICS.

أداء التسمية و أسئلة الاستفهام البصرية

الشكل التالي يُظهر أداء التعلم في السياق على مهام التسمية و أسئلة الاستفهام البصرية. يؤدي OBELICS بشكل أفضل من جميع متغيرات MINT-1T على مهام التسمية بأربع عينات، و يؤدي بشكل أسوأ قليلاً على مهام التسمية بثماني عينات. ومع ذلك، يؤدي MINT-1T بشكل أفضل من OBELICS على مهام الاستفهام البصري. كما يؤدي MINT-1T (HTML) بشكل أفضل من OBELICS على مهام الاستفهام البصري.

أداء على مجالات مختلفة

تُهدف إضافة مجالات متنوعة إلى MINT-1T إلى تحسين التعميم. يتم تقسيم الأداء على MMMU لكل مجال. باستثناء مجال الأعمال، يؤدي MINT-1T بشكل أفضل من OBELICS و MINT-1T (HTML). الزيادة في الأداء في مجالات العلوم والتكنولوجيا لمجموعة بيانات MINT-1T يُعزى إلى انتشار هذه المجالات في وثائق ArXiv و PDF.

أفكار ختامية

في هذه المقالة، تحدثنا عن MINT-1T، أكبر وأكثر مجموعة بيانات متعددة الوسائط متداخلة مفتوحة المصدر حتى الآن. MINT-1T: مجموعة بيانات بمقياس أكبر بعشر مرات، بما في ذلك تريليون رمز نصي و 3.4 مليار صورة أكثر من مجموعات البيانات مفتوحة المصدر الحالية. كما تقدم مجموعة بيانات MINT-1T مصادر غير معروضة من قبل، مثل ملفات PDF وورقات ArXiv. منذ أن لا تتمتع مجموعات البيانات متعددة الوسائط المتداخلة بسهولة للتوسيع، من المهم أن تشارك مجموعة بيانات MINT-1T عملية تنقية البيانات حتى يتمكن الآخرون من إجراء تجارب على هذه المتغيرات الغنية بالمعلومات. تُظهر مجموعة بيانات MINT-1T أن أسلوبها؛ نماذج اللغة المُدرَّبة على MINT-1T تتمتع بأداء تنافسي (على الرغم من كونها أقل قليلاً) مع نماذج OBELICS السابقة الأفضل على الإطلاق.