MINT-1T: ขยายข้อมูลหลายรูปแบบแบบเปิดโดย 10 เท่า

การฝึกอบรมโมเดลหลายรูปแบบขนาดใหญ่ (LMMs) ต้องการชุดข้อมูลขนาดใหญ่ที่มีลำดับของภาพและข้อความที่สลับกันอย่างเสรี แม้ว่าโมเดล LMM ที่เปิดแหล่งที่มาจะพัฒนาอย่างรวดเร็ว แต่ยังคงมีขาดแคลนชุดข้อมูลหลายรูปแบบที่สลับกันขนาดใหญ่ที่เปิดแหล่งที่มา ความสำคัญของชุดข้อมูลเหล่านี้ไม่สามารถเน้นย้ำได้มากพอ เนื่องจากพวกมันเป็นรากฐานสำหรับการสร้างระบบ AI ที่สามารถเข้าใจและสร้างเนื้อหาที่หลากหลายได้ หากไม่มีชุดข้อมูลที่ครอบคลุมและสลับกันอย่างเพียงพอ โอกาสในการพัฒนา LMM ที่ซับซ้อนและสามารถทำงานได้ดีขึ้นจะถูกขัดขวางอย่างมาก ชุดข้อมูลเหล่านี้ช่วยให้โมเดลสามารถเรียนรู้จากข้อมูลเข้าที่หลากหลาย ทำให้พวกมันทำงานได้หลากหลายและเป็นประโยชน์ในหลาย ๆ ด้าน นอกจากนี้ การขาดชุดข้อมูลดังกล่าวยังเป็นความท้าทายสำหรับชุมชนแหล่งที่มาแบบเปิด ซึ่งพึ่งพาแหล่งที่มาแบ่งปันเพื่อขับเคลื่อนนวัตกรรมและความร่วมมือ

โมเดล LMM ที่เปิดแหล่งที่มาได้ทำความก้าวหน้าอย่างมากในช่วงไม่กี่ปีที่ผ่านมา แต่การเติบโตของพวกมันถูกขัดขวางโดยการขาดชุดข้อมูลหลายรูปแบบที่สลับกันขนาดใหญ่ เพื่อเอาชนะอุปสรรค này ต้องมีการพยายามร่วมกันในการสร้างและเผยแพร่ชุดข้อมูลที่ครอบคลุมมากขึ้นเพื่อสนับสนุนการพัฒนาและปรับปรุงโมเดลหลายรูปแบบต่อไป นอกจากนี้ การสร้างและเผยแพร่ชุดข้อมูลเหล่านี้ต้อง克服อุปสรรคทางเทคนิคและลอจิสติกส์หลายประการ การเก็บข้อมูลต้องครอบคลุมและเป็นตัวแทนของบริบทที่หลากหลายที่ LMM จะถูกนำไปใช้ การทำเครื่องหมายต้องคำนึงถึงการทำให้ลำดับของภาพและข้อความที่สลับกันตรงกัน เพื่อเพิ่มความสามารถในการเรียนรู้ของโมเดล นอกจากนี้ การทำให้ชุดข้อมูลเปิดแหล่งที่มาเกี่ยวข้องกับการแก้ไขข้อกังวลด้านกฎหมายและจริยธรรมที่เกี่ยวข้องกับความเป็นส่วนตัวของข้อมูลและสิทธิ์การใช้งาน การขยายชุดข้อมูลหลายรูปแบบที่สลับกันขนาดใหญ่และคุณภาพสูงเป็นสิ่งจำเป็นสำหรับอนาคตของการวิจัยและพัฒนา AI โดยการแก้ไขปัญหาการขาดแคลน ชุมชน AI สามารถส่งเสริมนวัตกรรมและความร่วมมือมากขึ้น ซึ่งนำไปสู่การสร้าง LMM ที่มีประสิทธิภาพและสามารถทำงานได้หลากหลายในการแก้ปัญหาโลกแห่งความเป็นจริงที่ซับซ้อน

โดยสรุป MINT-1T เป็นชุดข้อมูลหลายรูปแบบที่สลับกันขนาดใหญ่ที่สุดและหลากหลายที่สุดจนถึงปัจจุบัน MINT-1T มีขนาดใหญ่กว่าชุดข้อมูลที่มีอยู่เดิมถึง 10 เท่า โดยมีโทเค็นข้อความ 1 ล้านล้านและภาพ 3.4 พันล้าน ชุดข้อมูล MINT-1T ยังแนะนำแหล่งที่มาใหม่ ๆ เช่น ไฟล์ PDF และเอกสาร ArXiv เนื่องจากชุดข้อมูลหลายรูปแบบที่สลับกันไม่สามารถขยายขนาดได้ง่าย จึงสำคัญที่ชุดข้อมูล MINT-1T จะแบ่งปันกระบวนการคัดเลือกข้อมูลเพื่อให้ผู้อื่นสามารถทำการทดลองบนรูปแบบที่มีข้อมูลอุดมสมบูรณ์ได้เช่นกัน ชุดข้อมูล MINT-1T แสดงให้เห็นว่าโมเดลที่ฝึกอบรมบน MINT-1T สามารถแข่งขันกับโมเดล OBELICS ที่มีอยู่เดิมได้ (แม้ว่าจะไม่สมบูรณ์แบบ)

MINT-1T: ชุดข้อมูลหลายรูปแบบที่มีหนึ่งล้านล้านโทเค็น

ชุดข้อมูลขนาดใหญ่ที่เปิดแหล่งที่มาได้ถูกนำมาใช้ในการวิจัยชุมชน โดยเฉพาะอย่างยิ่งในการฝึกอบรมโมเดลภาษาขนาดใหญ่ ในโดเมนข้อความ ชุดข้อมูลเช่น C4 และ The Pile มีบทบาทสำคัญในการทำให้ชุมชนสามารถฝึกอบรมโมเดลภาษาขนาดใหญ่ที่เปิดแหล่งที่มาได้ ชุดข้อมูลเหล่านี้ยังเป็นรากฐานสำหรับการปรับปรุงวิธีการกรองข้อมูลและขยายขนาด ในพื้นที่ภาพและข้อความ ชุดข้อมูลขนาดใหญ่ที่เปิดแหล่งที่มาได้กระตุ้นให้เกิดนวัตกรรมในการพัฒนาวิธีการกรองข้อมูล เช่น Data Filtering Networks และ T-MARS การเปลี่ยนแปลงจากห้องปฏิบัติการด้านหน้าไปสู่การฝึกอบรมโมเดลหลายรูปแบบขนาดใหญ่ที่ต้องการชุดข้อมูลหลายรูปแบบที่สลับกันอย่างเสรีเป็นลำดับของภาพและข้อความ เมื่อความสามารถของโมเดลด้านหน้าเพิ่มขึ้นอย่างรวดเร็ว ช่องว่างที่สำคัญกำลังเกิดขึ้นในข้อมูลการฝึกอบรมหลายรูปแบบระหว่างโมเดลที่เปิดแหล่งที่มาและปิดแหล่งที่มา

ชุดข้อมูลหลายรูปแบบที่สลับกันที่เปิดแหล่งที่มาในปัจจุบันมีขนาดเล็กและหลากหลายน้อยกว่าชุดข้อมูลข้อความเท่านั้น ซึ่งได้รับมาจากเอกสาร HTML เป็นหลัก ซึ่งจำกัดความกว้างและความหลากหลายของข้อมูล สิ่งนี้ขัดขวางการพัฒนาโมเดล LMM ที่เปิดแหล่งที่มาและสร้างความไม่เท่าเทียมกันระหว่างความสามารถของโมเดลที่เปิดและปิดแหล่งที่มา

เพื่อแก้ไขปัญหานี้ MINT-1T ถูกสร้างขึ้นเป็นชุดข้อมูลหลายรูปแบบที่สลับกันที่ใหญ่ที่สุดและหลากหลายที่สุดจนถึงปัจจุบัน MINT-1T มีทั้งหมด 1 ล้านล้านโทเค็นข้อความและ 3.4 พันล้านภาพ ซึ่งมาจากแหล่งที่มาหลากหลาย เช่น HTML, PDF และ ArXiv ก่อนที่จะมี MINT-1T ชุดข้อมูลที่ใหญ่ที่สุดในพื้นที่นี้คือ OBELICS ซึ่งมี 115 พันล้านโทเค็นข้อความและ 353 ล้านภาพ ทั้งหมดมาจากเอกสาร HTML

ส่วนสนับสนุนของ MINT-1T คือ:

• วิศวกรรมข้อมูล: การขยายขนาดข้อมูลหลายรูปแบบที่สลับกันนำเสนอความท้าทายด้านวิศวกรรมมากกว่าการสร้างชุดข้อมูลข้อความเท่านั้นหรือคู่ภาพและข้อความ การจัดการขนาดเอกสารที่ใหญ่ขึ้นและรักษาลำดับเดิมของภาพและข้อความเป็นสิ่งสำคัญ
• ความหลากหลาย: MINT-1T เป็นชุดข้อมูลแรกในพื้นที่หลายรูปแบบที่สลับกันที่รวบรวมเอกสารหลายรูปแบบที่มีคุณภาพสูงในระดับใหญ่จากแหล่งที่มา เช่น ไฟล์ PDF และเอกสาร ArXiv
• การทดลองแบบจำลอง: การทดลองแสดงให้เห็นว่าโมเดล LMM ที่ฝึกอบรมบน MINT-1T ไม่เพียงแต่เทียบเท่ากับโมเดลที่ฝึกอบรมบนชุดข้อมูล OBELICS ที่ดีที่สุดเท่านั้น แต่ยังอาจมีประสิทธิภาพดีกว่าในขณะที่มีขนาดใหญ่กว่า 10 เท่า

MINT-1T: การสร้างชุดข้อมูล

MINT-1T สร้างชุดข้อมูลที่เปิดแหล่งที่มาขนาดใหญ่ที่ใช้แหล่งที่มาเอกสารหลายรูปแบบที่สลับกัน เช่น ไฟล์ PDF และเอกสาร ArXiv ส่วนนี้อธิบายวิธีการของ MINT-1T ในการรวบรวมเอกสารหลายรูปแบบ การกรองเนื้อหาที่มีคุณภาพต่ำ การลบข้อมูลซ้ำ และการเอาเนื้อหาที่ไม่เหมาะสมออก ชุดข้อมูลสุดท้ายประกอบด้วย 922 พันล้านโทเค็น HTML, 106 พันล้านโทเค็น PDF และ 9 พันล้านโทเค็น ArXiv

การรวบรวมเอกสารหลายรูปแบบจำนวนมาก

การประมวลผล HTML

MINT-1T ใช้วิธีการของ OBELICS ในการดึงเอกสารหลายรูปแบบที่สลับกันออกจากไฟล์ WARC ของ CommonCrawl โดยการวิเคราะห์ต้นไม้ DOM ของแต่ละรายการ WARC ในขณะที่ OBELICS ประมวลผลเอกสารจากเดือนกุมภาพันธ์ 2020 ถึงเดือนกุมภาพันธ์ 2023 ของดัมพ์ CommonCrawl MINT-1T ขยายพูลเอกสารเพื่อรวมเอกสาร HTML ตั้งแต่เดือนพฤษภาคม 2017 ถึงเดือนเมษายน 2024 (ด้วยดัมพ์เต็มตั้งแต่เดือนตุลาคม 2018 ถึงเดือนเมษายน 2024 และดัมพ์บางส่วนจากปีก่อนหน้า) เช่นเดียวกับ OBELICS MINT-1T จะกรองเอกสารที่ไม่มีภาพ มีภาพมากกว่า 30 ภาพ หรือมีภาพที่มี URL ที่มีคำที่ไม่เหมาะสม เช่น โลโก้ อาวาตาร์ โป๊ และ xxx

การประมวลผล PDF

MINT-1T รวบรวมเอกสาร PDF จากไฟล์ WAT ของ CommonCrawl ตั้งแต่เดือนกุมภาพันธ์ 2023 ถึงเดือนเมษายน 2024 ขั้นแรก ไฟล์ PDF ทั้งหมดจะถูกดึงออกจากดัมพ์เหล่านี้ จากนั้น MINT-1T จะพยายามดาวน์โหลดและอ่าน PDF โดยใช้ PyMuPDF และละทิ้ง PDF ที่มีขนาดใหญ่กว่า 50 MB (ที่อาจมีภาพขนาดใหญ่) และ PDF ที่มีมากกว่า 50 หน้า หน้าที่ไม่มีข้อความจะถูกแยกออก และลำดับการอ่านจะถูกกำหนดสำหรับหน้าที่เหลือ ลำดับการอ่านจะถูกกำหนดโดยการค้นหาบอกซ์ขอบเขตของบล็อกข้อความทั้งหมดในหน้า การจัดกลุ่มบล็อกตามคอลัมน์ และการเรียงลำดับจากบนซ้ายไปล่างขวา ภาพจะถูกผสมเข้ากับลำดับตามความใกล้ชิดกับบล็อกข้อความในหน้าเดียวกัน

การประมวลผล ArXiv

MINT-1T สร้างเอกสารหลายรูปแบบที่สลับกันจาก ArXiv โดยใช้ TexSoup ในการค้นหาตैगรูปภาพและสลับภาพกับข้อความในเอกสาร สำหรับเอกสารหลายไฟล์ MINT-1T ระบุไฟล์ TeX หลักและแทนที่แท็กอินพุตด้วยเนื้อหาของไฟล์เหล่านั้น รหัส LaTeX จะถูกทำความสะอาดโดยการลบการนำเข้า บรรณานุกรม ตาราง และแท็กอ้างอิง เนื่องจาก ArXiv เป็นแหล่งที่มาของข้อมูลที่มีการดูแลอย่างดีแล้ว จึงไม่มีการกรองหรือลบข้อมูลซ้ำเพิ่มเติม

การกรองคุณภาพข้อความ

MINT-1T หลีกเลี่ยงการใช้แบบจำลองที่ใช้โมเดลสำหรับการกรองข้อความ โดยปฏิบัติตามแนวทางที่กำหนดโดย RefinedWeb, Dolma และ FineWeb ขั้นแรก เอกสารที่ไม่ใช่ภาษาอังกฤษจะถูกละทิ้งโดยใช้แบบจำลองการระบุภาษาของ Fasttext (ด้วยค่าความมั่นใจ 0.65) เอกสารที่มี URL ที่มีคำที่ไม่เหมาะสมจะถูกละทิ้งเพื่อกำจัดเนื้อหาที่ไม่เหมาะสมหรือไม่เหมาะสม วิธีการกรองข้อความของ RefinedWeb จะถูกนำมาใช้ โดยเฉพาะการลบเอกสารที่มีน้ำยาที่ซ้ำกันมากเกินไปหรือที่ระบุว่าเป็นคุณภาพต่ำโดยใช้กฎของ MassiveText

การกรองภาพ

หลังจากรวบรวม PDF และไฟล์ HTML แล้ว MINT-1T จะพยายามดาวน์โหลดทุก URL ของภาพในเซตข้อมูล HTML และละทิ้งลิงก์ที่ไม่สามารถดึงข้อมูลได้และเอกสารที่ไม่มีลิงก์ภาพที่ถูกต้อง ภาพที่มีขนาดเล็กกว่า 150 พิกเซลจะถูกละทิ้งเพื่อกำจัดภาพที่มีเสียงรบกวน เช่น โลโก้และไอคอน ภาพที่มีขนาดใหญ่กว่า 20,000 พิกเซลจะถูกละทิ้งเช่นกัน เนื่องจากโดยทั่วไปจะสอดคล้องกับภาพที่ไม่เกี่ยวข้องสำหรับเนื้อหานั้น สำหรับเอกสาร HTML ภาพที่มีอัตราส่วนด้านกว้างต่อความสูงมากกว่า 2 จะถูกละทิ้งเพื่อกำจัดภาพที่มีคุณภาพต่ำ เช่น แบนเนอร์สำหรับการโฆษณา สำหรับ PDF อัตราส่วนจะถูกปรับให้ 3 เพื่อรักษาภาพทางวิทยาศาสตร์และตาราง

รูปด้านบนแสดงให้เห็นว่า MINT-1T รวมข้อมูลจาก PDF และเอกสาร ArXiv นอกเหนือจากแหล่งที่มา HTML

การกรองความปลอดภัย

• การกรองภาพที่ไม่เหมาะสม: MINT-1T ใช้ตัวกรองภาพที่ไม่เหมาะสมกับภาพทั้งหมดในเซตข้อมูล หากเอกสารใดๆ มีภาพที่ไม่เหมาะสมเพียงภาพเดียว เอกสารทั้งหมดจะถูกละทิ้ง
• การลบข้อมูลส่วนบุคคล: เพื่อลดความเสี่ยงของการรั่วไหลของข้อมูลส่วนบุคคล ที่อยู่อีเมลและที่อยู่ IP ในข้อมูลข้อความจะถูกทำให้ไม่สามารถระบุได้ อีเมลจะถูกแทนที่ด้วยเทมเพลต เช่น “email@example.com” และ IP จะถูกแทนที่ด้วย IP ที่ไม่ทำงานที่สร้างขึ้นโดยสุ่ม

การลบข้อมูลซ้ำ

MINT-1T ทำการลบข้อมูลซ้ำของข้อความและเอกสารภายในแต่ละสแนปช็อตของ CommonCrawl และการลบข้อมูลซ้ำของภาพเพื่อกำจัดภาพที่ซ้ำกันและไม่มีข้อมูล เช่น ไอคอนและโลโก้ ทุกขั้นตอนการลบข้อมูลซ้ำจะดำเนินการแยกกันสำหรับแหล่งที่มาแต่ละแห่ง

การลบข้อมูลซ้ำของข้อความและเอกสาร

ตามวิธีการของ Dolma MINT-1T ใช้ฟิลเตอร์ Bloom สำหรับการลบข้อมูลซ้ำของข้อความอย่างมีประสิทธิภาพ โดยการตั้งค่าอัตราความผิดพลาดเป็น 0.01 และการลบข้อมูลซ้ำของย่อหน้า 13-กรัม (ที่แสดงด้วยตัวแบ่งย่อหน้าสองครั้ง) จากแต่ละเอกสาร หากมากกว่า 80% ของย่อหน้าในเอกสารเป็นข้อมูลซ้ำ เอกสารทั้งหมดจะถูกละทิ้ง

การลบข้อความโบ일เลอร์เพลททั่วไป

หลังจากการลบข้อมูลซ้ำของย่อหน้า MINT-1T จะลบประโยคโบิลเลอร์เพลททั่วไปในเอกสาร HTML เช่น “Skip to content” หรือ “Blog Archive” สิ่งนี้ทำได้โดยการวิ่งการลบข้อมูลซ้ำของย่อหน้าแบบเดียวกันบน 2% ของแต่ละสแนปช็อตของ CommonCrawl ตามแนวทางของ CCNet เพื่อให้แน่ใจว่าสามารถลบโบิลเลอร์เพลททั่วไปส่วนใหญ่ออกได้

รูปด้านบนแสดงกระบวนการกรองสำหรับ MINT-1T และแสดงให้เห็นว่าโทเค็นถูกละทิ้งไปตลอดทั้งกระบวนการข้อมูลสำหรับ HTML, PDF และเอกสาร ArXiv

การลบข้อมูลซ้ำของภาพ

ภายในแต่ละสแนปช็อตของ CommonCrawl MINT-1T จะลบภาพที่เกิดขึ้นบ่อยโดยอาศัยแฮช SHA256 มากกว่าการลบข้อมูลซ้ำแบบเข้มงวด ภาพที่ปรากฏมากกว่า 10 ครั้งภายในสแนปช็อตจะถูกละทิ้ง ตามแนวทางของ Multimodal-C4 และ OBELICS ภาพที่ซ้ำกันภายในเอกสารเดียวกันจะถูกละทิ้ง โดยเก็บเฉพาะการปรากฏครั้งแรก

โครงสร้างพื้นฐาน

ตลอดกระบวนการประมวลผลข้อมูล MINT-1T มีการเข้าถึงคอร์ CPU เฉลี่ย 2,350 คอร์จากผสมของโหนด 190-โปรเซสเซอร์และ 90-โปรเซสเซอร์ โดยใช้เวลาประมวลผล CPU ทั้งหมดประมาณ 4.2 ล้านชั่วโมงในการสร้างชุดข้อมูลนี้

การเปรียบเทียบองค์ประกอบเอกสารใน MINT-1T และ OBELICS

ในการประเมินองค์ประกอบของชุดข้อมูลที่สลับกัน สองลักษณะสำคัญที่ตรวจสอบคือ การกระจายของโทเค็นข้อความต่อเอกสาร และจำนวนภาพต่อเอกสาร สำหรับการวิเคราะห์นี้ เอกสาร 50,000 รายการถูกสุ่มจาก OBELICS และแหล่งที่มาแต่ละแห่งใน MINT-1T โทเคไนเซอร์ของ GPT-2 ถูกใช้ในการคำนวณจำนวนโทเค็นข้อความ ออกไลเออร์จะถูกละทิ้งโดยการแยกเอกสารที่อยู่นอกช่วงระหว่างควอไทล์ 1.5 สำหรับจำนวนโทเค็นข้อความและภาพ ตามที่แสดงในรูปต่อไปนี้ ส่วน HTML ของ MINT-1T สอดคล้องกับการกระจายโทเค็นที่เห็นใน OBELICS อย่างใกล้ชิด อย่างไรก็ตาม เอกสารที่มาจาก PDF และ ArXiv มักจะมีขนาดใหญ่กว่าเอกสาร HTML โดยเฉลี่ย โดยเน้นย้ำถึงประโยชน์ของการรวบรวมข้อมูลจากแหล่งที่มาหลากหลาย รูปที่ 5 ตรวจสอบความหนาแน่นของภาพทั่วทั้งเอกสาร โดยเผยให้เห็นว่าเอกสาร PDF และ ArXiv มีภาพมากกว่าเอกสาร HTML โดยมีตัวอย่าง ArXiv ที่มีความหนาแน่นสูงสุด

แหล่งที่มาของข้อมูลที่แตกต่างกันปรับปรุงความหลากหลายของเอกสารอย่างไร

แรงจูงใจที่สำคัญในการขยายพูลเอกสารหลายรูปแบบนอกเหนือจาก HTML คือการปรับปรุงการครอบคลุมโดเมน เพื่อ量化ความหลากหลายและความลึกของการครอบคลุมนี้ โมเดล Latent Dirichlet Allocation (LDA) ถูกฝึกอบรมบนเอกสาร 100,000 รายการจากชุดข้อมูล OBELICS ชุดข้อมูล HTML ของ MINT-1T และชุดข้อมูล PDF (ไม่รวม ArXiv) ของ MINT-1T เพื่อให้ได้หัวข้อ 200 หัวข้อ GPT-4 ถูกใช้ในการจำแนกชุดคำเพื่อระบุโดเมินหลัก เช่น สุขภาพและเวชศาสตร์ วิทยาศาสตร์ ธุรกิจ มนุษยศาสตร์ ประวัติศาสตร์ ฯลฯ ตามโดเมิน MMMU การวิเคราะห์แสดงให้เห็นแนวโน้มที่แตกต่างกันในกระจายโดเมิน:

• OBELICS: ชุดข้อมูลนี้แสดงความเข้มข้นอย่างมากใน “มนุษยศาสตร์และวิทยาศาสตร์สังคม” ซึ่งอาจเป็นผลมาจากการกรองเอกสารที่ไม่เหมือนกับบทความวิกิพีเดีย ซึ่งอาจเปลี่ยนการกระจายไปสู่เนื้อหาทั่วไปและมนุษยศาสตร์
• ส่วน HTML ของ MINT-1T: ในทางตรงกันข้าม ส่วน HTML ของ MINT-1T ไม่มีความลำเอียงอย่างมากต่อโดเมินใดโดเมินหนึ่ง ซึ่งบ่งบอกถึงการแสดงโดเมินที่กว้างขึ้นและสมดุลยิ่งขึ้น
• ส่วน PDF ของ MINT-1T: มีสัดส่วนสูงของเอกสาร “วิทยาศาสตร์และเทคโนโลยี” ในเอกสาร PDF ของ MINT-1T ซึ่งอาจเป็นผลมาจากธรรมชาติของการสื่อสารทางวิทยาศาสตร์ ซึ่ง PDF เป็นรูปแบบที่ชอบในการแบ่งปันรายงานวิจัยและรายงานทางเทคนิคที่มีรายละเอียด

MINT-1T: ผลลัพธ์และการทดลอง

สำหรับการทดลองทั้งหมด MINT-1T ฝึกโมเดลบน 50% ของแบตช์การเขียนคำบรรยายภาพและ 50% ของแบตช์หลายรูปแบบที่สลับกัน โทเค็นหลายรูปแบบสูงสุด 2048 โทเค็นจะถูกสุ่มจากเอกสารที่สลับกันแต่ละเอกสาร และ 340 โทเค็นจากตัวอย่างภาพและข้อความ โมเดลจะถูกฝึกอบรมเป็นเวลา 10 พันล้านโทเค็นหลายรูปแบบ

รูปด้านบนแสดงถึงเปอร์เซ็นต์ของเอกสารจากโดเมินต่างๆ ใน MMMU สำหรับ OBELICS และส่วนย่อยของ MINT-1T

การเรียนรู้ในบริบท: โมเดลจะถูกประเมินบนการเรียนรู้ในบริบท 4 ช็อตและ 8 ช็อต บน벤ช์มาร์กการเขียนคำบรรยายภาพและชุดข้อมูลการถามคำถามภาพ ตัวอย่างการแสดงจะถูกสุ่มจากชุดฝึกอบรม การทดสอบจะถูกทำซ้ำหลายครั้ง โดยสุ่มตัวอย่างการแสดงใหม่ในแต่ละครั้งเพื่อคำนึงถึงความไวต่อคำกระตุ้น

การให้เหตุผลหลายภาพ: โมเดลจะถูกประเมินบนชุดข้อมูล MMMU และ Mantis-Eval เพื่อทดสอบความสามารถในการให้เหตุผลหลายภาพนอกเหนือจากการเรียนรู้ในบริบท

การฝึกอบรมบนเอกสาร HTML

ในตอนแรก ส่วน HTML ของ MINT-1T จะถูกเปรียบเทียบกับ OBELICS เนื่องจาก OBELICS เป็นชุดข้อมูลที่นำมาเป็นตัวอย่างก่อนหน้านี้ซึ่งรวบรวมจากเอกสาร HTML โมเดลสองตัวจะถูกฝึกอบรมบนชุดข้อมูล HTML ของ MINT-1T และ OBELICS เป็นเวลา 10 พันล้านโทเค็นหลายรูปแบบ และจะประเมินผลการเรียนรู้ในบริบท

การเพิ่มเอกสาร PDF และ ArXiv

ต่อมา การฝึกอบรมจะดำเนินการบนแหล่งที่มาของ MINT-1T ทั้งหมด โดยมีส่วนผสมของเอกสาร HTML, PDF และ ArXiv โดยสุ่มเอกสาร 50% จาก HTML, 45% จาก PDF และ 5% จาก ArXiv โมเดลจะถูกฝึกอบรมเป็นเวลา 10 พันล้านโทเค็นหลายรูปแบบ ตามที่เห็นในตารางด้านบน โมเดลที่ฝึกอบรมบนแหล่งที่มาของ MINT-1T ทั้งหมดสามารถเอาชนะ OBELICS และ MINT-1T (HTML) ในการเรียนรู้ในบริบทส่วนใหญ่ บนชุดข้อมูลการให้เหตุผลหลายภาพที่ซับซ้อนกว่า โมเดล MINT-1T สามารถเอาชนะ OBELICS บน MMMU แต่ทำได้ไม่ดีบน Mantis-Eval

แนวโน้มที่ละเอียด

การเรียนรู้ในบริบทจะปรับขนาดอย่างไรเมื่อมีการแสดง?

การเรียนรู้ในบริบทจะถูกประเมินเมื่อมีการแสดง 1 ถึง 8 ครั้ง การทดสอบจะถูกทำซ้ำหนึ่งครั้งต่อการนับช็อตสำหรับแต่ละชุดข้อมูลการประเมิน ตามที่เห็นในรูปต่อไปนี้ โมเดลที่ฝึกอบรมบน MINT-1T เอาชนะโมเดลที่ฝึกอบรมบน MINT-1T (HTML) และ OBELICS ทุกระดับช็อต โมเดล MINT-1T (HTML) ทำได้ไม่ดีกว่า OBELICS เล็กน้อย

ผลการแสดงบนงานเขียนคำบรรยายภาพและงานถามคำถามภาพ

รูปต่อไปนี้แสดงผลการเรียนรู้ในบริบทเฉลี่ยบนงานเขียนคำบรรยายภาพและงานถามคำถามภาพ OBELICS เอาชนะทุกโมเดล MINT-1T บนงานเขียนคำบรรยายภาพ 4 ช็อต และทำได้ไม่ดีกว่า MINT-1T บนงานเขียนคำบรรยายภาพ 8 ช็อต อย่างไรก็ตาม MINT-1T เอาชนะทั้ง OBELICS และ MINT-1T (HTML) บนงานถามคำถามภาพ

ผลการแสดงในโดเมินต่างๆ

การรวมโดเมินต่างๆ ใน MINT-1T มีจุดมุ่งหมายเพื่อปรับปรุงการสร้างแบบจำลองทั่วไป ผลการแสดงใน MMMU สำหรับโดเมินแต่ละโดเมินจะถูกแบ่งออก รูปก่อนหน้านี้แสดงให้เห็นว่า MINT-1T เอาชนะ OBELICS และ MINT-1T (HTML) ในโดเมินส่วนใหญ่ ยกเว้นโดเมินธุรกิจ การเพิ่มประสิทธิภาพในโดเมินวิทยาศาสตร์และเทคโนโลยีสำหรับ MINT-1T มาจากความนิยมของโดเมินเหล่านี้ในเอกสาร ArXiv และ PDF

ความคิดสุดท้าย

ในบทความนี้ เราพูดถึง MINT-1T ซึ่งเป็นชุดข้อมูลหลายรูปแบบที่สลับกันที่ใหญ่ที่สุดและหลากหลายที่สุดจนถึงปัจจุบัน MINT-1T มีขนาดใหญ่กว่าชุดข้อมูลที่มีอยู่เดิมถึง 10 เท่า โดยมีโทเค็นข้อความ 1 ล้านล้านและภาพ 3.4 พันล้าน ชุดข้อมูล MINT-1T ยังแนะนำแหล่งที่มาใหม่ ๆ เช่น ไฟล์ PDF และเอกสาร ArXiv เนื่องจากชุดข้อมูลหลายรูปแบบที่สลับกันไม่สามารถขยายขนาดได้ง่าย จึงสำคัญที่ชุดข้อมูล MINT-1T จะแบ่งปันกระบวนการคัดเลือกข้อมูลเพื่อให้ผู้อื่นสามารถทำการทดลองบนรูปแบบที่มีข้อมูลอุดมสมบูรณ์ได้เช่นกัน ชุดข้อมูล MINT-1T แสดงให้เห็นว่าโมเดลที่ฝึกอบรมบน MINT-1T สามารถแข่งขันกับโมเดล OBELICS ที่มีอยู่เดิมได้ (แม้ว่าจะไม่สมบูรณ์แบบ)