บริษัท H เปิดตัว NeoMME ครอบครัวตัวเข้ารหัสมัลติโหมดแบบโอเพ่นซอร์ส

นักวิจัยจากบริษัท H ปล่อย NeoMME เมื่อวันที่ 3 กันยายน 2026 ซึ่งเป็นครอบครัวของตัวเข้ารหัสมัลติโหมดและหลายภาษา ขนาด 260M และ 800M พารามิเตอร์ ที่ฝึกจากศูนย์และเผยแพร่ภายใต้ใบอนุญาต Apache 2.0 ทีมงานระบุว่าเวอร์ชันการดึงข้อมูลที่ปรับแต่งแล้วอยู่บนแนวหน้า Pareto ของขนาดโมเดลในเกณฑ์การประเมิน ViDoRe v3 สำหรับการดึงเอกสารภาพ

ตามที่ระบุใน โพสต์ปล่อย ตัวดึงข้อมูลเอกสารภาพหลายรุ่นล่าสุดถูกดัดแปลงมาจากโมเดลวิสัยทัศน์-ภาษาเชิงสร้างที่ผ่านการฝึกล่วงหน้า ซึ่งในกรณีนั้นตัวเข้ารหัสวิสัยทัศน์ที่ฝึกแยกจากกันสร้างคุณลักษณะภาพ แล้วโปรเจกเตอร์ทำการแมปเข้าสู่พื้นที่อินพุตของโมเดลภาษาเชิงสาเหตุ ผู้เขียนอธิบายว่าการดึงข้อมูล การจัดประเภท และการทำป้ายกำกับโทเคนไม่ได้สร้างข้อความแบบอัตโนมัติ ดังนั้นงานเหล่านี้จึงไม่ต้องการดีคเดอร์เชิงสาเหตุหรือค่าโอเวอร์เฮดของพารามิเตอร์และการคำนวณ NeoMME แทนที่จะใช้โมเดลวิสัยทัศน์หรือตัวเข้ารหัสข้อความที่มีอยู่แล้ว จะรันโทเคนข้อความและแผ่นภาพดิบผ่าน Transformer แบบสองทางที่ใช้ร่วมกันทั้งหมด

โพสต์เปรียบเทียบการออกแบบนี้กับความพยายามของตัวเข้ารหัสก่อนหน้า 2 ตัว ได้แก่ ModernBERT ซึ่งนำการปรับปรุงประสิทธิภาพมาสู่ตัวเข้ารหัสข้อความแบบสองทาง และ ModernVBERT ซึ่งใช้ตัวเข้ารหัสข้อความสไตล์ ModernBERT สำหรับการดึงข้อมูลเอกสารภาพโดยยังคงใช้วิศวกรรมวิสัยทัศน์ SigLIP2 ที่ฝึกล่วงหน้า ผู้เขียนระบุว่าต้องการกำจัดโอเวอร์เฮดของการนำส่วนประกอบของโมเดลวิสัยทัศน์-ภาษาเข้ามาในตัวเข้ารหัส

Architecture and From-Scratch Pretraining

ขนาด NeoMME ทั้งสองรุ่นใช้สถาปัตยกรรมเดียวกัน อินพุตข้อความใช้การฝังโทเคนแบบแยกส่วน ส่วนภาพจะถูกแบ่งเป็นกริดของแผ่น 32×32 พิกเซลที่ไม่ทับซ้อนและผ่านการโปรเจกต์ด้วย MLP ขนาดเล็ก; ทั้งสองจะเข้าสู่ตัวเข้ารหัส Transformer เดียวกัน ภาพยังคงอัตราส่วนและขนาดเดิม ทำให้โมเดลสามารถใช้โทเคนได้มากขึ้นกับหน้าเอกสารความละเอียดสูงที่มีข้อมูลหนาแน่นมากกว่าภาพขนาดเล็ก ความยาวบริบทอยู่ที่ 16,384 โทเคน ซึ่งเพียงพอสำหรับภาพ 4K UHD ขนาดมาตรฐาน 3840×2160 สองภาพ ชั้นส่วนใหญ่ใช้การใส่ใจแบบหน้าต่างเลื่อนแบบสมมาตร ส่วนทุกชั้นที่หกและชั้นสุดท้ายใช้การใส่ใจทั่วโลก สแต็กยังรวมการใส่ใจแบบ grouped‑query, การทำให้คีย์‑ควอรีเป็นมาตรฐาน, การใส่ใจแบบ gated, การฝังตำแหน่งแบบ rotary 2D, และ MLP แบบ squared‑ReLU สำหรับข้อความ ทีมงานฝึก tokenizer แบบ BPE ที่มีพจนานุกรม 131,072 โทเคนจากศูนย์บนข้อความหลายภาษา, โค้ด, คณิตศาสตร์, และการถอดข้อความจากภาพที่สร้างโดยเครื่อง

NeoMME ถูกฝึกจากศูนย์เป็นตัวทำความสะอาดข้อความแบบ masked‑diffusion ที่ทำงานแบบแยกส่วน สำหรับตัวอย่างที่มีเฉพาะข้อความ อัตราการทำลายจะสุ่มแบบสม่ำเสมอระหว่าง 0 ถึง 1 และโทเคนข้อความที่มีคุณสมบัติเหมาะสมจะถูกทำมาสก์อย่างอิสระอัตรานั้น ตัวอย่างมัลติโหมดใช้ค่าอัตราการทำลายระหว่าง 0.3 ถึง 1 โดยที่แผ่นภาพยังคงมองเห็นได้ขณะโมเดลทำการกู้คืนข้อความที่มาสก์ ผู้เขียนอธิบายว่าการมาสก์หนักทำให้โมเดลต้องเรียนรู้การอธิบายที่อิงภาพแทนการพึ่งพาทางลัดของภาษา การฝึกผสมข้อความหลายภาษา, โค้ด, คณิตศาสตร์, ภาพธรรมชาติ, และภาพเอกสาร และแต่ละโมเดลประมวลผลประมาณ 524 พันล้านโทเคนที่บรรจุรวมถึง 290 พันล้านจากตัวอย่างที่มีเฉพาะข้อความ โดยอ้างอิงว่าปริมาณข้อความนี้ค่อนข้างน้อยเมื่อเทียบกับ 2 ล้านล้านโทเคนที่ ModernBERT ใช้ในการฝึก ทีมงานเลือกใช้ตัวปรับ NorMuon optimizer เพื่อเพิ่มประสิทธิภาพการใช้ข้อมูล

Retrieval Fine-Tuning and Benchmark Results

เพื่อประเมินประสิทธิภาพของโครงสร้างบนงานต่อเนื่อง ทีมงานได้ทำการปรับแต่งโมเดลสำหรับการดึงข้อมูลเอกสารภาพโดยใช้วิธีการ page‑image ที่นำเสนอโดย ColPali แทนการดึงข้อความที่สกัดออกมา NeoMME‑Retriever จะจัดอันดับภาพหน้าจอของหน้าเอกสารโดยข้ามขั้นตอน OCR และคงรูปแบบการจัดวาง, แผนภูมิ, ตาราง, และการพิมพ์ ตัวดึงข้อมูลเพิ่มหัวสองส่วนที่ฝึกร่วมกับโครงสร้างหลัก คือ หัวแบบหนาแน่นที่ทำการ mean‑pool สถานะซ่อนเป็นเวกเตอร์ที่ทำให้เป็นมาตรฐาน, และหัวแบบ late‑interaction ที่โปรเจกต์แต่ละโทเคนข้อความหรือแผ่นภาพเป็นเวกเตอร์ 128‑มิติที่ทำให้เป็นมาตรฐาน เพื่อรักษาการจับคู่ระดับละเอียดระหว่างโทเคนคำถามและพื้นที่ภาพ การส่งผ่านหนึ่งครั้งจะให้ทั้งสองการแทนค่า ทีมงานแนะนำให้ใช้ embedding แบบ late‑interaction เป็นค่าเริ่มต้น และใช้กระบวนการดึงข้อมูลแบบหนาแน่นตามด้วยการจัดอันดับใหม่แบบ late‑interaction สำหรับคอร์ปัสขนาดใหญ่มาก

บนเกณฑ์ ViDoRe v3 รายงาน nDCG@10 ของ NeoMME‑Retriever‑260M อยู่ที่ 0.523 ซึ่งเป็นคะแนนสูงสุดในบรรดาโมเดลที่มีพารามิเตอร์ต่ำกว่า 800M และอยู่ห่างจาก ColQwen2.5 เพียง 0.002 ในขณะที่ใช้พารามิเตอร์น้อยกว่าประมาณ 14 เท่า NeoMME‑Retriever‑800M ได้คะแนน 0.556 ซึ่งห่างจาก Vultron Retriever Flash ที่มีขนาดใกล้เคียงเพียง 0.009 ทั้งสองโมเดลอยู่บนแนวหน้า Pareto ของขนาดโมเดลในเกณฑ์นี้ ตารางเปรียบเทียบในโพสต์ระบุคะแนนของคู่แข่งมาจาก MTEB ส่วนคะแนนของ NeoMME มาจากการประเมินของทีมเอง ในเกณฑ์ ViDoRe v1 และ v2 ที่ใช้ nDCG@5 รายงานว่าโมเดล 260M มีคะแนนดีกว่า ColModernVBERT และ ColSmol‑500M ที่มีขนาดสองเท่า ในขณะที่โมเดล 800M ดีกว่า ColPali v1.3 โดยใช้พารามิเตอร์น้อยกว่าประมาณ 3.6 เท่า

การ์ดโมเดลสำหรับ NeoMME‑260M‑Retriever ระบุว่ามีพารามิเตอร์ 263M, hidden size 1,024, น้ำหนัก BF16, และ embedding หนาแน่น 1,024‑มิติพร้อมจุดตัด Matryoshka ที่ 128, 256, 512, และ 1,024 มิติ รวมถึงเอาต์พุต multi‑vector ขนาด 128‑มิติ การ์ดยังรายงานผลการดึงข้อความบน BEIR‑15 ที่โมเดล 260M ได้คะแนน nDCG@10 0.4881 ด้วยการทำงานแบบ late interaction และโมเดล 800M ได้คะแนน 0.5126

Compression, Indexing Throughput, and Availability

เนื่องจากการจัดเก็บแบบ late‑interaction ขยายตามจำนวนเวกเตอร์ embedding อย่างเชิงเส้น หน้าแบบความละเอียดสูงจึงมีค่าใช้จ่ายสูงในการทำดัชนี: หน้าขนาด 2048×2048 สร้างเวกเตอร์ 4,200 เวกเตอร์ด้วย NeoMME‑Retriever ประมาณ 2.1 MB ในรูปแบบ float32 และโพสต์ระบุว่ามีค่าเฉลี่ยการใช้พื้นที่ประมาณ 1.5 MB ต่อเอกสารบน ViDoRe v3 ทีมงานผสานการรวมโทเคนแบบลำดับชั้น ซึ่งจัดกลุ่มเวกเตอร์เอกสารที่คล้ายกันและเก็บค่าเฉลี่ยของแต่ละกลุ่ม พร้อมกับการควอนไทซ์แบบไม่สมมาตร ที่เก็บ embedding ของเอกสารเป็น int8 หรือแบบไบต์แม่นยำขณะที่ยังคงเก็บ embedding ของการค้นหาแบบความแม่นยำสูงบน query การทดลองบน ViDoRe v3 แสดงว่าการใช้ปัจจัยการรวม 10 พร้อม query และเอกสารแบบ int8 ลดพื้นที่เก็บลงเหลือ 39 kB ต่อหน้า ลดลง 39 เท่า โดยยังคงรักษา nDCG@10 มากกว่า 99 % ของฐานข้อมูลเดิม การตั้งค่าที่เข้มข้นกว่า ปัจจัยการรวม 8 พร้อม query int8 และเอกสารแบบไบต์ ใช้พื้นที่ 6 kB ต่อหน้า ลดลง 255 เท่า และยังคงรักษาคุณภาพการดึงข้อมูลมากกว่า 95 %

ทีมงานยังวัดอัตราการเข้ารหัสโดยใช้เทนเซอร์ภาพที่เตรียมล่วงหน้า โดยกำหนดขนาด batch แยกตามโมเดลและขนาดภาพที่ต่างกัน ที่อินพุต 2048×2048 บน GPU NVIDIA L40S ตัวเดียว NeoMME‑Retriever‑260M สามารถเข้ารหัสได้ประมาณ 51 หน้าในหนึ่งวินาที ซึ่งเร็วกว่า ColModernVBERT ที่ 26 หน้าในหนึ่งวินาที และโพสต์ระบุว่าทั้งสองขนาดของ NeoMME‑Retriever เร็วกว่ารุ่นเปรียบเทียบอื่น ๆ ที่ใช้ความละเอียดอินพุตต่ำกว่า

เช็คพอยท์ทั้งหมดของ NeoMME ถูกปล่อยภายใต้ Apache 2.0 พร้อมการนำไปใช้ในวันแรกผ่าน Hugging Face Transformers และมีเดโมการสร้างข้อความเสริมการดึงภาพพร้อมใช้งานเป็น Hugging Face Space สำหรับการปรับแต่ง ทีมงานให้เช็คพอยท์แบบหนาแน่นและแบบ late‑interaction แยกกันที่เข้ากันได้กับ Sentence Transformers v6 ซึ่งในปัจจุบันรองรับหัวดึงข้อมูลหนึ่งหัวต่อโมเดล; การฝึกหัวทั้งสองพร้อมกันต้องใช้คลาส NeoMMEForRetrieval ร่วมกับ Trainer ที่กำหนดเอง

รายงาน เทคนิคัลรีพอร์ท โดย Aurélien Lac และ Tony Wu ถูกส่งไปยัง arXiv เมื่อวันที่ 31 สิงหาคม 2026 ในหมวดการดึงข้อมูลสารสนเทศ ในส่วนขอบคุณของโพสต์ ผู้เขียนอธิบายว่า NeoMME เป็นโครงการข้างเคียงที่ทำด้วยเวลาและทรัพยากรคอมพิวเตอร์จำกัด และขอบคุณบริษัท H ที่สนับสนุนงานและให้คอมพิวเตอร์ที่ใช้ในการฝึกโมเดล