NVIDIA เปิดตัวโมเดล Nemotron 3.5 แบบเปิดสำหรับการสร้างเวกเตอร์ฝัง การจัดอันดับซ้ำ และการแยกวิเคราะห์

เมื่อวันที่ 21 ตุลาคม 2026 NVIDIA ได้ขยายกลุ่มผลิตภัณฑ์ Nemotron Retriever ด้วยโมเดลแบบเปิดที่พร้อมใช้งานเชิงพาณิชย์สำหรับการสร้างเวกเตอร์ฝัง การจัดอันดับซ้ำ และการดึงข้อมูลจากเอกสาร ได้แก่ Nemotron 3.5 Embed รุ่น 8B BF16, 1B BF16 และ 1B NVFP4, Nemotron 3.5 Rerank 8B BF16 และ Nemotron 3.5 Parse ที่มีพารามิเตอร์ 631 ล้านตัว

ในประกาศที่ NVIDIA เป็นผู้เขียนและเผยแพร่บน Hugging Face บริษัทระบุว่าการเปิดตัวครั้งนี้มุ่งรองรับเวิร์กโฟลว์ของเอเจนต์ในองค์กร โดยเพิ่มความสามารถด้านการค้นคืนข้อมูลแบบหลายสื่อ การจัดอันดับความเกี่ยวข้อง และการประมวลผลเอกสาร NVIDIA ระบุว่าคุณภาพการค้นคืนข้อมูลเป็นปัจจัยที่ส่งผลทั้งต่อคำตอบที่เอเจนต์สร้างขึ้นและต้นทุนการอนุมานของ LLM ในแต่ละงาน โดยชี้ว่าเมื่อข้อมูลหลักฐานที่ได้กลับมาไม่ครบถ้วนหรือไม่เกี่ยวข้อง เอเจนต์จะค้นหาเพิ่มเติมและตรวจทานเอกสารมากขึ้น ทำให้ใช้โทเค็นสำหรับการอนุมานเพิ่มขึ้นก่อนทำงานเสร็จ

โมเดล Embed และ Rerank ทั้งสี่รุ่นรองรับการใช้งานที่แตกต่างกัน Nemotron 3.5 Embed 8B BF16 ออกแบบมาสำหรับการค้นหาที่เน้นคุณภาพ ทั้งในข้อความและเอกสารที่มีเนื้อหาภาพจำนวนมาก ส่วนรุ่น 1B BF16 ย่อความสามารถในการค้นคืนข้อมูลแบบหลายสื่อของรุ่น 8B ให้มีขนาดเล็กลง เพื่อใช้จัดทำดัชนีข้อมูลหลายสื่อและให้บริการการค้นหาด้วยคำค้น รุ่น 1B NVFP4 ใช้การควอนไทซ์ NVFP4 กับทั้งตัวเข้ารหัสข้อความและภาพ โดยมุ่งรองรับการจัดทำดัชนีเอกสารขนาดใหญ่และการค้นคืนข้อมูลปริมาณสูงบนฮาร์ดแวร์ที่รองรับ Nemotron 3.5 Rerank 8B BF16 ให้คะแนนคู่คำค้นกับเอกสารร่วมกัน เพื่อปรับลำดับความเกี่ยวข้องของข้อมูลตัวเลือกทั้งที่เป็นข้อความและภาพให้แม่นยำขึ้น และคัดเลือกหลักฐานสำหรับการสร้างแบบเสริมด้วยการค้นคืนข้อมูลและเวิร์กโฟลว์ของเอเจนต์ การค้นคืนข้อมูลครอบคลุมทั้งข้อความในเอกสารและภาพ เช่น ตาราง แผนภูมิ อินโฟกราฟิก เอกสารข้อมูลผลิตภัณฑ์ และแผนผัง NVIDIA ประเมินการค้นคืนข้อความใน 34 ภาษา และการค้นคืนภาพหลายภาษาโดยใช้ MIRACL Vision ซึ่งครอบคลุม 18 ภาษา รวมถึง KoViDoRe พร้อมระบุว่าโมเดลอาจรองรับภาษาอื่นนอกเหนือจากที่ทดสอบด้วย

การทดลองการค้นคืนข้อมูลสำหรับเอเจนต์

เพื่อวัดผลของการค้นคืนข้อมูลต่อพฤติกรรมของเอเจนต์ NVIDIA ประเมิน Nemotron 3.5 Embed และ Rerank บน ViDoRe v3, BRIGHT และ BrowseComp-Plus โดย ViDoRe v3 ใช้ทั้งข้อความและภาพเป็นอินพุต ส่วน BRIGHT และ BrowseComp-Plus ใช้เฉพาะข้อความไปป์ไลน์ที่ทดสอบให้เอเจนต์ค้นหาข้อมูลในคลังข้อมูลผ่านเครื่องมือค้นหา ตรวจทานหลักฐานที่ได้ และปรับคำค้นครั้งต่อไป เมทริกซ์การทดสอบสลับการทำงานของเครื่องมือค้นหาไปมาระหว่างการตั้งค่าที่ใช้เฉพาะการสร้างเวกเตอร์ฝังกับการตั้งค่าที่ใช้ทั้งการสร้างเวกเตอร์ฝังและการจัดอันดับซ้ำ โดยใช้โมเดลต่างกัน ขณะที่ LLM เครื่องมือ ชุดงาน คลังข้อมูล และนโยบายการทำงานของเอเจนต์ยังคงเหมือนเดิม การประเมินติดตามว่าเอเจนต์ค้นพบข้อมูลที่เกี่ยวข้องกับแต่ละงานหรือไม่ รวมถึงจำนวนโทเค็นการอนุมานทั้งหมดของเอเจนต์ต่องานในทุกขั้นตอน โดยนับทั้งโทเค็นอินพุตและเอาต์พุต

NVIDIA ระบุว่าเมื่อนำ Nemotron 3.5 Rerank มาใช้ในไปป์ไลน์ ต้นทุนโทเค็นของเอเจนต์ต่อคำค้นลดลงประมาณ 14% เมื่อใช้ร่วมกับโมเดล Embed 8B และลดลง 13% เมื่อใช้ร่วมกับโมเดล 1B อีกทั้งความแม่นยำในการค้นคืนข้อมูลยังดีขึ้นในการตั้งค่าทั้งสองแบบ NVIDIA รายงานว่าเมื่อใช้ร่วมกับโมเดล Embed 8B ตัวจัดอันดับซ้ำทำคะแนน nDCG@10 ได้มากกว่า Qwen3-VL-Reranker-8B ราว 0.9 คะแนน โดยมีต้นทุนโทเค็นของเอเจนต์ใกล้เคียงกัน

ผลการจัดอันดับบนลีดเดอร์บอร์ด

NVIDIA รายงานว่า Nemotron 3.5 Embed 8B BF16 ทำคะแนน nDCG@10 ได้ 61.17 บน ViDoRe v3.1 และเป็นโมเดลค้นคืนข้อมูลแบบหนาแน่นที่ได้อันดับหนึ่ง ณ วันที่ 20 ตุลาคม 2026 โดยบริษัทระบุว่าคะแนนนี้เพิ่มขึ้น 8.94 คะแนนจาก 52.23 คะแนนที่ทำได้โดยโมเดล Llama Nemotron Embed VL 1B ของบริษัท ส่วนโมเดล 1B BF16 ที่กลั่นความรู้จากโมเดลขนาดใหญ่ทำคะแนน nDCG@10 ได้ 58.38 หรือคิดเป็น 95.4% ของคะแนนโมเดลต้นแบบ 8B ตามข้อมูลของ NVIDIA บน MIRACL Vision NVIDIA รายงานว่าโมเดล 8B ทำคะแนน nDCG@10 ได้ 72.6 สูงกว่า Qwen3-VL-Embedding-8B อยู่ 4.3 คะแนน และระบุว่าโมเดล Embed ทั้งสองขนาดทำคะแนนเหนือกว่าโมเดลพื้นฐาน Qwen บน KoViDoRe เมื่อใช้อินพุตที่ผสานภาพและข้อความ

NVIDIA ร่วมกับทีม MTEB เปิดตัวลีดเดอร์บอร์ดการจัดอันดับซ้ำ ViDoRe v3.1 ซึ่งครอบคลุมอินพุตที่เป็นภาพอย่างเดียว ข้อความอย่างเดียว และอินพุตที่ผสานภาพกับข้อความ NVIDIA รายงานว่าตัวจัดอันดับซ้ำทำคะแนน nDCG@10 ได้ 60.49 สำหรับอินพุตแบบผสาน เทียบกับ 59.17 ของ Qwen3-VL-Reranker-8B และขึ้นเป็นอันดับหนึ่งบนลีดเดอร์บอร์ดดังกล่าว ณ วันที่ 20 ตุลาคม 2026

ปริมาณงานและการปรับแต่งโมเดลเฉพาะโดเมน

สำหรับการใช้งานจริง NVIDIA รายงานว่ารุ่น NVFP4 มีปริมาณงานสูงกว่ารุ่น 1B BF16 อยู่ 27.1% บน NVIDIA GB200 โดยประมวลผลได้ 128.8 เอกสารต่อวินาที เทียบกับ 101.3 เอกสารต่อวินาที ขณะยังคงรักษาความแม่นยำในการค้นคืนข้อมูลบน ViDoRe v3 สำหรับอินพุตที่ผสานภาพกับข้อความไว้ได้ 99.85% ของรุ่น BF16 ในการทดสอบของบริษัท NVIDIA NIM ประมวลผลคำขอค้นหาได้ 6,031 รายการต่อวินาทีบน RTX PRO 6000 Blackwell Server Edition ซึ่งราว 2.9 เท่าของการตั้งค่า vLLM ที่เทียบเคียงกันซึ่งประมวลผลได้ 2,099 รายการต่อวินาที ขณะที่ระบุว่าปริมาณงานในการประมวลผลข้อความส่วนที่ค้นพบมีค่าใกล้เคียงกัน

NVIDIA ยังเผยแพร่แนวทางปรับแต่งการฝังข้อมูลหลายสื่อ ซึ่งอธิบายขั้นตอนการสร้างข้อมูลสังเคราะห์ การค้นหาตัวอย่างเชิงลบที่ยาก การปรับแต่งด้วย NVIDIA NeMo AutoModel และการประเมินผลในเวิร์กโฟลว์เดียว เพื่อให้ทีมต่าง ๆ สร้างคำค้นและป้ายกำกับความเกี่ยวข้องจากชุดเอกสารของตนเองได้ ในการทดสอบแนวทางดังกล่าว NVIDIA ใช้ภาพแผนภูมิและอินโฟกราฟิก 8,202 ภาพ พร้อมคำค้นสังเคราะห์ 8,591 รายการที่สร้างโดย Qwen3.8-Flash-Next โดยเน้นคำค้นแบบแจกแจงรายการและคำค้นปลายเปิดที่มีภาพเกี่ยวข้องหลายภาพ หลังปรับแต่งโมเดลเป็นเวลา 1 epoch ด้วยคำค้น 6,872 รายการ คะแนน nDCG@10 ของโมเดล 1B BF16 เพิ่มจาก 37.34 เป็น 44.12 เมื่อทดสอบกับคำค้นสังเคราะห์ 1,719 รายการที่กันไว้ ซึ่ง NVIDIA ระบุว่าเป็นการเพิ่มขึ้น 18% ในเชิงสัมพัทธ์ ส่วนโมเดล 8B BF16 มีคะแนนเพิ่มจาก 41.44 เป็น 42.75 หรือเพิ่มขึ้น 3% ในเชิงสัมพัทธ์

สถาปัตยกรรมและการฝึกโมเดล

สำหรับโมเดลฝังเวกเตอร์ 8B NVIDIA ต่อยอดจาก Ministral-3-8B-Instruct และเริ่มต้นส่วนประกอบด้านภาษาจาก Nemotron-3-Embed-8B-BF16 จากนั้นใช้การเรียนรู้แบบคอนทราสต์กับคลังข้อมูลภาพและข้อความ เพื่อสร้างตัวแทนข้อมูลหลายรูปแบบสำหรับการค้นคืน โมเดล 1B ได้รับการกลั่นจากโมเดล 8B โดยใช้ฟังก์ชันการสูญเสียแบบโคไซน์และค่าคลาดเคลื่อนกำลังสองเฉลี่ย เพื่อจัดแนวเวกเตอร์ฝังของโมเดลนักเรียนให้ตรงกับของโมเดลครู และเริ่มต้นส่วนประกอบด้านภาษาจาก Nemotron-3-Embed-1B-BF16 เนื่องจากส่วนประกอบด้านภาษายังคงถูกตรึงไว้ระหว่างการฝึกโมเดลฝังเวกเตอร์ NVIDIA ระบุว่าเวกเตอร์ฝังที่สร้างจากข้อความล้วนควรตรงกับของโมเดล Nemotron 3 Embed ที่เกี่ยวข้อง ทำให้สามารถนำเวกเตอร์ฝังข้อความและดัชนีเวกเตอร์ที่มีอยู่มาใช้ต่อได้

Nemotron 3.5 Rerank ใช้สถาปัตยกรรมแกนหลักเดียวกับโมเดลฝังเวกเตอร์ 8B แต่ทำงานในรูปแบบตัวเข้ารหัสแบบไขว้ โดยเข้ารหัสคู่คำค้นหาและเอกสารร่วมกัน แทนการฝังคำค้นหาและเอกสารแยกกันเพื่อคำนวณคะแนนความคล้ายคลึง จากนั้นหัวให้คะแนนแบบเพอร์เซ็ปตรอนหลายชั้นจะส่งออกค่าลอจิตความเกี่ยวข้องเป็นตัวเลขสเกลาร์ โมเดลทั้งหมดได้รับการฝึกด้วยข้อมูลหลายภาษาและหลายรูปแบบ ซึ่งประกอบด้วยข้อมูลที่เปิดเผยต่อสาธารณะและข้อมูลสังเคราะห์ โดยน้ำหนักโมเดลรุ่นสุดท้ายที่เผยแพร่ได้มาจากการรวมเช็กพอยต์ NVIDIA ระบุว่ามีรายละเอียดเพิ่มเติมเกี่ยวกับข้อมูลฝึกใน model card ของแต่ละโมเดลบน Hugging Face

Nemotron 3.5 Parse

Nemotron 3.5 Parse แปลงภาพเอกสารให้เป็นข้อความที่เครื่องอ่านได้ โดยยังคงรักษาโครงสร้างที่ทำให้เนื้อหามีความหมายไว้ โมเดลตรวจจับองค์ประกอบต่าง ๆ ของเอกสาร ตำแหน่ง และลำดับการอ่าน จากนั้นส่งออกตารางและแผนภูมิในรูปแบบ Markdown ตาราง HTML และบล็อกข้อมูลที่มีโครงสร้าง ซึ่งนักพัฒนาสามารถนำไปจัดทำดัชนี ค้นหา และประมวลผลต่อได้ NVIDIA รายงานว่า Parse ทำคะแนน ParseBench ได้ 75.20 ด้วยความเร็ว 10.5 หน้าต่อวินาทีบน NVIDIA H100 เครื่องเดียว ทำให้เป็นอันดับหนึ่งในกลุ่มโมเดลที่มีพารามิเตอร์น้อยกว่า 1 พันล้านตัว ณ วันที่ 20 ตุลาคม 2026 ParseBench ทดสอบการดึงข้อมูลจากตารางและแผนภูมิ ความเที่ยงตรงของเนื้อหา การจัดรูปแบบเชิงความหมาย และการอ้างอิงตำแหน่งในภาพ

โหมดอนุมาน 3 แบบช่วยให้นักพัฒนาปรับสมดุลระหว่างปริมาณงานกับความแม่นยำได้โดยใช้โมเดลเดียวกัน การประมวลผลแบบรอบเดียวอ่านแต่ละหน้าเพียงครั้งเดียว และทำคะแนนได้ 72.74 ด้วยความเร็ว 16.1 หน้าต่อวินาที การประมวลผลแบบสองรอบจะกลับไปตรวจตารางและแผนภูมิที่ถูกทำเครื่องหมายไว้ในการแยกวิเคราะห์หน้าเอกสารเบื้องต้น โดยได้คะแนน 74.92 ด้วยความเร็ว 11.2 หน้าต่อวินาที ส่วนการประมวลผลแบบสามรอบเพิ่มขั้นตอนตรวจจับเพื่อค้นหาบริเวณเพิ่มเติมสำหรับปรับปรุงผลลัพธ์ ทำคะแนนได้ 75.20 ด้วยความเร็ว 10.5 หน้าต่อวินาที NVIDIA ระบุว่าจุดทำงานทั้งสามแบบอยู่บนแนวหน้าพาเรโตเมื่อเทียบกับการกำหนดค่าอื่น ๆ ในการเปรียบเทียบ เนื่องจากไม่มีการกำหนดค่าอื่นใดที่ให้ความแม่นยำและปริมาณงานดีขึ้นพร้อมกัน

ข้อมูลฝึกของ Parse ครอบคลุมเอกสารองค์กร บทความวิชาการ แบบฟอร์ม ตาราง แผนภูมิ และข้อความหลายภาษา โดยขยายชุดข้อมูลด้วยเครื่องมือสร้างข้อมูลสังเคราะห์ NVIDIA รายงานว่าโมเดลทำผลงานได้ดีในการประเมินที่ครอบคลุมชุดภาษาและระบบอักษร 163 แบบ สำหรับการฝึกหลังการฝึก NVIDIA ใช้การเพิ่มประสิทธิภาพนโยบายสัมพัทธ์แบบกลุ่ม พร้อมกำหนดรางวัลเฉพาะสำหรับโครงสร้างที่ถูกต้องและบทลงโทษสำหรับข้อผิดพลาด โดยระบุว่าวิธีนี้ช่วยลดการวนสร้างข้อความซ้ำและบล็อกที่ปิดไม่ครบ ทำให้ตารางมีความสม่ำเสมอมากขึ้น และเพิ่มความสามารถในการทำตามสคีมาของแผนภูมิ NVIDIA ยังกล่าวขอบคุณ LightOn โดยระบุว่าเทคนิคโอเพนซอร์สที่แบ่งปันกันมีบทบาทสำคัญต่อการปรับปรุงโมเดล

การประเมินจากพันธมิตรและการวางจำหน่าย

ประกาศดังกล่าวนำเสนอผลการประเมินเบื้องต้นจากพันธมิตรในภาคธุรกิจ สำหรับ Elastic โพสต์ระบุว่า Inference API ใน Elasticsearch เปิดให้ใช้งานโมเดลฝังเวกเตอร์และจัดอันดับใหม่ของ Nemotron Retriever ผ่านปลายทางการอนุมานของ NVIDIA โดยจะเพิ่ม Nemotron 3 ผ่าน Elastic Inference Service ในเร็ว ๆ นี้ และมีการรองรับการติดตั้งใช้งานภายในองค์กรอยู่ในแผนงาน Vectorize ทดสอบ Nemotron 3.5 Embed ภายใน Hindsight Agent Memory และตามที่โพสต์ระบุ โมเดลนี้ได้อันดับหนึ่งในการทดสอบประสิทธิภาพหน่วยความจำสำหรับบทสนทนายาว 2 รายการ โดยทำค่า recall@10 ได้ 93.8% บน LoCoMo และ 65.9% บน BEAM 100K เมื่อเทียบกับโมเดลฝังเวกเตอร์คู่แข่ง 7 รุ่น พร้อมทั้งทำค่า MRR และ recall@5 ได้สูงที่สุด ผลการประเมินของ Perplexity จัดให้ Nemotron 3.5 Rerank 8B ได้คะแนนเฉลี่ยสูงที่สุดในการทดสอบจัดอันดับใหม่แบบส่วนตัวของ Perplexity ซึ่งมี 72 งาน โดยมีรายงานผลลัพธ์ที่ดีในทั้ง 6 โดเมน ส่วน Turbopuffer ซึ่งทดสอบโมเดลฝังเวกเตอร์ 8B ด้วยเกณฑ์มาตรฐานการค้นหา PDF ระดับองค์กร รายงานว่าโมเดลนี้ให้ผลลัพธ์ที่เกี่ยวข้องมากกว่าโมเดลอันดับรองลงมาประมาณ 5% ที่ Recall@20 และขณะนี้เปิดให้ใช้โมเดลเหล่านี้เป็นตัวเลือกการฝังเวกเตอร์แบบเนทีฟแล้ว

มีการเผยแพร่น้ำหนักโมเดลแบบเปิด ข้อมูล และสูตรการฝึกบน Hugging Face โดยสามารถนำไปใช้งานจริงผ่าน NVIDIA NIM รวมถึงพันธมิตรด้าน AI cloud และการอนุมาน ได้แก่ Baseten, DeepInfra และ FriendliAI สูตรการปรับแต่งโมเดลสำหรับการฝังเวกเตอร์และการจัดอันดับใหม่เผยแพร่ไว้ในที่เก็บ GitHub ของ NVIDIA NeMo Nemotron