Η NVIDIA παρουσιάζει ανοικτά μοντέλα Nemotron 3.5 για διανυσματικές αναπαραστάσεις, επανακατάταξη και ανάλυση

Στις 21 Οκτωβρίου 2026, η NVIDIA διεύρυνε τη συλλογή Nemotron Retriever με νέα ανοικτά μοντέλα, διαθέσιμα για εμπορική χρήση, για τη δημιουργία διανυσματικών αναπαραστάσεων, την επανακατάταξη και την εξαγωγή δεδομένων από έγγραφα: το Nemotron 3.5 Embed σε εκδόσεις 8B BF16, 1B BF16 και 1B NVFP4, το Nemotron 3.5 Rerank 8B BF16 και το Nemotron 3.5 Parse με 631 εκατομμύρια παραμέτρους.

Σε ανακοίνωση που συνέταξε η NVIDIA και δημοσιεύτηκε στο Hugging Face, η εταιρεία ανέφερε ότι η κυκλοφορία απευθύνεται σε εταιρικές ροές εργασίας με πράκτορες, προσθέτοντας δυνατότητες πολυτροπικής ανάκτησης, κατάταξης βάσει συνάφειας και επεξεργασίας εγγράφων. Η NVIDIA παρουσίασε την ποιότητα ανάκτησης ως παράγοντα που επηρεάζει τόσο τις απαντήσεις που παράγει ένας πράκτορας όσο και το κόστος εξαγωγής συμπερασμάτων από LLM για μια εργασία, επισημαίνοντας ότι, όταν τα τεκμήρια που ανακτώνται είναι ελλιπή ή άσχετα, οι πράκτορες εκτελούν περισσότερες αναζητήσεις και εξετάζουν περισσότερα έγγραφα, καταναλώνοντας επιπλέον διακριτικά εξαγωγής συμπερασμάτων προτού ολοκληρώσουν την εργασία.

Οι τέσσερις εκδόσεις Embed και Rerank καλύπτουν διαφορετικές ανάγκες ανάπτυξης. Το Nemotron 3.5 Embed 8B BF16 προορίζεται για αναζήτηση με έμφαση στην ποιότητα, σε κείμενα και έγγραφα με πλούσιο οπτικό περιεχόμενο. Το μοντέλο 1B BF16 συμπυκνώνει την πολυτροπική ανάκτηση του μοντέλου 8B σε μικρότερο αποτύπωμα, για πολυτροπική ευρετηρίαση και εξυπηρέτηση ερωτημάτων. Το μοντέλο 1B NVFP4 εφαρμόζει κβαντισμό NVFP4 τόσο στους κωδικοποιητές κειμένου όσο και στους κωδικοποιητές εικόνας και προορίζεται για ευρετηρίαση εγγράφων μεγάλης κλίμακας και ανάκτηση υψηλής απόδοσης σε υποστηριζόμενο υλικό. Το Nemotron 3.5 Rerank 8B BF16 βαθμολογεί από κοινού ζεύγη ερωτημάτων και εγγράφων, ώστε να βελτιώσει την κατάταξη συνάφειας μεταξύ υποψηφίων από κείμενα και εικόνες, επιλέγοντας τεκμήρια για παραγωγή με ενίσχυση ανάκτησης και ροές εργασίας με πράκτορες. Η ανάκτηση καλύπτει τόσο το κείμενο των εγγράφων όσο και εικόνες, όπως πίνακες, γραφήματα, γραφήματα πληροφοριών, δελτία δεδομένων και σχηματικά διαγράμματα. Η NVIDIA αξιολόγησε την ανάκτηση κειμένου σε 34 γλώσσες και την πολυγλωσσική οπτική ανάκτηση στα MIRACL Vision, που καλύπτει 18 γλώσσες, και KoViDoRe, σημειώνοντας ότι τα μοντέλα ενδέχεται να υποστηρίζουν και άλλες γλώσσες πέρα από όσες δοκιμάστηκαν.

Πειράματα ανάκτησης με πράκτορες

Για να μετρήσει πώς επηρεάζει η ανάκτηση τη συμπεριφορά των πρακτόρων, η NVIDIA αξιολόγησε τα Nemotron 3.5 Embed και Rerank στα ViDoRe v3, BRIGHT και BrowseComp-Plus. Το ViDoRe v3 χρησιμοποιεί συνδυασμένες εισόδους κειμένου και εικόνας, ενώ τα BRIGHT και BrowseComp-Plus χρησιμοποιούν μόνο εισόδους κειμένου. Στην υπό δοκιμή διαδικασία, ένας πράκτορας αναζητά ένα σώμα δεδομένων χρησιμοποιώντας ένα εργαλείο αναζήτησης, εξετάζει τα τεκμήρια που επιστρέφονται και προσαρμόζει τα επόμενα ερωτήματά του. Στη μήτρα δοκιμών, η υλοποίηση του εργαλείου αναζήτησης αντικαταστάθηκε σε διατάξεις μόνο με διανυσματικές αναπαραστάσεις και σε διατάξεις με διανυσματικές αναπαραστάσεις και επανακατάταξη, με χρήση διαφορετικών μοντέλων, ενώ το LLM του πράκτορα, τα εργαλεία, το σύνολο εργασιών, το σώμα δεδομένων και η πολιτική εκτέλεσης παρέμειναν ίδια. Η αξιολόγηση κατέγραφε αν ο πράκτορας εντόπιζε τις σχετικές πληροφορίες για κάθε εργασία, καθώς και το σύνολο των διακριτικών εξαγωγής συμπερασμάτων του πράκτορα ανά εργασία σε όλους τους γύρους, συνυπολογίζοντας τόσο τα διακριτικά εισόδου όσο και τα διακριτικά εξόδου.

Σύμφωνα με την NVIDIA, η ένταξη του Nemotron 3.5 Rerank στη διαδικασία μείωσε το κόστος διακριτικών ανά ερώτημα για τη ροή εργασίας με πράκτορα κατά περίπου 14% όταν χρησιμοποιήθηκε μαζί με το μοντέλο διανυσματικών αναπαραστάσεων 8B και κατά 13% μαζί με το μοντέλο 1B, ενώ η ακρίβεια ανάκτησης βελτιώθηκε και στις δύο διατάξεις. Όταν συνδυάστηκε με το μοντέλο διανυσματικών αναπαραστάσεων 8B, το μοντέλο επανακατάταξης σημείωσε περίπου 0,9 μονάδες nDCG@10 περισσότερες από το Qwen3-VL-Reranker-8B, με συγκρίσιμο κόστος διακριτικών για τη ροή εργασίας με πράκτορα, αναφέρει η NVIDIA.

Αποτελέσματα στους πίνακες κατάταξης

Στο ViDoRe v3.1, το Nemotron 3.5 Embed 8B BF16 σημείωσε 61,17 nDCG@10, σύμφωνα με την NVIDIA, καταλαμβάνοντας την πρώτη θέση μεταξύ των μοντέλων πυκνής ανάκτησης στις 20 Οκτωβρίου 2026. Η εταιρεία περιγράφει την επίδοση αυτή ως βελτίωση κατά 8,94 μονάδες σε σχέση με τη βαθμολογία 52,23 του μοντέλου Llama Nemotron Embed VL 1B. Το αποσταγμένο μοντέλο 1B BF16 σημείωσε 58,38 nDCG@10, διατηρώντας το 95,4% της βαθμολογίας του μοντέλου-δασκάλου 8B, σύμφωνα με την NVIDIA. Στο MIRACL Vision, η NVIDIA αναφέρει βαθμολογία 72,6 nDCG@10 για το μοντέλο 8B, δηλαδή 4,3 μονάδες πάνω από το Qwen3-VL-Embedding-8B, και δηλώνει ότι και τα δύο μεγέθη των μοντέλων Embed ξεπέρασαν τα μοντέλα αναφοράς Qwen στο KoViDoRe για συνδυασμένες εισόδους εικόνας και κειμένου.

Η NVIDIA, μαζί με την ομάδα MTEB, εγκαινιάζει έναν πίνακα κατάταξης επανακατάταξης για το ViDoRe v3.1, ο οποίος καλύπτει εισόδους μόνο με εικόνες, μόνο με κείμενο και συνδυασμένες εισόδους εικόνας και κειμένου. Η NVIDIA αναφέρει ότι το μοντέλο επανακατάταξης σημείωσε 60,49 nDCG@10 στις συνδυασμένες εισόδους, έναντι 59,17 για το Qwen3-VL-Reranker-8B, καταλαμβάνοντας την πρώτη θέση στον συγκεκριμένο πίνακα κατάταξης στις 20 Οκτωβρίου 2026.

Ρυθμός επεξεργασίας και προσαρμογή σε συγκεκριμένους τομείς

Για ανάπτυξη σε περιβάλλοντα παραγωγής, η NVIDIA αναφέρει ότι η έκδοση NVFP4 προσφέρει 27,1% υψηλότερο ρυθμό επεξεργασίας από το μοντέλο 1B BF16 στο NVIDIA GB200, φτάνοντας τα 128,8 έγγραφα ανά δευτερόλεπτο έναντι 101,3, ενώ διατηρεί το 99,85% της ακρίβειας ανάκτησης του μοντέλου BF16 στο ViDoRe v3 για συνδυασμένες εισόδους εικόνας και κειμένου. Σε δοκιμές της εταιρείας σε RTX PRO 6000 Blackwell Server Edition, το NVIDIA NIM εξυπηρέτησε 6.031 αιτήματα ερωτημάτων ανά δευτερόλεπτο, περίπου 2,9 φορές τα 2.099 αιτήματα ανά δευτερόλεπτο μιας συγκρίσιμης διαμόρφωσης vLLM, ενώ ο ρυθμός επεξεργασίας αποσπασμάτων περιγράφηκε ως συγκρίσιμος.

Η NVIDIA δημοσίευσε επίσης μια συνταγή προσαρμογής πολυτροπικών διανυσματικών αναπαραστάσεων, η οποία παρουσιάζει ως ενιαία διαδικασία τη δημιουργία συνθετικών δεδομένων, την εξόρυξη δύσκολων αρνητικών παραδειγμάτων, την προσαρμογή με το NVIDIA NeMo AutoModel και την αξιολόγηση, ώστε οι ομάδες να μπορούν να δημιουργούν ερωτήματα και ετικέτες συνάφειας από τις δικές τους συλλογές εγγράφων. Στη δική της δοκιμή της συνταγής, η NVIDIA χρησιμοποίησε 8.202 εικόνες γραφημάτων και γραφημάτων πληροφοριών, μαζί με 8.591 συνθετικά ερωτήματα που δημιουργήθηκαν από το Qwen3.8-Flash-Next και επικεντρώνονταν σε ερωτήματα απαρίθμησης και ανοικτού τύπου, με πολλές σχετικές εικόνες. Μετά από μία εποχή προσαρμογής σε 6.872 ερωτήματα, η βαθμολογία nDCG@10 του μοντέλου 1B BF16 αυξήθηκε από 37,34 σε 44,12 σε 1.719 συνθετικά ερωτήματα που είχαν κρατηθεί για αξιολόγηση, κάτι που η NVIDIA περιγράφει ως σχετική αύξηση 18%. Το μοντέλο 8B BF16 ανέβηκε από 41,44 σε 42,75, σημειώνοντας σχετική αύξηση 3%.

Αρχιτεκτονική και εκπαίδευση μοντέλων

Για το μοντέλο ενσωμάτωσης 8B, η NVIDIA βασίστηκε στο Ministral-3-8B-Instruct και αρχικοποίησε το γλωσσικό στοιχείο από το Nemotron-3-Embed-8B-BF16. Στη συνέχεια, εφάρμοσε αντιθετική μάθηση σε σώματα εικόνων και κειμένων, για να δημιουργήσει πολυτροπικές αναπαραστάσεις ανάκτησης. Τα μοντέλα 1B προέκυψαν με απόσταξη από το μοντέλο 8B, χρησιμοποιώντας συναρτήσεις απώλειας συνημιτόνου και μέσου τετραγωνικού σφάλματος, οι οποίες ευθυγράμμισαν τις ενσωματώσεις του μαθητή με εκείνες του δασκάλου. Το γλωσσικό τους στοιχείο αρχικοποιήθηκε από το Nemotron-3-Embed-1B-BF16. Καθώς το γλωσσικό στοιχείο παραμένει παγωμένο κατά την εκπαίδευση των ενσωματώσεων, η NVIDIA αναφέρει ότι οι ενσωματώσεις κειμένου μόνο θα πρέπει να αντιστοιχούν σε εκείνες των αντίστοιχων μοντέλων Nemotron 3 Embed, ώστε να μπορούν να συνεχίσουν να χρησιμοποιούνται οι υπάρχουσες ενσωματώσεις κειμένου και τα διανυσματικά ευρετήρια.

Το Nemotron 3.5 Rerank έχει την ίδια αρχιτεκτονική κορμού με το μοντέλο ενσωμάτωσης 8B, αλλά λειτουργεί ως διασταυρούμενος κωδικοποιητής: κωδικοποιεί από κοινού κάθε ζεύγος ερωτήματος και εγγράφου, αντί να ενσωματώνει ξεχωριστά τα ερωτήματα και τα έγγραφα για τη βαθμολόγηση ομοιότητας. Στη συνέχεια, μια κεφαλή βαθμολόγησης πολυστρωματικού perceptron παράγει ένα βαθμωτό λογιστικό μέγεθος συνάφειας. Όλα τα μοντέλα εκπαιδεύτηκαν με συνδυασμό δημόσια διαθέσιμων και συνθετικών πολυγλωσσικών, πολυτροπικών δεδομένων, ενώ τα τελικά βάρη που κυκλοφόρησαν προέκυψαν μέσω συνδυασμού σημείων ελέγχου. Η NVIDIA αναφέρει ότι περισσότερες λεπτομέρειες για τα δεδομένα εκπαίδευσης είναι διαθέσιμες στην κάρτα μοντέλου κάθε μοντέλου στο Hugging Face.

Nemotron 3.5 Parse

Το Nemotron 3.5 Parse μετατρέπει εικόνες εγγράφων σε κείμενο αναγνώσιμο από μηχανές, διατηρώντας παράλληλα τη δομή που προσδίδει νόημα στο περιεχόμενο. Το μοντέλο εντοπίζει τα στοιχεία των εγγράφων, τις θέσεις τους και τη σειρά ανάγνωσης, και στη συνέχεια εξάγει πίνακες και γραφήματα ως Markdown, πίνακες HTML και δομημένα τμήματα, τα οποία οι προγραμματιστές μπορούν να ευρετηριάσουν, να αναζητήσουν και να επεξεργαστούν σε επόμενα στάδια. Η NVIDIA αναφέρει ότι το Parse σημείωσε 75.20 στο ParseBench με ταχύτητα 10.5 σελίδων ανά δευτερόλεπτο σε ένα μόνο NVIDIA H100, καταλαμβάνοντας την πρώτη θέση μεταξύ των μοντέλων με λιγότερες από 1 δισεκατομμύριο παραμέτρους, στις 20 Οκτωβρίου 2026. Το ParseBench αξιολογεί την εξαγωγή πινάκων και γραφημάτων, την πιστότητα του περιεχομένου, τη σημασιολογική μορφοποίηση και τη σύνδεση των στοιχείων με την οπτική τους θέση.

Τρεις λειτουργίες συμπερασμού επιτρέπουν στους προγραμματιστές να επιλέξουν ανάμεσα στην απόδοση και την ακρίβεια, χρησιμοποιώντας το ίδιο μοντέλο. Σε μία διέλευση, το μοντέλο διαβάζει κάθε σελίδα μία φορά και καταγράφει 72.74 με ταχύτητα 16.1 σελίδων ανά δευτερόλεπτο. Σε δύο διελεύσεις, επανεξετάζει τους πίνακες και τα γραφήματα που επισημάνθηκαν κατά την αρχική ανάλυση της σελίδας, φτάνοντας το 74.92 με ταχύτητα 11.2 σελίδων ανά δευτερόλεπτο. Σε τρεις διελεύσεις, προστίθεται ένα στάδιο εντοπισμού, το οποίο βρίσκει πρόσθετες περιοχές για βελτίωση, φτάνοντας το 75.20 με ταχύτητα 10.5 σελίδων ανά δευτερόλεπτο. Η NVIDIA περιγράφει και τα τρία σημεία λειτουργίας ως βέλτιστα κατά Pareto στη σύγκρισή της, καθώς καμία από τις άλλες συγκρινόμενες διαμορφώσεις δεν βελτιώνει ταυτόχρονα την ακρίβεια και την απόδοση.

Τα δεδομένα εκπαίδευσης για το Parse περιλάμβαναν εταιρικά έγγραφα, επιστημονικές εργασίες, φόρμες, πίνακες, γραφήματα και πολυγλωσσικά κείμενα, ενώ διευρύνθηκαν με μια μηχανή παραγωγής συνθετικών δεδομένων. Η NVIDIA αναφέρει ισχυρές επιδόσεις σε αξιολογήσεις που καλύπτουν 163 συνδυασμούς γλωσσών και συστημάτων γραφής. Για τη μετεκπαίδευση, η NVIDIA εφάρμοσε τη βελτιστοποίηση πολιτικής σχετικής με την ομάδα (Group Relative Policy Optimization), με προσαρμοσμένες ανταμοιβές για τη σωστή δομή και ποινές για τις αστοχίες. Σύμφωνα με την εταιρεία, αυτό περιόρισε τους επαναλαμβανόμενους κύκλους παραγωγής και τα μη κλεισμένα τμήματα, έκανε τους πίνακες πιο συνεπείς και βελτίωσε την τήρηση των σχημάτων γραφημάτων. Η NVIDIA ευχαρίστησε επίσης τη LightOn, αναφέροντας ότι οι κοινές τεχνικές ανοικτού κώδικα ήταν καθοριστικές για τη βελτίωση του μοντέλου.

Αξιολογήσεις από συνεργάτες και διαθεσιμότητα

Η ανακοίνωση περιλαμβάνει πρώιμες αξιολογήσεις από εταιρικούς συνεργάτες. Όσον αφορά την Elastic, η ανάρτηση αναφέρει ότι το Inference API στο Elasticsearch παρέχει πρόσβαση στα μοντέλα ενσωμάτωσης και ανακατάταξης Nemotron Retriever μέσω των τερματικών σημείων συμπερασμού της NVIDIA. Προσθέτει ότι το Nemotron 3 θα διατεθεί σύντομα μέσω του Elastic Inference Service, ενώ η υποστήριξη για εγκατάσταση στις εγκαταστάσεις του πελάτη περιλαμβάνεται στον οδικό χάρτη. Η Vectorize δοκίμασε το Nemotron 3.5 Embed στο Hindsight Agent Memory και, σύμφωνα με την ανάρτηση, κατέλαβε την πρώτη θέση σε δύο σημεία αναφοράς μνήμης συνομιλιών μεγάλης διάρκειας, καταγράφοντας ανάκληση@10 93.8% στο LoCoMo και 65.9% στο BEAM 100K, έναντι επτά ανταγωνιστικών μοντέλων ενσωμάτωσης, καθώς και τις υψηλότερες τιμές MRR και ανάκλησης@5. Στην αξιολόγηση της Perplexity, το Nemotron 3.5 Rerank 8B σημείωσε την υψηλότερη μέση βαθμολογία στο ιδιωτικό σημείο αναφοράς της Perplexity, το οποίο περιλαμβάνει 72 εργασίες ανακατάταξης, ενώ αναφέρθηκαν ισχυρά αποτελέσματα και στους έξι τομείς. Η Turbopuffer, η οποία δοκίμασε το μοντέλο ενσωμάτωσης 8B σε σημείο αναφοράς αναζήτησης εταιρικών PDF, αναφέρει περίπου 5% περισσότερα σχετικά αποτελέσματα στο Recall@20 από το αμέσως επόμενο μοντέλο και πλέον προσφέρει τα μοντέλα ως εγγενή επιλογή ενσωμάτωσης.

Τα ανοικτά βάρη, τα δεδομένα και οι συνταγές εκπαίδευσης είναι διαθέσιμα στο Hugging Face. Η ανάπτυξη σε περιβάλλοντα παραγωγής είναι δυνατή μέσω του NVIDIA NIM, καθώς και μέσω των συνεργατών της NVIDIA στον τομέα του υπολογιστικού νέφους και των υπηρεσιών συμπερασμού τεχνητής νοημοσύνης, Baseten, DeepInfra και FriendliAI. Οι συνταγές λεπτομερούς ρύθμισης για ενσωμάτωση και ανακατάταξη έχουν δημοσιευτεί στο αποθετήριο GitHub NVIDIA NeMo Nemotron.