Η NVIDIA λανσάρει μοντέλο ομιλίας ανοιχτών βαρών και σύνολο δεδομένων ήχου 463.062 ωρών

Στις 28 Οκτωβρίου 2026, η NVIDIA κυκλοφόρησε το Nemotron 3.5 Transcribe, ένα μοντέλο ομιλίας ανοιχτών βαρών που συνδυάζει σε ένα ενιαίο checkpoint την πολυγλωσσική μεταγραφή, την ταυτοποίηση ομιλητών, τη μετάφραση και την απάντηση σε ερωτήσεις για τον ήχο, μαζί με το Granary v2, ένα ανοιχτό σύνολο δεδομένων ομιλίας και αγωγό επιμέλειας, του οποίου το δημόσιο μητρώο καλύπτει 463.062 ώρες σε 48 γλώσσες.

Το μοντέλο μεταγράφει ομιλία σε 40 γλώσσες, μεταφράζει 31 από αυτές προς ή από τα αγγλικά και αποδίδει τα λόγια σε συγκεκριμένους ομιλητές σε 13, σύμφωνα με την ανακοίνωση της NVIDIA στο Hugging Face. Επεξεργάζεται ηχογραφήσεις διάρκειας έως και μίας ώρας και επισημαίνει έως και οκτώ ομιλητές. Η κάρτα του μοντέλου αναφέρει ως ημερομηνία κυκλοφορίας την 28η Οκτωβρίου 2026 και καταγράφει τη διάθεσή του μέσω των Hugging Face, GitHub μέσω NVIDIA NeMo Speech, NGC και Build.Nvidia.com, με τα βάρη να κυκλοφορούν με άδεια OpenMDW-1.1 και το μοντέλο να είναι έτοιμο για εμπορική ή μη εμπορική χρήση. Φιλοξενούμενα endpoints προσφέρουν οι Baseten, DeepInfra και Simplismart, ενώ διαδραστική επίδειξη είναι διαθέσιμη στα Hugging Face Spaces και ModelScope Studios.

Αρχιτεκτονική και προτροπές

Το Transcribe συνδυάζει έναν κωδικοποιητή ομιλίας με ένα γλωσσικό μοντέλο κορμού σε ένα checkpoint 34 δισ. παραμέτρων, από τις οποίες περίπου 4,3 δισ. είναι ενεργές για κάθε token, και διαθέτει παράθυρο συμφραζομένων 65.536 tokens. Το σκέλος ομιλίας συνδυάζει έναν κωδικοποιητή ASR Transformer 600 εκατ. παραμέτρων, τον κωδικοποιητή ομιλητών Nemotron-3-Diarization, με περίπου 99 εκατ. παραμέτρους, και μια κεφαλή ταξινόμησης σύνδεσης-χρονικής στιγμής για χρονικές σημάνσεις λέξεων· το γλωσσικό σκέλος είναι το Nemotron-3.5 Lightning 30B-A3B της NVIDIA, ένα υβριδικό μοντέλο Mamba-2–Transformer τύπου μείγματος ειδικών. Τα βάρη διατίθενται σε BF16, μαζί με κβαντισμένες παραλλαγές FP8 και NVFP4 και ένα προαιρετικό προσχέδιο μοντέλου DFlash2 για κερδοσκοπική αποκωδικοποίηση.

Οι προτροπές σε φυσική γλώσσα καθορίζουν την έξοδο: οι προγραμματιστές μπορούν να ζητήσουν απομαγνητοφωνήσεις κατά λέξη ή επιμελημένες, γραπτές απομαγνητοφωνήσεις, να δώσουν λεξιλόγιο συμφραζομένων, όπως όρους προϊόντων ή ιατρικούς όρους, να ζητήσουν ετικέτες ομιλητών και χρονικές σημάνσεις σε επίπεδο λέξης, να μεταφράσουν ομιλία προς ή από τα αγγλικά ή να υποβάλουν ερωτήσεις για τον ήχο. Η απάντηση σε ερωτήσεις για τον ήχο έχει εκπαιδευτεί στα αγγλικά, ενώ ο πίνακας γλωσσών της κάρτας αξιολογεί καθεμία από τις 40 γλώσσες ανά εργασία, με επίπεδα ποιότητας από «Κορυφαία» έως «Υποστηριζόμενη», επισημαίνοντας ότι η κατανόηση ήχου και η συμμόρφωση σε προφορικές οδηγίες αξιολογήθηκαν μόνο στα αγγλικά. Η κάρτα του μοντέλου τονίζει ότι το Transcribe είναι μοντέλο εκτός σύνδεσης: η εσωτερική κατάτμηση του ήχου σε τμήματα δεν το καθιστά υπηρεσία ροής σε πραγματικό χρόνο.

Η εκπαίδευση βασίστηκε σε περίπου 1,72 εκατομμύρια μοναδικές ώρες ήχου με ευρετηρίαση, κατανεμημένες σε περίπου 372 εκατομμύρια παραδείγματα, καθώς και σε 5,6 δισεκατομμύρια μοναδικά token κειμένου, με δεδομένα από το Granary v2, σώματα δεδομένων συναντήσεων με πολλούς ομιλητές, δεδομένα κατανόησης ήχου και συνθετική ομιλία με επίγνωση προσωπικών δεδομένων (PII). Ορισμένα δεδομένα εκπαίδευσης παραχωρήθηκαν με άδεια από τη David AI· η κάρτα αναφέρει ότι το σύνολο αξιολόγησης DAI-ASR-I18N της David AI δεν χρησιμοποιήθηκε στην εκπαίδευση.

Αποτελέσματα συγκριτικών δοκιμών που αναφέρει η NVIDIA

Η NVIDIA αναφέρει ότι το Transcribe κατατάσσεται πρώτο μεταξύ των μοντέλων ανοιχτών βαρών στον πίνακα κατάταξης Open ASR English του Hugging Face, με μέσο ποσοστό σφάλματος λέξεων 5,33%, χωρίς να συνυπολογίζονται τα μοντέλα API, και σημειώνει το χαμηλότερο πολυγλωσσικό αποτέλεσμα, με μέσο WER 4,62% σε επτά γλώσσες, καθώς και το χαμηλότερο αποτέλεσμα σε εκτεταμένα δείγματα, 10,98%, μεταξύ των μοντέλων ανοιχτών βαρών που περιλαμβάνονται στη σύγκριση της κάρτας. Στους πίνακες της ίδιας της κάρτας, οι οποίοι καταγράφηκαν στις 12 Οκτωβρίου 2026, ο μέσος όρος WER στα εννέα σύνολα δεδομένων αγγλικής γλώσσας είναι 4,71%, έναντι 4,94% για το Qwen3-ASR-1.7B, την αμέσως επόμενη καλύτερη καταχώριση ανοιχτών βαρών, ενώ ο μέσος όρος cpWER για πολλούς ομιλητές είναι 15,80, έναντι 16,83 για το DiCoW v3.3 σε συνδυασμό με το DiariZen.

Στον δείκτη μετατροπής ομιλίας σε κείμενο της Artificial Analysis, η NVIDIA αναφέρει ότι το Transcribe ισοβαθμεί στην πρώτη θέση μεταξύ των μοντέλων ανοιχτών βαρών, με AA-WER 2,8%, ενώ ενεργοποιεί περίπου 4 δισ. παραμέτρους ανά token, έναντι 24 δισ. για το μοντέλο με το οποίο ισοβαθμεί. Για την ταυτοποίηση ομιλητών, η ανακοίνωση αναφέρει ότι το μοντέλο καταγράφει το χαμηλότερο ποσοστό σφάλματος διαχωρισμού ομιλητών μεταξύ των 14 συστημάτων στη δοκιμή διαχωρισμού ομιλητών DAI-ASR-I18N της David AI, η οποία καλύπτει 21 γλώσσες, με 18,26%, ελαφρώς χαμηλότερο από το 18,38% του ίδιου του Nemotron 3 Diarization της NVIDIA. Επίσης, καταλαμβάνει την πρώτη θέση μεταξύ 14 συστημάτων στο αγγλικό Diarization-Bench του VoiceArena, με cpWER 32,4% και διαγραφές που αντιστοιχούν στο 8,32% των λέξεων αναφοράς, έναντι διάμεσου ποσοστού περίπου 31%.

Σύνολο δεδομένων και αγωγός Granary V2

Το Granary v2, που κυκλοφόρησε παράλληλα με το μοντέλο, είναι η ανοιχτή προσπάθεια συλλογής δεδομένων που στηρίζει την εκπαίδευσή του. Το δημόσιο μητρώο του καλύπτει 463.062 ώρες σε 48 γλώσσες και 16 πηγαία σώματα δεδομένων, από 25 γλώσσες στο Granary v1· η NVIDIA διευκρινίζει ότι αυτά τα στοιχεία περιγράφουν την έκδοση του συνόλου δεδομένων και όχι το πλήρες μείγμα δεδομένων εκπαίδευσης του Transcribe. Ο αγωγός, που δημιουργήθηκε με το NVIDIA NeMo Curator, παράγει τρεις μορφές απομαγνητοφώνησης για κάθε ηχογράφηση (κατά λέξη με κανονικοποίηση κειμένου, με αντίστροφη κανονικοποίηση και διατηρημένες τις ασυνέχειες της ομιλίας, και με αντίστροφη κανονικοποίηση χωρίς ασυνέχειες), καθώς και λεζάντες, αποκατάσταση της εναλλαγής γλωσσών, ζεύγη ερωτήσεων και απαντήσεων τεκμηριωμένα στην ομιλία, όρους για συμφραζομενική προσαρμογή και μεταφράσεις με αυτόματες βαθμολογίες ποιότητας.

Ο αγωγός λειτουργεί σε τέσσερα στάδια: προετοιμασία μεταδεδομένων και ήχου· μεταγραφή με κύρια και εφεδρικά μοντέλα ASR, η χρήση των οποίων ελέγχεται με έλεγχο παραισθήσεων· δημιουργία ετικετών εργασιών με ελέγχους συμφωνίας· και φίλτρο υψηλής πιστότητας, το οποίο για το σώμα δεδομένων VoxPopuli περιόρισε τις 354.000 ώρες σε 111.000 ώρες σε 22 ευρωπαϊκές γλώσσες. Τα αρχεία μητρώου περιλαμβάνουν υποδείξεις οντοτήτων, ζεύγη οδηγιών, πληροφορίες προέλευσης και δείκτες ποιότητας για κάθε εγγραφή· ο πηγαίος ήχος λαμβάνεται ξεχωριστά, σύμφωνα με την αρχική άδεια κάθε σώματος δεδομένων, ενώ ο αγωγός εκτελείται με τα συστήματα υποστήριξης Ray και NVIDIA Dynamo.

Μελέτη περίπτωσης ιατρικής προσαρμογής μέσω λεπτομερούς ρύθμισης και ανάπτυξη

Για να καταδείξει την προσαρμογή, η ανακοίνωση της NVIDIA περιγράφει μια ιατρική μελέτη περίπτωσης που βασίζεται στο ανοικτό σύνολο αναφοράς της Eka Care, το οποίο περιλαμβάνει 3.619 ηχογραφήσεις από Ινδούς γιατρούς και φοιτητές ιατρικής. Η αναφορά της αγγλικής γλώσσας και του λατινικού αλφαβήτου στην προτροπή μείωσε το WER στο σύνολο αναφοράς από 30,8% σε 23,8%, ενώ η περαιτέρω εκπαίδευση το μείωσε στο 11,8%. Σε 2.764 απομονωμένα αποσπάσματα, τα οποία αξιολογήθηκαν με τη διοχέτευση KARMA της Eka Care, η περαιτέρω εκπαίδευση μείωσε το WER από 22,44% σε 12,17%, δηλαδή κατά 45,8% σε σχετικούς όρους· το WER των λέξεων-κλειδιών μειώθηκε από 9,2% σε 6,5% και το σημασιολογικό WER από 10,0% σε 7,6%, ενώ το WER στο test-clean του LibriSpeech αυξήθηκε ελαφρώς, από 1,54% σε 1,69%. Η προσαρμογή συνδύασε περίπου 153 ώρες συνθετικής ομιλίας με 29 ώρες αγγλικών με προφορά από το Common Voice και 63 ώρες ιατρικών ηχογραφήσεων από το MultiMed, και χρειάστηκε περίπου 14 ώρες GPU σε ένα NVIDIA GB300.

Το μοντέλο λειτουργεί σε μία μόνο GPU της NVIDIA, από τα Jetson AGX Thor και DGX Spark έως τα συστήματα κέντρων δεδομένων Blackwell. Η NVIDIA αναφέρει ότι, με τη βελτιστοποιημένη υλοποίηση NIM, μία GPU RTX PRO 6000 Blackwell Server Edition μεταγράφει έως και 2.238 δευτερόλεπτα ήχου ανά δευτερόλεπτο, χρησιμοποιώντας ακρίβεια NVFP4 και αποκωδικοποίηση με εικασία DFlash2. Στην ανακοίνωση αναφέρεται επίσης ότι το μοντέλο επεξεργάζεται 100 ώρες ήχου σε λιγότερο από τρία λεπτά, με ακρίβεια NVFP4, σε αποσπάσματα διάρκειας 30 δευτερολέπτων και με υψηλό βαθμό ταυτόχρονης επεξεργασίας· η κάρτα μοντέλου επισημαίνει ότι αυτές οι βελτιστοποιήσεις για την εξυπηρέτηση μοντέλων δεν περιλαμβάνονται ακόμη στην έκδοση ανοικτού κώδικα. Για την εξυπηρέτηση χρησιμοποιείται το vLLM 0.32.0 με το πρόσθετο NeMo Speech ή τοπική εξαγωγή συμπερασμάτων με το NeMo-Speech.cpp, ενώ μια δεξιότητα πράκτορα για περαιτέρω εκπαίδευση επιτρέπει σε έναν πράκτορα προγραμματισμού να εκτελεί τη ροή εργασιών προσαρμογής. Το ModelScope υποστηρίζει επίσης την περαιτέρω εκπαίδευση μέσω του πλαισίου ms-swift.