NVIDIA bringt Modell für Spracherkennung mit offenen Gewichten und Audiodatensatz mit 463.062 Stunden auf den Markt

NVIDIA hat am 28. Oktober 2026 Nemotron 3.5 Transcribe veröffentlicht, ein Sprachmodell mit offenen Gewichten, das mehrsprachige Transkription, Sprecherzuordnung, Übersetzung und Fragenbeantwortung zu Audio in einem einzigen Checkpoint vereint. Gleichzeitig erschien Granary v2, ein offener Sprachdatensatz samt Kurationspipeline, dessen öffentliches Manifest 463.062 Stunden in 48 Sprachen umfasst.

Das Modell transkribiert 40 Sprachen, übersetzt 31 davon ins Englische oder aus dem Englischen und ordnet in 13 Sprachen die Sprecher zu, wie aus der Ankündigung von NVIDIA auf Hugging Face hervorgeht. Es verarbeitet Aufnahmen von bis zu einer Stunde Länge und kennzeichnet bis zu acht Sprecher. Die Modellkarte nennt den 28. Oktober 2026 als Veröffentlichungsdatum auf Hugging Face, GitHub über NVIDIA NeMo Speech, NGC und Build.Nvidia.com. Die Gewichte stehen unter der Lizenz OpenMDW-1.1 zur Verfügung; das Modell kann kommerziell und nicht kommerziell genutzt werden. Gehostete Endpunkte werden von Baseten, DeepInfra und Simplismart angeboten; interaktive Demos gibt es auf Hugging Face Spaces und ModelScope Studios.

Architektur und Prompting

Transcribe verbindet einen Sprach-Encoder mit einem Sprachmodell in einem einzigen Checkpoint mit 34B Parametern. Davon sind pro Token etwa 4,3B Parameter aktiv; der Kontext umfasst 65.536 Token. Die Sprachkomponente vereint einen Transformer-ASR-Encoder mit 600M Parametern, den Sprechercodierer Nemotron-3-Diarization mit rund 99M Parametern und einen Kopf für Connectionist Temporal Classification zur Ermittlung von Wortzeitstempeln. Die Sprachmodellkomponente ist NVIDIA Nemotron-3.5 Lightning 30B-A3B, ein hybrides Mixture-of-Experts-Modell aus Mamba-2 und Transformer. Die Gewichte werden in BF16 bereitgestellt; hinzu kommen quantisierte Varianten in FP8 und NVFP4 sowie optional ein DFlash2-Entwurfsmodell für spekulatives Decoding.

Die Ausgabe wird über Eingabeaufforderungen in natürlicher Sprache gesteuert: Entwickler können wörtliche oder bereinigte schriftliche Transkripte anfordern, Kontextvokabular wie Produkt- oder medizinische Fachbegriffe vorgeben, Sprecherkennzeichnungen und Zeitstempel auf Wortebene anfordern, Sprache ins Englische oder aus dem Englischen übersetzen lassen oder Fragen zum Audio stellen. Das Beantworten von Fragen zu Audio wurde auf Englisch trainiert. Die Sprachmatrix der Modellkarte bewertet jede der 40 Sprachen je nach Aufgabe mit Qualitätsstufen von „Führend“ bis „Unterstützt“ und weist darauf hin, dass das Audioverständnis und das Befolgen gesprochener Anweisungen nur auf Englisch bewertet wurden. Die Modellkarte betont, dass Transcribe ein Offline-Modell ist: Die interne Aufteilung von Audio in Abschnitte macht daraus keinen Echtzeit-Streamingdienst.

Für das Training wurden etwa 1,72 Millionen Stunden eindeutig indexierter Audiodaten aus rund 372 Millionen Beispielen sowie 5,6 Milliarden eindeutige Text-Token verwendet. Die Daten stammten aus Granary v2, Mehrsprechenden-Korpora für Meetings, Datensätzen zum Audioverständnis und synthetischen Sprachdaten mit Berücksichtigung personenbezogener Daten. Ein Teil der Trainingsdaten wurde von David AI lizenziert. Laut Modellkarte gehörte der Evaluierungsdatensatz DAI-ASR-I18N von David AI nicht zum Training.

Von NVIDIA berichtete Benchmark-Ergebnisse

NVIDIA zufolge belegt Transcribe in der Rangliste Open ASR English von Hugging Face unter den Modellen mit offenen Gewichten den ersten Platz und erreicht eine durchschnittliche Wortfehlerrate von 5,33 %; API-Modelle sind dabei ausgeschlossen. Zudem erzielt das Modell unter den dort verglichenen Modellen mit offenen Gewichten den niedrigsten mehrsprachigen Wert: eine mittlere WER von 4,62 % über sieben Sprachen. Auch beim Langform-Ergebnis liegt es mit 10,98 % an der Spitze. In den eigenen Tabellen der Modellkarte, die am 12. Oktober 2026 erstellt wurden, beträgt die mittlere WER für Englisch über neun Datensätze 4,71 % gegenüber 4,94 % bei Qwen3-ASR-1.7B, dem nächstbesten Eintrag mit offenen Gewichten. Bei der mittleren cpWER für mehrere Sprecher erzielt das Modell 15,80 gegenüber 16,83 für DiCoW v3.3 in Kombination mit DiariZen.

Im Sprach-zu-Text-Index von Artificial Analysis liegt Transcribe laut NVIDIA bei den Modellen mit offenen Gewichten mit einem AA-WER-Wert von 2,8 % gleichauf auf dem ersten Platz. Dabei sind pro Token etwa 4B Parameter aktiv, verglichen mit 24B beim gleichauf liegenden Modell. Bei der Sprecherzuordnung weist die Ankündigung für den 21-sprachigen Diarisierungstest DAI-ASR-I18N von David AI mit 18,26 % die niedrigste Diarisierungsfehlerrate unter 14 Systemen aus. Damit liegt das Modell knapp vor dem hauseigenen Nemotron 3 Diarization von NVIDIA mit 18,38 %. Im englischsprachigen Diarization-Bench von VoiceArena belegt es unter 14 Systemen mit einer cpWER von 32,4 % den ersten Platz. Dabei wurden 8,32 % der Referenzwörter ausgelassen, gegenüber einem Median von etwa 31 %.

Granary-V2-Datensatz und -Pipeline

Granary v2, zeitgleich mit dem Modell veröffentlicht, ist das offene Datenprojekt, auf dem dessen Training beruht. Das öffentliche Manifest umfasst 463.062 Stunden in 48 Sprachen und 16 Quellkorpora. In Granary v1 waren es noch 25 Sprachen. NVIDIA weist darauf hin, dass sich diese Zahlen auf die veröffentlichte Datensatzversion beziehen und nicht auf die gesamte Trainingsdatenmischung von Transcribe. Die mit NVIDIA NeMo Curator entwickelte Pipeline erzeugt für jede Aufnahme drei Transkriptformen (wörtlich mit Textnormalisierung, invers normalisiert mit Unflüssigkeiten sowie invers normalisiert ohne Unflüssigkeiten) sowie Bildunterschriften, die Wiederherstellung von Code-Switching, im Sprachsignal verankerte Frage-Antwort-Paare, kontextbezogene Begriffe zur Verringerung von Verzerrungen und Übersetzungen mit automatischen Qualitätsbewertungen.

Die Pipeline läuft in vier Phasen ab: Vorbereitung der Metadaten und Audiodaten; Transkription mit primären und Ersatz-ASR-Modellen, abgesichert durch eine Halluzinationsprüfung; Erstellung von Aufgabenkennzeichnungen mit Übereinstimmungsprüfungen; sowie ein Filter für hohe Wiedergabetreue, der beim Korpus VoxPopuli die Datenmenge von 354.000 auf 111.000 Stunden in 22 europäischen Sprachen reduzierte. Die Manifeste enthalten Hinweise zu Entitäten, Anweisungspaare, Angaben zur Herkunft und Qualitätskennzeichnungen für jede Aufnahme. Die Quelldaten werden separat und jeweils unter der Originallizenz des betreffenden Korpus heruntergeladen. Die Pipeline läuft mit den Backends Ray und NVIDIA Dynamo.

Fallstudie zur medizinischen Feinabstimmung und Bereitstellung

Um die Anpassung zu veranschaulichen, beschreibt die Ankündigung von NVIDIA eine medizinische Fallstudie zum offenen Benchmark von Eka Care mit 3.619 Aufzeichnungen indischer Ärzte und Medizinstudierender. Die Angabe von Englisch und dem lateinischen Alphabet im Prompt senkte die WER im gesamten Benchmark von 30,8 % auf 23,8 %; durch Feinabstimmung sank sie weiter auf 11,8 %. Bei 2.764 zurückgehaltenen Clips, die mit der KARMA-Pipeline von Eka Care ausgewertet wurden, verringerte die Feinabstimmung die WER von 22,44 % auf 12,17 %, ein relativer Rückgang um 45,8 %; die Keyword-WER sank von 9,2 % auf 6,5 % und die semantische WER von 10,0 % auf 7,6 %, während die WER im LibriSpeech-Test „test-clean“ leicht von 1,54 % auf 1,69 % anstieg. Für die Anpassung wurden etwa 153 Stunden synthetische Sprache mit 29 Stunden akzentgefärbtem Englisch aus Common Voice und 63 Stunden medizinischer Aufnahmen aus MultiMed kombiniert. Sie dauerte auf einer NVIDIA GB300 ungefähr 14 GPU-Stunden.

Das Modell läuft auf einer einzelnen NVIDIA-GPU – von Jetson AGX Thor und DGX Spark bis hin zu Blackwell-Rechenzentrumssystemen. NVIDIA zufolge transkribiert eine RTX PRO 6000 Blackwell Server Edition GPU mit der optimierten NIM-Implementierung bis zu 2.238 Sekunden Audio pro Sekunde, wenn NVFP4-Präzision mit spekulativer DFlash2-Dekodierung verwendet wird. In der Ankündigung heißt es außerdem, dass das Modell 100 Stunden Audio in NVFP4 in weniger als drei Minuten verarbeitet, und zwar anhand von 30-Sekunden-Clips bei hoher Parallelität. Laut Modellkarte sind diese Optimierungen für die Bereitstellung noch nicht Teil der Open-Source-Veröffentlichung. Für die Bereitstellung wird vLLM 0.32.0 mit dem NeMo-Speech-Plugin oder für die lokale Inferenz NeMo-Speech.cpp verwendet. Eine Agentenfunktion zur Feinabstimmung ermöglicht es einem Programmieragenten, den Anpassungsworkflow auszuführen; ModelScope unterstützt die Feinabstimmung über sein ms-swift-Framework.