NVIDIA wprowadza otwarty model rozpoznawania mowy i zbiór danych audio obejmujący 463 062 godziny

28 października 2026 r. NVIDIA udostępniła Nemotron 3.5 Transcribe — model rozpoznawania mowy z otwartymi wagami, który łączy transkrypcję wielojęzyczną, identyfikację mówców, tłumaczenie i odpowiadanie na pytania dotyczące nagrań audio w jednym punkcie kontrolnym. Równocześnie firma udostępniła Granary v2 — otwarty zbiór danych mowy wraz z potokiem selekcji i opracowywania danych, którego publiczny manifest obejmuje 463 062 godziny nagrań w 48 językach.

Według ogłoszenia NVIDIA na Hugging Face model transkrybuje nagrania w 40 językach, tłumaczy 31 z nich na angielski lub z angielskiego oraz rozpoznaje mówców w 13 językach. Obsługuje nagrania trwające do jednej godziny i oznacza maksymalnie ośmiu mówców. W karcie modelu podano datę wydania — 28 października 2026 r. — oraz miejsca jego udostępnienia: Hugging Face, GitHub za pośrednictwem NVIDIA NeMo Speech, NGC i Build.Nvidia.com. Wagi udostępniono na licencji OpenMDW-1.1, a model może być używany zarówno komercyjnie, jak i niekomercyjnie. Hostowane punkty końcowe oferują Baseten, DeepInfra i Simplismart, a interaktywne demonstracje są dostępne w Hugging Face Spaces i ModelScope Studios.

Architektura i tworzenie promptów

Transcribe łączy koder mowy z modelem językowym w jednym punkcie kontrolnym obejmującym 34 mld parametrów, z których około 4,3 mld jest aktywnych dla każdego tokenu; długość kontekstu wynosi 65 536 tokenów. Część odpowiedzialna za mowę łączy koder ASR typu Transformer z 600 mln parametrów, koder mówców Nemotron-3-Diarization z około 99 mln parametrów oraz głowicę klasyfikacji czasowej connectionist temporal classification, która wyznacza znaczniki czasu dla słów. Część językowa to Nemotron-3.5 Lightning 30B-A3B firmy NVIDIA — hybrydowy model Mamba-2 i Transformer typu mixture-of-experts. Wagi są udostępniane w formacie BF16, a dostępne są także skwantyzowane warianty FP8 i NVFP4 oraz opcjonalny model roboczy DFlash2 do dekodowania spekulatywnego.

Wyjściem sterują prompty w języku naturalnym: programiści mogą zażądać transkrypcji dosłownej lub zredagowanej, podać słownictwo kontekstowe, na przykład terminy produktowe lub medyczne, poprosić o oznaczenia mówców i znaczniki czasu na poziomie słów, przetłumaczyć mowę na angielski lub z angielskiego albo zadać pytania dotyczące nagrania. Model uczono odpowiadania na pytania dotyczące audio w języku angielskim. W macierzy języków zamieszczonej w karcie modelu jakość każdego z 40 języków ocenia się osobno dla poszczególnych zadań, stosując poziomy od „wiodąca” do „obsługiwana”; zaznaczono też, że rozumienie audio i wykonywanie poleceń wypowiadanych na głos oceniano wyłącznie w języku angielskim. W karcie modelu podkreślono, że Transcribe działa w trybie offline: wewnętrzny podział nagrania na fragmenty nie oznacza, że usługa obsługuje strumieniowanie w czasie rzeczywistym.

Do trenowania wykorzystano około 1,72 mln unikatowych, zindeksowanych godzin nagrań audio obejmujących około 372 mln przykładów, a także 5,6 mld unikatowych tokenów tekstowych. Dane pochodziły ze zbioru Granary v2, wielomówcowych korpusów rozmów, zbiorów danych do rozumienia audio oraz syntetycznej mowy przygotowanej z uwzględnieniem ochrony danych umożliwiających identyfikację osób (PII). Część danych treningowych była licencjonowana od David AI; w karcie modelu stwierdzono, że zbiór ewaluacyjny DAI-ASR-I18N firmy David AI nie został wykorzystany do trenowania.

Wyniki testów porównawczych podane przez NVIDIA

Według NVIDIA Transcribe zajmuje pierwsze miejsce wśród modeli z otwartymi wagami w rankingu Hugging Face Open ASR dla języka angielskiego, osiągając średni współczynnik błędów słów na poziomie 5,33%; modele dostępne przez API nie są uwzględniane. W porównaniu modeli z otwartymi wagami przedstawionym w karcie modelu uzyskuje też najniższy wynik wielojęzyczny — średni WER wynoszący 4,62% dla siedmiu języków — oraz najniższy wynik dla długich nagrań, wynoszący 10,98%. W tabelach własnych karty, sporządzonych 12 października 2026 r., średni WER dla języka angielskiego, obliczony na podstawie dziewięciu zbiorów danych, wynosi 4,71%, w porównaniu z 4,94% dla Qwen3-ASR-1.7B, kolejnego w rankingu modelu z otwartymi wagami. Średni cpWER dla wielu mówców wynosi 15,80, wobec 16,83 dla DiCoW v3.3 w połączeniu z DiariZen.

Według NVIDIA w indeksie rozpoznawania mowy na tekst Artificial Analysis Transcribe ex aequo zajmuje pierwsze miejsce wśród modeli z otwartymi wagami, osiągając AA-WER na poziomie 2,8% i aktywując około 4 mld parametrów na token, podczas gdy model, z którym dzieli pierwsze miejsce, aktywuje 24 mld parametrów. W zakresie identyfikacji mówców w ogłoszeniu podano, że na ścieżce diarization DAI-ASR-I18N firmy David AI, obejmującej 21 języków, model osiągnął najniższy współczynnik błędów diarization spośród 14 systemów — 18,26% — nieznacznie wyprzedzając własny model NVIDIA, Nemotron 3 Diarization, z wynikiem 18,38%. Transcribe zajął też pierwsze miejsce spośród 14 systemów w anglojęzycznym teście VoiceArena Diarization-Bench, osiągając cpWER na poziomie 32,4%; liczba pominiętych słów wyniosła 8,32% słów w tekście referencyjnym, przy medianie wynoszącej około 31%.

Zbiór danych i potok Granary V2

Granary v2, wydany równocześnie z modelem, to otwarta inicjatywa dotycząca danych, która stanowi podstawę jego trenowania. Publiczny manifest obejmuje 463 062 godziny nagrań w 48 językach i 16 korpusach źródłowych; dla porównania, Granary v1 obejmował 25 języków. NVIDIA zaznacza, że podane liczby dotyczą wydania zbioru danych, a nie pełnej mieszanki danych treningowych Transcribe. Potok opracowany za pomocą NVIDIA NeMo Curator tworzy dla każdego nagrania trzy wersje transkrypcji (dosłowną z normalizacją tekstu, z odwrotną normalizacją i niepłynnościami oraz z odwrotną normalizacją bez niepłynności), a także napisy, odtworzenie przełączania kodów językowych, pary pytań i odpowiedzi oparte na mowie, terminy do kontekstowego ukierunkowania rozpoznawania oraz tłumaczenia wraz z automatycznymi ocenami jakości.

Potok obejmuje cztery etapy: przygotowanie metadanych i nagrań audio; transkrypcję z użyciem głównych i zapasowych modeli ASR, których wyniki przechodzą kontrolę pod kątem halucynacji; generowanie etykiet zadań z weryfikacją zgodności; oraz filtr wysokiej jakości, który w przypadku korpusu VoxPopuli ograniczył zbiór z 354 000 do 111 000 godzin w 22 językach europejskich. Manifesty zawierają wskazówki dotyczące jednostek, pary poleceń, informacje o pochodzeniu danych oraz oznaczenia jakości dla poszczególnych nagrań. Nagrania źródłowe pobiera się osobno na warunkach licencji przypisanej do każdego korpusu, a potok działa z użyciem zaplecza Ray i NVIDIA Dynamo.

Studium przypadku dostrajania do zastosowań medycznych i wdrożenie

Aby zademonstrować możliwości adaptacji, w komunikacie NVIDIA opisano studium przypadku z dziedziny medycyny, przeprowadzone na otwartym benchmarku Eka Care obejmującym 3 619 nagrań indyjskich lekarzy i studentów medycyny. Wskazanie w poleceniu języka angielskiego i alfabetu łacińskiego obniżyło WER dla całego benchmarku z 30,8% do 23,8%, a dostrajanie zmniejszyło go do 11,8%. W przypadku 2 764 odłożonych klipów ocenionych za pomocą potoku KARMA firmy Eka Care dostrajanie obniżyło WER z 22,44% do 12,17%, co oznacza względny spadek o 45,8%; WER dla słów kluczowych zmniejszył się z 9,2% do 6,5%, a WER semantyczny — z 10,0% do 7,6%. Jednocześnie WER w zbiorze LibriSpeech test-clean nieznacznie wzrósł z 1,54% do 1,69%. Adaptacja łączyła około 153 godziny mowy syntetycznej z 29 godzinami angielszczyzny z akcentem z Common Voice oraz 63 godzinami nagrań medycznych z MultiMed i zajęła około 14 godzin pracy GPU na jednym NVIDIA GB300.

Model działa na pojedynczym GPU NVIDIA — od Jetson AGX Thor i DGX Spark po systemy Blackwell dla centrów danych. NVIDIA podaje, że przy użyciu zoptymalizowanej implementacji NIM jeden GPU RTX PRO 6000 Blackwell Server Edition transkrybuje do 2 238 sekund dźwięku na sekundę, wykorzystując precyzję NVFP4 i spekulacyjne dekodowanie DFlash2. W komunikacie dodano, że model przetwarza 100 godzin dźwięku w czasie krótszym niż trzy minuty, używając NVFP4 do klipów o długości 30 sekund przy wysokiej współbieżności; karta modelu zaznacza, że te optymalizacje obsługi nie są jeszcze dostępne w wydaniu open source. Do obsługi służy vLLM 0.32.0 z wtyczką NeMo Speech, a do lokalnego wnioskowania — NeMo-Speech.cpp. Umiejętność agenta do dostrajania pozwala agentowi programistycznemu uruchomić proces adaptacji, a ModelScope umożliwia dostrajanie za pomocą platformy ms-swift.