NVIDIA представляє модель мовлення з відкритими вагами та аудіонабір даних обсягом 463 062 години

28 жовтня 2026 року NVIDIA випустила Nemotron 3.5 Transcribe — модель мовлення з відкритими вагами, яка поєднує в одному контрольному наборі багатомовне транскрибування, визначення мовців, переклад і відповіді на запитання про аудіо. Одночасно компанія представила Granary v2 — відкритий набір мовленнєвих даних і конвеєр їх упорядкування, відкритий маніфест якого охоплює 463 062 години аудіо 48 мовами.

Модель транскрибує мовлення 40 мовами, перекладає з 31 із них англійською або з англійської та визначає мовців у записах 13 мовами, згідно з повідомленням NVIDIA на Hugging Face. Вона обробляє записи тривалістю до однієї години та позначає до восьми мовців. У картці моделі зазначено дату випуску — 28 жовтня 2026 року — на Hugging Face, GitHub через NVIDIA NeMo Speech, NGC і Build.Nvidia.com; ваги поширюються за ліцензією OpenMDW-1.1, а модель готова до комерційного й некомерційного використання. Розміщені в хмарі кінцеві точки пропонують Baseten, DeepInfra і Simplismart, а інтерактивні демонстрації доступні на Hugging Face Spaces і ModelScope Studios.

Архітектура та формування запитів

Transcribe поєднує кодувальник мовлення з мовною базовою моделлю в одному контрольному наборі з 34 млрд параметрів, із яких приблизно 4,3 млрд активуються для кожного токена; розмір контекстного вікна становить 65 536 токенів. Мовленнєва частина складається з трансформерного кодувальника автоматичного розпізнавання мовлення на 600 млн параметрів, кодувальника мовців Nemotron-3-Diarization приблизно на 99 млн параметрів і голови конекціоністської часової класифікації для визначення часових міток слів. Мовна частина — це Nemotron-3.5 Lightning 30B-A3B від NVIDIA, гібридна модель суміші експертів на основі Mamba-2 і Transformer. Ваги постачаються у форматі BF16, а також доступні квантизовані варіанти FP8 і NVFP4 та додаткова чернеткова модель DFlash2 для спекулятивного декодування.

Вихідні дані формуються за допомогою запитів природною мовою: розробники можуть попросити створити дослівну або відредаговану письмову транскрипцію, надати контекстну лексику, наприклад назви продуктів або медичні терміни, запросити мітки мовців і часові мітки для кожного слова, перекласти мовлення з англійської або англійською чи поставити запитання про аудіо. Модель навчали відповідати на запитання про аудіо англійською, а в мовній матриці картки для кожного із 40 мов за кожним завданням визначено рівень якості — від «провідного» до «підтримуваного»; там також зазначено, що розуміння аудіо та виконання усних інструкцій оцінювали лише англійською. У картці моделі наголошено, що Transcribe працює офлайн: внутрішній поділ аудіо на фрагменти не перетворює її на сервіс потокової обробки в реальному часі.

Для навчання використали приблизно 1,72 млн унікальних проіндексованих годин аудіо в межах близько 372 млн прикладів, а також 5,6 млрд унікальних текстових токенів. Дані походили з Granary v2, корпусів записів зустрічей із кількома мовцями, наборів даних для розуміння аудіо та синтетичного мовлення, створеного з урахуванням персональних даних. Частину навчальних даних ліцензували в David AI; у картці зазначено, що набір для оцінювання DAI-ASR-I18N від David AI не використовувався під час навчання.

Результати тестування, про які повідомляє NVIDIA

За даними NVIDIA, серед моделей із відкритими вагами Transcribe посідає перше місце в англомовному рейтингу Open ASR на Hugging Face із середньою часткою помилок у словах (WER) 5,33%; моделі з API у рейтингу не враховують. Крім того, Transcribe показує найнижчий багатомовний результат — середній WER 4,62% для семи мов — і найнижчий результат для довгих записів — 10,98% — серед моделей із відкритими вагами, наведених у порівнянні в картці моделі. У власних таблицях картки, сформованих 12 жовтня 2026 року, середній WER за дев’ятьма англомовними наборами даних становить 4,71% проти 4,94% у Qwen3-ASR-1.7B, наступної найкращої моделі з відкритими вагами. Середній показник cpWER для записів із кількома мовцями становить 15,80 проти 16,83 у DiCoW v3.3 у поєднанні з DiariZen.

За словами NVIDIA, в індексі перетворення мовлення на текст від Artificial Analysis Transcribe ділить перше місце серед моделей із відкритими вагами з результатом AA-WER 2,8%, активуючи приблизно 4 млрд параметрів на токен; у моделі, з якою вона ділить перше місце, цей показник становить 24 млрд. Щодо визначення мовців, у повідомленні зазначено, що в тестуванні діаризації серед 14 систем Transcribe має найнижчий рівень помилок — 18,26% — на тестовому наборі DAI-ASR-I18N для діаризації 21 мовою від David AI, трохи випереджаючи власну модель NVIDIA Nemotron 3 Diarization із результатом 18,38%. На англомовному тесті Diarization-Bench від VoiceArena модель посідає перше місце серед 14 систем із показником cpWER 32,4%; пропущено 8,32% слів у еталонних транскрипціях проти медіанного показника близько 31%.

Набір даних Granary V2 і конвеєр

Granary v2, випущений разом із моделлю, — це відкритий проєкт зі збирання даних, на яких її навчали. Його відкритий маніфест охоплює 463 062 години аудіо 48 мовами з 16 вихідних корпусів; у Granary v1 було 25 мов. NVIDIA зазначає, що ці цифри стосуються випуску набору даних, а не повного складу навчальних даних Transcribe. Створений за допомогою NVIDIA NeMo Curator конвеєр формує для кожного запису три варіанти транскрипції (дослівну з нормалізацією тексту, зворотно нормалізовану з мовленнєвими вадами та зворотно нормалізовану без мовленнєвих вад), а також підписи, відновлення перемикання мов, пари запитань і відповідей, обґрунтовані мовленнєвим контекстом, терміни для контекстного підсилення та переклади з автоматичними оцінками якості.

Конвеєр працює в чотири етапи: підготовка метаданих і аудіо; транскрибування за допомогою основних і резервних моделей автоматичного розпізнавання мовлення з перевіркою на галюцинації; створення міток завдань із перевіркою узгодженості; фільтрація високоякісних даних, завдяки якій обсяг корпусу VoxPopuli скоротили з 354 000 до 111 000 годин для 22 європейських мов. Маніфести містять підказки щодо сутностей, пари інструкцій, відомості про походження даних і позначки якості для кожного запису. Початкове аудіо завантажують окремо відповідно до оригінальної ліцензії кожного корпусу, а конвеєр працює з обчислювальними бекендами Ray і NVIDIA Dynamo.

Приклад адаптації для медичної сфери та розгортання

Щоб продемонструвати можливості адаптації, в анонсі NVIDIA описано медичне дослідження на основі відкритого бенчмарку Eka Care, що містить 3 619 записів індійських лікарів і студентів-медиків. Указання в запиті англійської мови та латинського алфавіту знизило WER на всьому бенчмарку з 30,8% до 23,8%, а після донавчання цей показник становив 11,8%. На 2 764 відкладених аудіофрагментах, оцінених за допомогою конвеєра KARMA від Eka Care, донавчання знизило WER з 22,44% до 12,17% — відносне зниження на 45,8%; WER за ключовими словами впав з 9,2% до 6,5%, а семантичний WER — з 10,0% до 7,6%. Водночас WER на тестовому наборі test-clean бібліотеки LibriSpeech трохи зріс: з 1,54% до 1,69%. Для адаптації використали приблизно 153 години синтетичного мовлення, 29 годин англомовних записів із різними акцентами з Common Voice і 63 години медичних записів із MultiMed; процес тривав близько 14 GPU-годин на одному NVIDIA GB300.

Модель працює на одному графічному процесорі NVIDIA — від Jetson AGX Thor і DGX Spark до систем Blackwell для центрів обробки даних. За даними NVIDIA, оптимізована реалізація NIM дає змогу одному графічному процесору RTX PRO 6000 Blackwell Server Edition розпізнавати до 2 238 секунд аудіо за секунду з точністю NVFP4 і спекулятивним декодуванням DFlash2. В анонсі також зазначено, що модель обробляє 100 годин аудіо менш ніж за три хвилини у форматі NVFP4, використовуючи 30-секундні фрагменти за високої паралельності запитів; однак у картці моделі вказано, що ці оптимізації обслуговування запитів ще не входять до версії з відкритим вихідним кодом. Для обслуговування запитів використовується vLLM 0.32.0 із плагіном NeMo Speech або локальний запуск за допомогою NeMo-Speech.cpp. Спеціальна навичка з донавчання дає змогу агенту для написання коду виконувати процес адаптації, а ModelScope підтримує донавчання через власний фреймворк ms-swift.