NVIDIA представляет речевую модель с открытыми весами и аудиодатасет объёмом 463 062 часа

28 октября 2026 года NVIDIA выпустила Nemotron 3.5 Transcribe — речевую модель с открытыми весами, объединяющую в одном чекпойнте многоязычную транскрипцию, идентификацию говорящих, перевод и ответы на вопросы об аудио. Одновременно компания представила Granary v2 — открытый речевой датасет и конвейер подготовки данных с публичным манифестом, охватывающим 463 062 часа аудио на 48 языках.

Согласно объявлению NVIDIA на Hugging Face, модель транскрибирует речь на 40 языках, переводит с 31 из них на английский и с английского на эти языки, а также идентифицирует говорящих на 13 языках. Она обрабатывает записи продолжительностью до одного часа и распознаёт до восьми говорящих. В карточке модели указана дата выпуска — 28 октября 2026 года; модель доступна на Hugging Face, GitHub через NVIDIA NeMo Speech, NGC и Build.Nvidia.com. Веса выпущены по лицензии OpenMDW-1.1, модель можно использовать как в коммерческих, так и в некоммерческих целях. Хостинговые конечные точки предоставляют Baseten, DeepInfra и Simplismart; интерактивные демонстрации доступны на Hugging Face Spaces и ModelScope Studios.

Архитектура и настройка с помощью промптов

Transcribe объединяет речевой энкодер и языковую основу в одном чекпойнте с 34 млрд параметров, из которых на каждый токен активно около 4,3 млрд; длина контекста составляет 65 536 токенов. Речевая часть включает Transformer-энкодер ASR с 600 млн параметров, энкодер говорящих Nemotron-3-Diarization примерно с 99 млн параметров и слой классификации временных отрезков для определения временных меток слов. Языковая часть — это Nemotron-3.5 Lightning 30B-A3B от NVIDIA, гибридная модель смеси экспертов на базе Mamba-2 и Transformer. Веса доступны в формате BF16, а также в квантованных вариантах FP8 и NVFP4; дополнительно можно использовать черновую модель DFlash2 для спекулятивного декодирования.

Выходные данные задаются промптами на естественном языке: разработчики могут запросить дословную или отредактированную транскрипцию, указать контекстную лексику, например названия продуктов или медицинские термины, запросить метки говорящих и временные метки для отдельных слов, перевести речь с английского или на английский либо задать вопросы об аудио. Модель обучена отвечать на вопросы об аудио на английском языке. В языковой матрице карточки модели для каждого из 40 языков и каждой задачи указаны оценки качества — от «Лидирующего» до «Поддерживаемого»; при этом понимание аудио и выполнение устных инструкций оценивались только на английском. В карточке модели подчёркивается, что Transcribe работает офлайн: внутреннее разбиение аудио на фрагменты не превращает её в сервис потоковой обработки в реальном времени.

Для обучения использовали около 1,72 млн уникальных часов аудио, проиндексированных примерно в 372 млн примеров, а также 5,6 млрд уникальных текстовых токенов. Данные поступили из Granary v2, многоголосых корпусов записей встреч, наборов данных для понимания аудио и синтетической речи с учётом персональных данных. Часть обучающих данных была лицензирована у David AI; в карточке указано, что оценочный набор DAI-ASR-I18N от David AI не использовался для обучения.

Результаты тестирования, опубликованные NVIDIA

По данным NVIDIA, среди моделей с открытыми весами Transcribe занимает первое место в англоязычном рейтинге Hugging Face Open ASR со средним уровнем ошибок слов 5,33%; модели, доступные через API, в рейтинге не учитываются. В сравнении, приведённом в карточке модели, Transcribe также показывает лучший результат среди моделей с открытыми весами в многоязычном тестировании — средний WER 4,62% на семи языках — и в тестировании длинных записей — 10,98%. В собственных таблицах карточки модели, составленных 12 октября 2026 года, средний WER по девяти англоязычным наборам данных составляет 4,71% против 4,94% у Qwen3-ASR-1.7B, следующей по результатам модели с открытыми весами; средний cpWER для нескольких говорящих равен 15,80 против 16,83 у DiCoW v3.3 в сочетании с DiariZen.

По данным NVIDIA, в индексе распознавания речи в текст Artificial Analysis Transcribe делит первое место среди моделей с открытыми весами с результатом 2,8% AA-WER, активируя около 4 млрд параметров на токен, тогда как у модели, с которой она делит первое место, активны 24 млрд параметров. Что касается идентификации говорящих, в объявлении сообщается, что в тесте диаризации DAI-ASR-I18N от David AI на 21 языке Transcribe показала самый низкий среди 14 систем уровень ошибок диаризации — 18,26%, немного опередив собственную модель NVIDIA Nemotron 3 Diarization с результатом 18,38%. Кроме того, она заняла первое место среди 14 систем в англоязычном тесте Diarization-Bench от VoiceArena с результатом 32,4% cpWER; доля удалённых слов относительно эталонных составила 8,32% против медианного значения около 31%.

Датасет и конвейер Granary V2

Выпущенный одновременно с моделью Granary v2 — это открытый проект по подготовке данных, на которых она обучалась. Публичный манифест охватывает 463 062 часа аудио на 48 языках из 16 исходных корпусов; в Granary v1 было 25 языков. NVIDIA отмечает, что эти цифры относятся к выпущенному датасету, а не ко всему набору данных, использованному для обучения Transcribe. Конвейер создан с помощью NVIDIA NeMo Curator. Для каждой записи он формирует три варианта транскрипции: дословную с нормализацией текста, с обратной нормализацией и сохранением речевых нарушений плавности, а также с обратной нормализацией без них. Кроме того, конвейер создаёт подписи, восстанавливает переключение языков, формирует пары «вопрос — ответ», основанные на речи, термины для контекстной коррекции распознавания, а также переводы с автоматическими оценками качества.

Конвейер состоит из четырёх этапов: подготовка метаданных и аудио; транскрипция с помощью основной и резервной моделей ASR, отбор результатов которых зависит от проверки на галлюцинации; создание меток задач с проверкой согласованности; фильтрация по высокому качеству. На последнем этапе объём корпуса VoxPopuli был сокращён с 354 000 до 111 000 часов аудио на 22 европейских языках. Манифесты содержат подсказки для распознавания сущностей, пары инструкций, сведения о происхождении данных и оценки качества для каждой записи. Исходное аудио скачивается отдельно в соответствии с лицензией каждого корпуса; конвейер работает с бэкендами Ray и NVIDIA Dynamo.

Пример дообучения на медицинских данных и развёртывание

Чтобы продемонстрировать возможности адаптации, в анонсе NVIDIA описано исследование в медицинской сфере на открытом бенчмарке Eka Care, включающем 3 619 записей индийских врачей и студентов-медиков. Указание в подсказке английского языка и латинского алфавита снизило WER на всем бенчмарке с 30,8% до 23,8%, а дообучение — до 11,8%. На 2 764 отложенных аудиофрагментах, оцененных с помощью конвейера KARMA от Eka Care, дообучение снизило WER с 22,44% до 12,17%, то есть на 45,8% относительно исходного значения; WER по ключевым словам уменьшился с 9,2% до 6,5%, а семантический WER — с 10,0% до 7,6%. При этом WER на тестовой выборке LibriSpeech test-clean незначительно вырос с 1,54% до 1,69%. Для адаптации объединили около 153 часов синтетической речи, 29 часов английской речи с акцентами из Common Voice и 63 часа медицинских записей из MultiMed; процесс занял около 14 часов работы графического процессора NVIDIA GB300.

Модель работает на одном графическом процессоре NVIDIA — от Jetson AGX Thor и DGX Spark до серверных систем Blackwell для центров обработки данных. По данным NVIDIA, оптимизированная реализация NIM позволяет одному графическому процессору RTX PRO 6000 Blackwell Server Edition расшифровывать до 2 238 секунд аудио в секунду с точностью NVFP4 и спекулятивным декодированием DFlash2. В анонсе также говорится, что модель обрабатывает 100 часов аудио менее чем за три минуты в формате NVFP4, используя 30-секундные фрагменты при высокой степени параллелизма; в карточке модели отмечается, что эти оптимизации для развертывания пока не входят в версию с открытым исходным кодом. Для развертывания используется vLLM 0.32.0 с плагином NeMo Speech либо локальный запуск с помощью NeMo-Speech.cpp. Специальный навык агента для дообучения позволяет агенту-программисту запускать процесс адаптации, а ModelScope поддерживает дообучение через свой фреймворк ms-swift.