NVIDIA, 개방형 가중치 음성 모델과 463,062시간 분량 오디오 데이터셋 공개

NVIDIA는 2026년 10월 28일 Nemotron 3.5 Transcribe를 공개했다. 이 개방형 가중치 음성 모델은 다국어 음성 전사, 화자 식별, 번역, 오디오 질의응답을 하나의 체크포인트에 결합했다. 이와 함께 공개된 Granary v2는 공개 목록에 48개 언어, 총 463,062시간 분량의 데이터가 수록된 오픈 음성 데이터셋이자 데이터 선별 파이프라인이다.

Hugging Face에 게시된 NVIDIA의 발표에 따르면, 이 모델은 40개 언어의 음성을 전사하고 그중 31개 언어를 영어와 양방향으로 번역하며, 13개 언어에서 화자를 식별한다. 최대 1시간 길이의 녹음을 처리하고 최대 8명의 화자를 표시한다. 모델 카드에는 Hugging Face, NVIDIA NeMo Speech를 통한 GitHub, NGC, Build.Nvidia.com에서 2026년 10월 28일에 출시된 것으로 기재되어 있다. 가중치는 OpenMDW-1.1 라이선스로 제공되며, 상업적·비상업적 용도로 모두 사용할 수 있다. 호스팅 엔드포인트는 Baseten, DeepInfra, Simplismart에서 제공하고, Hugging Face Spaces와 ModelScope Studios에서는 대화형 데모를 이용할 수 있다.

아키텍처와 프롬프트

Transcribe는 음성 인코더와 언어 백본을 하나의 34B 파라미터 체크포인트에 결합했다. 토큰당 활성화되는 파라미터는 약 4.3B이며, 컨텍스트 길이는 65,536토큰이다. 음성 처리 부분은 600M 파라미터 Transformer ASR 인코더, 약 99M 파라미터 Nemotron-3-Diarization 화자 인코더, 단어별 타임스탬프를 생성하는 연결주의 시간 분류 헤드로 구성된다. 언어 처리 부분에는 NVIDIA의 Nemotron-3.5 Lightning 30B-A3B가 사용된다. 이는 Mamba-2와 Transformer를 결합한 하이브리드 전문가 혼합 모델이다. 가중치는 BF16 형식으로 제공되며, FP8 및 NVFP4 양자화 버전과 추측 디코딩을 위한 선택형 DFlash2 초안 모델도 제공된다.

출력은 자연어 프롬프트로 제어한다. 개발자는 음성을 그대로 옮긴 전사문이나 읽기 편하게 다듬은 전사문을 요청하고, 제품명이나 의학 용어 같은 문맥 어휘를 제공할 수 있다. 화자 태그와 단어 단위 타임스탬프를 요청하거나, 음성을 영어로 또는 영어에서 다른 언어로 번역하거나, 오디오에 관한 질문을 할 수도 있다. 오디오 질의응답은 영어로 학습했으며, 모델 카드의 언어별 표는 40개 언어 각각에 대해 작업별 품질 수준을 ‘선도’부터 ‘지원’까지로 평가한다. 오디오 이해와 음성 지시 수행 능력은 영어로만 평가했다고도 명시한다. 모델 카드는 Transcribe가 오프라인 모델임을 강조한다. 내부적으로 오디오를 여러 청크로 나누어 처리하더라도 실시간 스트리밍 서비스가 되는 것은 아니다.

학습에는 색인화된 고유 오디오 약 172만 시간, 약 3억 7,200만 개의 예시, 고유 텍스트 토큰 56억 개가 사용됐다. 데이터는 Granary v2, 다중 화자 회의 말뭉치, 오디오 이해 데이터, 개인정보 식별 정보(PII)를 고려해 합성한 음성에서 가져왔다. 일부 학습 데이터는 David AI로부터 라이선스를 받았다. 모델 카드는 David AI의 DAI-ASR-I18N 평가 세트는 학습에 사용되지 않았다고 밝힌다.

NVIDIA가 공개한 벤치마크 결과

NVIDIA에 따르면 Transcribe는 Hugging Face Open ASR 영어 리더보드에서 개방형 가중치 모델 가운데 1위에 올랐으며, 평균 단어 오류율은 5.33%다. API 모델은 비교 대상에서 제외됐다. 모델 카드의 비교 결과에서도 개방형 가중치 모델 중 7개 언어의 평균 WER 4.62%로 다국어 부문 최저치를 기록했고, 장문 음성 부문에서도 10.98%로 가장 낮았다. 2026년 10월 12일 기준으로 작성된 모델 카드 자체 표에서는 9개 데이터셋의 영어 평균 WER이 4.71%로, 다음으로 성적이 좋은 개방형 가중치 모델 Qwen3-ASR-1.7B의 4.94%보다 낮았다. 다중 화자 평균 cpWER은 15.80으로, DiariZen과 결합한 DiCoW v3.3의 16.83보다 낮았다.

NVIDIA는 Artificial Analysis의 음성-텍스트 변환 지수에서 Transcribe가 토큰당 약 4B 파라미터를 활성화하면서 AA-WER 2.8%로 개방형 가중치 모델 중 공동 1위를 기록했다고 밝혔다. 공동 1위 모델은 토큰당 24B 파라미터를 활성화한다. 화자 식별 부문에서는 David AI의 21개 언어 DAI-ASR-I18N 화자 분리 평가에서 14개 시스템 가운데 가장 낮은 화자 분리 오류율 18.26%를 기록했다고 발표했다. 이는 NVIDIA 자체 모델인 Nemotron 3 Diarization의 18.38%보다 소폭 낮은 수치다. 또한 VoiceArena의 영어 Diarization-Bench에서는 14개 시스템 중 1위를 차지했고, cpWER은 32.4%였다. 참조 전사 단어 중 삭제된 단어의 비율은 8.32%로, 중앙값인 약 31%보다 낮았다.

Granary V2 데이터셋과 파이프라인

모델과 함께 공개된 Granary v2는 모델 학습을 뒷받침하는 오픈 데이터 프로젝트다. 공개 목록에는 48개 언어, 16개 원본 말뭉치에서 수집한 총 463,062시간 분량의 데이터가 수록되어 있다. Granary v1의 25개 언어에서 늘어난 수치다. NVIDIA는 이 수치가 데이터셋 공개분을 나타내며 Transcribe의 전체 학습 데이터 구성을 반영하지는 않는다고 설명한다. NVIDIA NeMo Curator로 구축한 파이프라인은 녹음마다 세 가지 전사문(텍스트 정규화를 적용한 축어 전사, 비유창성을 포함한 역정규화 전사, 비유창성을 제외한 역정규화 전사)을 생성한다. 여기에 캡션, 코드 전환 복원, 음성에 기반한 질의응답 쌍, 문맥 편향 용어, 자동 품질 점수가 포함된 번역도 만든다.

파이프라인은 네 단계로 실행된다. 먼저 메타데이터와 오디오를 준비하고, 이어 환각 검사를 통과한 기본 ASR 모델과 복구 ASR 모델로 전사한다. 다음으로 일치 여부를 확인하며 작업 라벨을 생성하고, 마지막으로 고충실도 필터를 적용한다. VoxPopuli 말뭉치의 경우 이 필터를 거쳐 354,000시간 분량이 22개 유럽 언어에 걸친 111,000시간 분량으로 줄었다. 매니페스트에는 개체 힌트, 지시문 쌍, 출처 정보, 녹음별 품질 플래그가 포함된다. 원본 오디오는 각 말뭉치의 원래 라이선스에 따라 별도로 다운로드하며, 파이프라인은 Ray와 NVIDIA Dynamo 백엔드에서 실행된다.

의료 분야 미세 조정 사례와 배포

적응 성능을 보여 주기 위해 NVIDIA의 발표에서는 인도의 의사와 의대생이 녹음한 음성 3,619건으로 구성된 Eka Care의 공개 벤치마크를 활용한 의료 분야 사례 연구를 소개합니다. 프롬프트에 영어와 라틴 문자를 명시하자 전체 벤치마크의 WER이 30.8%에서 23.8%로 낮아졌고, 미세 조정을 거친 뒤에는 11.8%까지 떨어졌습니다. Eka Care의 KARMA 파이프라인으로 평가한 홀드아웃 클립 2,764개에서는 미세 조정으로 WER이 22.44%에서 12.17%로 낮아져 상대적으로 45.8% 감소했습니다. 키워드 WER은 9.2%에서 6.5%로, 의미 WER은 10.0%에서 7.6%로 낮아진 반면, LibriSpeech test-clean WER은 1.54%에서 1.69%로 소폭 상승했습니다. 적응 데이터에는 합성 음성 약 153시간, Common Voice의 억양이 있는 영어 음성 29시간, MultiMed의 의료 녹음 63시간이 사용됐으며, NVIDIA GB300 한 대에서 GPU 기준 약 14시간이 걸렸습니다.

이 모델은 Jetson AGX Thor와 DGX Spark부터 Blackwell 데이터센터 시스템까지 단일 NVIDIA GPU에서 실행됩니다. NVIDIA에 따르면 최적화된 NIM 구현을 사용하면 RTX PRO 6000 Blackwell Server Edition GPU 한 대가 NVFP4 정밀도와 DFlash2 추측 디코딩을 적용해 초당 최대 2,238초 분량의 오디오를 전사합니다. 발표에서는 또한 동시 처리량을 높인 상태에서 30초 길이의 클립을 NVFP4로 처리할 경우, 모델이 100시간 분량의 오디오를 3분 이내에 처리한다고 밝혔습니다. 다만 모델 카드에 따르면 이러한 서빙 최적화는 아직 오픈소스 릴리스에 포함되지 않았습니다. 서빙에는 NeMo Speech 플러그인을 사용하는 vLLM 0.32.0을 적용하거나 NeMo-Speech.cpp로 로컬 추론을 수행할 수 있습니다. 또한 미세 조정 에이전트 스킬을 이용하면 코딩 에이전트가 적응 워크플로를 실행할 수 있으며, ModelScope는 ms-swift 프레임워크를 통해 미세 조정을 지원합니다.