NVIDIA ने ओपन-वेट स्पीच मॉडल और 463,062 घंटे का ऑडियो डेटासेट लॉन्च किया

NVIDIA ने 28 अक्टूबर, 2026 को Nemotron 3.5 Transcribe जारी किया। यह ओपन-वेट स्पीच मॉडल बहुभाषी लिप्यंतरण, वक्ताओं की पहचान, अनुवाद और ऑडियो से जुड़े सवालों के जवाब देने की सुविधा को एक ही चेकपॉइंट में जोड़ता है। इसके साथ Granary v2 भी जारी किया गया—एक खुला स्पीच डेटासेट और क्यूरेशन पाइपलाइन, जिसकी सार्वजनिक सूची में 48 भाषाओं के 463,062 घंटे का डेटा शामिल है।

Hugging Face पर NVIDIA की घोषणा के अनुसार, यह मॉडल 40 भाषाओं का लिप्यंतरण करता है, उनमें से 31 भाषाओं का अंग्रेज़ी में या अंग्रेज़ी से अनुवाद करता है और 13 भाषाओं में वक्ताओं की पहचान करता है। यह एक घंटे तक की रिकॉर्डिंग संभाल सकता है और अधिकतम आठ वक्ताओं को चिह्नित कर सकता है। मॉडल कार्ड में 28 अक्टूबर, 2026 की रिलीज़ तारीख दी गई है और बताया गया है कि मॉडल Hugging Face, NVIDIA NeMo Speech के ज़रिए GitHub, NGC और Build.Nvidia.com पर उपलब्ध है। इसके वेट OpenMDW-1.1 लाइसेंस के तहत जारी किए गए हैं और मॉडल का इस्तेमाल व्यावसायिक या गैर-व्यावसायिक, दोनों उद्देश्यों के लिए किया जा सकता है। होस्ट किए गए एंडपॉइंट Baseten, DeepInfra और Simplismart उपलब्ध कराते हैं। Hugging Face Spaces और ModelScope Studios पर इसका इंटरैक्टिव डेमो भी मौजूद है।

आर्किटेक्चर और प्रॉम्प्ट

Transcribe एक स्पीच एन्कोडर को भाषा मॉडल के मूल ढाँचे के साथ जोड़कर एक 34B-पैरामीटर चेकपॉइंट बनाता है। इसमें हर टोकन के लिए लगभग 4.3B पैरामीटर सक्रिय होते हैं और संदर्भ लंबाई 65,536 टोकन है। स्पीच वाला हिस्सा 600M-पैरामीटर Transformer ASR एन्कोडर, लगभग 99M-पैरामीटर Nemotron-3-Diarization स्पीकर एन्कोडर और शब्दों के टाइमस्टैम्प निर्धारित करने वाले कनेक्शनिस्ट टेम्पोरल क्लासिफ़िकेशन हेड से बना है। भाषा वाला हिस्सा NVIDIA का Nemotron-3.5 Lightning 30B-A3B है, जो Mamba-2 और Transformer पर आधारित हाइब्रिड मिक्सचर-ऑफ़-एक्सपर्ट्स मॉडल है। वेट BF16 में उपलब्ध हैं। इनके साथ FP8 और NVFP4 क्वांटाइज़्ड संस्करण तथा स्पेक्युलेटिव डिकोडिंग के लिए वैकल्पिक DFlash2 ड्राफ़्ट मॉडल भी दिया गया है।

आउटपुट को सामान्य भाषा में दिए गए प्रॉम्प्ट से नियंत्रित किया जा सकता है। डेवलपर शब्दशः या साफ़-सुथरा लिखित लिप्यंतरण माँग सकते हैं, उत्पादों या चिकित्सा से जुड़े शब्दों जैसी संदर्भ शब्दावली दे सकते हैं, वक्ताओं के टैग और हर शब्द के टाइमस्टैम्प माँग सकते हैं, बोली गई सामग्री का अंग्रेज़ी में या अंग्रेज़ी से अनुवाद कर सकते हैं, अथवा ऑडियो के बारे में सवाल पूछ सकते हैं। ऑडियो से जुड़े सवालों के जवाब देने की ट्रेनिंग अंग्रेज़ी में दी गई है। मॉडल कार्ड की भाषा-सारणी में 40 में से हर भाषा को अलग-अलग कार्यों के लिए Leading से Supported तक के गुणवत्ता स्तर दिए गए हैं। इसमें यह भी बताया गया है कि ऑडियो को समझने और बोले गए निर्देशों का पालन करने की क्षमता का मूल्यांकन केवल अंग्रेज़ी में किया गया। मॉडल कार्ड इस बात पर ज़ोर देता है कि Transcribe एक ऑफ़लाइन मॉडल है: ऑडियो को आंतरिक रूप से छोटे हिस्सों में बाँटने से यह रियल-टाइम स्ट्रीमिंग सेवा नहीं बन जाता।

ट्रेनिंग में लगभग 372 मिलियन उदाहरणों से जुड़े करीब 1.72 मिलियन घंटे के विशिष्ट, अनुक्रमित ऑडियो और 5.6 बिलियन विशिष्ट टेक्स्ट टोकन इस्तेमाल किए गए। डेटा Granary v2, कई वक्ताओं वाली मीटिंग के कॉर्पस, ऑडियो-समझ डेटा और सिंथेटिक PII-जागरूक स्पीच से लिया गया था। कुछ ट्रेनिंग डेटा David AI से लाइसेंस लेकर इस्तेमाल किया गया था। कार्ड के अनुसार, David AI का DAI-ASR-I18N मूल्यांकन सेट ट्रेनिंग का हिस्सा नहीं था।

NVIDIA की ओर से बताए गए बेंचमार्क नतीजे

NVIDIA के अनुसार, Hugging Face Open ASR की अंग्रेज़ी लीडरबोर्ड पर Transcribe ओपन-वेट मॉडल्स में 5.33% की औसत शब्द त्रुटि दर के साथ पहले स्थान पर है; इस तुलना में API मॉडल शामिल नहीं हैं। मॉडल कार्ड की तुलना में ओपन-वेट मॉडल्स के बीच इसका बहुभाषी नतीजा सबसे कम, सात भाषाओं में औसतन 4.62% WER, और लंबे ऑडियो का नतीजा भी सबसे कम, 10.98% है। कार्ड की अपनी तालिकाओं में, जो 12 अक्टूबर, 2026 को संकलित की गई थीं, नौ डेटासेट पर अंग्रेज़ी का औसत WER 4.71% है। इसकी तुलना में अगले सर्वश्रेष्ठ ओपन-वेट मॉडल Qwen3-ASR-1.7B का WER 4.94% है। कई वक्ताओं वाले ऑडियो पर औसत cpWER 15.80 है, जबकि DiariZen के साथ DiCoW v3.3 का cpWER 16.83 है।

Artificial Analysis के स्पीच-टू-टेक्स्ट सूचकांक पर NVIDIA का कहना है कि Transcribe ओपन-वेट मॉडल्स में 2.8% AA-WER के साथ संयुक्त रूप से पहले स्थान पर है। यह प्रति टोकन लगभग 4B पैरामीटर सक्रिय करता है, जबकि जिस मॉडल के साथ इसका स्थान बराबर है, वह 24B पैरामीटर सक्रिय करता है। वक्ताओं की पहचान के मामले में, घोषणा के अनुसार David AI के 21-भाषाओं वाले DAI-ASR-I18N डायरीकरण ट्रैक पर शामिल 14 प्रणालियों में इसकी डायरीकरण त्रुटि दर सबसे कम, 18.26%, रही। यह NVIDIA के अपने Nemotron 3 Diarization के 18.38% से थोड़ी बेहतर है। VoiceArena के अंग्रेज़ी Diarization-Bench पर भी यह 14 प्रणालियों में 32.4% cpWER के साथ पहले स्थान पर रहा। संदर्भ शब्दों में से 8.32% छूटे, जबकि माध्यिका लगभग 31% थी।

Granary V2 डेटासेट और पाइपलाइन

मॉडल के साथ जारी किया गया Granary v2, उसकी ट्रेनिंग के पीछे की खुली डेटा पहल है। इसकी सार्वजनिक सूची में 48 भाषाओं और 16 स्रोत कॉर्पस के 463,062 घंटे शामिल हैं; Granary v1 में 25 भाषाएँ थीं। NVIDIA बताता है कि ये आँकड़े डेटासेट की रिलीज़ के हैं, Transcribe के पूरे ट्रेनिंग मिश्रण के नहीं। NVIDIA NeMo Curator की मदद से बनी यह पाइपलाइन हर रिकॉर्डिंग के तीन रूप तैयार करती है: टेक्स्ट नॉर्मलाइज़ेशन के साथ शब्दशः लिप्यंतरण, डिस्फ़्लुएंसीज़ के साथ इनवर्स-नॉर्मलाइज़्ड लिप्यंतरण और डिस्फ़्लुएंसीज़ के बिना इनवर्स-नॉर्मलाइज़्ड लिप्यंतरण। इसके अलावा यह कैप्शन, कोड-स्विचिंग की बहाली, स्पीच पर आधारित सवाल-जवाब के जोड़े, संदर्भ-आधारित बायसिंग शब्द और स्वचालित गुणवत्ता स्कोर वाले अनुवाद भी तैयार करती है।

पाइपलाइन चार चरणों में चलती है: मेटाडेटा और ऑडियो तैयार करना; प्राथमिक और पुनर्प्राप्ति ASR मॉडल से लिप्यंतरण करना, जिसमें हैलुसिनेशन जाँच के आधार पर मॉडल का इस्तेमाल नियंत्रित होता है; सहमति जाँच के साथ कार्य-लेबल तैयार करना; और उच्च-निष्ठा फ़िल्टर लगाना। VoxPopuli कॉर्पस के मामले में इस फ़िल्टर ने 22 यूरोपीय भाषाओं के 354,000 घंटों को घटाकर 111,000 घंटे कर दिया। सूची में हर रिकॉर्डिंग के लिए इकाइयों से जुड़े संकेत, निर्देशों के जोड़े, स्रोत का विवरण और गुणवत्ता के अलग-अलग फ़्लैग शामिल होते हैं। स्रोत ऑडियो हर कॉर्पस के मूल लाइसेंस के तहत अलग से डाउनलोड किया जाता है। पाइपलाइन Ray और NVIDIA Dynamo बैकएंड के साथ चलती है।

चिकित्सा क्षेत्र में फ़ाइन-ट्यूनिंग का अध्ययन और परिनियोजन

अनुकूलन का प्रदर्शन करने के लिए, NVIDIA की घोषणा में Eka Care के खुले बेंचमार्क पर आधारित एक चिकित्सा अध्ययन का वर्णन है। इस बेंचमार्क में भारतीय डॉक्टरों और मेडिकल छात्रों की 3,619 रिकॉर्डिंग शामिल थीं। प्रॉम्प्ट में अंग्रेज़ी और लैटिन वर्णमाला का उल्लेख करने से पूरे बेंचमार्क पर WER 30.8% से घटकर 23.8% हो गया, और फ़ाइन-ट्यूनिंग के बाद यह 11.8% पर आ गया। Eka Care की KARMA पाइपलाइन से स्कोर किए गए, प्रशिक्षण से अलग रखे गए 2,764 क्लिप पर फ़ाइन-ट्यूनिंग से WER 22.44% से घटकर 12.17% हो गया—यानी सापेक्ष रूप से 45.8% की कमी। कीवर्ड WER 9.2% से घटकर 6.5% और सिमेंटिक WER 10.0% से घटकर 7.6% हो गया, जबकि LibriSpeech test-clean WER में मामूली वृद्धि हुई और यह 1.54% से बढ़कर 1.69% हो गया। इस अनुकूलन में लगभग 153 घंटे की कृत्रिम वाणी, Common Voice से मिली अलग-अलग लहजों वाली अंग्रेज़ी की 29 घंटे की रिकॉर्डिंग और MultiMed की 63 घंटे की चिकित्सा रिकॉर्डिंग शामिल थीं। इसे एक NVIDIA GB300 पर लगभग 14 GPU-घंटे लगे।

यह मॉडल Jetson AGX Thor और DGX Spark से लेकर Blackwell डेटा-सेंटर सिस्टम तक, किसी एक NVIDIA GPU पर चलता है। NVIDIA के मुताबिक, अनुकूलित NIM कार्यान्वयन के साथ एक RTX PRO 6000 Blackwell Server Edition GPU, DFlash2 की अनुमान-आधारित डिकोडिंग के साथ NVFP4 परिशुद्धता का उपयोग करते हुए, हर सेकंड में अधिकतम 2,238 सेकंड का ऑडियो ट्रांसक्राइब करता है। घोषणा के अनुसार, उच्च समवर्तीता पर 30-सेकंड के क्लिप के लिए NVFP4 का उपयोग करके मॉडल तीन मिनट से भी कम समय में 100 घंटे का ऑडियो संसाधित करता है; हालाँकि, मॉडल कार्ड में कहा गया है कि ये सर्विंग अनुकूलन अभी ओपन-सोर्स रिलीज़ का हिस्सा नहीं हैं। सर्विंग के लिए NeMo Speech प्लगइन के साथ vLLM 0.32.0 का उपयोग किया जाता है, जबकि स्थानीय अनुमान NeMo-Speech.cpp के साथ किया जा सकता है। फ़ाइन-ट्यूनिंग एजेंट स्किल किसी कोडिंग एजेंट को अनुकूलन की कार्यप्रणाली चलाने देता है, और ModelScope अपने ms-swift फ़्रेमवर्क के ज़रिए फ़ाइन-ट्यूनिंग की सुविधा देता है।