تطلق NVIDIA نموذجًا مفتوح الأوزان للتعرّف على الكلام ومجموعة بيانات صوتية تضم 463,062 ساعة

أصدرت NVIDIA نموذج Nemotron 3.5 Transcribe في 28 أكتوبر 2026، وهو نموذج مفتوح الأوزان للتعرّف على الكلام يجمع في نقطة تحقق واحدة بين التفريغ متعدد اللغات، وإسناد الكلام إلى المتحدثين، والترجمة، والإجابة عن الأسئلة المتعلقة بالصوت. وأصدرت معه Granary v2، وهي مجموعة بيانات مفتوحة للكلام وخطّ لإعداد البيانات وتنقيحها، يغطي سجلّها العام 463,062 ساعة موزعة على 48 لغة.

يفرّغ النموذج الكلام بـ40 لغة، ويترجم 31 منها إلى الإنجليزية أو منها، وينسب الكلام إلى المتحدثين في 13 لغة، وفقًا لما ورد في إعلان NVIDIA على Hugging Face. ويتعامل مع تسجيلات تصل مدتها إلى ساعة واحدة، ويضع تسميات لما يصل إلى ثمانية متحدثين. ويحدد دليل النموذج تاريخ إصداره في 28 أكتوبر 2026 عبر Hugging Face وGitHub من خلال NVIDIA NeMo Speech وNGC وBuild.Nvidia.com، مع إتاحة الأوزان بموجب ترخيص OpenMDW-1.1، وإمكانية استخدام النموذج تجاريًا أو غير تجاري. وتوفر Baseten وDeepInfra وSimplismart نقاط نهاية مستضافة، كما يتاح عرض تفاعلي على Hugging Face Spaces وModelScope Studios.

البنية والتوجيه بالمطالبات

يجمع Transcribe بين مُرمِّز للكلام ونموذج لغوي أساسي في نقطة تحقق واحدة تضم 34 مليار مُعامِل، ينشط منها نحو 4.3 مليارات مُعامِل لكل رمز، مع سياق يتسع لـ65,536 رمزًا. ويتألف جانب الكلام من مُرمِّز Transformer للتعرّف التلقائي على الكلام (ASR) يضم 600 مليون مُعامِل، ومُرمِّز للمتحدثين من Nemotron-3-Diarization يضم نحو 99 مليون مُعامِل، ورأس للتصنيف الزمني الترابطي يحدد الطوابع الزمنية للكلمات. أما الجانب اللغوي، فيعتمد على Nemotron-3.5 Lightning 30B-A3B من NVIDIA، وهو نموذج هجين يجمع بين Mamba-2 وTransformer ويستخدم مزيج الخبراء. وتُطرح الأوزان بصيغة BF16، مع إصدارات مكمّمة بصيغتي FP8 وNVFP4، ونموذج مسودة اختياري DFlash2 لفك الترميز التخميني.

تتحكم المطالبات باللغة الطبيعية في المخرجات: إذ يمكن للمطورين طلب تفريغات حرفية أو منقّحة لتكون نصوصًا سلسة، وتزويد النموذج بمفردات سياقية مثل المصطلحات الخاصة بالمنتجات أو الطب، وطلب وسوم للمتحدثين وطوابع زمنية على مستوى الكلمات، وترجمة الكلام إلى الإنجليزية أو منها، أو طرح أسئلة عن الصوت. وقد دُرّب النموذج على الإجابة عن الأسئلة المتعلقة بالصوت باللغة الإنجليزية، ويقيّم جدول اللغات في دليل النموذج كل لغة من اللغات الأربعين بحسب المهمة، بمستويات جودة تتدرج من «رائد» إلى «مدعوم»؛ ويشير الجدول إلى أن فهم الصوت واتباع التعليمات المنطوقة لم يُقيَّما إلا باللغة الإنجليزية. ويؤكد دليل النموذج أن Transcribe يعمل دون اتصال بالإنترنت؛ فتقسيم الصوت داخليًا إلى مقاطع لا يجعله خدمة بث آني.

استند التدريب إلى نحو 1.72 مليون ساعة صوتية فريدة ومفهرسة، موزعة على نحو 372 مليون عينة، إضافة إلى 5.6 مليارات رمز نصي فريد، واستفاد من Granary v2 ومجموعات بيانات لاجتماعات متعددة المتحدثين وبيانات لفهم الصوت وكلام اصطناعي يراعي معلومات تحديد الهوية الشخصية (PII). ورُخّص بعض بيانات التدريب من David AI؛ ويذكر دليل النموذج أن مجموعة التقييم DAI-ASR-I18N التابعة لـDavid AI لم تُستخدم في التدريب.

نتائج المعايير التي أعلنتها NVIDIA

تقول NVIDIA إن Transcribe يحتل المرتبة الأولى بين النماذج مفتوحة الأوزان في لوحة متصدرّي Open ASR English على Hugging Face، بمعدل خطأ متوسط في الكلمات يبلغ 5.33%، مع استبعاد نماذج واجهات البرمجة (API)، وإنه يحقق أدنى نتيجة متعددة اللغات، بمتوسط WER يبلغ 4.62% عبر سبع لغات، وأدنى نتيجة للتفريغ الطويل، وهي 10.98%، بين النماذج مفتوحة الأوزان الواردة في مقارنة دليل النموذج. وفي الجداول الخاصة بدليل النموذج، التي جُمعت بياناتها في 12 أكتوبر 2026، يبلغ متوسط WER باللغة الإنجليزية عبر مجموعات البيانات التسع 4.71%، مقارنةً بـ4.94% لنموذج Qwen3-ASR-1.7B، وهو ثاني أفضل نموذج مفتوح الأوزان، فيما يبلغ متوسط cpWER للمتحدثين المتعددين 15.80، مقابل 16.83 لنموذج DiCoW v3.3 المقترن بـDiariZen.

تقول NVIDIA إن Transcribe يتعادل على مؤشر تحويل الكلام إلى نص لدى Artificial Analysis في المركز الأول بين النماذج مفتوحة الأوزان، بمعدل AA-WER يبلغ 2.8%، مع تنشيط نحو 4 مليارات مُعامِل لكل رمز، مقارنةً بـ24 مليار مُعامِل للنموذج الذي يتعادل معه. وفي ما يتعلق بإسناد الكلام إلى المتحدثين، يفيد الإعلان بأن النموذج حقق أدنى معدل لخطأ فصل المتحدثين بين الأنظمة الأربعة عشر المشاركة في مسار فصل المتحدثين متعدد اللغات الـ21، DAI-ASR-I18N، التابع لـDavid AI، مسجلًا 18.26%، متقدمًا بفارق طفيف على Nemotron 3 Diarization الخاص بـNVIDIA، الذي سجل 18.38%. كما أحرز المركز الأول بين 14 نظامًا في معيار Diarization-Bench باللغة الإنجليزية لدى VoiceArena، بمعدل cpWER يبلغ 32.4%، مع حذف 8.32% من كلمات النص المرجعي، مقابل وسيط يبلغ نحو 31%.

مجموعة بيانات Granary V2 وخط إعدادها

يمثل Granary v2، الذي أُصدر بالتزامن مع النموذج، مشروع البيانات المفتوحة الذي يستند إليه تدريبه. ويغطي سجله العام 463,062 ساعة موزعة على 48 لغة و16 مجموعة بيانات مصدرية، ارتفاعًا من 25 لغة في Granary v1؛ وتشير NVIDIA إلى أن هذه الأرقام تصف إصدار مجموعة البيانات، لا مزيج التدريب الكامل لنموذج Transcribe. أُنشئ خط الإعداد باستخدام NVIDIA NeMo Curator، وينتج ثلاثة أشكال من التفريغ لكل تسجيل (حرفي مع تطبيع النص، ونص بعد التطبيع العكسي مع حالات التلعثم والتردد، ونص بعد التطبيع العكسي من دونها)، إضافة إلى أوصاف صوتية، واستعادة التبديل اللغوي، وأزواج من الأسئلة والأجوبة المستندة إلى الكلام، ومصطلحات لضبط الانحياز السياقي، وترجمات مرفقة بدرجات جودة آلية.

يعمل خط الإعداد عبر أربع مراحل: إعداد البيانات الوصفية والصوت؛ والتفريغ باستخدام نماذج أساسية وأخرى احتياطية للتعرّف التلقائي على الكلام، تخضع لاختبار لكشف الهلوسة؛ وإنشاء تسميات المهام مع التحقق من توافق النتائج؛ ثم تطبيق مرشح عالي الدقة خفّض، في مجموعة بيانات VoxPopuli، حجم البيانات من 354,000 ساعة إلى 111,000 ساعة موزعة على 22 لغة أوروبية. وتتضمن ملفات البيان تلميحات عن الكيانات، وأزواجًا من التعليمات، ومعلومات عن مصدر البيانات، ومؤشرات جودة لكل تسجيل. ويُنزّل الصوت المصدر على حدة بموجب الترخيص الأصلي لكل مجموعة بيانات، ويعمل خط الإعداد باستخدام واجهتي Ray وNVIDIA Dynamo الخلفيتين.

دراسة حالة عن الضبط الدقيق للاستخدام الطبي والنشر

لإظهار إمكانية التكييف، يعرض إعلان NVIDIA دراسة حالة طبية تستند إلى المعيار المفتوح الذي أعدّته Eka Care، ويضم 3,619 تسجيلاً لأطباء وطلاب طب في الهند. وأدى ذكر اللغة الإنجليزية والأبجدية اللاتينية في الموجّه إلى خفض معدل خطأ الكلمات (WER) على مجموعة البيانات الكاملة من 30.8% إلى 23.8%، ثم خفّضه الضبط الدقيق إلى 11.8%. وفي 2,764 مقطعاً لم تُستخدم في التدريب، جرى تقييمها عبر منظومة KARMA التابعة لـEka Care، خفّض الضبط الدقيق معدل خطأ الكلمات من 22.44% إلى 12.17%، أي بنسبة انخفاض نسبية بلغت 45.8%؛ كما انخفض معدل خطأ الكلمات المفتاحية من 9.2% إلى 6.5%، ومعدل خطأ الكلمات الدلالي من 10.0% إلى 7.6%، في حين ارتفع معدل خطأ الكلمات في مجموعة اختبار LibriSpeech test-clean قليلاً، من 1.54% إلى 1.69%. وجمع التكييف بين نحو 153 ساعة من الكلام الاصطناعي، و29 ساعة من الإنجليزية المنطوقة بلكنات مختلفة من Common Voice، و63 ساعة من التسجيلات الطبية من MultiMed، واستغرق نحو 14 ساعة تشغيل لوحدة معالجة الرسومات على جهاز NVIDIA GB300 واحد.

يعمل النموذج على وحدة معالجة رسومات واحدة من NVIDIA، بدءاً من Jetson AGX Thor وDGX Spark وصولاً إلى أنظمة Blackwell لمراكز البيانات. وتفيد NVIDIA بأنه باستخدام تطبيق NIM المحسّن، تستطيع وحدة معالجة الرسومات RTX PRO 6000 Blackwell Server Edition واحدة نسخ ما يصل إلى 2,238 ثانية من الصوت في الثانية، باستخدام دقة NVFP4 وفك الترميز التخميني DFlash2. ويذكر الإعلان أن النموذج يعالج 100 ساعة من الصوت في أقل من ثلاث دقائق بدقة NVFP4، عند استخدام مقاطع مدتها 30 ثانية وبدرجة تزامن عالية؛ غير أن بطاقة النموذج تشير إلى أن تحسينات تقديم الخدمة هذه لم تُضمّن بعد في الإصدار مفتوح المصدر. ويعتمد تقديم الخدمة على vLLM 0.32.0 مع إضافة NeMo Speech، أو على الاستدلال المحلي باستخدام NeMo-Speech.cpp. كما تتيح مهارة لوكيل الضبط الدقيق لوكيل برمجي تشغيل سير عمل التكييف، فيما تدعم ModelScope الضبط الدقيق عبر إطار عمل ms-swift.