NVIDIA เปิดตัวโมเดลรู้จำเสียงแบบเปิดน้ำหนักและชุดข้อมูลเสียงขนาด 463,062 ชั่วโมง

NVIDIA เปิดตัว Nemotron 3.5 Transcribe เมื่อวันที่ 28 ตุลาคม 2026 ซึ่งเป็นโมเดลรู้จำเสียงแบบเปิดน้ำหนักที่รวมการถอดเสียงหลายภาษา การระบุผู้พูด การแปล และการตอบคำถามเกี่ยวกับเสียงไว้ในจุดตรวจสอบโมเดลเดียว พร้อมกับ Granary v2 ซึ่งเป็นชุดข้อมูลเสียงแบบเปิดและกระบวนการคัดสรรข้อมูล โดยบัญชีรายการข้อมูลสาธารณะครอบคลุมเสียง 463,062 ชั่วโมงใน 48 ภาษา

โมเดลถอดเสียงได้ 40 ภาษา แปล 31 ภาษาเป็นภาษาอังกฤษหรือจากภาษาอังกฤษ และระบุผู้พูดได้ 13 ภาษา ตามที่ระบุในประกาศของ NVIDIA บน Hugging Face โมเดลรองรับการบันทึกเสียงที่ยาวได้สูงสุดหนึ่งชั่วโมง และติดป้ายกำกับผู้พูดได้สูงสุดแปดคน การ์ดข้อมูลโมเดลระบุวันวางจำหน่ายเป็นวันที่ 28 ตุลาคม 2026 บน Hugging Face, GitHub ผ่าน NVIDIA NeMo Speech, NGC และ Build.Nvidia.com โดยเผยแพร่น้ำหนักโมเดลภายใต้สัญญาอนุญาต OpenMDW-1.1 และพร้อมใช้งานทั้งเชิงพาณิชย์และไม่ใช่เชิงพาณิชย์ มีบริการปลายทางแบบโฮสต์โดย Baseten, DeepInfra และ Simplismart พร้อมตัวอย่างสาธิตแบบโต้ตอบบน Hugging Face Spaces และ ModelScope Studios

สถาปัตยกรรมและการกำหนดคำสั่ง

Transcribe ผสานตัวเข้ารหัสเสียงเข้ากับแกนหลักด้านภาษาไว้ในจุดตรวจสอบโมเดลเดียวขนาด 34B พารามิเตอร์ โดยมีพารามิเตอร์ที่ทำงานอยู่ประมาณ 4.3B ต่อโทเค็น และรองรับบริบทขนาด 65,536 โทเค็น ส่วนประมวลผลเสียงประกอบด้วยตัวเข้ารหัส ASR แบบ Transformer ขนาด 600M พารามิเตอร์ ตัวเข้ารหัสผู้พูด Nemotron-3-Diarization ขนาดประมาณ 99M พารามิเตอร์ และเฮดสำหรับการจัดประเภทตามเวลาแบบ Connectionist Temporal Classification เพื่อระบุเวลาของคำ ส่วนประมวลผลภาษาคือ Nemotron-3.5 Lightning 30B-A3B ของ NVIDIA ซึ่งเป็นโมเดลผู้เชี่ยวชาญแบบผสมผสานที่ใช้สถาปัตยกรรม Mamba-2–Transformer โดยเผยแพร่น้ำหนักในรูปแบบ BF16 พร้อมรุ่นควอนไทซ์ FP8 และ NVFP4 รวมถึงโมเดลร่าง DFlash2 ที่เลือกใช้ได้สำหรับการถอดรหัสแบบคาดการณ์ล่วงหน้า

ผู้ใช้ควบคุมผลลัพธ์ได้ด้วยคำสั่งภาษาธรรมชาติ โดยนักพัฒนาสามารถขอให้ถอดเสียงตามคำพูดทุกคำหรือเรียบเรียงเป็นข้อความอ่านง่าย ระบุคำศัพท์ประกอบบริบท เช่น คำศัพท์เกี่ยวกับผลิตภัณฑ์หรือการแพทย์ ขอให้ใส่แท็กผู้พูดและระบุเวลาของคำ แปลเสียงเป็นภาษาอังกฤษหรือจากภาษาอังกฤษ หรือถามคำถามเกี่ยวกับเสียงได้ การตอบคำถามเกี่ยวกับเสียงได้รับการฝึกด้วยภาษาอังกฤษ และตารางภาษาของการ์ดข้อมูลโมเดลจัดระดับคุณภาพของแต่ละงานในทั้ง 40 ภาษา ตั้งแต่ระดับชั้นนำไปจนถึงระดับที่รองรับ พร้อมระบุว่าการประเมินความเข้าใจเสียงและการทำตามคำสั่งที่พูดนั้นดำเนินการเป็นภาษาอังกฤษเท่านั้น การ์ดข้อมูลโมเดลย้ำว่า Transcribe เป็นโมเดลที่ทำงานแบบออฟไลน์ การแบ่งเสียงเป็นช่วงภายในระบบไม่ได้ทำให้โมเดลกลายเป็นบริการสตรีมมิงแบบเรียลไทม์

การฝึกใช้ชั่วโมงเสียงที่จัดทำดัชนีแบบไม่ซ้ำกันประมาณ 1.72 ล้านชั่วโมง จากตัวอย่างประมาณ 372 ล้านรายการ รวมถึงโทเค็นข้อความที่ไม่ซ้ำกัน 5.6 พันล้านโทเค็น โดยใช้ข้อมูลจาก Granary v2 คลังข้อมูลการประชุมที่มีผู้พูดหลายคน ข้อมูลสำหรับทำความเข้าใจเสียง และเสียงสังเคราะห์ที่คำนึงถึงข้อมูลส่วนบุคคลที่ระบุตัวตนได้ ข้อมูลฝึกบางส่วนได้รับอนุญาตให้ใช้งานจาก David AI โดยการ์ดข้อมูลระบุว่าชุดประเมิน DAI-ASR-I18N ของ David AI ไม่ได้เป็นส่วนหนึ่งของการฝึก

ผลการทดสอบมาตรฐานที่ NVIDIA รายงาน

NVIDIA รายงานว่า Transcribe อยู่ในอันดับหนึ่งในบรรดาโมเดลแบบเปิดน้ำหนักบนกระดานจัดอันดับภาษาอังกฤษ Hugging Face Open ASR โดยมีอัตราความผิดพลาดเฉลี่ยของคำ 5.33% เมื่อไม่นับรวมโมเดล API และทำสถิติผลลัพธ์หลายภาษาต่ำสุดที่ 4.62% WER เฉลี่ยในเจ็ดภาษา รวมถึงผลลัพธ์การถอดเสียงแบบยาวต่ำสุดที่ 10.98% ในบรรดาโมเดลแบบเปิดน้ำหนักที่นำมาเปรียบเทียบในการ์ดข้อมูลโมเดล ตารางของ NVIDIA เองในการ์ดข้อมูล ซึ่งบันทึกเมื่อวันที่ 12 ตุลาคม 2026 แสดงค่า WER เฉลี่ยภาษาอังกฤษจากชุดข้อมูลเก้าชุดที่ 4.71% เทียบกับ 4.94% ของ Qwen3-ASR-1.7B ซึ่งเป็นโมเดลแบบเปิดน้ำหนักที่ทำผลงานดีที่สุดรองลงมา และค่า cpWER เฉลี่ยสำหรับเสียงที่มีผู้พูดหลายคนที่ 15.80 เทียบกับ 16.83 ของ DiCoW v3.3 ที่จับคู่กับ DiariZen

NVIDIA ระบุว่า ในดัชนีแปลงเสียงพูดเป็นข้อความของ Artificial Analysis นั้น Transcribe ครองอันดับหนึ่งร่วมในบรรดาโมเดลแบบเปิดน้ำหนัก ด้วยค่า AA-WER 2.8% ขณะเปิดใช้งานพารามิเตอร์ประมาณ 4B ต่อโทเค็น เทียบกับ 24B ของโมเดลที่ครองอันดับร่วมกัน สำหรับการระบุผู้พูด ประกาศระบุว่าโมเดลทำอัตราความผิดพลาดในการแยกผู้พูดต่ำที่สุดในบรรดา 14 ระบบที่เข้าร่วมรายการทดสอบการแยกผู้พูด DAI-ASR-I18N ซึ่งครอบคลุม 21 ภาษาของ David AI โดยอยู่ที่ 18.26% และดีกว่า Nemotron 3 Diarization ของ NVIDIA เองเล็กน้อย ซึ่งอยู่ที่ 18.38% นอกจากนี้ยังได้อันดับหนึ่งจาก 14 ระบบในรายการทดสอบภาษาอังกฤษ VoiceArena Diarization-Bench ด้วยค่า cpWER 32.4% โดยมีคำที่ถูกลบออกคิดเป็น 8.32% ของคำอ้างอิง เทียบกับค่ามัธยฐานประมาณ 31%

ชุดข้อมูลและกระบวนการของ Granary V2

Granary v2 ซึ่งเผยแพร่พร้อมกับโมเดล เป็นโครงการข้อมูลแบบเปิดที่อยู่เบื้องหลังการฝึกโมเดล บัญชีรายการข้อมูลสาธารณะครอบคลุมเสียง 463,062 ชั่วโมงใน 48 ภาษา จากคลังข้อมูลต้นทาง 16 แห่ง เพิ่มขึ้นจาก 25 ภาษาใน Granary v1 ทั้งนี้ NVIDIA ระบุว่าตัวเลขเหล่านี้เป็นข้อมูลของชุดข้อมูลที่เผยแพร่ ไม่ใช่ข้อมูลทั้งหมดที่ใช้ฝึก Transcribe กระบวนการนี้สร้างขึ้นด้วย NVIDIA NeMo Curator และสร้างรูปแบบบทถอดเสียงสามแบบต่อการบันทึกหนึ่งรายการ ได้แก่ ถอดตามคำพูดพร้อมปรับรูปแบบข้อความ ถอดโดยแปลงข้อความกลับเป็นรูปแบบปกติพร้อมคงคำพูดติดขัดไว้ และถอดโดยแปลงข้อความกลับเป็นรูปแบบปกติโดยไม่คงคำพูดติดขัดไว้ นอกจากนี้ยังสร้างคำบรรยาย การกู้คืนข้อความที่สลับภาษา คำถามและคำตอบที่อิงกับเสียง คำศัพท์สำหรับปรับบริบท และคำแปลพร้อมคะแนนคุณภาพที่ประเมินโดยอัตโนมัติ

กระบวนการทำงานมีสี่ขั้นตอน ได้แก่ การเตรียมข้อมูลกำกับและเสียง การถอดเสียงด้วยโมเดล ASR หลักและโมเดลกู้คืน โดยมีการตรวจสอบภาพหลอนเป็นเงื่อนไขกำกับ การสร้างป้ายกำกับงานพร้อมตรวจสอบความสอดคล้อง และตัวกรองความเที่ยงตรงสูง ซึ่งลดข้อมูลในคลัง VoxPopuli จาก 354,000 ชั่วโมงเหลือ 111,000 ชั่วโมง ครอบคลุม 22 ภาษายุโรป บัญชีรายการข้อมูลระบุคำใบ้เกี่ยวกับเอนทิตี คู่คำสั่ง แหล่งที่มา และธงคุณภาพของแต่ละรายการ โดยดาวน์โหลดเสียงต้นฉบับแยกต่างหากภายใต้สัญญาอนุญาตดั้งเดิมของคลังข้อมูลแต่ละแห่ง และกระบวนการนี้ทำงานด้วยแบ็กเอนด์ Ray และ NVIDIA Dynamo

กรณีศึกษาการปรับแต่งเพิ่มเติมสำหรับงานทางการแพทย์และการนำไปใช้งาน

เพื่อแสดงให้เห็นการปรับให้เข้ากับงาน ประกาศของ NVIDIA ยกกรณีศึกษาทางการแพทย์ที่ใช้ชุดทดสอบแบบเปิดของ Eka Care ซึ่งประกอบด้วยไฟล์บันทึกเสียง 3,619 รายการจากแพทย์และนักศึกษาแพทย์ชาวอินเดีย การระบุภาษาอังกฤษและอักษรละตินไว้ในพรอมป์ต์ช่วยลด WER ของชุดทดสอบทั้งหมดจาก 30.8% เหลือ 23.8% และการปรับจูนเพิ่มเติมลดลงเหลือ 11.8% เมื่อประเมินคลิปที่กันไว้ 2,764 คลิปด้วยไปป์ไลน์ KARMA ของ Eka Care การปรับจูนช่วยลด WER จาก 22.44% เหลือ 12.17% หรือลดลงเมื่อเทียบกับค่าเดิม 45.8%; WER ของคำสำคัญลดจาก 9.2% เหลือ 6.5% และ WER เชิงความหมายลดจาก 10.0% เหลือ 7.6% ขณะที่ WER ของชุดทดสอบ LibriSpeech test-clean เพิ่มขึ้นเล็กน้อยจาก 1.54% เป็น 1.69% การปรับให้เข้ากับงานนี้ใช้เสียงสังเคราะห์ประมาณ 153 ชั่วโมง ร่วมกับเสียงภาษาอังกฤษสำเนียงต่าง ๆ 29 ชั่วโมงจาก Common Voice และไฟล์บันทึกเสียงทางการแพทย์ 63 ชั่วโมงจาก MultiMed โดยใช้เวลาประมวลผลราว 14 ชั่วโมงจีพียูบน NVIDIA GB300 หนึ่งตัว

โมเดลทำงานบนจีพียู NVIDIA เพียงตัวเดียวได้ ตั้งแต่ Jetson AGX Thor และ DGX Spark ไปจนถึงระบบ Blackwell สำหรับศูนย์ข้อมูล NVIDIA ระบุว่า เมื่อใช้การติดตั้งใช้งาน NIM ที่ได้รับการปรับให้เหมาะสม จีพียู RTX PRO 6000 Blackwell Server Edition หนึ่งตัวสามารถถอดเสียงได้สูงสุด 2,238 วินาทีต่อวินาที โดยใช้รูปแบบความแม่นยำ NVFP4 ร่วมกับการถอดรหัสแบบคาดการณ์ล่วงหน้า DFlash2 ส่วนในประกาศระบุว่าโมเดลประมวลผลเสียงได้ 100 ชั่วโมงภายในเวลาไม่ถึงสามนาทีด้วย NVFP4 โดยใช้คลิปยาว 30 วินาทีและประมวลผลพร้อมกันในระดับสูง ทั้งนี้ การ์ดโมเดลระบุว่าการปรับปรุงประสิทธิภาพการให้บริการเหล่านี้ยังไม่รวมอยู่ในรุ่นโอเพนซอร์ส การให้บริการใช้ vLLM 0.32.0 ร่วมกับปลั๊กอิน NeMo Speech หรือใช้การอนุมานภายในเครื่องด้วย NeMo-Speech.cpp และทักษะเอเจนต์สำหรับการปรับจูนช่วยให้เอเจนต์เขียนโค้ดดำเนินเวิร์กโฟลว์การปรับโมเดลได้ ขณะที่ ModelScope รองรับการปรับจูนผ่านเฟรมเวิร์ก ms-swift ของตน