NVIDIA เปิดตัวโมเดลแยกผู้พูด Nemotron 3 Diarization แบบเปิดเผยค่าน้ำหนัก

NVIDIA ในวันที่ 23 กันยายน 2026 ได้เปิดตัว Nemotron 3 Diarization ซึ่งเป็นโมเดลการแยกผู้พูดแบบเปิดเผยค่าน้ำหนักที่สามารถระบุผู้พูดได้สูงสุดถึงแปดคนในเสียงสดหรือบันทึก และ Baseten ประกาศการสนับสนุนการให้บริการในวันเดียวกันด้วยพรีเซ็ตแบบแบช, สตรีมมิ่ง, และการถอดข้อความพร้อมการแยกผู้พูด ซึ่งแต่ละพรีเซ็ตทำงานบน GPU RTX PRO 6000 หนึ่งตัว

การแยกผู้พูดแบ่งสตรีมเสียงตามช่วงเวลาที่ผู้พูดแต่ละคนพูด, ส่งออกเวลาแต่ละเสียง, และกำหนดป้ายกำกับที่สอดคล้องให้กับแต่ละช่วง; เมื่อจับคู่กับการถอดข้อความ, มันจะเชื่อมโยงคำที่ถอดกับบุคคลที่พูด. ประกาศของ Baseten บรรยาย Nemotron 3 Diarization ว่าเป็นโมเดลแบบเปิดและครบวงจรที่แทนที่กระบวนการแยกส่วนและการฝังเวกเตอร์แบบเดิมพร้อมการปรับแต่งด้วยการดำเนินการครั้งเดียว, โดยทำการติดป้ายผู้พูดที่ช่วงเวลาที่กำหนดได้ต่ำสุดเพียง 320 มิลลิวินาที

สถาปัตยกรรมและโปรไฟล์ความหน่วงเวลา

ตาม การ์ดโมเดลของ NVIDIA, โมเดลนี้ออกแบบมาเพื่อระบุว่า “ใครพูดเมื่อไหร่” ในเสียงจริง, รองรับการอนุมานแบบสตรีมมิ่งและออฟไลน์, และพร้อมสำหรับการใช้งานเชิงพาณิชย์หรือไม่เชิงพาณิชย์. โมเดลนี้เป็น Encoder Transformer จำนวน 31 ชั้น ที่มีพารามิเตอร์ 100 ล้านตัว พร้อม Rotary Positional Embeddings. เสียงอินพุตที่มีความถี่ 16 kHz ช่องเดียวจะถูกแปลงเป็นเฟรมเมลสเปกโตรแกรมที่มีความยาว 10 มิลลิวินาที, ลดอัตราการสุ่มตัวอย่างลงด้วยอัตรา 8 เท่าเป็นอัตราเฟรม Encoder 80 มิลลิวินาที, และชั้น Conv1D ด้านบน Encoder จะอัปซัมพล์การพยากรณ์กลับไปที่ความละเอียดอินพุต 10 มิลลิวินาที. โมเดลจะส่งออกเทนเซอร์ของความน่าจะเป็นของกิจกรรมเสียงพูดของผู้พูดแต่ละคนโดยมีรูปทรง T, 8, และช่องผู้พูดทั้งแปดจะเรียงตามลำดับการมาถึงครั้งแรกของแต่ละผู้พูดในเสียง

สำหรับการสตรีมมิ่ง, โมเดลใช้ Arrival-Order Speaker Cache และคิว FIFO ที่แนะนำในงาน Streaming Sortformer ของ NVIDIA: แคชจะเก็บข้อมูลผู้พูดจากชิ้นเสียงก่อนหน้าเพื่อให้เสียงแรกที่ได้ยินคงป้ายกำกับเดิม, ส่วนคิวจะให้บริบทของเฟรมล่าสุดสำหรับแต่ละขั้นตอนการประมวลผล. การออกแบบนี้ไม่ต้องใช้การฝังเวกเตอร์หรือการจัดกลุ่ม, และการอนุมานแบบแบ่งชิ้นไม่มีขีดจำกัดคงที่ต่อระยะเวลาของเสียง

เช็คพอยต์เดียวให้บริการสี่การกำหนดค่าความหน่วงที่แนะนำ: 0.32, 0.64, และ 1.04 วินาที, พร้อมบัฟเฟอร์อินพุตแบบออฟไลน์ 30.4 วินาที. การ์ดกำหนดความหน่วงนี้เป็นความหน่วงของบัฟเฟอร์อินพุต — ความยาวชิ้นบวกบริบทด้านขวา, คูณด้วย 80 มิลลิวินาที — และระบุว่าตัวเลขนี้ไม่รวมเวลาการประมวลผลเชิงคำนวณ. เช็คพอยต์สามารถทำงานด้วยบัฟเฟอร์ต่ำสุดที่ 80 มิลลิวินาที, แม้ว่า 0.32 วินาทีจะเป็นการกำหนดค่าที่แนะนำต่ำสุด, และความละเอียดของเฟรมเอาต์พุตสามารถกำหนดได้เป็นจำนวนเท่าของ 10 มิลลิวินาที

ความแม่นยำและความเร็วที่รายงาน

การ์ดโมเดลของ NVIDIA รายงานอัตราความผิดพลาดของการแยกผู้พูด, ความแม่นยำในการนับผู้พูด, และค่าเฉลี่ยความคลาดเคลื่อนสัมบูรณ์ในการนับผู้พูดเทียบกับ diar_streaming_sortformer_4spk-v2.1 baseline, โดยรวมการพูดทับซ้อนและใช้คอลลาร์ศูนย์วินาทีในทุกเกณฑ์การทดสอบ ยกเว้น CALLHOME-Part2 ที่ใช้คอลลาร์ 0.25 วินาที. ใน DIHARD III, การ์ดรายงานอัตราความผิดพลาดของชุดเต็มที่ 12.73 สำหรับโปรไฟล์ 30.4 วินาทีและ 13.55 สำหรับ 0.32 วินาที, เทียบกับ 19.09 และ 19.85 ของ baseline. ในการบันทึกช่องเดียวของ NOTSOFAR1 รายงานค่า 11.00 เทียบกับ 30.49 ในโปรไฟล์ออฟไลน์; ใน AMI Test SDM, 11.14 เทียบกับ 21.42; ใน AliMeeting Test Near, 6.40 เทียบกับ 11.57; และใน CALLHOME-Part2, 9.10 เทียบกับ 10.32. การ์ดระบุว่าคะแนนของ AMI, AliMeeting, และ NOTSOFAR1 ถูกคำนวณด้วยป้ายอ้างอิงแบบ forced-alignment และผลลัพธ์ที่วัดกับการอ้างอิงที่ต่างกันไม่สามารถเปรียบเทียบโดยตรงได้.

ตารางความเร็วในการ์ดรายงานการเพิ่มประสิทธิภาพแบบ real-time-factor, ซึ่งกำหนดเป็นระยะเวลาเสียงทั้งหมดหารด้วยระยะเวลาการประมวลผลทั้งหมด, มีค่า 1,340 ในโหมด eager และ 4,385 ในโหมด compiled ที่ขนาดแบชหนึ่งบนโปรไฟล์ออฟไลน์, วัดบน RTX PRO 5000 ที่ความแม่นยำ BF16. สำหรับโปรไฟล์ 0.32 วินาที, ตัวเลขที่สอดคล้องกันคือ 12.5 และ 54.

Baseten ทำการประเมินของตนเอง, โดยวัดอัตราความผิดพลาดพร้อมการพูดทับซ้อนและไม่มีคอลลาร์. รายงานอัตราความผิดพลาด 9.8% บน AISHELL-4 ที่โปรไฟล์ความหน่วงต่ำ เทียบกับ 27.2% ของ Streaming Sortformer v2.1, และระบุว่าการเปลี่ยนจากโปรไฟล์ออฟไลน์ 30 วินาทีไปยังโปรไฟล์อัลตร้าโลว์ 0.32 วินาทีเพิ่มอัตราความผิดพลาดเพียงหนึ่งถึงสองจุดเปอร์เซ็นต์. Baseten รายงานว่าโมเดลนี้เหนือกว่า Meta Muse Voice Transcribe ในทุกชุดข้อมูลที่ทดสอบ, แม้ในกำหนดค่าอัลตร้าโลว์, และแพ้ต่อ pyannote community-1 เพียงใน AMI.

ข้อมูลการฝึกและการให้สิทธิ์ใช้งาน

การ์ดโมเดลระบุว่ามีประมาณ 10,000 ชั่วโมงของการสนทนาจริง (รวมถึง Fisher English, คอร์ปัสการประชุม AMI และ ICSI, VoxConverse, AISHELL-4, AliMeeting, การแข่งขัน DIHARD ครั้งที่สาม, CALLHOME, NOTSOFAR1, ชุด DISPLACE, การบันทึกที่ได้รับอนุญาตจาก David AI, และส่วนย่อยที่มีการตั้งฉลากเทียมของ YODAS-v2) ควบคู่กับ 82,611 ชั่วโมงของการผสมเสียงหลายผู้พูดที่จำลองด้วยเครื่องมือ FastMSS จากประมาณ 28,000 ชั่วโมงของการบันทึกผู้พูดเดี่ยว. การฝึกเริ่มจากเช็คพอยต์ NEST แบบกำกับตนเองและดำเนินการบนโหนดแปดโหนด โดยแต่ละโหนดมี GPU A100-80GB จำนวนแปดตัว โดยการฝึกมีสองขั้นตอน: การฝึกออฟไลน์บนข้อมูลจำลอง, ตามด้วยการปรับจูนแบบสตรีมมิ่งบนการผสมของเสียงจริงและจำลอง. การใช้โมเดลนี้อยู่ภายใต้ข้อตกลงใบอนุญาต OpenMDW License Agreement เวอร์ชัน 1.1.

พรีเซ็ตการให้บริการของ Baseten และความจุ

Baseten ให้บริการโมเดลผ่านสามพรีเซ็ต ซึ่งแต่ละพรีเซ็ตทำงานบน RTX PRO 6000 เครื่องเดียวที่อยู่เบื้องหลังเอนจิน CUDA‑graph ที่สร้างขึ้นรอบลูปสตรีมมิ่ง NeMo ของ NVIDIA ตาม รายการใน Model Library ของมัน ซึ่งยังอธิบายโมเดลว่าเป็นรุ่นต่อจาก Streaming Sortformer v2.1 พรีเซ็ต Batch Diarization เป็น endpoint HTTP สำหรับออดิโอที่บันทึกไว้ซึ่งส่งคืนช่วงการพูดของผู้พูดแต่ละคนพร้อมโปรไฟล์ความหน่วงต่อคำขอ Streaming Diarization เป็น endpoint WebSocket สำหรับออดิโอสดที่ส่งต่ออัตลักษณ์ของผู้พูดตลอดการสนทนาโดยไม่ต้องทำการจัดกลุ่มใหม่ Streaming Diarized Transcription ผสานการทำ diarization กับโมเดลการรู้จำเสียงพูด Parakeet V2 ของ NVIDIA ซึ่งเป็นระบบที่มีพารามิเตอร์ 600 ล้านตัว และส่งคืนคำที่มีแท็กผู้พูดพร้อมเวลา ผลการถอดเสียงบางส่วนแยกตามผู้พูด และแฟล็กการทับซ้อน Baseten ระบุว่าพรีเซ็ตนี้ส่งเวกเตอร์กิจกรรมต่อผู้พูดโดยตรงเข้าสู่ชั้นเริ่มต้นของตัวเข้ารหัส Parakeet ทำให้การพูดที่ทับซ้อนถูกถอดความในหนึ่งรอบ พร้อมป้ายกำกับผู้พูดที่เป็นผลลัพธ์สุดท้ายทันทีที่ส่งออกและคำที่ยืนยันเป็นผลลัพธ์แล้วจะไม่ถูกแก้ไข

Baseten รายงานว่า RTX PRO 6000 เครื่องเดียวสามารถรองรับสตรีม diarization ความยาวหนึ่งชั่วโมงพร้อมกันได้มากกว่า 500 สตรีมที่โปรไฟล์ 1.04 วินาที, 200 สตรีมที่โปรไฟล์ 0.32 วินาที, และ 190 สตรีมความยาวหนึ่งชั่วโมงเมื่อเพิ่มการถอดข้อความ, ในขณะที่พรีเซ็ต batch สามารถประมวลผลไฟล์ออดิโอหกนาที 200 ไฟล์ต่อหนึ่งนาที โดยใช้ไฟล์และฮาร์ดแวร์เดียวกัน Baseten รายงานว่าพรีเซ็ตที่ปรับแต่งของตนมีอัตราการประมวลผลแบบแบชประมาณ 1.35 เท่าของการตั้งค่าอ้างอิงของ NVIDIA ที่ทดสอบ ภายใต้โหลดที่สร้างโดย k6 ภายในคลัสเตอร์พร้อมการทดสอบเปรียบเทียบด้วยสตรีมเดียวบน replica ที่ไม่มีโหลดงานอื่น

Baseten ยังระบุว่าสัญญาณกิจกรรมต่อผู้พูดของโมเดล ซึ่งติดตามเป็นช่วงเวลา 10 มิลลิวินาที สามารถใช้เพื่อการตรวจจับกิจกรรมเสียงพูด, การตรวจจับจบการพูดของผู้พูดแต่ละคน, และการจัดการการสลับบทพูดและการขัดจังหวะ โดยตอบสนองภายในประมาณ 300 มิลลิวินาทีในการตั้งค่าความหน่วงต่ำสุด

Nemotron 3 Diarization มีให้บริการบน Hugging Face ภายใต้รีโพสิตอรี nvidia/Nemotron-3-Diarization และใน Model Library ของ Baseten พร้อมการผสานรวม NeMo Framework เวอร์ชัน 3.0 และรองรับ GPU ของ NVIDIA รุ่น Ampere, Ada Lovelace, Hopper, และ Blackwell