เนื่องจากมีการเพิ่มขึ้นของวิธีการสังเคราะห์เสียงพูดที่เป็นธรรมชาติและซินเทติก อุตสาหกรรม AI ได้ทำการบรรลุผลสำเร็จที่สำคัญในช่วงไม่กี่ปีที่ผ่านมาในการสังเคราะห์เสียงพูดที่มีศักยภาพในการใช้งานในอุตสาหกรรมต่างๆ รวมถึงหนังสือเสียง ผู้ช่วยเสมือน การบรรยายเสียงและอื่นๆ โดยมีโมเดลบางรุ่นที่สามารถส่งมอบผลลัพธ์ที่มีคุณภาพระดับมนุษย์และมีประสิทธิภาพสูงในการทำงานที่เกี่ยวข้องกับเสียง อย่างไรก็ตาม แม้ว่าพวกเขาจะมีประสิทธิภาพที่ดี แต่ยังมีพื้นที่ที่ต้องการการปรับปรุงสำหรับการทำงานบางอย่าง เช่น การสังเคราะห์เสียงพูดที่มีการแสดงออกและหลากหลาย ต้องการข้อมูลการฝึกอบรมจำนวนมากสำหรับการเพิ่มประสิทธิภาพของเฟรมเวิร์กการสังเคราะห์เสียงพูดแบบไม่มีตัวอย่าง และความแข็งแกร่งสำหรับข้อความที่อยู่นอกเหนือการกระจายหรือ Out of Distribution ซึ่งทำให้นักพัฒนาต้องทำงานเพื่อสร้างเฟรมเวิร์กการสังเคราะห์เสียงพูดที่มีความแข็งแกร่งและเข้าถึงได้มากขึ้น

ในบทความนี้ เราจะพูดถึง StyleTTS-2 ซึ่งเป็นเฟรมเวิร์กการสังเคราะห์เสียงพูดที่มีความแข็งแกร่งและเป็นนวัตกรรมใหม่ที่สร้างขึ้นบนพื้นฐานของเฟรมเวิร์ก StyleTTS โดยมีเป้าหมายที่จะนำเสนอขั้นตอนต่อไปในการสร้างระบบการสังเคราะห์เสียงพูดที่มีคุณภาพระดับมนุษย์ เฟรมเวิร์ก StyleTTS2 จะสร้างแบบจำลองเสียงพูดในรูปแบบของตัวแปรสุ่มที่ซ่อนอยู่ และใช้แบบจำลองดิฟฟิวชันที่มีความน่าจะเป็นในการสุ่มตัวอย่างรูปแบบเสียงพูดเหล่านี้หรือตัวแปรสุ่ม ทำให้เฟรมเวิร์ก StyleTTS2 สามารถสังเคราะห์เสียงพูดที่มีความสมจริงได้อย่างมีประสิทธิภาพโดยไม่ต้องใช้เสียงอ้างอิง เราจะพูดถึงเฟรมเวิร์ก StyleTTS2 ในรายละเอียดและพูดถึงสถาปัตยกรรมและวิธีการทำงานของมัน พร้อมทั้งดูผลลัพธ์ที่ได้รับจากเฟรมเวิร์กด้วย

StyleTTS2 สำหรับการสังเคราะห์เสียงพูด: การแนะนำ

StyleTTS2 เป็นแบบจำลองการสังเคราะห์เสียงพูดที่มีนวัตกรรมและเป็นขั้นตอนต่อไปในการสร้างเฟรมเวิร์กการสังเคราะห์เสียงพูดที่มีคุณภาพระดับมนุษย์ และสร้างขึ้นบนพื้นฐานของ StyleTTS ซึ่งเป็นแบบจำลองกำเนิดเสียงพูดที่อิงสไตล์ เฟรมเวิร์ก StyleTTS2 จะสร้างแบบจำลองเสียงพูดในรูปแบบของตัวแปรสุ่มที่ซ่อนอยู่ และใช้แบบจำลองดิฟฟิวชันที่มีความน่าจะเป็นในการสุ่มตัวอย่างรูปแบบเสียงพูดเหล่านี้หรือตัวแปรสุ่ม ทำให้เฟรมเวิร์ก StyleTTS2 สามารถสังเคราะห์เสียงพูดที่มีความสมจริงได้อย่างมีประสิทธิภาพโดยไม่ต้องใช้เสียงอ้างอิง การสร้างแบบจำลองเสียงพูดในรูปแบบของตัวแปรสุ่มที่ซ่อนอยู่เป็นจุดที่ทำให้เฟรมเวิร์ก StyleTTS2 แตกต่างจากเฟรมเวิร์กที่มีอยู่เดิม และมีเป้าหมายที่จะสร้างเสียงพูดที่เหมาะสมที่สุดสำหรับข้อความที่เข้ามาโดยไม่ต้องใช้เสียงอ้างอิง และทำดิฟฟิวชันในปริภูมิแฝงได้อย่างมีประสิทธิภาพ โดยใช้ความสามารถในการสังเคราะห์เสียงที่หลากหลายของแบบจำลองดิฟฟิวชัน นอกจากนี้ยังใช้แบบจำลองภาษาของเสียงพูดขนาดใหญ่ที่ผ่านการฝึกล่วงหน้า เช่น WavLM เป็นตัวจำแนกจริง-ปลอม ร่วมกับวิธีสร้างแบบจำลองระยะเวลาที่หาอนุพันธ์ได้ เพื่อฝึกทั้งระบบแบบต้นทางถึงปลายทางและเพิ่มความเป็นธรรมชาติ ต้นฉบับระบุว่าวิธีนี้ให้ผลเหนือระบบร่วมสมัยและมีประสิทธิภาพสำหรับการฝึกล่วงหน้าโมเดลขนาดใหญ่เพื่อปรับเข้ากับผู้พูดแบบ zero-shot

การเคลื่อนไปสู่การสร้างเสียงพูดที่มีคุณภาพระดับมนุษย์ เฟรมเวิร์ก StyleTTs2 จะรวมการเรียนรู้จากงานที่มีอยู่แล้ว รวมถึงแบบจำลองดิฟฟิวชันสำหรับการสังเคราะห์เสียงพูด และแบบจำลองภาษาเสียงขนาดใหญ่ แบบจำลองดิฟฟิวชันมักถูกใช้ในการสังเคราะห์เสียงพูดเนื่องจากความสามารถในการควบคุมเสียงพูดที่มีรายละเอียดและความสามารถในการสังเคราะห์เสียงพูดที่หลากหลาย อย่างไรก็ตาม โมเดลดิฟฟิวชันมีประสิทธิภาพน้อยกว่าระบบแบบ GAN ที่ไม่ต้องวนซ้ำ สาเหตุสำคัญคือจำเป็นต้องสุ่มตัวอย่างตัวแทนแฝง รูปคลื่น และเมลสเปกโทรแกรมซ้ำๆ จนได้ระยะเวลาของเสียงที่ต้องการ

ในทางกลับกัน งานที่เกี่ยวข้องกับแบบจำลองภาษาเสียงขนาดใหญ่แสดงให้เห็นว่าสามารถเพิ่มคุณภาพของงานการสังเคราะห์เสียงพูดและปรับตัวเข้ากับผู้พูดได้ดี แบบจำลองภาษาเสียงขนาดใหญ่จะแปลงข้อความที่เข้ามาเป็นตัวแทนแบบควอนไทซ์หรือตัวแทนแบบต่อเนื่องที่ได้รับจากเฟรมเวิร์กภาษาเสียงที่มีอยู่แล้วสำหรับการสร้างเสียงพูดใหม่ อย่างไรก็ตาม คุณลักษณะของแบบจำลองภาษาเสียงเหล่านี้ไม่ได้ถูกปรับให้เหมาะสมสำหรับการสังเคราะห์เสียงพูดโดยตรง ในทางกลับกัน เฟรมเวิร์ก StyleTTS2 จะใช้ความรู้ที่ได้รับจากแบบจำลองภาษาเสียงขนาดใหญ่โดยใช้การฝึกอบรมแบบขัดแย้งเพื่อสังเคราะห์คุณลักษณะของแบบจำลองภาษาเสียงโดยไม่ต้องใช้แผนที่พื้นที่ลาตัน และดังนั้นจึงเรียนรู้พื้นที่ลาตันที่เหมาะสมสำหรับการสังเคราะห์เสียงพูดโดยตรง

StyleTTS2: สถาปัตยกรรมและวิธีการทำงาน

เฟรมเวิร์ก StyleTTS2 ถูกสร้างขึ้นบนพื้นฐานของเฟรมเวิร์ก StyleTTS ซึ่งเป็นเฟรมเวิร์กแปลงข้อความเป็นเสียงแบบไม่ออโตรีเกรสซีฟและใช้เครื่องมือเข้ารหัสรูปแบบเพื่อสร้างเวกเตอร์รูปแบบจากเสียงอ้างอิง ทำให้สามารถสร้างเสียงพูดที่มีการแสดงออกและเป็นธรรมชาติได้ เวกเตอร์รูปแบบที่ใช้ในเฟรมเวิร์ก StyleTTS ถูกนำมาใช้โดยตรงในเครื่องมือเข้ารหัส ข้อมูลระยะเวลา และเครื่องมือคาดการณ์โดยใช้ AdaIN หรือ Adaptive Instance Normalization ทำให้สร้างเสียงที่มีท่วงทำนอง ระยะเวลา และอารมณ์แตกต่างกันได้ StyleTTS มีโมเดลรวม 8 ส่วน แบ่งเป็นสามกลุ่มต่อไปนี้

1. แบบจำลองเสียงหรือระบบการสังเคราะห์เสียงพูดที่มีเครื่องมือเข้ารหัสรูปแบบ เครื่องมือเข้ารหัสข้อความ และเครื่องมือส่งเสียงพูด
2. ระบบคาดการณ์เสียงพูดที่ใช้ตัวพยากรณ์ท่วงทำนองเสียง และเครื่องมือคาดการณ์ระยะเวลา
3. ระบบสนับสนุนที่มีตัวจัดแนวข้อความ ตัวสกัดระดับเสียง และตัวจำแนกจริง-ปลอมสำหรับการฝึก

ด้วยวิธีการทำงานนี้ เฟรมเวิร์ก StyleTTS สามารถส่งมอบผลลัพธ์ที่มีคุณภาพสูงในการสังเคราะห์เสียงพูดที่มีการควบคุมและหลากหลาย อย่างไรก็ตาม การทำงานนี้มีข้อเสีย เช่น การเสื่อมสภาพของคุณภาพตัวอย่าง การจำกัดความสามารถในการแสดงออก และการขึ้นอยู่กับการใช้งานที่จำกัดในเวลาจริง

การปรับปรุงเฟรมเวิร์ก StyleTTS เฟรมเวิร์ก StyleTTS2 สามารถสร้างเสียงพูดที่มีการแสดงออกและคุณภาพระดับมนุษย์ได้ดีขึ้น พร้อมประสิทธิภาพที่ดีขึ้นสำหรับข้อความนอกการแจกแจง โดยฝึกองค์ประกอบต่างๆ แบบต้นทางถึงปลายทางด้วยการฝึกแบบปฏิปักษ์ร่วมกับการสังเคราะห์รูปคลื่นโดยตรง แตกต่างจาก StyleTTS ตรงที่สร้างแบบจำลองสไตล์เสียงเป็นตัวแปรแฝง แล้วสุ่มด้วยโมเดลดิฟฟิวชัน จึงให้เสียงที่หลากหลายโดยไม่ต้องใช้เสียงอ้างอิง แนวทางนี้ช่วยปรับปรุงงานแปลงข้อความเป็นเสียงพูด

การฝึกแบบต้นทางถึงปลายทางเพื่อการอนุมาน

StyleTTS2 ใช้การฝึกแบบต้นทางถึงปลายทางเพื่อปรับองค์ประกอบต่างๆ สำหรับการอนุมาน โดยไม่ต้องใช้ส่วนประกอบที่ตายตัว เฟรมเวิร์ก StyleTTS2 จะเปลี่ยนเครื่องมือส่งเสียงพูดให้สามารถสร้างเสียงพูดโดยตรงจากเวกเตอร์รูปแบบ เส้นโค้งระดับเสียงและพลังงาน และตัวแทนที่จัดแนวแล้ว จากนั้นจะลบชั้นการฉายภาพสุดท้ายของเครื่องมือส่งเสียงพูดและแทนที่ด้วยตัวถอดรหัสรูปคลื่น มีตัวถอดรหัสสองแบบ ได้แก่แบบ HiFi-GAN ที่สร้างรูปคลื่นโดยตรง และแบบ iSTFT ที่สร้างเฟสกับขนาดแล้วแปลงเป็นรูปคลื่นเพื่อให้อนุมานและฝึกได้เร็วขึ้น

รูปด้านบนแสดงถึงแบบจำลองเสียงที่ใช้ในการฝึกอบรมก่อนและร่วม โดยลดเวลาในการฝึกอบรมโดยการปรับให้เหมาะสมกับโมดูลก่อนการฝึกอบรมร่วม และจากนั้นจึงปรับให้เหมาะสมกับส่วนประกอบทั้งหมดยกเว้นตัวสกัดระดับเสียงในช่วงการฝึกร่วม เพราะตัวสกัดนี้ใช้ให้ค่าจริงอ้างอิงของเส้นโค้งระดับเสียง

รูปด้านบนแสดงถึงการฝึกอบรมแบบขัดแย้งของแบบจำลองภาษาของเสียงพูดและการอนุมานโดยใช้ WavLM ที่ถูกฝึกอบรมไว้แล้วแต่ยังไม่ได้ปรับให้เหมาะสม กระบวนการนี้แตกต่างจากกระบวนการด้านบนเพราะสามารถรับข้อความที่เข้ามาได้หลายรูปแบบและสะสมค่าความชันเพื่อปรับให้เหมาะสมกับพารามิเตอร์ในแต่ละชุดข้อมูล

การกระจายรูปแบบ

เฟรมเวิร์ก StyleTTS2 มีเป้าหมายที่จะสร้างแบบจำลองเสียงพูดในรูปแบบของการกระจายที่มีเงื่อนไขผ่านตัวแปรที่ซ่อนอยู่ และตัวแปรนี้เรียกว่ารูปแบบเสียงพูดที่ทั่วไป ซึ่งแสดงถึงคุณลักษณะใดๆ ในตัวอย่างเสียงพูดที่อยู่นอกเหนือเนื้อหาของเสียงพูด เช่น การลงน้ำหนักคำ ท่วงทำนอง อัตราการพูด และการเปลี่ยนผ่านของฟอร์แมนต์

เครื่องมือตัดสินแบบจำลองภาษาเสียง

แบบจำลองภาษาเสียงมีชื่อเสียงในเรื่องความสามารถในการเข้ารหัสข้อมูลที่มีค่าเกี่ยวกับภาษาและเสียง และการแสดงออกของแบบจำลองภาษาเสียงมักสามารถเลียนแบบการรับรู้ของมนุษย์เพื่อประเมินคุณภาพของเสียงพูดที่ถูกสังเคราะห์ เฟรมเวิร์ก StyleTTS2 ใช้การฝึกอบรมแบบขัดแย้งเพื่อใช้ความสามารถของเครื่องมือเข้ารหัสแบบจำลองภาษาเสียงในการทำงานสร้างสรรค์ และใช้เฟรมเวิร์ก WavLM 12 ชั้นเป็นเครื่องมือตัดสิน นี่ทำให้เฟรมเวิร์กสามารถฝึกอบรมได้บนข้อความที่อยู่นอกเหนือการกระจายหรือ Out of Distribution ซึ่งอาจช่วยเพิ่มประสิทธิภาพได้ เพื่อหลีกเลี่ยงการเรียนรู้เกินพอดี ระบบจะสุ่มข้อความทั้งในและนอกการแจกแจงด้วยความน่าจะเป็นเท่ากัน

การสร้างแบบจำลองระยะเวลาที่หาอนุพันธ์ได้

โดยทั่วไป เครื่องมือคาดการณ์ระยะเวลาถูกใช้ในเฟรมเวิร์กการสังเคราะห์เสียงพูดเพื่อสร้างระยะเวลาเสียงพูด แต่วิธีการเพิ่มระยะเวลาที่เครื่องมือคาดการณ์ระยะเวลานี้ใช้บ่อยครั้งจะขัดขวางการไหลของค่าความชันในช่วงการฝึกอบรมแบบขัดแย้ง และเฟรมเวิร์ก NaturalSpeech ใช้ตัวเพิ่มอัตราการสุ่มตัวอย่างที่อิง attentionเพื่อการแปลงเสียงพูดระดับมนุษย์ อย่างไรก็ตาม วิธีการนี้ไม่มีเสถียรภาพในช่วงการฝึกอบรมแบบขัดแย้ง เนื่องจากเฟรมเวิร์ก StyleTTS2 ฝึกอบรมโดยใช้การเพิ่มระยะเวลาที่แตกต่างซึ่งมีปัญหาพจน์การสูญเสียเพิ่มเติมจากความยาวที่ไม่ตรงกันเพราะระยะเวลาคลาดเคลื่อน วิธี soft dynamic time warping อาจลดความคลาดเคลื่อนนี้ แต่ใช้การคำนวณสูงและมีข้อกังวลด้านเสถียรภาพเมื่อใช้กับวัตถุประสงค์แบบปฏิปักษ์หรือการสร้างเมลสเปกโทรแกรมกลับคืน

ดังนั้น เพื่อให้ได้ผลลัพธ์ที่มีคุณภาพระดับมนุษย์และเพิ่มเสถียรภาพในการฝึกอบรม เฟรมเวิร์ก StyleTTS2 ใช้การเพิ่มระยะเวลาที่ไม่ใช่พารามิเตอร์ ซึ่งเป็นวิธีการเพิ่มระยะเวลาที่ไม่ใช่พารามิเตอร์ที่ได้รับความนิยมในการแปลงระยะเวลาที่คาดการณ์ไว้ แต่มีข้อจำกัดเนื่องจากความยาวของเคอร์เนลกอสเซียนที่ถูกกำหนดไว้ล่วงหน้า ซึ่งจำกัดความสามารถในการสร้างแบบจำลองการจัดแนวที่ยาวต่างกัน เพื่อแก้ข้อจำกัดนี้ StyleTTS2 เสนอวิธีเพิ่มอัตราการสุ่มตัวอย่างแบบไม่อิงพารามิเตอร์ใหม่ที่ไม่ต้องฝึกเพิ่มเติมและรองรับความยาวการจัดแนวที่แตกต่างกัน โดยสร้างแบบจำลองการจัดแนวของแต่ละหน่วยเสียงเป็นตัวแปรสุ่มซึ่งระบุดัชนีเฟรมเสียงที่หน่วยเสียงนั้นตรงอยู่

การฝึกอบรมและประเมินแบบจำลอง

เฟรมเวิร์ก StyleTTS2 ถูกฝึกอบรมและทดลองบนชุดข้อมูลสามชุด ได้แก่ VCTK, LibriTTS และ LJSpeech ส่วนแบบจำลองผู้พูดเดียวของเฟรมเวิร์ก StyleTTS2 ถูกฝึกอบรมโดยใช้ชุดข้อมูล LJSpeech ซึ่งมีตัวอย่างเสียงพูดมากกว่า 13,000 ตัวอย่าง โดยแบ่งออกเป็นตัวอย่างฝึกอบรม 12,500 ตัวอย่าง ตรวจสอบ 100 ตัวอย่าง และทดสอบ 500 ตัวอย่าง โดยมีเวลารวมประมาณ 24 ชั่วโมง ส่วนแบบจำลองผู้พูดหลายคนของเฟรมเวิร์กถูกฝึกอบรมบนชุดข้อมูล VCTK ซึ่งมีตัวอย่างเสียงพูดมากกว่า 44,000 ตัวอย่าง โดยมีผู้พูดมากกว่า 100 คน โดยแบ่งออกเป็นตัวอย่างฝึกอบรม 43,500 ตัวอย่าง ตรวจสอบ 100 ตัวอย่าง และทดสอบประมาณ 500 ตัวอย่าง เพื่อให้ปรับเข้ากับผู้พูดแบบ zero-shot ได้ ระบบยังฝึกบนชุด LibriTTS แบบรวม ซึ่งมีเสียงประมาณ 250 ชั่วโมงจากผู้พูดมากกว่า 1,150 คน ใช้สองมาตรวัดคือ MOS-N คะแนนความคิดเห็นเฉลี่ยด้านความเป็นธรรมชาติ และ MOS-S คะแนนความคิดเห็นเฉลี่ยด้านความคล้ายคลึง

ผลลัพธ์

วิธีการทำงานและสถาปัตยกรรมของเฟรมเวิร์ก StyleTTS2 ถูกแสดงให้เห็นในผลลัพธ์ที่ได้รับ โดยเฟรมเวิร์กสามารถส่งมอบผลลัพธ์ที่ดีกว่าเฟรมเวิร์กการสังเคราะห์เสียงพูดที่มีอยู่แล้วหลายรุ่น โดยเฉพาะบนชุดข้อมูล NaturalSpeech และสามารถตั้งมาตรฐานใหม่สำหรับชุดข้อมูลนี้ตามคำอธิบายของต้นฉบับ นอกจากนี้ยังให้ผลเหนือ VITS บนชุด VCTK ตามภาพต่อไปนี้

เฟรมเวิร์ก StyleTTS2 ยังสามารถส่งมอบผลลัพธ์ที่ดีกว่าเฟรมเวิร์กที่มีอยู่แล้วบนชุดข้อมูล LJSpeech และไม่แสดงการเสื่อมสภาพของคุณภาพบนข้อความที่อยู่นอกเหนือการกระจายหรือ Out of Distribution เช่นเดียวกับเฟรมเวิร์กที่มีอยู่แล้วในมาตริกเดียวกัน นอกจากนี้ ในการฝึกอบรมแบบไม่มีตัวอย่าง เฟรมเวิร์ก StyleTTS2 สามารถส่งมอบผลลัพธ์ที่ดีกว่าเฟรมเวิร์ก Vall-E ในด้านความเป็นธรรมชาติ แม้ได้คะแนนความคล้ายคลึงต่ำกว่า อย่างไรก็ตาม StyleTTS2 ใช้ข้อมูลเสียงเพียงประมาณ 245 ชั่วโมง เทียบกับมากกว่า 60,000 ชั่วโมงของ VALL-E จึงเป็นทางเลือกที่ใช้ข้อมูลอย่างมีประสิทธิภาพตามการประเมินในต้นฉบับ

การเคลื่อนไปสู่การสร้างเสียงพูดที่มีคุณภาพระดับมนุษย์ เนื่องจากขาดข้อมูลเสียงพูดที่มีการแสดงออกทางอารมณ์ เฟรมเวิร์ก StyleTTS2 ใช้โมเดล GPT-4 เพื่อสร้างตัวอย่างเสียงพูดมากกว่า 500 ตัวอย่างในหลายๆ อารมณ์สำหรับการแสดงผลเวกเตอร์รูปแบบที่เฟรมเวิร์กสร้างขึ้นโดยใช้กระบวนการดิฟฟิวชัน

ในรูปแรก รูปแบบเสียงพูดที่แสดงออกทางอารมณ์ตามข้อความที่เข้ามาถูกแสดงโดยเวกเตอร์รูปแบบจากโมเดล LJSpeech และแสดงให้เห็นถึงความสามารถของเฟรมเวิร์ก StyleTTS2 ในการสังเคราะห์เสียงพูดที่มีการแสดงออกและหลากหลาย รูปที่สองแสดงให้เห็นถึงกลุ่มที่แตกต่างกันสำหรับผู้พูดแต่ละคน ซึ่งแสดงให้เห็นถึงความหลากหลายที่มาจากไฟล์เสียงเดียว รูปสุดท้ายแสดงให้เห็นถึงกลุ่มที่หลวมของอารมณ์จากผู้พูดคนแรก และแสดงให้เห็นว่า แม้ว่าจะมีการทับซ้อน แต่กลุ่มที่แสดงออกทางอารมณ์ก็ยังคงมีความสำคัญ ซึ่งแสดงให้เห็นถึงความเป็นไปได้ในการปรับเปลี่ยนอารมณ์ของผู้พูดโดยไม่ขึ้นกับตัวอย่างเสียงอ้างอิงและโทนเสียงอินพุต ต้นฉบับยังรายงานว่าแม้ใช้ดิฟฟิวชัน StyleTTS2 ก็ให้ผลเหนือ VITS, ProDiff และ FastDiff

ความคิดสุดท้าย

ในบทความนี้ เราพูดถึงเฟรมเวิร์ก StyleTTS2 ซึ่งเป็นเฟรมเวิร์กการสังเคราะห์เสียงพูดที่มีนวัตกรรมและเป็นขั้นตอนต่อไปในการสร้างระบบการสังเคราะห์เสียงพูดที่มีคุณภาพระดับมนุษย์ เฟรมเวิร์ก StyleTTS2 จะสร้างแบบจำลองเสียงพูดในรูปแบบของตัวแปรสุ่มที่ซ่อนอยู่ และใช้แบบจำลองดิฟฟิวชันที่มีความน่าจะเป็นในการสุ่มตัวอย่างรูปแบบเสียงพูดเหล่านี้หรือตัวแปรสุ่ม ทำให้เฟรมเวิร์ก StyleTTS2 สามารถสังเคราะห์เสียงพูดที่มีความสมจริงได้อย่างมีประสิทธิภาพโดยไม่ต้องใช้เสียงอ้างอิง เฟรมเวิร์ก StyleTTS2 ใช้การกระจายรูปแบบและเครื่องมือตัดสินแบบจำลองภาษาเสียงเพื่อให้ได้ผลลัพธ์ที่มีคุณภาพระดับมนุษย์ในการสังเคราะห์เสียงพูด และสามารถส่งมอบผลลัพธ์ที่ดีกว่าเฟรมเวิร์กที่มีอยู่แล้วหลายรุ่นในการทำงานที่เกี่ยวข้องกับเสียงพูด