เนื่องจากมีการเพิ่มขึ้นของวิธีการสังเคราะห์เสียงพูดที่เป็นธรรมชาติและซินเทติก อุตสาหกรรม AI ได้ทำการบรรลุผลสำเร็จที่สำคัญในช่วงไม่กี่ปีที่ผ่านมาในการสังเคราะห์เสียงพูดที่มีศักยภาพในการใช้งานในอุตสาหกรรมต่างๆ รวมถึงหนังสือเสียง ผู้ช่วยเสมือน การบรรยายเสียงและอื่นๆ โดยมีโมเดลบางรุ่นที่สามารถส่งมอบผลลัพธ์ที่มีคุณภาพระดับมนุษย์และมีประสิทธิภาพสูงในการทำงานที่เกี่ยวข้องกับเสียง อย่างไรก็ตาม แม้ว่าพวกเขาจะมีประสิทธิภาพที่ดี แต่ยังมีพื้นที่ที่ต้องการการปรับปรุงสำหรับการทำงานบางอย่าง เช่น การสังเคราะห์เสียงพูดที่มีการแสดงออกและหลากหลาย ต้องการข้อมูลการฝึกอบรมจำนวนมากสำหรับการเพิ่มประสิทธิภาพของเฟรมเวิร์กการสังเคราะห์เสียงพูดแบบ零ช็อต และความแข็งแกร่งสำหรับข้อความที่อยู่นอกเหนือการกระจายหรือ Out of Distribution ซึ่งทำให้นักพัฒนาต้องทำงานเพื่อสร้างเฟรมเวิร์กการสังเคราะห์เสียงพูดที่มีความแข็งแกร่งและเข้าถึงได้มากขึ้น

ในบทความนี้ เราจะพูดถึง StyleTTS-2 ซึ่งเป็นเฟรมเวิร์กการสังเคราะห์เสียงพูดที่มีความแข็งแกร่งและเป็นนวัตกรรมใหม่ที่สร้างขึ้นบนพื้นฐานของเฟรมเวิร์ก StyleTTS โดยมีเป้าหมายที่จะนำเสนอขั้นตอนต่อไปในการสร้างระบบการสังเคราะห์เสียงพูดที่มีคุณภาพระดับมนุษย์ เฟรมเวิร์ก StyleTTS2 จะสร้างแบบจำลองเสียงพูดในรูปแบบของตัวแปรสุ่มที่ซ่อนอยู่ และใช้แบบจำลองการกระจายที่มีความน่าจะเป็นในการตัวอย่างเสียงพูดเหล่านี้หรือตัวแปรสุ่ม ทำให้เฟรมเวิร์ก StyleTTS2 สามารถสังเคราะห์เสียงพูดที่มีความสมจริงได้อย่างมีประสิทธิภาพโดยไม่ต้องใช้เสียงอ้างอิง เราจะพูดถึงเฟรมเวิร์ก StyleTTS2 ในรายละเอียดและพูดถึงสถาปัตยกรรมและวิธีการทำงานของมัน，同时ดูผลลัพธ์ที่ได้รับจากเฟรมเวิร์กด้วย

StyleTTS2 สำหรับการสังเคราะห์เสียงพูด: การแนะนำ

StyleTTS2 เป็นแบบจำลองการสังเคราะห์เสียงพูดที่มีนวัตกรรมและเป็นขั้นตอนต่อไปในการสร้างเฟรมเวิร์กการสังเคราะห์เสียงพูดที่มีคุณภาพระดับมนุษย์ และสร้างขึ้นบนพื้นฐานของ StyleTTS ซึ่งเป็นแบบจำลองการสร้างเสียงพูดตามรูปแบบ เฟรมเวิร์ก StyleTTS2 จะสร้างแบบจำลองเสียงพูดในรูปแบบของตัวแปรสุ่มที่ซ่อนอยู่ และใช้แบบจำลองการกระจายที่มีความน่าจะเป็นในการตัวอย่างเสียงพูดเหล่านี้หรือตัวแปรสุ่ม ทำให้เฟรมเวิร์ก StyleTTS2 สามารถสังเคราะห์เสียงพูดที่มีความสมจริงได้อย่างมีประสิทธิภาพโดยไม่ต้องใช้เสียงอ้างอิง การสร้างแบบจำลองเสียงพูดในรูปแบบของตัวแปรสุ่มที่ซ่อนอยู่เป็น点ที่ทำให้เฟรมเวิร์ก StyleTTS2 แตกต่างจากเฟรมเวิร์กที่มีอยู่เดิม และมีเป้าหมายที่จะสร้างเสียงพูดที่เหมาะสมที่สุดสำหรับข้อความที่เข้ามาโดยไม่ต้องใช้เสียงอ้างอิง และสามารถบรรลุผลลัพธ์ที่มีประสิทธิภาพสูงในการสังเคราะห์เสียงพูดที่มีความหลากหลาย

การเคลื่อนไปสู่การสร้างเสียงพูดที่มีคุณภาพระดับมนุษย์ เฟรมเวิร์ก StyleTTs2 จะรวมการเรียนรู้จากงานที่มีอยู่แล้ว รวมถึงแบบจำลองการกระจายสำหรับการสังเคราะห์เสียงพูด และแบบจำลองภาษาเสียงขนาดใหญ่ แบบจำลองการกระจายมักถูกใช้ในการสังเคราะห์เสียงพูดเนื่องจากความสามารถในการควบคุมเสียงพูดที่มีรายละเอียดและความสามารถในการสังเคราะห์เสียงพูดที่หลากหลาย อย่างไรก็ตาม แบบจำลองการกระจายไม่ได้มีประสิทธิภาพเท่ากับเฟรมเวิร์กที่ไม่ใช้การวนซ้ำและไม่ใช้การสร้างแบบจำลองการกระจายที่ต้องใช้เวลาในการฝึกอบรมมาก

ในทางกลับกัน งานที่เกี่ยวข้องกับแบบจำลองภาษาเสียงขนาดใหญ่แสดงให้เห็นว่าสามารถเพิ่มคุณภาพของงานการสังเคราะห์เสียงพูดและปรับตัวเข้ากับผู้พูดได้ดี แบบจำลองภาษาเสียงขนาดใหญ่จะแปลงข้อความที่เข้ามาเป็นตัวแทนการ量化หรือตัวแทนการดำเนินการที่ได้รับจากเฟรมเวิร์กภาษาเสียงที่มีอยู่แล้วสำหรับการสร้างเสียงพูดใหม่ อย่างไรก็ตาม คุณลักษณะของแบบจำลองภาษาเสียงเหล่านี้ไม่ได้ถูกปรับให้เหมาะสมสำหรับการสังเคราะห์เสียงพูดโดยตรง ในทางกลับกัน เฟรมเวิร์ก StyleTTS2 จะใช้ความรู้ที่ได้รับจากแบบจำลองภาษาเสียงขนาดใหญ่โดยใช้การฝึกอบรมแบบขัดแย้งเพื่อสังเคราะห์คุณลักษณะของแบบจำลองภาษาเสียงโดยไม่ต้องใช้แผนที่พื้นที่ลาตัน และดังนั้นจึงเรียนรู้พื้นที่ลาตันที่เหมาะสมสำหรับการสังเคราะห์เสียงพูดโดยตรง

StyleTTS2: สถาปัตยกรรมและวิธีการทำงาน

เฟรมเวิร์ก StyleTTS2 ถูกสร้างขึ้นบนพื้นฐานของเฟรมเวิร์ก StyleTTS ซึ่งเป็นเฟรมเวิร์กการสังเคราะห์เสียงพูดที่ไม่ใช้การวนซ้ำและใช้เครื่องมือเข้ารหัสรูปแบบเพื่อสร้างเวกเตอร์รูปแบบจากเสียงอ้างอิง ทำให้สามารถสร้างเสียงพูดที่มีการแสดงออกและเป็นธรรมชาติได้ เวกเตอร์รูปแบบที่ใช้ในเฟรมเวิร์ก StyleTTS ถูกนำมาใช้โดยตรงในเครื่องมือเข้ารหัส ข้อมูลระยะเวลา และเครื่องมือคาดการณ์โดยใช้การปรับเปลี่ยนแบบแอดาทีฟ ทำให้เฟรมเวิร์ก StyleTTS สามารถสร้างเสียงพูดที่มีการเปลี่ยนแปลงได้หลายรูปแบบ

1. แบบจำลองเสียงหรือระบบการสังเคราะห์เสียงพูดที่มีเครื่องมือเข้ารหัสรูปแบบ เครื่องมือเข้ารหัสข้อความ และเครื่องมือส่งเสียงพูด
2. ระบบคาดการณ์เสียงพูดที่ใช้เครื่องมือคาดการณ์Prosody และเครื่องมือคาดการณ์ระยะเวลา
3. ระบบอื่นๆ รวมถึงเครื่องมือจัดตำแหน่งข้อความ เครื่องมือส่งเสียงพูด และเครื่องมือตัดสินสำหรับการฝึกอบรม

ด้วยวิธีการทำงานนี้ เฟรมเวิร์ก StyleTTS สามารถส่งมอบผลลัพธ์ที่มีคุณภาพสูงในการสังเคราะห์เสียงพูดที่มีการควบคุมและหลากหลาย อย่างไรก็ตาม การทำงานนี้มีข้อเสีย เช่น การเสื่อมสภาพของคุณภาพตัวอย่าง การจำกัดความสามารถในการแสดงออก และการขึ้นอยู่กับการใช้งานที่จำกัดในเวลาจริง

การปรับปรุงเฟรมเวิร์ก StyleTTS เฟรมเวิร์ก StyleTTS2 สามารถสร้างเสียงพูดที่มีการแสดงออกและคุณภาพระดับมนุษย์ได้ดีขึ้น โดยใช้กระบวนการฝึกอบรมแบบขัดแย้งและสร้างเวกเตอร์รูปแบบโดยตรงจากข้อความที่เข้ามา ทำให้สามารถสร้างเสียงพูดที่มีความสมจริงและหลากหลายได้โดยไม่ต้องใช้เสียงอ้างอิง

การฝึกอบรมแบบขัดแย้งสำหรับการสังเคราะห์เสียงพูด

ในเฟรมเวิร์ก StyleTTS2 การฝึกอบรมแบบขัดแย้งถูกใช้เพื่อปรับให้เหมาะสมกับส่วนประกอบต่างๆ ของระบบการสังเคราะห์เสียงพูด โดยไม่ต้องใช้ส่วนประกอบที่ตายตัว เฟรมเวิร์ก StyleTTS2 จะเปลี่ยนเครื่องมือส่งเสียงพูดให้สามารถสร้างเสียงพูดโดยตรงจากเวกเตอร์รูปแบบ ค่าพลังงาน และการแสดงออกที่จัดตำแหน่งแล้ว จากนั้นจะลบชั้นการฉายภาพสุดท้ายของเครื่องมือส่งเสียงพูดและแทนที่ด้วยเครื่องมือส่งเสียงพูดแบบเวฟฟอร์ม

รูปด้านบนแสดงถึงแบบจำลองเสียงที่ใช้ในการฝึกอบรมก่อนและร่วม โดยลดเวลาในการฝึกอบรมโดยการปรับให้เหมาะสมกับโมดูลก่อนการฝึกอบรมร่วม และจากนั้นจึงปรับให้เหมาะสมกับส่วนประกอบทั้งหมดยกเว้นเครื่องมือส่งเสียงพูดในช่วงการฝึกอบรมร่วม สาเหตุที่ไม่ปรับให้เหมาะสมกับเครื่องมือส่งเสียงพูดในช่วงการฝึกอบรมร่วมคือเพราะว่ามันถูกใช้เพื่อให้ข้อมูลที่ถูกต้องสำหรับเสียงพูด

รูปด้านบนแสดงถึงการฝึกอบรมแบบขัดแย้งของแบบจำลองภาษาเสียงและเครื่องมือส่งเสียงพูดโดยใช้เฟรมเวิร์ก WavLM ที่ถูกฝึกอบรมไว้แล้วแต่ยังไม่ได้ปรับให้เหมาะสม กระบวนการนี้แตกต่างจากกระบวนการด้านบนเพราะสามารถรับข้อความที่เข้ามาได้หลายรูปแบบและสะสมค่าความชันเพื่อปรับให้เหมาะสมกับพารามิเตอร์ในแต่ละชุดข้อมูล

การกระจายรูปแบบ

เฟรมเวิร์ก StyleTTS2 มีเป้าหมายที่จะสร้างแบบจำลองเสียงพูดในรูปแบบของการกระจายที่มีเงื่อนไขผ่านตัวแปรที่ซ่อนอยู่ และตัวแปรนี้เรียกว่ารูปแบบเสียงพูดที่ทั่วไป ซึ่งแสดงถึงคุณลักษณะใดๆ ในตัวอย่างเสียงพูดที่อยู่นอกเหนือเนื้อหาของเสียงพูด เช่น ความเครียดทางคำศัพท์ การแสดงออก การพูด และการเปลี่ยนแปลงรูปแบบ

เครื่องมือตัดสินแบบจำลองภาษาเสียง

แบบจำลองภาษาเสียงมีชื่อเสียงในเรื่องความสามารถในการเข้ารหัสข้อมูลที่มีค่าเกี่ยวกับภาษาและเสียง และการแสดงออกของแบบจำลองภาษาเสียงมักสามารถเลียนแบบการรับรู้ของมนุษย์เพื่อประเมินคุณภาพของเสียงพูดที่ถูกสังเคราะห์ เฟรมเวิร์ก StyleTTS2 ใช้การฝึกอบรมแบบขัดแย้งเพื่อใช้ความสามารถของเครื่องมือเข้ารหัสแบบจำลองภาษาเสียงในการทำงานสร้างสรรค์ และใช้เฟรมเวิร์ก WavLM 12 ชั้นเป็นเครื่องมือตัดสิน นี่ทำให้เฟรมเวิร์กสามารถฝึกอบรมได้บนข้อความที่อยู่นอกเหนือการกระจายหรือ Out of Distribution ซึ่งสามารถช่วยปรับปรุงประสิทธิภาพได้

การสร้างแบบจำลองระยะเวลาที่แตกต่างได้

โดยทั่วไป เครื่องมือคาดการณ์ระยะเวลาถูกใช้ในเฟรมเวิร์กการสังเคราะห์เสียงพูดเพื่อสร้างระยะเวลาเสียงพูด แต่วิธีการเพิ่มระยะเวลาที่เครื่องมือคาดการณ์ระยะเวลานี้ใช้บ่อยครั้งจะขัดขวางการไหลของค่าความชันในช่วงการฝึกอบรมแบบขัดแย้ง และเฟรมเวิร์ก NaturalSpeech ใช้เครื่องมือเพิ่มระยะเวลาที่อาศัยการดูแลเพื่อการแปลงเสียงพูดระดับมนุษย์ อย่างไรก็ตาม วิธีการนี้ไม่มีเสถียรภาพในช่วงการฝึกอบรมแบบขัดแย้ง เนื่องจากเฟรมเวิร์ก StyleTTS2 ฝึกอบรมโดยใช้การเพิ่มระยะเวลาที่แตกต่างโดยไม่ต้องมีการสูญเสียพจน์เสริมเนื่องจากความไม่ตรงกันของระยะเวลา

ดังนั้น เพื่อให้ได้ผลลัพธ์ที่มีคุณภาพระดับมนุษย์และเพิ่มเสถียรภาพในการฝึกอบรม เฟรมเวิร์ก StyleTTS2 ใช้การเพิ่มระยะเวลาที่ไม่ใช่พารามิเตอร์ ซึ่งเป็นวิธีการเพิ่มระยะเวลาที่ไม่ใช่พารามิเตอร์ที่ได้รับความนิยมในการแปลงระยะเวลาที่คาดการณ์ไว้ แต่มีข้อจำกัดเนื่องจากความยาวของเคอร์เนลกอสเซียนที่ถูกกำหนดไว้ล่วงหน้า ซึ่งจำกัดความสามารถในการสร้างแบบจำลองการจัดตำแหน่งที่มีความยาวต่างๆ

การฝึกอบรมและประเมินแบบจำลอง

เฟรมเวิร์ก StyleTTS2 ถูกฝึกอบรมและทดลองบนชุดข้อมูลสามชุด ได้แก่ VCTK, LibriTTS และ LJSpeech ส่วนแบบจำลองผู้พูดเดียวของเฟรมเวิร์ก StyleTTS2 ถูกฝึกอบรมโดยใช้ชุดข้อมูล LJSpeech ซึ่งมีตัวอย่างเสียงพูดมากกว่า 13,000 ตัวอย่าง โดยแบ่งออกเป็นตัวอย่างฝึกอบรม 12,500 ตัวอย่าง ตรวจสอบ 100 ตัวอย่าง และทดสอบ 500 ตัวอย่าง โดยมีเวลารวมประมาณ 24 ชั่วโมง ส่วนแบบจำลองผู้พูดหลายคนของเฟรมเวิร์กถูกฝึกอบรมบนชุดข้อมูล VCTK ซึ่งมีตัวอย่างเสียงพูดมากกว่า 44,000 ตัวอย่าง โดยมีผู้พูดมากกว่า 100 คน โดยแบ่งออกเป็นตัวอย่างฝึกอบรม 43,500 ตัวอย่าง ตรวจสอบ 100 ตัวอย่าง และทดสอบ 500 ตัวอย่าง

ผลลัพธ์

วิธีการทำงานและสถาปัตยกรรมของเฟรมเวิร์ก StyleTTS2 ถูกแสดงให้เห็นในผลลัพธ์ที่ได้รับ โดยเฟรมเวิร์กสามารถส่งมอบผลลัพธ์ที่ดีกว่าเฟรมเวิร์กการสังเคราะห์เสียงพูดที่มีอยู่แล้วหลายรุ่น โดยเฉพาะบนชุดข้อมูล NaturalSpeech และสามารถตั้งมาตรฐานใหม่สำหรับชุดข้อมูลนี้

เฟรมเวิร์ก StyleTTS2 ยังสามารถส่งมอบผลลัพธ์ที่ดีกว่าเฟรมเวิร์กที่มีอยู่แล้วบนชุดข้อมูล LJSpeech และไม่แสดงการเสื่อมสภาพของคุณภาพบนข้อความที่อยู่นอกเหนือการกระจายหรือ Out of Distribution เช่นเดียวกับเฟรมเวิร์กที่มีอยู่แล้วในมาตริกเดียวกัน นอกจากนี้ ในการฝึกอบรมแบบ零ช็อต เฟรมเวิร์ก StyleTTS2 สามารถส่งมอบผลลัพธ์ที่ดีกว่าเฟรมเวิร์ก Vall-E ในด้านความเป็นธรรมชาติ แม้ว่าจะต้องเสียสละในด้านความคล้ายคลึงกัน

การเคลื่อนไปสู่การสร้างเสียงพูดที่มีคุณภาพระดับมนุษย์ เนื่องจากขาดข้อมูลเสียงพูดที่มีการแสดงออกทางอารมณ์ เฟรมเวิร์ก StyleTTS2 ใช้โมเดล GPT-4 เพื่อสร้างตัวอย่างเสียงพูดมากกว่า 500 ตัวอย่างในหลายๆ อารมณ์สำหรับการแสดงผลเวกเตอร์รูปแบบที่เฟรมเวิร์กสร้างขึ้นโดยใช้กระบวนการการกระจาย

ในรูปแรก รูปแบบเสียงพูดที่แสดงออกทางอารมณ์ตามข้อความที่เข้ามาถูกแสดงโดยเวกเตอร์รูปแบบจากโมเดล LJSpeech และแสดงให้เห็นถึงความสามารถของเฟรมเวิร์ก StyleTTS2 ในการสังเคราะห์เสียงพูดที่มีการแสดงออกและหลากหลาย รูปที่สองแสดงให้เห็นถึงกลุ่มที่แตกต่างกันสำหรับผู้พูดแต่ละคน ซึ่งแสดงให้เห็นถึงความหลากหลายที่มาจากไฟล์เสียงเดียว รูปสุดท้ายแสดงให้เห็นถึงกลุ่มที่หลวมของอารมณ์จากผู้พูดคนแรก และแสดงให้เห็นว่า แม้ว่าจะมีการทับซ้อน แต่กลุ่มที่แสดงออกทางอารมณ์ก็ยังคงมีความสำคัญ ซึ่งแสดงให้เห็นถึงความเป็นไปได้ในการปรับเปลี่ยนอารมณ์ของผู้พูดโดยไม่ต้องอาศัยเสียงอ้างอิงและโทนเสียงที่เข้ามา

ความคิดสุดท้าย

ในบทความนี้ เราพูดถึงเฟรมเวิร์ก StyleTTS2 ซึ่งเป็นเฟรมเวิร์กการสังเคราะห์เสียงพูดที่มีนวัตกรรมและเป็นขั้นตอนต่อไปในการสร้างระบบการสังเคราะห์เสียงพูดที่มีคุณภาพระดับมนุษย์ เฟรมเวิร์ก StyleTTS2 จะสร้างแบบจำลองเสียงพูดในรูปแบบของตัวแปรสุ่มที่ซ่อนอยู่ และใช้แบบจำลองการกระจายที่มีความน่าจะเป็นในการตัวอย่างเสียงพูดเหล่านี้หรือตัวแปรสุ่ม ทำให้เฟรมเวิร์ก StyleTTS2 สามารถสังเคราะห์เสียงพูดที่มีความสมจริงได้อย่างมีประสิทธิภาพโดยไม่ต้องใช้เสียงอ้างอิง เฟรมเวิร์ก StyleTTS2 ใช้การกระจายรูปแบบและเครื่องมือตัดสินแบบจำลองภาษาเสียงเพื่อให้ได้ผลลัพธ์ที่มีคุณภาพระดับมนุษย์ในการสังเคราะห์เสียงพูด และสามารถส่งมอบผลลัพธ์ที่ดีกว่าเฟรมเวิร์กที่มีอยู่แล้วหลายรุ่นในการทำงานที่เกี่ยวข้องกับเสียงพูด