การปรับปรุงและความก้าวหน้าในความสามารถของโมเดลภาษาขนาดใหญ่ ได้เล่นบทบาทสำคัญในการพัฒนาฐานการทำงานของ LLM สำหรับการสร้างเสียงและงานสังเคราะห์เสียงพูด โดยเฉพาะอย่างยิ่งในสถานการณ์ zero-shot โมเดลสังเคราะห์เสียงพูดแบบดั้งเดิมได้เห็นการปรับปรุงอย่างมากจากการรวมคุณสมบัติเพิ่มเติม เช่น โค้ดคอรอเดียลเสียงสำหรับหน่วยเสียงและหน่วยพูด แม้ว่าโมเดลสังเคราะห์เสียงพูดเหล่านี้จะให้ผลลัพธ์ที่น่าพอใจ แต่ก็ยังมี空间สำหรับการปรับปรุง เนื่องจากโมเดลเสียงพูดที่ใช้ LLM ในปัจจุบันมีข้อจำกัดทั้งสามด้านต่อไปนี้

1. มีแนวโน้มที่จะสร้างเสียงพูดอัตโนมัติที่ส่งผลให้ขาดความแข็งแกร่งและความเร็วในการรบกวน ทำให้เกิดการผิดพลาด การข้ามหรือการทำซ้ำ
2. มีแนวโน้มที่จะพึ่งพาหน่วยเสียงหรือโค้ดคอรอเดียลเสียงพูดที่ถูกฝึกฝนมาแล้ว
3. มักต้องการปริมาณข้อมูลการฝึกที่มาก

เพื่อแก้ไขปัญหาที่กล่าวมาข้างต้น และเพิ่มความสามารถของโมเดลเสียงพูดและโมเดลสังเคราะห์เสียงที่ใช้ LLM นักพัฒนาจึงได้สร้าง HierSpeech++ ขึ้นมา ซึ่งเป็นโมเดลสังเคราะห์เสียงพูดแบบ zero-shot ที่มีประสิทธิภาพและรวดเร็ว HierSpeech++ สร้างขึ้นจากความเข้าใจของโมเดลสังเคราะห์เสียงพูดแบบ階層 ซึ่งไม่เพียงแต่เพิ่มความแข็งแกร่งของเสียงพูดเทียม แต่ยังเพิ่มความสามารถในการแสดงออกและความเป็นธรรมชาติของเสียงพูดที่สร้างขึ้น โดยเฉพาะอย่างยิ่งในสถานการณ์ zero-shot

ในบทความนี้ เราจะพูดถึง HierSpeech++ ในรายละเอียด และมองหาสถาปัตยกรรมของโมเดล การทำงาน และผลลัพธ์เมื่อเปรียบเทียบกับโมเดลการสร้างเสียงและเสียงพูดที่มีอยู่ในปัจจุบัน ดังนั้น มาเริ่มกันเลย

HierSpeech++ : การอนุมานความแปรผันแบบ階層สำหรับการสังเคราะห์เสียงพูดแบบ Zero-shot

HierSpeech++ เป็นโมเดลสังเคราะห์เสียงพูดแบบ zero-shot ที่รวดเร็ว มีประสิทธิภาพ และใช้กระบวนการสังเคราะห์เสียงพูดแบบ階層 โดยการนำกระบวนการสังเคราะห์เสียงพูดแบบด้านหน้ามาใช้ HierSpeech++ สามารถเพิ่มศักยภาพของการสร้างเสียงคลื่นให้สูงสุด เพื่อเชื่อมช่องว่างระหว่างการแสดงออกทางเซมันติกและอะคูสติก โดยการนำการแสดงออกทางเสียงพูดแบบอิสระมาใช้เป็นการแสดงออกทางเสียงพูดแบบเซมันติก และพยายามแก้ไขข้อจำกัดของการปรับเปลี่ยนรูปแบบ

คุณภาพการกู้คืนเสียงของโมเดลเหล่านี้สามารถเพิ่มได้โดยใช้การเข้ารหัสแบบแปรผันแบบมีเงื่อนไขแบบ階層 เช่นเดียวกับที่ใช้ใน HierSpeech Framework แม้ว่าโมเดลเหล่านี้จะมีศักยภาพ แต่โมเดลที่ใช้กระบวนการฝึกแบบด้านหน้ามีข้อจำกัดบางประการ โดยเฉพาะอย่างยิ่งในสถานการณ์ zero-shot แม้ว่าสามารถสังเคราะห์เสียงพูดที่มีคุณภาพสูงได้ แต่ความคล้ายคลึงกันของเสียงในงานโคลนนิ่งเสียงแบบ zero-shot ยังคงมีความซับซ้อนในการคำนวณสูง

เพื่อแก้ไขปัญหาที่เกิดขึ้นกับโมเดลก่อนหน้า HierSpeech++ ใช้โมเดลสังเคราะห์เสียงพูดแบบ階層 โมเดลการปรับปรุงเสียงพูด และส่วนประกอบ text-to-vec และแนะนำโมเดลสังเคราะห์เสียงพูดแบบ階層ที่ดีขึ้น โดยสร้างบนการเข้ารหัสแบบแปรผันแบบมีเงื่อนไขแบบ階層 เพื่อเพิ่มคุณภาพเสียงให้เกินกว่าคุณภาพการรับรู้ HierSpeech++ ใช้การเพิ่มเสียงแบบคู่เพื่อเพิ่มความหลากหลายของเสียง และเพิ่มการปรับเปลี่ยนแบบ階層โดยใช้เครื่องกำเนิดแบบปรับเปลี่ยนแบบ階層ที่มีทั้งการสร้างแบบมีเงื่อนไขและไม่มีเงื่อนไข

โดยรวมแล้ว HierSpeech++ เป็นโมเดลสังเคราะห์เสียงพูดแบบ階層ที่สมบูรณ์แบบ ใหม่ และมีประสิทธิภาพ ซึ่งมีเป้าหมายเพื่อสังเคราะห์เสียงพูดในสถานการณ์ zero-shot และพยายามที่จะทำการมีส่วนร่วมต่อไปนี้

• การใช้โมเดลสังเคราะห์เสียงพูดแบบ階層เพื่อควบคุมและถ่ายโอนรูปแบบเสียงและจังหวะ
• การเพิ่มความสามารถในการจัดการข้อมูลและความสามารถในการสังเคราะห์เสียงพูดแบบความละเอียดสูงโดยการเพิ่มความถี่ของเสียงคลื่นจาก 16 ถึง 48 kHz
• การบรรลุความสามารถระดับมนุษย์ในการแปลงเสียงและงานสังเคราะห์เสียงพูดแบบ zero-shot

HierSpeech++ : ส่วนประกอบของโมเดลและสถาปัตยกรรม

ตามที่กล่าวไว้ HierSpeech++ เป็นโมเดลสังเคราะห์เสียงพูดแบบ zero-shot ที่พยายามบรรลุความแม่นยำระดับมนุษย์ในแง่ของความคล้ายคลึงกันของเสียงและความเป็นธรรมชาติของเสียงพูด

โมเดล HierSpeech++ ประกอบด้วยส่วนประกอบต่างๆ เช่น โมเดลสังเคราะห์เสียงพูดแบบ階層 โมเดลการปรับปรุงเสียงพูด และส่วนประกอบ text-to-vec ซึ่งทำงานร่วมกันเพื่ออำนวยความสะดวกในการฝึกอบรมของแต่ละโมเดลที่สามารถใช้ข้อมูลเสียงพูดที่มีปริมาณมากได้อย่างมีประสิทธิภาพ

การแสดงออกเสียงพูด

เนื่องจากช่วงความถี่ของเสียงพูดของมนุษย์อยู่ที่ 4 kHz ดังนั้นสำหรับการสังเคราะห์เสียงพูด HierSpeech++ จึงลดความถี่ของเสียงที่ 16 kHz นอกจากนี้เพื่อสร้างสัญญาณเสียงพูดที่มีคุณภาพสูง จะต้องใช้ความถี่ที่มากกว่าสองเท่าของส่วนประกอบความถี่สูงสุดของเสียงพูด

สำหรับการแสดงออกทางอะคูสติก โมเดลสังเคราะห์เสียงพูดแบบดั้งเดิมใช้ Mel-spectrogram เป็นคุณลักษณะอะคูสติกที่อยู่ระหว่างการแปลงจากคลื่นเสียงโดยใช้การแปลงฟูริเยร์แบบช่วงเวลาสั้น อย่างไรก็ตาม ควรทราบว่าเนื่องจากคุณลักษณะอะคูสติกเป็นการแสดงออกที่มีรายละเอียดซึ่งประกอบด้วยคุณลักษณะต่างๆ รวมถึงเนื้อหาและคำอ่าน ข้อมูลเสียง และอื่นๆ ทำให้โมเดลมีความยากที่จะอนุมานการแสดงออกเหล่านี้ ซึ่งมักจะนำไปสู่การผิดพลาด การขาดความคล้ายคลึงกัน หรือการทำให้เสียงพูดเรียบเกินไป

ต่อไป เพื่อแยกการแสดงออกทางเซมันติกที่ต่อเนื่องออกจากคลื่นเสียง HierSpeech++ ใช้เฟรมเวิร์ก Wav2Vec ซึ่งไม่เหมือนกับวิธีการแสดงออกทางเสียงพูดแบบอิสระที่เป็นที่นิยมสำหรับการแสดงออกทางเซมันติก แม้ว่าวิธีการนี้จะเป็นทางเลือกที่ดีสำหรับโมเดลภาษาแบบมอนโлинกวลที่มีรายละเอียด แต่ก็ส่งผลต่อความสามารถในการโคลนนิ่งเสียงแบบ zero-shot ของโมเดลในแง่ของความแข็งแกร่งและความสามารถในการแสดงออก โดยเฉพาะอย่างยิ่งในงานสังเคราะห์เสียงพูดแบบหลายภาษา

โมเดลสังเคราะห์เสียงพูดแบบ階層

ส่วนประกอบโมเดลสังเคราะห์เสียงพูดแบบ階層เป็นหินฐานของ HierSpeech++ เนื่องจากช่วยให้สามารถฝึกอบรมโมดูลได้โดยไม่ต้องใช้ป้ายกำกับ เช่น ข้อความหรือ ID ผู้พูด และพึ่งพาข้อมูลเสียงพูดเพียงอย่างเดียว เพื่อเพิ่มความสามารถอะคูสติก โมเดลสังเคราะห์เสียงพูดที่มีคุณภาพสูงสุดได้แทนที่ Mel-spectrogram ด้วยสเปกโทรแกรมเชิงเส้น

เพื่อรับมือกับการแสดงออกทางเซมันติกที่ไม่ขึ้นกับผู้พูดและผู้พูดที่เกี่ยวข้อง HierSpeech++ ใช้การแสดงออกทางเสียงพูดแบบอิสระหลายเส้นทาง โดยที่การแสดงออกแต่ละรายการจะถูกใช้สำหรับการปรับเปลี่ยนรูปแบบแบบ階層พร้อมกับการแสดงออกทางเซมันติกที่แยกออกมาเพื่อรับข้อมูลภาษาจากชั้นกลางของ MMS โมเดลยังใช้ความถี่พื้นฐานเพื่อเพิ่มการแยกเสียงพูด และใช้การแสดงออกทางภาษาเป็นข้อมูลเงื่อนไขในการสร้างคลื่นเสียงแบบ階層

Text to Vec

สำหรับการสังเคราะห์เสียงพูดจากข้อความ HierSpeech++ ใช้โมเดล text-to-vec หรือ TTV ซึ่งสร้างความถี่พื้นฐานและการแสดงออกทางเซมันติกจากลำดับข้อความ และใช้การค้นหาการจัดตำแหน่งแบบโมโนโทนิกคู่กับการเข้ารหัสแบบแปรผันเพื่อจัดตำแหน่งเสียงพูดและข้อความภายใน

นอกจากนี้ HierSpeech++ ยังทำนายความถี่พื้นฐานด้วยความละเอียดที่มากกว่าสี่เท่าเมื่อเปรียบเทียบกับการแสดงออกทางเสียงพูดแบบอิสระ และใช้การแสดงออกทางข้อความแบบมีเงื่อนไขเป็นข้อมูลก่อนหน้า เนื่องจากข้อมูลทางเซมันติกของการแสดงออกทางเสียงพูดแบบอิสระ โมเดลจึงสามารถถ่ายโอนรูปแบบจังหวะจากโมเดล text-to-vec ได้ และให้การแสดงออกทางซ่อนเร้นแก่เครื่องเข้ารหัสโฟนีมเพื่อเพิ่มความสามารถทางภาษาของการแสดงออก

SpeechSR หรือการปรับปรุงเสียงพูดแบบซูเปอร์

HierSpeech++ ฝึกอบรมบนชุดข้อมูลที่มีความละเอียดต่ำกว่าในแง่ของประสิทธิภาพของข้อมูลและความพร้อม และเพิ่มความถี่ของคลื่นเสียงพูดต่ำจาก 16 ถึง 48 kHz โมเดลยังแทนที่การถ่ายโอนคอนโวลูชันแบบกลับด้านด้วยตัวเพิ่มความถี่แบบใกล้เคียงที่สุด ซึ่งเคยทราบกันว่าช่วยบรรเทาอาร์ติแฟคต์ที่เกิดจากการถ่ายโอนคอนโวลูชันแบบกลับด้าน

สถาปัตยกรรม

เครื่องเข้ารหัสเนื้อหาของโมเดล text-to-vec ประกอบด้วยชั้น WaveNet ที่ไม่ใช่แบบสุ่ม 16 ชั้น โดยมีขนาดเคอร์เนล 5 และขนาดซ่อนเร้น 256 ในขณะที่เครื่องถอดรหัสเนื้อหประกอบด้วยชั้น WaveNet ที่ไม่ใช่แบบสุ่ม 8 ชั้น โดยมีขนาดเคอร์เนล 5 และขนาดซ่อนเร้น 512

รูปด้านบนแสดงถึงกระบวนการอนุมานของ HierSpeech++ ซึ่งเริ่มต้นด้วยการแยกการแสดงออกทางเซมันติกจากเสียงที่ความถี่ 16 kHz และความถี่พื้นฐานโดยใช้อัลกอริทึม YAPPT ก่อนที่ความถี่พื้นฐานจะถูกส่งเข้าไปในโมเดลสังเคราะห์เสียงพูดแบบ階層 จะถูกปรับมาตรฐานโดยใช้ความเบี่ยงเบนมาตรฐานและค่าเฉลี่ยของเสียงพูดต้นฉบับ และความถี่พื้นฐานที่ปรับมาตรฐานแล้วจะถูกถอดมาตรฐานโดยใช้ความเบี่ยงเบนมาตรฐานและค่าเฉลี่ยของเสียงพูดเป้าหมาย

การทดลองและผลลัพธ์

โมเดลใช้ฐานข้อมูล LibriTTS ที่มีอยู่สาธารณะเพื่อฝึกอบรมส่วนประกอบโมเดลสังเคราะห์เสียงพูดแบบ階層 โดยขั้นตอนแรกคือการฝึกอบรมโมเดลโดยใช้ชุดข้อมูล trainclean ของฐานข้อมูล และใช้ข้อมูลที่เหลือเพื่อเพิ่มการถ่ายโอนรูปแบบเสียง

การกู้คืน การสังเคราะห์ใหม่ และการแปลงเสียง

เพื่อประเมินประสิทธิภาพของ HierSpeech++ ในงานกู้คืนและการสังเคราะห์ใหม่ ผู้พัฒนาทำการทดลองโดยใช้เมตริกที่เป็นกลางเจ็ดตัว และผลลัพธ์จะแสดงในตัวเลขต่อไปนี้สำหรับการกู้คืนและการสังเคราะห์ใหม่

สำหรับการแปลงเสียง โมเดลใช้เมตริกที่เป็นกลางสองตัวในการประเมิน: ความคล้ายคลึงกันของเสียง (sMOS) และคะแนนความเป็นธรรมชาติ (nMOS) พร้อมด้วยเมตริกความเป็นธรรมชาติสามตัวและเมตริกความคล้ายคลึงกันสองตัว

ต่อไป โมเดลหลักของ HierSpeech++ คือการเปิดใช้งานการสังเคราะห์เสียงพูดแบบ zero-shot และเพื่อประเมินประสิทธิภาพในสถานการณ์ zero-shot จะเปรียบเทียบกับโมเดลอื่นๆ เช่น AutoVC, VoiceMixer, โมเดลที่ใช้การกระจาย และอื่นๆ โดยแสดงผลลัพธ์ในตัวเลขต่อไปนี้

ตัวเลขต่อไปนี้แสดงถึงผลลัพธ์ของการสังเคราะห์เสียงพูดแบบ zero-shot โดยใช้คำแนะนำที่มีเสียงรบกวนและคำแนะนำที่มีเสียงรบกวนมาก

ความคิดสุดท้าย

ในบทความนี้ เราได้พูดถึง HierSpeech++ ซึ่งเป็นแนวทางใหม่ในการสังเคราะห์เสียงพูดที่มีประสิทธิภาพและรวดเร็วในสถานการณ์ zero-shot และเพื่อเอาชนะข้อจำกัดที่โมเดลสังเคราะห์เสียงพูดในปัจจุบันเผชิญ รวมถึงการอาศัยข้อมูลการฝึกที่มาก การพึ่งพาหน่วยเสียงหรือโค้ดคอรอเดียลเสียงพูดที่ถูกฝึกฝนมาแล้ว และการสร้างเสียงพูดอัตโนมัติที่ส่งผลให้ขาดความแข็งแกร่งและความเร็วในการรบกวน

• การใช้โมเดลสังเคราะห์เสียงพูดแบบ階層เพื่อควบคุมและถ่ายโอนรูปแบบเสียงและจังหวะ
• การเพิ่มความสามารถในการจัดการข้อมูลและความสามารถในการสังเคราะห์เสียงพูดแบบความละเอียดสูงโดยการเพิ่มความถี่ของเสียงคลื่นจาก 16 ถึง 48 kHz
• การบรรลุความสามารถระดับมนุษย์ในการแปลงเสียงและงานสังเคราะห์เสียงพูดแบบ zero-shot