हाल के विकास और बड़े भाषा मॉडल की क्षमताओं में प्रगति ने विशेष रूप से शून्य-शॉट सेटिंग में ऑडियो पीढ़ी और भाषण संश्लेषण कार्यों के लिए एलएलएम-आधारित ढांचे की प्रगति में महत्वपूर्ण भूमिका निभाई है। पारंपरिक भाषण संश्लेषण ढांचे में विवेकपूर्ण ऑडियो और भाषण इकाइयों के लिए तंत्रिका ऑडियो कोडेक्स जैसी अतिरिक्त सुविधाओं को एकीकृत करने के परिणामस्वरूप महत्वपूर्ण प्रगति देखी गई है। हालाँकि ये भाषण और ऑडियो संश्लेषण ढाँचे संतोषजनक परिणाम देते हैं, फिर भी सुधार की गुंजाइश है क्योंकि वर्तमान एलएलएम-आधारित ऑडियो ढाँचे में निम्नलिखित तीन प्रमुख सीमाएँ हैं

1. वे ऑडियो आउटपुट को स्वचालित रूप से उत्पन्न करते हैं जो अंततः मजबूती की कमी और धीमी हस्तक्षेप गति का कारण बनता है और इसके परिणामस्वरूप गलत उच्चारण, छोड़ना या दोहराना होता है। 
2. वे अलग-अलग भाषण इकाइयों या पूर्व-प्रशिक्षित तंत्रिका ऑडियो कोडेक पर अधिक भरोसा करते हैं। 
3. उन्हें अक्सर बड़ी मात्रा में प्रशिक्षण डेटा की आवश्यकता होती है। 

ऊपर उल्लिखित मुद्दों से निपटने के लिए, और एलएलएम-आधारित ऑडियो और भाषण संश्लेषण मॉडल की क्षमताओं में सुधार करने के लिए, डेवलपर्स हायरस्पीच++ लेकर आए हैं, जो आवाज और पाठ से भाषण या टीटीएस रूपांतरण के लिए एक मजबूत और कुशल शून्य-शॉट भाषण सिंथेसाइज़र है। HierSpeech++ ढांचा पदानुक्रमित भाषण संश्लेषण ढांचे की सीख पर आधारित है जो न केवल मजबूती को बढ़ाता है, बल्कि सिंथेटिक भाषण आउटपुट की अभिव्यक्ति को भी बढ़ाता है, जबकि शून्य-शॉट सेटिंग में भी कृत्रिम रूप से उत्पन्न भाषण की स्वाभाविकता और वक्ता समानता को बढ़ाता है। 

इस लेख में, हम HierSpeech++ फ्रेमवर्क के बारे में विस्तार से बात करेंगे, और अत्याधुनिक टेक्स्ट और ऑडियो जेनरेशन मॉडल की तुलना में मॉडल की वास्तुकला, कार्यप्रणाली और परिणामों पर एक नज़र डालेंगे। तो चलो शुरू हो जाओ। 

HierSpeech++ : शून्य-शॉट वाक् संश्लेषण के लिए पदानुक्रमित भिन्नता अनुमान

HierSpeech++ एक तेज़, मजबूत और कुशल शून्य-शॉट भाषण संश्लेषण ढांचा है जो एक पदानुक्रमित भाषण संश्लेषण पाइपलाइन का उपयोग करता है, और इस अंत से अंत तक भाषण संश्लेषण ढांचे को अपनाकर, HierSpeech++ मॉडल उच्च गुणवत्ता वाली तरंग पीढ़ी की क्षमता को अधिकतम करने में सक्षम है। सिमेंटिक स्पीच प्रतिनिधित्व के रूप में स्व-पर्यवेक्षित भाषण प्रतिनिधित्व को अपनाकर सिमेंटिक और ध्वनिक अभ्यावेदन के बीच के अंतर को पदानुक्रम से पाटना, और इस प्रकार शैली अनुकूलन की वर्तमान सीमाओं को हल करने का प्रयास करना। एंड टू एंड स्पीच सिंथेसिस फ्रेमवर्क को सबसे पहले VITS मॉडल द्वारा पेश किया गया था, और यह प्रतिकूल प्रशिक्षण और सामान्यीकरण प्रवाह के साथ संवर्धित VAE या वेरिएशनल ऑटो-एनकोडर को अपनाता है। इसके अलावा, अंत से अंत तक प्रशिक्षण पाइपलाइन के साथ वीएई-आधारित फ्रेमवर्क में अवधारणात्मक भाषण संश्लेषण गुणवत्ता के साथ उच्च गुणवत्ता वाले तरंग ऑडियो उत्पन्न करने की क्षमता होती है, जो अन्य भाषण संश्लेषण ढांचे द्वारा उत्पन्न लोगों की तुलना में काफी बेहतर होती है। 

इन फ्रेमवर्क की ऑडियो पुनर्निर्माण गुणवत्ता को हायरस्पीच फ्रेमवर्क में उपयोग किए गए पदानुक्रमित सशर्त वेरिएशनल ऑटोएनकोडर का उपयोग करके और बढ़ाया जा सकता है। अपनी क्षमता के बावजूद, शुरू से अंत तक प्रशिक्षण पाइपलाइन आधारित मॉडल की कुछ सीमाएँ हैं, विशेष रूप से शून्य-शॉट सेटिंग में, भले ही वे उच्च-गुणवत्ता वाले ऑडियो के साथ भाषण नमूनों को संश्लेषित कर सकते हैं, शून्य-शॉट वॉयस क्लोनिंग कार्यों में स्पीकर समानता अभी भी उच्च स्तर पर है। अभिकलनात्मक जटिलता। वहीं दूसरी ओर, प्रसार-आधारित भाषण संश्लेषण मॉडल स्पीकर अनुकूलन के मामले में अच्छा प्रदर्शन करते हैं लेकिन वे अभी भी पूर्णता से बहुत दूर हैं क्योंकि वे एक इंटरैक्टिव पीढ़ी प्रक्रिया का उपयोग करते हैं जो इसकी अनुमान गति को धीमा कर देती है, वे अक्सर शोर डेटा के प्रति संवेदनशील होते हैं, और प्रशिक्षण और अनुमान के बीच बेमेल के परिणामस्वरूप मेल-स्पेक्ट्रोग्राम और उत्पन्न जमीनी सच्चाई के बीच दो चरण की उत्पादन प्रक्रिया में ऑडियो गुणवत्ता अच्छी नहीं है। 

अपने पूर्ववर्तियों द्वारा सामना किए गए मुद्दों से निपटने के लिए, हायरस्पीच++ मॉडल एक पदानुक्रमित वाक् सिंथेसाइज़र, एक वाक् सुपर-रिज़ॉल्यूशन और एक टेक्स्ट टू वीईसी घटक का उपयोग करता है, और पदानुक्रमित सशर्त वीएई या वेरिएशनल ऑटोएनकोडर पर निर्मित एक बेहतर पदानुक्रमित वाक् सिंथेसाइज़र पेश करता है। अवधारणात्मक गुणवत्ता से परे ऑडियो गुणवत्ता को बढ़ाने के प्रयास में, HierSpeech++ ढांचा ध्वनिक पश्च को बढ़ावा देने के लिए एक दोहरे ऑडियो को अपनाता है, और सशर्त और बिना शर्त पीढ़ी दोनों से सुसज्जित एक पदानुक्रमित अनुकूली जनरेटर को नियोजित करके वितरण सामान्यीकरण को बढ़ाता है। इसके अलावा, भाषण घटकों को सुलझाने और स्पीकर-संबंधित और स्पीकर-अज्ञेयवादी सिमेंटिक जानकारी को बढ़ाने के लिए, HierSpeech++ फ्रेमवर्क एक स्रोत-फ़िल्टर सिद्धांत-आधारित मल्टी-पाथ सिमेंटिक एनकोडर को भी अपनाता है। एक वैरिएशनल ऑटोएनकोडर को नियोजित करने के परिणामस्वरूप, HierSpeech++ मॉडल पदानुक्रम से अभ्यावेदन को कनेक्ट और सीख सकता है, और तरंग रूप ऑडियो का अनुमान लगाने के लिए लक्ष्य आवाज शैली को उत्तरोत्तर अनुकूलित कर सकता है। इसके अतिरिक्त, HierSpeech++ फ्रेमवर्क अनुकूलन को बढ़ाने के प्रयास में प्रवाह ट्रांसफार्मर को सामान्य करने का एक द्विदिशात्मक नेटवर्क भी तैनात करता है, और प्रशिक्षण और अनुमान के बीच बेमेल को भी कम करता है। 

कुल मिलाकर, HierSpeech++ मॉडल एक पूरी तरह से समानांतर, उपन्यास और मजबूत पदानुक्रमित भाषण संश्लेषण ढांचा है जिसका उद्देश्य शून्य-शॉट सेटिंग में भाषण नमूनों को संश्लेषित करना है, और निम्नलिखित योगदान देने का प्रयास करता है

• आवाज शैलियों और छंद को नियंत्रित और स्थानांतरित करने के लिए एक पदानुक्रमित भाषण संश्लेषण ढांचे का उपयोग करना। 
• 16 से 48 किलोहर्ट्ज़ तक तरंगरूप ऑडियो का अपसैंपलिंग करके डेटा स्केलेबिलिटी और उच्च-रिज़ॉल्यूशन वाक् संश्लेषण सक्षम करें। 
• शून्य-शॉट ध्वनि रूपांतरण और टेक्स्ट-टू-स्पीच कार्यों में मानव-स्तरीय क्षमता प्राप्त करें। 

हायरस्पीच++: मॉडल घटक और वास्तुकला

जैसा कि चर्चा की गई है, HierSpeech++ एक शून्य-शॉट भाषण संश्लेषण मॉडल है जो आवाज समानता और भाषण स्वाभाविकता के संदर्भ में मानव-स्तर की सटीकता प्राप्त करने का प्रयास करता है। 

HierSpeech++ मॉडल में एक पदानुक्रमित भाषण सिंथेसाइज़र, एक भाषण सुपर रिज़ॉल्यूशन और टीटीवी के लिए टेक्स्ट-टू-वेक सहित विभिन्न घटक शामिल हैं जो प्रत्येक मॉडल के प्रशिक्षण को सुविधाजनक बनाने के लिए एक-दूसरे के साथ समन्वयित होकर काम करते हैं जो बड़ी मात्रा में कम मात्रा का प्रभावी ढंग से उपयोग कर सकते हैं। वॉयस क्लोनिंग के लिए रिज़ॉल्यूशन स्पीच डेटा। आइए रूपरेखा को तोड़ें, और प्रत्येक घटक के बारे में बात करें। 

भाषण अभ्यावेदन

चूंकि मानव आवृत्ति बैंड 4 kHz से कम है, भाषण संश्लेषण के लिए, HierSpeech++ फ्रेमवर्क 16 kHz पर ऑडियो को डाउनसैंपल करता है। इसके अलावा ध्वनि संकेत के पुनर्निर्माण के लिए, ऑडियो नमूने को डाउनसैंपलिंग करने के अलावा ध्वनि आवृत्ति के कम से कम दोगुने उच्चतम घटक का उपयोग करना महत्वपूर्ण है। बेहतर अवधारणात्मक गुणवत्ता प्राप्त करने के लिए, HierSpeech++ फ्रेमवर्क ऑडियो सैंपल को 16 से 48 kHz तक बढ़ाने के लिए स्पीच सुपर रेजोल्यूशन या स्पीचएसआर घटक का उपयोग करता है, और सिमेंटिक और ध्वनिक अभ्यावेदन के लिए कम-रिज़ॉल्यूशन अभ्यावेदन का उपयोग करता है। 

ध्वनिक अभ्यावेदन के लिए, एक पारंपरिक टेक्स्ट टू स्पीच या टीटीएस फ्रेमवर्क एक मेल-स्पेक्ट्रोग्राम को अपने मध्यवर्ती ध्वनिक फीचर के रूप में नियोजित करता है जिसे फिर एक एसटीएफटी या शॉर्ट-टाइम फूरियर ट्रांसफॉर्म की मदद से तरंग रूप से बदल दिया जाता है। हालाँकि, यह ध्यान देने योग्य है कि चूंकि ध्वनिक विशेषताएँ सामग्री और उच्चारण, आवाज की जानकारी और अधिक सहित विभिन्न विशेषताओं से युक्त समृद्ध प्रतिनिधित्व हैं, जिससे ढांचे के लिए इन अभ्यावेदन का अनुमान लगाना मुश्किल हो जाता है, एक ऐसी स्थिति जो अक्सर गलत उच्चारण, समानता की कमी का कारण बनती है। या वाणी को अत्यधिक धीमा करना। 

आगे बढ़ते हुए, एक तरंग से निरंतर सिमेंटिक प्रतिनिधित्व निकालने के लिए, HierSpeech++ फ्रेमवर्क सिमेंटिक अभ्यावेदन के लिए लोकप्रिय स्व-पर्यवेक्षित भाषण प्रतिनिधित्व दृष्टिकोण के विपरीत Wav2Vec फ्रेमवर्क का उपयोग करता है। यद्यपि दृष्टिकोण एक समृद्ध मोनोलिंगुअल मॉडल के लिए एक अच्छा विकल्प बनाता है, यह विशेष रूप से बहुभाषी भाषण संश्लेषण कार्यों पर मजबूती और अभिव्यक्ति दोनों के संदर्भ में एक मॉडल की शून्य-शॉट आवाज क्लोनिंग क्षमताओं को प्रभावित करता है। 

पदानुक्रमित भाषण सिंथेसाइज़र

पदानुक्रमित भाषण सिंथेसाइज़र घटक HierSpeech++ ढांचे के लिए आधारशिला है क्योंकि यह पाठ प्रतिलेख या स्पीकर आईडी जैसे किसी भी लेबल का उपयोग किए बिना मॉड्यूल को प्रशिक्षित करने की अनुमति देता है, और केवल भाषण डेटा पर निर्भर करता है। ध्वनिक क्षमता को बढ़ाने के लिए, कला भाषण संश्लेषण मॉडल की पिछली स्थिति ने मेल-स्पेक्ट्रोग्राम को एक रैखिक स्पेक्ट्रोग्राम के साथ बदल दिया, हालांकि, दृष्टिकोण पिच आवधिकता, पीईएसक्यू, आवाज और अनवॉइस स्कोर और यहां तक ​​कि मेल के संदर्भ में केएल विचलन स्कोर को कम करता है। स्पेक्ट्रोग्राम दूरी. पदानुक्रमित भाषण सिंथेसाइज़र समृद्ध और अधिक व्यापक ध्वनिक प्रतिनिधित्व को पकड़ने के लिए डिज़ाइन किए गए रैखिक स्पेक्ट्रोग्राम का उपयोग करके प्रस्तुत चुनौतियों को हल करने के लिए एक दोहरी-ऑडियो ध्वनिक एनकोडर को नियोजित करता है। फ्रेमवर्क एक कच्चे वेवफॉर्म ऑडियो से जानकारी को डिस्टिल करने के लिए एक वेवफॉर्म एनकोडर को भी नियोजित करता है, और इसे रैखिक स्पेक्ट्रोग्राम प्रतिनिधित्व के साथ जोड़ता है, और अंत में ध्वनिक प्रतिनिधित्व को एक संक्षिप्त प्रतिनिधित्व के रूप में प्रोजेक्ट करता है। 

इसके अलावा, वक्ता-अज्ञेयवादी और वक्ता-संबंधित सिमेंटिक अभ्यावेदन से निपटने के लिए, हायरस्पीच++ ढांचा एक बहु-पथ स्व-पर्यवेक्षित भाषण प्रतिनिधित्व का उपयोग करता है जहां प्रत्येक व्यक्तिगत प्रतिनिधित्व का उपयोग भाषाई जानकारी प्राप्त करने के लिए निकाले गए सिमेंटिक अभ्यावेदन के साथ पदानुक्रमित शैली अनुकूलन के लिए किया जाता है। एमएमएस की मध्य परत. यह ढांचा वाक् असम्बद्धता को बढ़ाने के लिए एक मौलिक आवृत्ति का भी उपयोग करता है जो पिच समोच्च को मैन्युअल रूप से नियंत्रित करने में सक्षम बनाता है। फ़्रेमवर्क पदानुक्रमित रूप से तरंग रूप ऑडियो उत्पन्न करने के लिए सशर्त जानकारी के रूप में भाषाई प्रतिनिधित्व का भी उपयोग करता है, और स्व-पर्यवेक्षित प्रतिनिधित्व के उन्नत भाषाई प्रतिनिधित्व का उपयोग करता है। यह भी ध्यान देने योग्य है कि तरंगरूप और रैखिक स्पेक्ट्रोग्राम का उपयोग करके प्रशिक्षण के दौरान निकाले गए ध्वनिक अभ्यावेदन का उपयोग कच्चे तरंगरूप ऑडियो को फिर से बनाने के लिए किया जाता है, और ध्वनिक अभ्यावेदन को बहु-पथ भाषाई अभ्यावेदन के साथ जोड़ने के लिए एक पदानुक्रमित परिवर्तनीय अनुमान का उपयोग किया जाता है। ढाँचा भी एक को नियोजित करता है पदानुक्रमित अनुकूली जनरेटर(एचएजी) सिमेंटिक-टू-वेवफॉर्म नमूने उत्पन्न करने के लिए, और शैली प्रतिनिधित्व और एक ध्वनिक प्रतिनिधित्व वाले उत्पन्न प्रतिनिधित्व को स्रोत और तरंग रूप जेनरेटर को खिलाया जाता है। 

Vec को पाठ

टेक्स्ट टू स्पीच संश्लेषण के लिए, हायरस्पीच++ फ्रेमवर्क एक टेक्स्ट टू वीईसी या टीटीवी मॉडल को नियोजित करता है जो एक टेक्स्ट अनुक्रम से मौलिक आवृत्ति और एक अर्थपूर्ण प्रतिनिधित्व उत्पन्न करता है, और भाषण और टेक्स्ट को आंतरिक रूप से संरेखित करने के लिए एक वैरिएबल ऑटोएनकोडर के साथ मिलकर एक मोनोटोनिक संरेखण खोज का उपयोग करता है। HierSpeech++ फ्रेमवर्क तब रैखिक स्पेक्ट्रोग्राम को स्व-पर्यवेक्षित रैखिक प्रतिनिधित्व के साथ बदल देता है, और टीटीवी के लिए आउटपुट के रूप में काम करने के लिए उसी प्रतिनिधित्व का पुनर्निर्माण करता है। 

इसके अतिरिक्त, HierSpeech++ ढांचा स्व-पर्यवेक्षित भाषण अभ्यावेदन की तुलना में चार गुना बड़े रिज़ॉल्यूशन के साथ मौलिक आवृत्ति की भविष्यवाणी करता है, और पूर्व सूचना के रूप में एक सशर्त पाठ प्रतिनिधित्व का उपयोग करता है। स्व-पर्यवेक्षित भाषण अभ्यावेदन की अर्थ संबंधी जानकारी के परिणामस्वरूप, रूपरेखा पाठ में छंद शैली को वीईसी मॉडल में स्थानांतरित करने में सक्षम है, और प्रतिनिधित्व की भाषाई क्षमताओं को बढ़ाने के लिए फोनेम एनकोडर को एक अव्यक्त प्रतिनिधित्व खिलाती है। 

स्पीचएसआर या स्पीच सुपर रेजोल्यूशन

HierSpeech++ फ्रेमवर्क डेटा दक्षता और उपलब्धता के मामले में अपेक्षाकृत कम-रिज़ॉल्यूशन वाले डेटासेट पर प्रशिक्षित होता है, और 16 से 48 किलोहर्ट्ज़ तक कम-रिज़ॉल्यूशन वाले भाषण तरंग को उच्च-रिज़ॉल्यूशन वाले भाषण तरंग रूप में अप-सैंपल करता है। फ्रेमवर्क एक ट्रांसपोज़्ड कनवल्शन को निकटतम पड़ोसी अपसैंपलर से भी बदल देता है जिसे पहले ट्रांसपोज़्ड कनवल्शन के परिणामस्वरूप कलाकृतियों को कम करने के लिए जाना जाता है। 

आर्किटेक्चर

टेक्स्ट टू वीईसी मॉडल के कंटेंट एनकोडर में 16 के कर्नेल आकार और 5 के छिपे हुए आकार के साथ 256 गैर-कैज़ुअल वेवनेट परतें होती हैं, जबकि कंटेंट डिकोडर में 8 के कर्नेल आकार के साथ 5 गैर-कैज़ुअल वेवनेट परतें होती हैं, और एक 512 का छिपा हुआ आकार। टेक्स्ट एनकोडर घटक में तीन प्रोसोडी सशर्त ट्रांसफार्मर नेटवर्क और तीन बिना शर्त ट्रांसफार्मर नेटवर्क होते हैं, जिनका कर्नेल आकार 9, फ़िल्टर आकार 1024 और एक छिपा हुआ आकार 256 होता है, जिसमें टेक्स्ट एनकोडर का ड्रॉपआउट दर 0.2 होता है। आसन्न जानकारी को एन्कोड करने के लिए, और प्रोसोडी शैली अनुकूलन को बढ़ाने के लिए, फ्रेमवर्क ट्रांसफार्मर ब्लॉक में 5 के कर्नेल आकार के साथ एक सीएनएन को अपनाता है। दूसरी ओर, स्पीचएसआर में अपसैंपलिंग परत की उपस्थिति के बिना 32 प्रारंभिक चैनलों वाला एक एएमपी ब्लॉक शामिल है। फ़्रेमवर्क छिपे हुए अभ्यावेदन को अपसैंपल करने के लिए निकटतम पड़ोसी अपसैंपलर का उपयोग करता है और छह अलग-अलग विंडो आकारों और चार उप-बैंड विभेदकों के साथ विवेचक के रूप में एक एमपीडी का उपयोग करता है। 

उपरोक्त आंकड़ा HierSpeech++ ढांचे की अनुमान पाइपलाइन को दर्शाता है जो 16 kHz की आवृत्ति पर ऑडियो से सिमेंटिक अभ्यावेदन निकालने के साथ शुरू होता है, और YAPPT एल्गोरिथ्म का उपयोग करके मौलिक आवृत्ति पर। इससे पहले कि मौलिक आवृत्ति को पदानुक्रमित सिंथेसाइज़र को खिलाया जा सके, इसे स्रोत ऑडियो के मानक और माध्य विचलन का उपयोग करके सामान्यीकृत किया जाता है, और फिर लक्ष्य ऑडियो के मानक और माध्य विचलन का उपयोग करके सामान्यीकृत मौलिक आवृत्ति को असामान्य किया जाता है। पाठ से वाक् निष्कर्षण के लिए, HierSpeech++ ढांचा वाक् अभ्यावेदन के बजाय पाठ्य अभ्यावेदन निकालता है, और प्रोसोडी प्रॉम्प्ट से सिमेंटिक प्रतिनिधित्व उत्पन्न करने के लिए पाठ को वीईसी मॉडल में नियोजित करता है। 

प्रयोग और परिणाम

फ्रेमवर्क पदानुक्रमित सिंथेसाइज़र घटक को प्रशिक्षित करने के लिए सार्वजनिक रूप से उपलब्ध लिब्रीटीटीएस डेटासेट का उपयोग करता है, जिसमें पहले चरण में मॉडल को डेटासेट के ट्रेनक्लीन सबसेट के साथ प्रशिक्षित किया जाता है, और शेष डेटा का उपयोग आवाज शैली के बेहतर हस्तांतरण को सक्षम करने के लिए किया जाता है। इसके अतिरिक्त, विविधता और मजबूती में सुधार करने के लिए, फ्रेमवर्क डेटासेट को 1 kHz तक बढ़ाता है जैसा कि निम्नलिखित आंकड़े में दिखाया गया है। 

पुनर्निर्माण, पुनर्संश्लेषण कार्य और ध्वनि रूपांतरण

पुनर्निर्माण और पुनर्संश्लेषण कार्यों पर HierSpeech++ ढांचे के प्रदर्शन का मूल्यांकन करने के लिए, डेवलपर्स ने सात उद्देश्य मेट्रिक्स आयोजित किए, और परिणाम क्रमशः पुनर्निर्माण और पुनर्संश्लेषण कार्यों के लिए निम्नलिखित आंकड़ों में प्रदर्शित किए गए हैं। 

वॉयस रूपांतरण कार्यों के लिए, फ्रेमवर्क मूल्यांकन के लिए दो व्यक्तिपरक मेट्रिक्स का उपयोग करता है: वॉयस समानता एमओएस या एसएमओएस और स्वाभाविकता मतलब एनएमओएस का ओपिनियन स्कोर तीन स्वाभाविकता उद्देश्य मेट्रिक्स और दो समानता उद्देश्य मेट्रिक्स के साथ। 

आगे बढ़ते हुए, HierSpeech++ ढांचे का प्राथमिक उद्देश्य शून्य-शॉट भाषण संश्लेषण को सक्षम करना है, और शून्य-शॉट में इसके प्रदर्शन का मूल्यांकन करना है, इसकी तुलना ऑटोवीसी, वॉयसमिक्सर जैसे अन्य बेसमॉडल के साथ की जाती है। प्रसार-आधारित मॉडल, और भी बहुत कुछ जिसके परिणाम निम्नलिखित चित्र में प्रदर्शित किए जा रहे हैं। 

निम्नलिखित आंकड़े प्रदर्शित करते हैं जीरो-शॉट टेक्स्ट टू स्पीच परिणाम क्रमशः शोर वाले संकेतों और बहुत शोर वाले संकेतों के साथ आते हैं। 

निष्कर्ष

इस लेख में, हमने HierSpeech++ मॉडल के बारे में बात की है, जो शून्य-शॉट सेटिंग में मजबूत और प्रभावी भाषण संश्लेषण को सक्षम करने के लिए एक उपन्यास दृष्टिकोण है, और बड़ी मात्रा में प्रशिक्षण पर अत्यधिक निर्भरता सहित वर्तमान भाषण संश्लेषण ढांचे के सामने आने वाली सीमाओं को दूर करता है। डेटा, असतत भाषण इकाइयों या पूर्व-प्रशिक्षित तंत्रिका ऑडियो कोडेक पर निर्भरता, और ऑडियो आउटपुट को स्वचालित रूप से उत्पन्न करने की उनकी प्रवृत्ति जो अंततः मजबूती की कमी और धीमी हस्तक्षेप गति का कारण बनती है और गलत उच्चारण, छोड़ने या दोहराने में परिणाम देती है। HierSpeech++ मॉडल एक पूरी तरह से समानांतर, उपन्यास और मजबूत पदानुक्रमित भाषण संश्लेषण ढांचा है जिसका उद्देश्य शून्य-शॉट सेटिंग में भाषण नमूनों को संश्लेषित करना है, और निम्नलिखित योगदान देने का प्रयास करता है

• आवाज शैलियों और छंद को नियंत्रित और स्थानांतरित करने के लिए एक पदानुक्रमित भाषण संश्लेषण ढांचे का उपयोग करना। 
• 16 से 48 किलोहर्ट्ज़ तक तरंगरूप ऑडियो का अपसैंपलिंग करके डेटा स्केलेबिलिटी और उच्च-रिज़ॉल्यूशन वाक् संश्लेषण सक्षम करें। 
• शून्य-शॉट ध्वनि रूपांतरण और टेक्स्ट-टू-स्पीच कार्यों में मानव-स्तरीय क्षमता प्राप्त करें।