टेक्स्ट-टू-स्पीच सिंथेसिस (TTS) में, इंस्टेंट वॉइस क्लोनिंग (IVC) TTS मॉडल को किसी भी रेफरेंस स्पीकर की आवाज को एक छोटे ऑडियो नमूने का उपयोग करके क्लोन करने की अनुमति देता है, बिना रेफरेंस स्पीकर के लिए अतिरिक्त प्रशिक्षण की आवश्यकता के। यह तकनीक ज़ीरो-शॉट टेक्स्ट-टू-स्पीच सिंथेसिस के रूप में भी जानी जाती है। इंस्टेंट वॉइस क्लोनिंग दृष्टिकोण से उत्पन्न आवाज के लिए लचीली अनुकूलन की अनुमति देता है और वास्तविक दुनिया की स्थितियों में महत्वपूर्ण मूल्य प्रदर्शित करता है, जिसमें अनुकूलित चैटबॉट, सामग्री निर्माण और बड़े भाषा मॉडल (LLM) के साथ मानव इंटरैक्शन शामिल हैं।

हालांकि वर्तमान वॉइस क्लोनिंग फ्रेमवर्क अपना काम अच्छी तरह से करते हैं, वे क्षेत्र में कुछ चुनौतियों से भरे हुए हैं, जिनमें लचीला वॉइस शैली नियंत्रण शामिल है, अर्थात मॉडल वॉइस शैलियों को लचीले ढंग से हेरफेर करने में असमर्थ हैं। वर्तमान इंस्टेंट क्लोनिंग फ्रेमवर्क द्वारा सामना की जाने वाली एक और बड़ी बाधा ज़ीरो-शॉट क्रॉस-लिंगुअल वॉइस क्लोनिंग है, अर्थात प्रशिक्षण के लिए, वर्तमान मॉडल को भाषा की परवाह किए बिना एक व्यापक बड़े-स्पीकर बहु-भाषाई या एमएसएमएल डेटासेट तक पहुंच की आवश्यकता होती है।

इन मुद्दों से निपटने के लिए, और इंस्टेंट वॉइस क्लोनिंग मॉडल के सुधार में योगदान देने के लिए, डेवलपर्स ने ओपनवॉइस पर काम किया है, एक बहुमुखी इंस्टेंट वॉइस क्लोनिंग फ्रेमवर्क जो किसी भी उपयोगकर्ता की आवाज की नकल करता है और एक रेफरेंस स्पीकर से एक छोटे ऑडियो क्लिप का उपयोग करके कई भाषाओं में भाषण उत्पन्न करता है। ओपनवॉइस यह प्रदर्शित करता है कि इंस्टेंट वॉइस क्लोनिंग मॉडल रेफरेंस स्पीकर के टोन रंग की नकल कर सकते हैं, और एक्सेंट, लय, स्वर, पॉज और यहां तक कि भावनाओं सहित वॉइस शैलियों पर सूक्ष्म नियंत्रण प्राप्त कर सकते हैं। और भी प्रभावशाली बात यह है कि ओपनवॉइस फ्रेमवर्क एमएसएमएल डेटासेट के बाहर की भाषाओं के लिए शून्य-शॉट क्रॉस-लिंगुअल वॉइस क्लोनिंग में उल्लेखनीय क्षमता प्रदर्शित करता है, जिससे ओपनवॉइस उस भाषा के लिए व्यापक पूर्व-प्रशिक्षण के बिना आवाजों को क्लोन करने में सक्षम हो जाता है। ओपनवॉइस इंस्टेंट वॉइस क्लोनिंग परिणामों को कम Inferior प्रदर्शन वाले वर्तमान उपलब्ध एपीआई की तुलना में 10 गुना कम लागत पर वितरित करने में सक्षम है।

इस लेख में, हम ओपनवॉइस फ्रेमवर्क के बारे में गहराई से चर्चा करेंगे, और इसकी वास्तुकला का पता लगाएंगे जो इसे इंस्टेंट वॉइस क्लोनिंग कार्यों में उत्कृष्ट प्रदर्शन प्रदान करने में सक्षम बनाती है। तो आइए शुरू करें।

ओपनवॉइस: बहुमुखी इंस्टेंट वॉइस क्लोनिंग

जैसा कि पहले उल्लेख किया गया है, इंस्टेंट वॉइस क्लोनिंग, जिसे ज़ीरो-शॉट टेक्स्ट-टू-स्पीच सिंथेसिस के रूप में भी जाना जाता है, TTS मॉडल को एक छोटे ऑडियो नमूने का उपयोग करके किसी भी रेफरेंस स्पीकर की आवाज को क्लोन करने की अनुमति देता है, बिना रेफरेंस स्पीकर के लिए अतिरिक्त प्रशिक्षण की आवश्यकता के। इंस्टेंट वॉइस क्लोनिंग हमेशा एक गर्म शोध विषय रहा है, जिसमें मौजूदा कार्यों में XTTS और VALLE फ्रेमवर्क शामिल हैं जो रेफरेंस ऑडियो से स्पीकर एम्बेडिंग और/या एकουσ्टिक टोकन निकालते हैं जो ऑटो-रिग्रेसिव मॉडल के लिए एक स्थिति के रूप में कार्य करता है। ऑटो-रिग्रेसिव मॉडल तब एकουσ्टिक टोकन को क्रमिक रूप से उत्पन्न करता है, और फिर इन टोकन को एक कच्चे ऑडियो वेवफॉर्म में डिकोड करता है।

हालांकि ऑटो-रिग्रेसिव इंस्टेंट वॉइस क्लोनिंग मॉडल टोन रंग को उल्लेखनीय रूप से क्लोन करते हैं, वे एक्सेंट, भावना, पॉज और लय जैसे अन्य शैली पैरामीटर को हेरफेर करने में कमी महसूस करते हैं। इसके अलावा, ऑटो-रिग्रेसिव मॉडल कम अनुमान गति का अनुभव करते हैं, और उनकी संचालन लागत बहुत अधिक है। YourTTS फ्रेमवर्क जैसे मौजूदा दृष्टिकोण एक गैर-ऑटो-रिग्रेसिव दृष्टिकोण का उपयोग करते हैं जो ऑटो-रिग्रेसिव दृष्टिकोण फ्रेमवर्क की तुलना में काफी तेज अनुमान भाषण प्रदर्शित करता है, लेकिन अभी भी अपने उपयोगकर्ताओं को शैली पैरामीटर पर लचीला नियंत्रण प्रदान करने में असमर्थ हैं। इसके अलावा, ऑटो-रिग्रेसिव-आधारित और गैर-ऑटो-रिग्रेसिव-आधारित दोनों इंस्टेंट वॉइस क्लोनिंग फ्रेमवर्क को क्रॉस-लिंगुअल वॉइस क्लोनिंग के लिए एक बड़े एमएसएमएल या बड़े-स्पीकर बहु-भाषाई डेटासेट तक पहुंच की आवश्यकता होती है।

वर्तमान इंस्टेंट वॉइस क्लोनिंग फ्रेमवर्क का सामना करने वाली चुनौतियों का सामना करने के लिए, डेवलपर्स ने ओपनवॉइस पर काम किया है, एक ओपन-सोर्स इंस्टेंट वॉइस क्लोनिंग लाइब्रेरी जो वर्तमान आईवीसी फ्रेमवर्क का सामना करने वाली निम्नलिखित चुनौतियों को हल करने का उद्देश्य रखती है:

1. पहली चुनौती आईवीसी फ्रेमवर्क को टोन रंग के अलावा शैली पैरामीटर पर लचीला नियंत्रण प्रदान करने में सक्षम बनाना है, जिसमें एक्सेंट, लय, स्वर और पॉज शामिल हैं। शैली पैरामीटर संदर्भ में प्राकृतिक बातचीत और भाषण उत्पन्न करने के लिए महत्वपूर्ण हैं, न कि इनपुट पाठ को एकरस तरीके से सुनाने के लिए।
2. दूसरी चुनौती आईवीसी फ्रेमवर्क को शून्य-शॉट सेटिंग में क्रॉस-लिंगुअल आवाज क्लोन करने में सक्षम बनाना है।
3. अंतिम चुनौती उच्च वास्तविक समय अनुमान गति को प्राप्त करना है बिना गुणवत्ता को खराब किए।

पहली दो बाधाओं को दूर करने के लिए, ओपनवॉइस फ्रेमवर्क की वास्तुकला को आवाज के घटकों को अपनी सबसे अच्छी क्षमता के अनुसार अलग करने के लिए डिज़ाइन किया गया है। इसके अलावा, ओपनवॉइस टोन रंग, भाषा और अन्य वॉइस विशेषताओं को स्वतंत्र रूप से उत्पन्न करता है, जिससे फ्रेमवर्क को व्यक्तिगत भाषा प्रकार और वॉइस शैलियों पर लचीले ढंग से हेरफेर करने में सक्षम बनाता है। ओपनवॉइस फ्रेमवर्क तीसरी चुनौती का सामना करता है क्योंकि डिकपल्ड संरचना कम्प्यूटेशनल जटिलता और मॉडल आकार आवश्यकताओं को कम करती है।

ओपनवॉइस: विधि और वास्तुकला

ओपनवॉइस फ्रेमवर्क का तकनीकी फ्रेमवर्क प्रभावी और आश्चर्यजनक रूप से सरल है। यह कोई रहस्य नहीं है कि किसी भी स्पीकर के लिए टोन रंग की नकल करना, नई भाषा जोड़ना और एक ही समय में वॉइस पैरामीटर पर लचीला नियंत्रण प्रदान करना चुनौतीपूर्ण हो सकता है। यह इसलिए है क्योंकि इन तीन कार्यों को एक साथ निष्पादित करने के लिए नियंत्रित पैरामीटर को एक बड़े संयोजन डेटासेट का उपयोग करके अंतर करने की आवश्यकता होती है। इसके अलावा, नियमित एकल स्पीकर टेक्स्ट-टू-स्पीच सिंथेसिस में, जो कार्यों के लिए वॉइस क्लोनिंग की आवश्यकता नहीं है, अन्य शैली पैरामीटर पर नियंत्रण जोड़ना आसान है। इन पर निर्माण करते हुए, ओपनवॉइस फ्रेमवर्क इंस्टेंट वॉइस क्लोनिंग कार्यों को उपकार्यों में विभाजित करने का प्रस्ताव करता है। मॉडल एक बेस स्पीकर टेक्स्ट-टू-स्पीच मॉडल का उपयोग करने का प्रस्ताव करता है ताकि भाषा और शैली पैरामीटर पर नियंत्रण किया जा सके, और एक टोन रंग परिवर्तक का उपयोग करके उत्पन्न आवाज में रेफरेंस टोन रंग शामिल किया जा सके। निम्नलिखित चित्र फ्रेमवर्क की वास्तुकला को दर्शाता है।

इसके मूल में, ओपनवॉइस फ्रेमवर्क दो घटकों का उपयोग करता है: एक टोन रंग परिवर्तक, और एक बेस स्पीकर टेक्स्ट-टू-स्पीच या TTS मॉडल। बेस स्पीकर टेक्स्ट-टू-स्पीच मॉडल एक एकल-स्पीकर या मल्टी-स्पीकर मॉडल हो सकता है जो शैली पैरामीटर, भाषा और एक्सेंट पर सटीक नियंत्रण की अनुमति देता है। मॉडल एक आवाज उत्पन्न करता है जो फिर टोन रंग परिवर्तक को पारित किया जाता है, जो बेस स्पीकर टोन रंग को रेफरेंस स्पीकर के टोन रंग में बदल देता है।

ओपनवॉइस फ्रेमवर्क बेस स्पीकर टेक्स्ट-टू-स्पीच मॉडल के साथ बहुत लचीला है क्योंकि यह VITS मॉडल का उपयोग कर सकता है जिसे थोड़ा संशोधित किया जा सकता है ताकि यह अपने ड्यूरेशन प्रेडिक्टर और टेक्स्ट एनकोडर में भाषा और शैली एम्बेडिंग को स्वीकार कर सके। फ्रेमवर्क माइक्रोसॉफ्ट TTS जैसे मॉडल का भी उपयोग कर सकता है जो व्यावसायिक रूप से सस्ते हैं या InstructTTS जैसे मॉडल जो शैली प्रॉम्प्ट स्वीकार करने में सक्षम हैं। वर्तमान में, ओपनवॉइस फ्रेमवर्क VITS मॉडल का उपयोग करता है, हालांकि अन्य मॉडल भी एक व्यवहार्य विकल्प हैं।

दूसरे घटक, टोन रंग परिवर्तक, के बारे में बात करते हुए, यह एक एनकोडर-डिकोडर घटक है जिसमें केंद्र में एक इनवर्टिबल नॉर्मलाइजिंग फ्लो है। टोन रंग परिवर्तक में एनकोडर घटक एक एक-D CNN है जो बेस स्पीकर टेक्स्ट-टू-स्पीच मॉडल के शॉर्ट-टाइम फोरियर ट्रांसफॉर्म्ड स्पेक्ट्रम को इनपुट के रूप में स्वीकार करता है। एनकोडर फीचर मैप्स को आउटपुट के रूप में उत्पन्न करता है। टोन रंग निकालनेवाला एक सरल दो-D CNN है जो इनपुट वॉइस के मेल-स्पेक्ट्रोग्राम पर कार्य करता है और टोन रंग की जानकारी को एनकोड करने वाला एक एकल फीचर वेक्टर को आउटपुट के रूप में उत्पन्न करता है। नॉर्मलाइजिंग फ्लो परतें एनकोडर द्वारा उत्पन्न फीचर मैप्स को इनपुट के रूप में स्वीकार करती हैं और एक फीचर प्रतिनिधित्व उत्पन्न करती हैं जो सभी शैली विशेषताओं को बनाए रखता है लेकिन टोन रंग जानकारी को समाप्त कर देता है। ओपनवॉइस फ्रेमवर्क फिर नॉर्मलाइजिंग फ्लो परतों को विपरीत दिशा में लागू करता है, और फीचर प्रतिनिधित्व को इनपुट के रूप में लेता है और नॉर्मलाइजिंग फ्लो परतों को आउटपुट के रूप में उत्पन्न करता है। फ्रेमवर्क फिर एक स्टैक ऑफ ट्रांसपोज्ड वन-डी कॉनवोल्यूशंस का उपयोग करके नॉर्मलाइजिंग फ्लो परतों को कच्चे वेवफॉर्म में डिकोड करता है।

ओपनवॉइस फ्रेमवर्क की पूरी वास्तुकला फीड फॉरवर्ड है और इसमें कोई ऑटो-रिग्रेसिव घटक नहीं है। टोन रंग परिवर्तक घटक वॉइस रूपांतरण के साथ स概念 स्तर पर समान है, लेकिन कार्यक्षमता, प्रशिक्षण उद्देश्यों और मॉडल संरचना में एक प्रेरित पूर्वाग्रह में भिन्न है। नॉर्मलाइजिंग फ्लो परतें फ्लो-आधारित टेक्स्ट-टू-स्पीच मॉडल की समान संरचना साझा करती हैं, लेकिन कार्यक्षमता और प्रशिक्षण उद्देश्यों में भिन्न हैं।

इसके अलावा, फीचर प्रतिनिधित्व निकालने के लिए एक अलग दृष्टिकोण है, ओपनवॉइस फ्रेमवर्क द्वारा लागू की गई विधि बेहतर ऑडियो गुणवत्ता प्रदान करती है। यह भी ध्यान देने योग्य है कि ओपनवॉइस फ्रेमवर्क मॉडल वास्तुकला में घटकों का आविष्कार करने का इरादा नहीं है, बल्कि टोन रंग परिवर्तक और बेस स्पीकर टीटीएस मॉडल दोनों मौजूदा कार्यों से लिए गए हैं। ओपनवॉइस फ्रेमवर्क का प्राथमिक उद्देश्य एक डिकपल्ड फ्रेमवर्क बनाना है जो भाषा नियंत्रण और वॉइस शैली को टोन रंग क्लोनिंग से अलग करता है। हालांकि दृष्टिकोण सरल है, यह विशेष रूप से शैली और एक्सेंट नियंत्रण या नई भाषा सामान्यीकरण कार्यों पर प्रभावी है। जोड़े हुए फ्रेमवर्क का उपयोग करके समान नियंत्रण प्राप्त करने के लिए बड़ी मात्रा में कम्प्यूटिंग और डेटा की आवश्यकता होती है, और यह नई भाषाओं में अच्छी तरह से सामान्य नहीं होता है।

ओपनवॉइस फ्रेमवर्क की मुख्य दर्शन यह है कि भाषा और वॉइस शैली के उत्पादन को टोन रंग के उत्पादन से अलग करना। ओपनवॉइस फ्रेमवर्क की एक प्रमुख ताकत यह है कि क्लोन की गई आवाज स्पष्ट और उच्च गुणवत्ता वाली है जब तक कि एकल-स्पीकर TTS स्पष्ट रूप से बोलता है।

ओपनवॉइस: प्रयोग और परिणाम

वॉइस क्लोनिंग कार्यों का मूल्यांकन करना एक कठिन उद्देश्य है क्योंकि कई कारणों से। सबसे पहले, मौजूदा कार्य अक्सर अलग-अलग प्रशिक्षण और परीक्षण डेटा का उपयोग करते हैं जो इन कार्यों की तुलना को अंतर्निहित रूप से अनुचित बनाता है। हालांकि क्राउडसोर्सिंग का उपयोग मीन ऑपिनियन स्कोर जैसे मेट्रिक्स का मूल्यांकन करने के लिए किया जा सकता है, परीक्षण डेटा की कठिनाई और विविधता परिणाम को महत्वपूर्ण रूप से प्रभावित करेगी। दूसरा, विभिन्न वॉइस क्लोनिंग विधियों में अलग-अलग प्रशिक्षण डेटा होते हैं, और डेटा की विविधता और पैमाने परिणाम को महत्वपूर्ण रूप से प्रभावित करते हैं। अंत में, मौजूदा कार्यों का प्राथमिक उद्देश्य एक दूसरे से भिन्न होता है, इसलिए वे अपने कार्यों में भिन्न होते हैं।

उपरोक्त तीन कारणों से, मौजूदा वॉइस क्लोनिंग फ्रेमवर्क की तुलना संख्यात्मक रूप से करना अनुचित है। इसके बजाय, इन विधियों की तुलना गुणात्मक रूप से करना अधिक समझदारी है।

सटीक टोन रंग क्लोनिंग

इसके प्रदर्शन का विश्लेषण करने के लिए, डेवलपर्स ने एक परीक्षण सेट बनाया है जिसमें गेम किरदार और सेलिब्रिटी शामिल हैं जो रेफरेंस स्पीकर बेस के रूप में कार्य करते हैं, और इसमें तटस्थ नमूनों और विशिष्ट अभिव्यंजक आवाजों सहित व्यापक आवाज वितरण है। ओपनवॉइस फ्रेमवर्क रेफरेंस टोन रंग की नकल करने में सक्षम है और किसी भी रेफरेंस स्पीकर और 4 बेस स्पीकर के लिए कई भाषाओं और एक्सेंट में भाषण उत्पन्न करता है।

वॉइस शैलियों पर लचीला नियंत्रण

ओपनवॉइस फ्रेमवर्क का एक उद्देश्य टोन रंग परिवर्तक का उपयोग करके वॉइस शैलियों को लचीले ढंग से नियंत्रित करना है जो टोन रंग को बदल सकता है जबकि अन्य सभी वॉइस विशेषताओं और विशेषताओं को बनाए रखता है।

प्रयोग से पता चलता है कि मॉडल टोन रंग रूपांतरण के बाद वॉइस शैलियों को बनाए रखता है। कुछ मामलों में, हालांकि, मॉडल भावनाओं को थोड़ा तटस्थ बना देता है, एक समस्या जिसे फ्लो परतों को कम जानकारी पारित करके हल किया जा सकता है ताकि वे भावना को समाप्त न कर सकें। ओपनवॉइस फ्रेमवर्क टोन रंग परिवर्तक का उपयोग करके बेस वॉइस से शैलियों को बनाए रखने में सक्षम है। यह ओपनवॉइस फ्रेमवर्क को बेस स्पीकर टेक्स्ट-टू-स्पीच मॉडल को आसानी से वॉइस शैलियों पर नियंत्रण प्रदान करने में सक्षम बनाता है।

क्रॉस-लिंगुअल वॉइस क्लोन

ओपनवॉइस फ्रेमवर्क में एक अनदेखी भाषा के लिए कोई बड़े-स्पीकर डेटा शामिल नहीं है, फिर भी यह शून्य-शॉट सेटिंग में लगभग क्रॉस-लिंगुअल वॉइस क्लोनिंग हासिल करने में सक्षम है। ओपनवॉइस फ्रेमवर्क की क्रॉस-लिंगुअल वॉइस क्लोनिंग क्षमताएं दो गुना हैं:

1. मॉडल एमएसएमएल डेटासेट में अनदेखी भाषा के लिए रेफरेंस स्पीकर के टोन रंग की नकल करने में सक्षम है।
2. इसके अलावा, जब रेफरेंस स्पीकर की भाषा एमएसएमएल डेटासेट में अनदेखी होती है, तो ओपनवॉइस फ्रेमवर्क रेफरेंस स्पीकर की आवाज की नकल करने में सक्षम होता है और बेस स्पीकर टेक्स्ट-टू-स्पीच मॉडल द्वारा समर्थित भाषा में बोलता है।

अंतिम विचार

इस लेख में, हमने ओपनवॉइस के बारे में बात की है, एक बहुमुखी इंस्टेंट वॉइस क्लोनिंग फ्रेमवर्क जो किसी भी उपयोगकर्ता की आवाज की नकल करता है और एक रेफरेंस स्पीकर से एक छोटे ऑडियो क्लिप का उपयोग करके कई भाषाओं में भाषण उत्पन्न करता है। ओपनवॉइस के पीछे प्राथमिक अंतर्दृष्टि यह है कि जब तक मॉडल को रेफरेंस स्पीकर के टोन रंग की नकल करने की आवश्यकता नहीं है, एक फ्रेमवर्क एक बेस स्पीकर टीटीएस मॉडल का उपयोग करके भाषा और वॉइस शैली पर नियंत्रण प्रदान कर सकता है।

ओपनवॉइस यह प्रदर्शित करता है कि इंस्टेंट वॉइस क्लोनिंग मॉडल रेफरेंस स्पीकर के टोन रंग की नकल कर सकते हैं और एक्सेंट, लय, स्वर, पॉज और यहां तक कि भावनाओं सहित वॉइस शैलियों पर सूक्ष्म नियंत्रण प्राप्त कर सकते हैं। ओपनवॉइस इंस्टेंट वॉइस क्लोनिंग परिणामों को कम Inferior प्रदर्शन वाले वर्तमान उपलब्ध एपीआई की तुलना में 10 गुना कम लागत पर वितरित करने में सक्षम है।