Fish Audio ने एआई आवाज़ों को निर्देशित करने और एक शब्द संपादित करने के लिए Drama 3 लॉन्च किया

संवाद की किसी पंक्ति में सभी सही शब्द हो सकते हैं, फिर भी उसका अभिनय गलत लग सकता है। विराम बहुत जल्दी आ जाता है। दृश्य में जहाँ झिझक होनी चाहिए, वहाँ किरदार आत्मविश्वास से भरा सुनाई देता है। किसी एक शब्द का गलत उच्चारण बाकी विश्वसनीय वर्णन को बिगाड़ देता है।

Fish Audio अपने नए टेक्स्ट-टू-स्पीच मॉडल Drama 3 के ज़रिए इन निर्माण-संबंधी समस्याओं को दूर करने की कोशिश कर रही है। इसकी घोषणा 13 अक्टूबर को की गई थी। कंपनी का कहना है कि रचनाकार सामान्य भाषा में आवाज़ के उतार-चढ़ाव और प्रस्तुति के निर्देश दे सकते हैं, कई वक्ताओं वाले दृश्य बना सकते हैं और आसपास के अभिनय को दोबारा तैयार किए बिना संश्लेषित ऑडियो के चुने हुए हिस्से को ठीक कर सकते हैं।

इसकी सबसे अहम सुविधा शायद सबसे छोटा संपादन है: आसपास की आवाज़, भाव और लय को जस का तस रखते हुए एक शब्द बदलना। ऑडियोबुक, डब की गई सामग्री, गेम या ऑडियो नाटक बनाने वाली टीमों के लिए कृत्रिम आवाज़ की उपयोगिता इस बात पर लगातार अधिक निर्भर करती है कि उसमें संशोधन करना कितना आसान है।

आवाज़ के अभिनय को दिशा देना

Drama 3 स्वर, गति और किरदार के बारे में दिए गए वर्णनों को समझता है। इनमें ऐसे निर्देश भी शामिल हैं जो एक ही वाक्य के दौरान बोलने के ढंग को बदल देते हैं। घोषणा के मुताबिक, किसी अंश की शुरुआत शांत ढंग से हो सकती है और फिर वह घबराहट भरा हो सकता है; हर भावनात्मक हिस्से के लिए उसे नए सिरे से तैयार करने की ज़रूरत नहीं पड़ती।

लॉन्च की घोषणा में Fish Audio की सह-संस्थापक और सीईओ Rissa Cao ने कहा, “वॉइस एआई बोली तैयार करने में बहुत अच्छा हो गया है। अगला कदम अभिनय को दिशा देना है।”

कंपनी का Drama 3 का सार्वजनिक पूर्वावलोकन पृष्ठ इन नियंत्रणों की अधिक ठोस झलक देता है। उपयोगकर्ता चौकोर कोष्ठकों में निर्देश, ध्वनियाँ और विराम जोड़ सकते हैं, या चुने हुए शब्दों पर जोड़ीदार टैग लगा सकते हैं। इससे लेखक किसी खास वाक्यांश तक फुसफुसाने, ज़ोर देने या धीमी गति से बोलने जैसे प्रभाव को सीमित कर सकते हैं। Auto Tag सुविधा किसी स्क्रिप्ट के लिए शुरुआती निर्देश भी सुझा सकती है, जिन्हें रचनाकार बाद में संशोधित कर सकते हैं।

इसका रचनात्मक महत्व स्पष्ट है: स्क्रिप्ट संवाद और अभिनय-निर्देशों—दोनों का रूप ले लेती है। लेखक एक ही संपादन योग्य पाठ में इस पर काम कर सकते हैं कि किरदार का आशय क्या है, कहाँ साँस लेनी है और किस वाक्यांश पर ज़ोर देना है।

ऑडियो इनपेंटिंग: बिगड़े हुए पल को सुधारना

Fish Audio के अनुसार, Drama 3 की ऑडियो इनपेंटिंग सुविधा से मौजूदा अभिनय का कोई हिस्सा चुना जा सकता है, उसके निर्देश बदले जा सकते हैं और आसपास का ऑडियो बरकरार रखते हुए उस हिस्से को फिर से तैयार किया जा सकता है। सह-संस्थापक और मुख्य वैज्ञानिक Shijia Liao का कहना है कि मॉडल संपादित किए जा रहे शब्द के दोनों ओर की ध्वनि का इस्तेमाल करता है, ताकि उसकी जगह आने वाला शब्द सहज लगे।

यह काम किसी अलग-थलग प्रतिस्थापन पंक्ति को तैयार करने से अलग है। नए ऑडियो को पहले से स्थापित अभिनय के साथ जुड़ना होता है: संपादन की सीमाओं पर समय-निर्धारण, स्वर-लय और आवाज़ की पहचान—सभी का विश्वसनीय बने रहना ज़रूरी है।

एक काल्पनिक ऑडियोबुक निर्माण की कल्पना करें, जिसमें वर्णनकर्ता किसी अनुच्छेद को सही ढंग से पढ़ता है, लेकिन एक नाम पर अटपटा ज़ोर देता है। लक्षित सुधार से अनुच्छेद के बाकी हिस्से का सफल वाचन बरकरार रखा जा सकता है। स्क्रिप्ट में बदलाव के बाद गेम टीम भी इसी तरीके से संवाद के किसी छोटे अंश को संशोधित कर सकती है।

ये कामकाज के संभावित फायदे हैं, उत्पादकता में मापे गए सुधार नहीं। इस रिलीज़ में इस बात का कोई स्वतंत्र मूल्यांकन नहीं दिया गया है कि अलग-अलग आवाज़ों, उच्चारणों या कठिन जोड़-बिंदुओं पर एक शब्द के सुधार आसपास के ऑडियो को कितनी विश्वसनीयता से बरकरार रखते हैं।

दृश्य, किरदार और बहुभाषी संगति

Drama 3 एक ही बार में कई वक्ताओं वाला पूरा दृश्य तैयार करने की सुविधा भी देता है। Fish Audio का कहना है कि हर किरदार की आवाज़ अलग बनी रहती है और वह उससे पहले हुए संवाद के संदर्भ में जवाब देता है। लॉन्च में लंबी स्क्रिप्टों में किरदारों की निरंतरता, एक दृश्य के भीतर भाषा बदलने और अंग्रेज़ी, चीनी, जापानी तथा कोरियाई सहित कई भाषाओं में ध्वनिम-स्तर पर उच्चारण को नियंत्रित करने की सुविधा पर ज़ोर दिया गया है।

संवाद में निरंतरता का मतलब सिर्फ़ यह पहचानना नहीं है कि कौन बोल रहा है। जवाब ऐसा सुनाई देना चाहिए मानो वह पिछली पंक्ति के बाद आया हो, न कि किसी क्रम में जोड़ दी गई असंबद्ध रिकॉर्डिंग हो। स्थानीयकरण में भाषाएँ बदलने पर उच्चारण और किरदार का व्यक्तित्व भी बरकरार रहना चाहिए।

कंपनी के दावे इन दोनों समस्याओं को संबोधित करते हैं, लेकिन असली कसौटी तैयार दृश्य होगा: वक्ताओं के बदलने, किसी अंश के संपादित होने या स्क्रिप्ट की भाषा बदलने पर श्रोताओं को आवाज़ की पहचान या प्रस्तुति में अचानक बदलाव सुनाई नहीं देना चाहिए।

Fish Audio की तकनीक में Drama 3 की जगह

निर्देशों को प्राथमिकता देने वाला यह तरीका उस शोध-मार्ग को आगे बढ़ाता है जिसका वर्णन Fish Audio पहले ही कर चुकी है। उसके पहले के S2 का शोध-प्रकाशन विशिष्ट शब्दों या वाक्यांशों के स्थान पर जोड़े गए प्राकृतिक भाषा के निर्देशों का समर्थन करता था। कंपनी ने दोहरी ऑटोरेग्रेसिव संरचना का वर्णन किया था, जो ऑडियो की समयरेखा के अनुसार भविष्यवाणी को अधिक सूक्ष्म ध्वनिक विवरण तैयार करने से अलग करती है। इसके साथ ही, स्पष्टता, निर्देशों के पालन और आवाज़ की समानता के लिए सुदृढीकरण-आधारित अधिगम से संरेखण भी शामिल था।

यह पिछला काम नियंत्रित की जा सकने वाली वाणी पर Fish Audio के ज़ोर को समझने के लिए उपयोगी संदर्भ देता है। लेकिन इससे Drama 3 की सटीक संरचना साबित नहीं होती: नई घोषणा में संरचनात्मक बदलाव का उल्लेख है, पर दोनों प्रणालियों को एक जैसा मानने या S2 के बेंचमार्क नतीजों को Drama 3 पर लागू करने के लिए पर्याप्त जानकारी प्रकाशित नहीं की गई है।

डेवलपरों के लिए, वाक्-से-पाठ API दस्तावेज़ में Drama 3 को मॉडल पहचानकर्ता के तहत सूचीबद्ध किया गया है drama-3-preview. बहु-वक्ता अनुरोधों में आवाज़ पहचानकर्ताओं की सूची और पाठ में वक्ता संकेतकों का उपयोग होता है। यह एंडपॉइंट गति, आवाज़ की तीव्रता, सैंपलिंग और WAV, PCM, MP3 तथा Opus सहित आउटपुट फ़ॉर्मैट के नियंत्रण भी उपलब्ध कराता है।

उत्पाद का सार्वजनिक पृष्ठ और API दस्तावेज़ अब भी Drama 3 को पूर्वावलोकन के रूप में बताते हैं। Fish Audio का कहना है कि अलग-अलग बार परिणाम बदल सकते हैं और मॉडल में बदलाव जारी रहेंगे। इसलिए, प्रोडक्शन टीमों को लॉन्च में बताई गई सुविधाओं के दावों और अपनी सामग्री पर उन्हें मिलने वाली निरंतरता के बीच अंतर करना चाहिए।

प्रोडक्शन टूल का मूल्यांकन उसके संशोधनों से होता है

Fish Audio का कहना है कि अब उसकी सेवा 15 मिलियन से अधिक उपयोगकर्ताओं तक पहुँचती है और उसका वार्षिक आवर्ती राजस्व 21 मिलियन डॉलर तक पहुँच गया है। कंपनी के अनुसार, ये आँकड़े Drama 3 को ऐसे व्यापक प्लेटफ़ॉर्म का हिस्सा बताते हैं जिसमें वाक् निर्माण, लिप्यंतरण, आवाज़ की नकल और रचनात्मक टूल शामिल हैं।

लॉन्च के अवसर पर, कंपनी का कहना है कि पहले 30 दिनों तक API के उपयोग पर 80% छूट मिलेगी और आवाज़ सेवा प्रदाता बदलने वाले पात्र उद्यमों को तीन महीने मुफ़्त मिलेंगे। मौजूदा योजनाओं और ऑफ़र की जानकारी के लिए पाठक Fish Audio का मूल्य निर्धारण पृष्ठ देख सकते हैं।

Drama 3 की उपयोगिता सबसे अधिक वहाँ सामने आती है जहाँ निर्माण और संशोधन मिलते हैं। पहली कोशिश में प्रभावशाली नतीजा मिलना उपयोगी है; लेकिन उसकी सफल बातों को बनाए रखते हुए कमज़ोर हिस्सों को सुधार पाना ही आवाज़ के मॉडल को प्रोडक्शन कार्यप्रवाह में आसानी से ढालने योग्य बनाता है। यह लॉन्च Fish Audio के अगले अध्याय में इसी क्षमता को केंद्र में रखता है।