साक्षात्कार

एंटन ड्वोरकोविच, डबफॉर्मर के सीईओ और संस्थापक – साक्षात्कार श्रृंखला

Antoine Tardif
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुभावनात्मक रूप से प्रामाणिक प्रस्तुतियों में AI डबिंग अभी भी विफल रहती है, भले ही आवाज़…
और देखें
  • भावनात्मक रूप से प्रामाणिक प्रस्तुतियों में AI डबिंग अभी भी विफल रहती है, भले ही आवाज़ मानव जैसी सुनाई दे।
  • VOX-DUB का खुला बेंचमार्क कंपनियों को मापने योग्य साक्ष्य के साथ डबिंग गुणवत्ता के दावों को सिद्ध करने के लिए बाध्य करता है।
  • AI स्थानीयकरण स्वतंत्र रचनाकारों को वैश्विक दर्शकों तक पहुँचने की सुविधा देगा, जो कभी केवल बड़े स्टूडियो के लिए आरक्षित थी।

एंटन ड्वोरकोविच, डबफॉर्मर के सीईओ और संस्थापक, ने एक दशक से अधिक समय तक एआई, भाषा और भाषण प्रौद्योगिकियों के संगम को आकार देने में बिताया है। 2023 में डबफॉर्मर लॉन्च करने से पहले, उन्होंने यांडेक्स में प्रमुख मशीन लर्निंग और एनएलपी पहलों का नेतृत्व किया, जिसमें यांडेक्स ट्रांस्लेट, यांडेक्स कीबोर्ड और वॉयस असिस्टेंट अलिस जैसे उत्पादों की देखरेख की, जो लाखों उपयोगकर्ताओं को सेवा प्रदान करते हैं। नेबियस में, उन्होंने एआई के प्रमुख के रूप में कार्य किया, जिसमें बुद्धिमान प्रणालियों के लिए बड़े पैमाने पर बुनियादी ढांचे को आगे बढ़ाया गया। 100 से अधिक इंजीनियरों, विकासकर्ताओं और शोधकर्ताओं की क्रॉस-फंक्शनल टीमों का प्रबंधन करने का उनका अनुभव डबफॉर्मर के दृष्टिकोण के लिए आधार प्रदान करता है – उन्नत एआई डबिंग के माध्यम से भाषा विभाजन को पुल करना।

डबफॉर्मर एम्स्टर्डम में मुख्यालय वाली एक एआई-संचालित डबिंग स्टार्टअप है, जिसने पहले से ही एक मिलियन मिनट से अधिक स्थानीयकृत वीडियो सामग्री को संसाधित किया है। कंपनी सिंथेटिक आवाजों का उपयोग करके वीडियो का अनुवाद और डबिंग में माहिर है, जो भावनात्मक स्वर, समय और वक्ता की व्यक्तिगतता को संरक्षित करती है, जिससे रचनाकारों, स्टूडियो और उद्यमों को अपनी सामग्री को विश्व स्तर पर सुलभ बनाने में मदद मिलती है। इसका प्लेटफ़ॉर्म भाषण पहचान, आवाज़ क्लोनिंग और अनुवाद के लिए गहरे शिक्षण मॉडल का लाभ उठाता है, जो पारंपरिक डबिंग टूल्स की तुलना में प्राकृतिक ध्वनि वाले परिणाम प्रदान करता है।

यांडेक्स और नेबियस में एनएलपी और भाषण टीमों का नेतृत्व करने के बाद, आपने एक समर्पित एआई डबिंग कंपनी बनाने के लिए क्या प्रेरित किया, और उन अनुभवों ने आपके दृष्टिकोण को कैसे आकार दिया?

यांडेक्स में एनएलपी के प्रमुख के रूप में काम करते हुए, मैंने प्रौद्योगिकी के साथ भाषा बाधाओं को तोड़ने के प्रति एक जुनून विकसित किया। मैंने (और मैंने भाग लिया) मशीन अनुवाद में जो एआई क्रांति हुई – और फिर मुझे एहसास हुआ कि एक बड़ा अंतर अभी भी अधिकांशतः हल नहीं हुआ है मीडिया अनुवाद (ऑडियो और वीडियो) है। जब आप देखते हैं कि पाठ अनुवाद लगभग सही हो जाता है, तो आप पूछना शुरू करते हैं: लोगों को हिलाने वाली कहानियों के बारे में क्या? जो प्रदर्शन आपको हंसाते हैं या रुलाते हैं? इसलिए हमने एआई डबिंग प्रौद्योगिकी बनाने की चुनौती को स्वीकार करने और मीडिया अनुवाद को केवल समझने योग्य से परे ले जाने का फैसला किया जो वास्तव में आनंददायक हो। यही कारण है कि हमने डबफॉर्मर लॉन्च किया।

आपने मीडिया स्थानीयकरण में कौन सा विशिष्ट अंतराल पहचाना, और आपके दृष्टिकोण में न्यूरल मशीन अनुवाद और वॉयस प्रौद्योगिकियों के आपके अनुभव का क्या प्रभाव पड़ा?

आजकल मीडिया स्थानीयकरण लगभग पूरी तरह से वॉयस अभिनेताओं के साथ किया जाता है, और इसके कई नुकसान हैं: यह बहुत महंगा है, परिवर्तन समय धीमा है, और इसे स्केल करना बहुत मुश्किल है और लोगों के प्रबंधन में बहुत अधिक ओवरहेड्स की ओर जाता है। इसे सोचें: पारंपरिक डबिंग शिल्प अद्भुत है, लेकिन वे प्रतिबंध इसका मतलब है कि कई परियोजनाएं कभी भी डब नहीं की जाती हैं। वास्तव में, 95% सामग्री केवल मूल भाषा में उपलब्ध है। यह वह अंतर है जिसे हम संबोधित कर रहे हैं।

वॉक्स-डब बेंचमार्क एआई डबिंग गुणवत्ता का मूल्यांकन करने के लिए एक महत्वपूर्ण मील का पत्थर है। इस भागीदारी से आपको क्या अंतर्दृष्टि मिली कि उद्योग वर्तमान में कहां खड़ा है?

वॉक्स-डब परिणामों ने कुछ महत्वपूर्ण खुलासा किया: उद्योग ने पहले से ही मानव-जैसे ध्वनि वाले एआई वॉइसओवर की समस्या का समाधान कर लिया है जहां भावनात्मक घटक महत्वपूर्ण नहीं है। हालांकि, भावनाओं को वास्तव में महत्वपूर्ण बनाने वाली सामग्री को डब करना अभी भी एक हल नहीं हुआ चुनौती, भले ही यह लगता है कि सब कुछ पहले से ही हल हो गया है। कई प्रणालियां समझने योग्य भाषण उत्पन्न कर सकती हैं, लेकिन कुछ ही प्रदर्शन बना सकती हैं जो मूल के साथ वास्तविक और भावनात्मक रूप से संरेखित हैं। हमने पाठ को जोर से पढ़ना सीखा है, लेकिन हम अभी भी दृश्यों को वास्तव में प्रदर्शन करना सीख रहे हैं।

आप वॉइस फिडेलिटी और समग्र भाषण गुणवत्ता के बीच संतुलन कैसे बनाते हैं?

वास्तव में, अक्सर व्यापार बंद नहीं होता है वॉयस फिडेलिटी और गुणवत्ता के बीच, लेकिन भावनात्मक, स्वर और अभिव्यंजक हस्तांतरण की गहराई और परिणाम की स्थिरता के बीच है। जितना अधिक आप हस्तांतरण करने का प्रयास करते हैं, उतना ही अधिक जोखिम होता है कि आप कुछ गलत तरीके से ले जा रहे हैं, खासकर जब भावनाएं अलग-अलग भाषाओं में अलग-अलग लगती हैं और व्यक्त की जाती हैं। एक भाषा में जो उत्साही लगता है वह दूसरी भाषा में अस्वाभाविक या यहां तक कि परेशान करने वाला भी लग सकता है। हम भावनात्मक सटीकता और प्राकृतिकता के बीच संतुलन खोजने का लक्ष्य रखते हैं, यह सुनिश्चित करते हुए कि आउटपुट अभिव्यंजक बना रहे लेकिन सुनने में आरामदायक भी।

आपके विचार में, एआई डबिंग पारंपरिक पाठ-से-वॉइस से मूल रूप से क्या अलग बनाता है – तकनीकी और कलात्मक दोनों रूप से?

पारंपरिक टीटीएस का ध्यान केवल पाठ पढ़ने पर होता है, आमतौर पर एक तटस्थ स्वर में। एआई डबिंग, विशेष रूप से मीडिया उद्योग में, एक बहुत अधिक जटिल कार्य है, जहां लक्ष्य केवल अर्थ को प्रेषित करना नहीं है, बल्कि उपस्थिति और वास्तविक प्रदर्शन की भावना पैदा करना है। भावनाएं, स्वर, और प्राकृतिक रुकावटें सभी महत्वपूर्ण भूमिका निभाती हैं, साथ ही मिक्सिंग, एकाउस्टिक अनुकूलन, और होंठ की गति और दृश्य लय के साथ सिंक्रोनाइजेशन जैसी चुनौतियाँ। कलात्मक रूप से, एआई डबिंग अभिनय के करीब है न कि पढ़ने के; प्रणाली को पंक्ति का प्रदर्शन करना होता है, न कि chỉ इसे उच्चारित करना।

एआई मीडिया स्थानीयकरण में पारदर्शिता और जवाबदेही को बढ़ावा देने में वॉक्स-डब मूल्यांकन ढांचे के कौन से पहलू आप सबसे मूल्यवान पाते हैं?

वॉक्स-डब को इतना मूल्यवान बनाने वाली बात यह है कि यह सभी को ईमानदार होने के लिए मजबूर करता है कि वे वास्तव में क्या डिलीवर कर सकते हैं। इस ढांचे से पहले, कंपनियां अपनी डबिंग गुणवत्ता के दावे कर सकती थीं बिना किसी तरीके के उन्हें सत्यापित करने के। महत्वपूर्ण सफलता यह है कि वॉक्स-डब ने एआई डबिंग त्रुटियों की पहली व्यवस्थित सूची के माध्यम से मानव-आधारित बेंचमार्क पेश किया। यह ओपन-सोर्स डेटासेट गुणवत्ता के लिए एक साझा भाषा बनाता है – मूल भाषण खंड, अनुवाद, कई प्रणालियों से उत्पन्न ऑडियो, और पांच महत्वपूर्ण पहलुओं में मानव अनोटेशन: उच्चारण, प्राकृतिकता, ध्वनि गुणवत्ता, भावना समानता, और वॉइस समानता। पहली बार, हमारे पास डबिंग के मानव मूल्यांकन के लिए एक मानक है, जिसमें स्पष्ट दिशानिर्देश और उदाहरण हैं। अब जब टीमें गुणवत्ता के बारे में बात करती हैं, तो वे वास्तव में एक ही बात कर रही होती हैं। प्रकाशित परिणाम जो कोई भी देख सकता है वास्तविक जवाबदेही बनाते हैं। टीमों को अपने विपणन दावों को प्रदर्शन डेटा के साथ पांच गुणवत्ता आयामों में समर्थन करना होगा। इस तरह की खुलापन पूरे उद्योग के संचालन को बदलती है और रचनाकारों के साथ विश्वास बनाती है जिन्हें विश्वसनीय, मापने योग्य परिणामों की आवश्यकता होती है।

आप वॉक्स-डब जैसे बेंचमार्क को बहुसांस्कृतिक सामग्री निर्माण और वितरण में प्रगति की गति को कैसे प्रभावित करते हुए देखते हैं?

स्पष्ट बेंचमार्क होने की सुंदर बात यह है कि यह सभी के लिए एक रोडमैप बनाता है। जब टीमें वॉक्स-डब परिणामों के माध्यम से क्या हासिल किया जा सकता है, यह देखती हैं, तो यह उनके自己的 विकास की समयसीमा को तेज करता है। गुणवत्ता की तरह दिखने का अनुमान लगाने के बजाय, उन्हें ठोस लक्ष्य मिले हैं जिनके लिए उन्हें लक्ष्य बनाना है। मैं देख रहा हूं कि कंपनियां अपने रोडमैप को संकुचित कर रही हैं क्योंकि वे देख सकती हैं कि कहीं और क्या काम करता है। यह साझा समझ पूरे क्षेत्र को एक साथ तेजी से आगे बढ़ने में मदद कर रही है, जिसका अर्थ है कि अधिक विविध सामग्री जल्द ही वैश्विक दर्शकों तक पहुंच सकती है।

आपके मंच ने उच्चारण और प्राकृतिकता में मजबूत परिणाम हासिल किए। इन परिणामों में सबसे अधिक योगदान देने वाली कौन सी अंतर्निहित नवाचार या मॉडल चुनौतियां थीं?

यह इस बात पर निर्भर करता है कि डबिंग केवल व्यक्तिगत शब्दों के बारे में नहीं है, बल्कि पूरे प्रदर्शन पारिस्थितिकी तंत्र के बारे में है। दो सफलताएं अंतर बनाईं। पहला, हमने उच्चारण को शुद्ध रूप से तकनीकी के रूप में मानना बंद कर दिया और इसे भावनात्मक के रूप में मानना शुरू कर दिया। लोग बिल्कुल स्पष्ट रूप से बोलते नहीं हैं; वे दुखी होने पर शब्दों को जोड़ते हैं, वे उत्साहित होने पर जल्दी करते हैं। उस प्राकृतिक असंपूर्णता को पकड़ना महत्वपूर्ण था। दूसरा, हमें पूरे ध्वनि परिदृश्य के बारे में सोचना था। जब कोई दृश्य में बारिश के साथ या एक गूंथने वाले कैथेड्रल में बोलता है, तो उनकी आवाज स्वाभाविक रूप से अनुकूलन करती है। हमारी प्रणाली मूल ध्वनि पर्यावरण के साथ मिश्रण सीखी। ये केवल तकनीकी सुधार नहीं थे। वे यह जानने के बारे में थे कि क्या भाषण को मानवीय बनाता है।

आपका प्लेटफ़ॉर्म पेशेवर-ग्रेड डबिंग को वितरित करने के लिए मानव विशेषज्ञता के साथ स्वचालन को कैसे मिलाता है?

हम पारंपरिक डबिंग स्टूडियो के साथ密 तौर पर काम करते हैं, उन्हें नए कौशल और उभरते पेशों में अपनी टीमों को प्रशिक्षित करने में मदद करते हैं। एआई अनुवाद, सिंक्रोनाइजेशन और वॉइस जेनरेशन को संभालता है, जबकि पेशेवर समीक्षक, अनुवादक और ध्वनि इंजीनियर हमारे मंच के माध्यम से अंतिम गुणवत्ता जांच करते हैं। यह दृष्टिकोण हमें स्टूडियो स्तर की गुणवत्ता बनाए रखने की अनुमति देता है, जबकि परिवर्तन समय को सप्ताह से घंटों तक कम करता है। स्वचालन स्केलेबिलिटी प्रदान करता है, और मानव विशेषज्ञता कलात्मक अभिव्यंजकता सुनिश्चित करती है। यह दोनों दुनिया का सर्वश्रेष्ठ है: मशीन दक्षता मानव कलात्मकता के साथ।

एआई मीडिया स्थानीयकरण बाजार तेजी से बढ़ रहा है, तो आप एआई को वैश्विक रचनात्मक उत्पादन को फिर से आकार देने में क्या भूमिका निभाते हुए देखते हैं?

एआई स्थानीयकरण डबिंग को एक बहुत व्यापक श्रृंखला के रचनाकारों और कहानीकारों के लिए सुलभ बना देगा। यह उन्हें अपनी कहानियों को वैश्विक दर्शकों के साथ साझा करने की अनुमति देगा बिना भावनात्मक गहराई या सांस्कृतिक प्रामाणिकता को खोए। समय के साथ, यह विविधता में वृद्धि का कारण बनेगा सामग्री में, जो निचे परियोजनाओं और विशेष दर्शकों के लिए दरवाजा खोलेगी जो पहले पेशेवर डबिंग का खर्च नहीं उठा सकते थे। स्वतंत्र फिल्म निर्माताओं, वृत्तचित्र निर्माताओं, शैक्षिक सामग्री निर्माताओं के बारे में सोचें; वे अंततः वैश्विक दर्शकों तक पहुंच सकते हैं जो पहले उनकी पहुंच से बाहर थे।

आपको आगामी प्रगति या सहयोग के बारे में क्या सबसे ज्यादा उत्साहित करता है क्योंकि आप विकास के अगले चरण की ओर देखते हैं?

मुझे जो सबसे ज्यादा उत्साहित करता है वह हमारी भावनात्मक हस्तांतरण क्षमताओं में सुधार करना जारी रखना है। हमने अच्छी प्रगति की है, लेकिन अभी भी बहुत कुछ है जिसे वास्तविक बनाने के लिए बेहतर बनाने की जरूरत है जो प्रदर्शन को प्रामाणिक बनाता है। सहयोग के संदर्भ में, हम पारंपरिक डबिंग स्टूडियो के साथ गहरे संबंध बना रहे हैं ताकि हम दोनों दुनिया के सर्वश्रेष्ठ हाइब्रिड कार्य प्रवाह बना सकें। ये स्टूडियो दशकों के अनुभव के साथ हैं जिससे हम सीख रहे हैं, जबकि हम पैमाने पर अपनी कला के लिए प्रौद्योगिकी प्रदान करते हैं। सबसे रोमांचक सहयोग वे हैं जो स्टूडियो हैं जो एआई को अपनी टीमों को बढ़ाने और पहले से जो नहीं संभाल सकते थे उसे विविध परियोजनाओं को संभालने के लिए एक तरीके के रूप में देखते हैं। असली सफलता तब होगी जब हम लगातार ऐसे प्रदर्शन डिलीवर करेंगे जो दर्शकों को यह भूलने पर मजबूर कर देंगे कि वे एआई द्वारा बनाए गए थे। यही हमारा लक्ष्य है।

साक्षात्कार के लिए धन्यवाद, पाठक जो अधिक जानना चाहते हैं उन्हें डबफॉर्मर पर जाना चाहिए。

एंटोनी एक दूरदर्शी नेता और Unite.AI के संस्थापक भागीदार हैं। एआई और रोबोटिक्स के भविष्य को आकार देने और आगे बढ़ाने के प्रति उनका जुनून अटूट है। कई उद्यम शुरू कर चुके एंटोनी का मानना है कि एआई समाज में बिजली जितना ही बड़ा बदलाव लाएगा। वे अक्सर परिवर्तनकारी प्रौद्योगिकियों और एजीआई की संभावनाओं के बारे में उत्साह से बात करते हैं।

एक भविष्यविद् के रूप में, वे यह जानने के लिए समर्पित हैं कि ये नवाचार हमारी दुनिया को कैसे आकार देंगे। वे Securities.io के संस्थापक भी हैं। यह मंच उन अत्याधुनिक प्रौद्योगिकियों में निवेश पर केंद्रित है जो भविष्य को नई परिभाषा दे रही हैं और पूरे क्षेत्रों का स्वरूप बदल रही हैं।