Anderson का एंगल
माइक्रोसॉफ्ट प्रोपोज़ GODIVA, एक टेक्स्ट-टू-वीडियो मशीन लर्निंग फ्रेमवर्क
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
माइक्रोसॉफ्ट रिसर्च एशिया और ड्यूक यूनिवर्सिटी के बीच एक सहयोग ने एक मशीन लर्निंग सिस्टम का उत्पादन किया है जो एक टेक्स्ट प्रॉम्प्ट से वीडियो उत्पन्न करने में सक्षम है, जेनरेटिव एडवर्सेरियल नेटवर्क (GANs) का उपयोग किए बिना।
परियोजना को GODIVA (जेनरेटिंग ओपन-डोमेन वीडियो फ्रॉम नेचुरल डेस्क्रिप्शन) नाम दिया गया है, और यह ओपनएआई के डीएलएल-ई इमेज सिंथेसिस सिस्टम द्वारा उपयोग किए गए दृष्टिकोणों पर आधारित है, जो इस साल की शुरुआत में प्रकट हुआ था।
GODIVA से प्रारंभिक परिणाम, दो प्रॉम्प्ट्स से बनाए गए वीडियो के फ्रेम के साथ। स्रोत: https://arxiv.org/pdf/2104.14806.pdf
GODIVA वेक्टर क्वांटाइज्ड-वेरिएशनल ऑटोएन्कोडर (VQ-VAE) मॉडल का उपयोग करता है, जो पहली बार 2018 में गूगल के डीपमाइंड प्रोजेक्ट के शोधकर्ताओं द्वारा पेश किया गया था, और डीएलएल-ई की परिवर्तनकारी क्षमताओं में एक आवश्यक घटक भी है।
VQ-VAE मॉडल की वास्तुकला, जिसमें दाईं ओर एम्बेडिंग स्पेस और एन्कोडर/डीकोडर के बीच आयाम स्थान साझा किया जाता है ताकि पुनर्निर्माण के दौरान नुकसान को कम किया जा सके। स्रोत: https://arxiv.org/pdf/1711.00937.pdf
VQ-VAE का उपयोग कई परियोजनाओं में किया गया है ताकि उपयोगकर्ता द्वारा आपूर्ति की गई प्रारंभिक फ्रेमों से वीडियो का अनुमान लगाया जा सके, और प्रणाली से अन्य फ्रेमों का अनुरोध किया जा सके:
पिछला काम: VQ-VAE बहुत सीमित आपूर्ति की गई सामग्री से फ्रेम का अनुमान लगाता है। स्रोत: https://openreview.net/forum?id=bBDlTR5eDIX
हालांकि, नए पत्र के लेखकों का दावा है कि GODIVA VQ-VAE का उपयोग करके पहला शुद्ध टेक्स्ट-टू-वीडियो (T2V) कार्यान्वयन है, जो पिछली परियोजनाओं द्वारा GANs के साथ प्राप्त किए गए अधिक अव्यवस्थित परिणामों के बजाय है।
टेक्स्ट-टू-वीडियो में बीज बिंदु
हालांकि सबमिशन मूल फ्रेम बनाने के मानदंडों के बारे में विवरण से कम है, GODIVA प्रतीत होता है कि कहीं से भी मूल छवियों को बुलाता है और फिर उन्हें कम-रिज़ॉल्यूशन वीडियो फ्रेम में विस्तारित करता है।
GODIVA द्वारा टेक्स्ट-टू-इमेज कार्यों के लिए तीन-आयामी दुर्लभ ध्यान प्रणाली का एक स्तंभर रूपांतरण।
वास्तव में, मूलता डेटा में लेबल से आती है: GODIVA को हाउटो100एम डेटासेट पर पूर्व-प्रशिक्षित किया गया था, जिसमें 136 मिलियन कैप्शन वाले वीडियो क्लिप शामिल थे, जो 15 वर्षों में यूट्यूब से सourced थे, और 23,000 लेबल वाली गतिविधियों की विशेषता थी। हालांकि, प्रत्येक संभावित गतिविधि क्लिप की बहुत अधिक संख्या में मौजूद है, जो सामान्यीकरण के साथ बढ़ती है (अर्थात ‘पालतू जानवर और जानवर’ में 3.5 मिलियन क्लिप हैं, जबकि ‘कुत्ते’ में 762,000 क्लिप हैं), और इसलिए अभी भी कई संभावित प्रारंभिक बिंदु हैं।
मॉडल का मूल्यांकन माइक्रोसॉफ्ट के एमएसआर वीडियो टू टेक्स्ट (एमएसआर-वीटीटी) डेटासेट पर किया गया था। वास्तुकला के आगे परीक्षण के रूप में, GODIVA को मूविंग एमएनआईएस्ट और डबल मूविंग एमएनआईएस्ट डेटासेट पर स्क्रैच से प्रशिक्षित किया गया था, जो दोनों मूल एमएनआईएस्ट डेटाबेस से व्युत्पन्न थे, जो माइक्रोसॉफ्ट, गूगल और न्यूयॉर्क यूनिवर्सिटी में कोरांत इंस्टीट्यूट ऑफ मैथमेटिकल साइंसेज के बीच एक सहयोग था।
निरंतर वीडियो सिंथेसिस में फ्रेम मूल्यांकन
पेकिंग यूनिवर्सिटी के आईआरसी-जीएन के अनुरूप, GODIVA मूल एमएनआईएस्ट विधि में चार अतिरिक्त स्तंभर जांच जोड़ता है, जो पिछले और बाद के फ्रेमों का मूल्यांकन करता है जो ऊपर-नीचे और फिर बाएं-दाएं जाते हैं। आईआरसी-जीएन और GODIVA भी फ्रेमों का मूल्यांकन करते हैं जो बाएं-दाएं, दाएं-बाएं, ऊपर-नीचे और नीचे-ऊपर जाते हैं।
GODIVA से अतिरिक्त उत्पन्न फ्रेम।
वीडियो गुणवत्ता और प्रॉम्प्ट की वफादारी का मूल्यांकन
यह जानने के लिए कि छवि उत्पादन कितनी अच्छी तरह से सफल रहा, शोधकर्ताओं ने दो मेट्रिक्स का उपयोग किया: एक सीएलआईपी समानता पर आधारित, और एक नई सापेक्ष मिलान (आरएम) मेट्रिक।
ओपनएआई का सीएलआईपी फ्रेमवर्क शून्य-शॉट छवियों और पाठ के मिलान में सक्षम है, साथ ही छवि सिंथेसिस को सुविधाजनक बनाने के लिए इस मॉडल को उलटा करने में भी सक्षम है। शोधकर्ताओं ने सीएलआईपी-व्युत्पन्न स्कोर को मैदान पाठ प्रॉम्प्ट और मैदान सत्य वीडियो के बीच गणना की गई समानता से विभाजित किया ताकि एक आरएम स्कोर प्राप्त किया जा सके। एक अलग स्कोरिंग राउंड में, आउटपुट का मूल्यांकन 200 लोगों द्वारा किया गया और परिणामों की तुलना प्रोग्राममैटिक स्कोर से की गई।
अंत में, GODIVA का परीक्षण दो पिछले फ्रेमवर्क, TFGAN और 2017 के ड्यूक/एनईसी सहयोग, T2V के खिलाफ किया गया था।
TFGAN 128 वर्ग पिक्सेल का उत्पादन कर सकता है, जो GODIVA और T2V द्वारा ऊपर दिए गए उदाहरणों में 64×64 आउटपुट से अधिक है। हालांकि, शोधकर्ताओं का कहना है कि न केवल GODIVA बोल्डर और अधिक प्रतिबद्ध आंदोलन उत्पन्न करता है, बल्कि यह विशिष्ट प्रॉम्प्ट के बिना दृश्य परिवर्तन भी उत्पन्न करेगा, और यह करीबी शॉट उत्पन्न करने से नहीं हिचकिचाता है।
बाद के रन में, GODIVA 128x128px आउटपुट भी उत्पन्न करता है, जिसमें पीओवी में परिवर्तन होते हैं:
परियोजना के अपने आरएम मेट्रिक में, GODIVA वीडियो की गुणवत्ता (वीडियो की गुणवत्ता) और वफादारी (उत्पन्न सामग्री प्रॉम्प्ट के साथ कितनी अच्छी तरह मेल खाती है) के संदर्भ में 100% के करीब स्कोर प्राप्त करने में सक्षम है।
शोधकर्ताओं का कहना है कि वीडियो-आधारित सीएलआईपी मेट्रिक्स का विकास इस छवि सिंथेसिस क्षेत्र में एक स्वागत योग्य अतिरिक्त होगा, क्योंकि यह परिणामों की गुणवत्ता का मूल्यांकन करने के लिए एक स्तर का मैदान प्रदान करेगा बिना ‘मानक’ कंप्यूटर विजन चुनौतियों में बढ़ती आलोचना के साथ ओवरफिटिंग और सामान्यीकरण की कमी के।
वे यह भी देखते हैं कि लंबे वीडियो का उत्पादन प्रणाली के आगे विकास में एक लॉजिस्टिक विचार होगा, क्योंकि केवल 10 फ्रेम 64x64px आउटपुट के लिए 2560 दृश्य टोकन की आवश्यकता होती है, जो एक पाइपलाइन ब्लोट है जो जल्दी से महंगा और अप्रबंधनीय हो सकता है।
