कंप्यूटर विजन आज के एआई समुदाय के भीतर सबसे रोमांचक और अच्छी तरह से शोधित क्षेत्रों में से एक है, और कंप्यूटर विजन मॉडल के तेजी से सुधार के बावजूद, एक लंबे समय से चली आ रही चुनौती जो अभी भी डेवलपर्स को परेशान करती है वह है इमेज एनिमेशन। अभी भी, इमेज एनिमेशन फ्रेमवर्क स्टिल इमेजेस को उनके संबंधित वीडियो प्रतिरूपों में परिवर्तित करने के लिए संघर्ष करते हैं जो प्राकृतिक गतिविधियों को प्रदर्शित करते हैं और मूल रूप से इमेजेस की मूल उपस्थिति को संरक्षित करते हैं। पारंपरिक रूप से, इमेज एनिमेशन फ्रेमवर्क मुख्य रूप से प्राकृतिक दृश्यों को डोमेन-विशिष्ट गतियों जैसे मानव बाल या शरीर की गति या स्टोकास्टिक गतिविधियों जैसे द्रव और बादलों के साथ एनिमेट करने पर ध्यान केंद्रित करते हैं। हालांकि यह दृष्टिकोण कुछ हद तक काम करता है, यह दृष्टिकोण इमेज एनिमेशन फ्रेमवर्क की व्यापकता को सीमित करता है, विशेष रूप से सामान्य दृश्य सामग्री के लिए।

इसके अलावा, पारंपरिक इमेज एनिमेशन दृष्टिकोण मुख्य रूप से दोलन और स्टोकास्टिक गतियों के संश्लेषण पर ध्यान केंद्रित करते हैं, या विशिष्ट वस्तु वर्गों के लिए अनुकूलन पर। हालांकि, इस दृष्टिकोण के साथ एक उल्लेखनीय दोष यह है कि इन विधियों पर मजबूत धारणाएं लगाई जाती हैं जो अंततः उनकी व्यापकता को सीमित करती हैं, विशेष रूप से सामान्य परिदृश्यों जैसे ओपन-डोमेन इमेज एनिमेशन में। पिछले कुछ वर्षों में, टी2वी या टेक्स्ट टू वीडियो मॉडल ने टेक्स्ट प्रॉम्प्ट का उपयोग करके जीवंत और विविध वीडियो बनाने में उल्लेखनीय सफलता दिखाई है, और यह टी2वी मॉडल का प्रदर्शन है जो डायनामिक्राफ्टर फ्रेमवर्क के लिए आधार बनता है।

डायनामिक्राफ्टर फ्रेमवर्क वर्तमान इमेज एनिमेशन मॉडल की सीमाओं को पार करने और ओपन-वर्ल्ड इमेजेस जैसे सामान्य परिदृश्यों में उनकी व्यापकता को बढ़ाने का प्रयास है। डायनामिक्राफ्टर फ्रेमवर्क ओपन-डोमेन इमेजेस के लिए गतिशील सामग्री का संश्लेषण करने का प्रयास करता है, उन्हें एनिमेटेड वीडियो में परिवर्तित करता है। डायनामिक्राफ्टर के पीछे का मुख्य विचार यह है कि जनरेटिव प्रक्रिया में मार्गदर्शन के रूप में इमेज को शामिल करने का प्रयास करना है, जो पहले से मौजूद टेक्स्ट टू वीडियो डिफ्यूजन मॉडल के मोशन प्रायर का उपयोग करने का प्रयास करता है। एक दिए गए इमेज के लिए, डायनामिक्राफ्टर मॉडल पहले एक क्वेरी ट्रांसफॉर्मर लागू करता है जो इमेज को एक टेक्स्ट-एलाइड रिच कॉन्टेक्स्ट रिप्रेजेंटेशन स्पेस में परियोजना करता है, जो वीडियो मॉडल को इमेज सामग्री को संगत तरीके से पचाने में मदद करता है। हालांकि, डायनामिक्राफ्टर मॉडल अभी भी परिणामी वीडियो में कुछ दृश्य विवरणों को संरक्षित करने के लिए संघर्ष करता है, जो एक समस्या है जिसे डायनामिक्राफ्टर मॉडल डिफ्यूजन मॉडल में पूरी इमेज को खिलाने के द्वारा हल करता है जो प्रारंभिक शोर के साथ इमेज को जोड़कर, इस प्रकार मॉडल को अधिक सटीक इमेज जानकारी प्रदान करता है।

यह लेख डायनामिक्राफ्टर फ्रेमवर्क को गहराई से कवर करने का उद्देश्य रखता है, और हम तंत्र, विधि, वास्तुकला के साथ-साथ राज्य के अत्याधुनिक इमेज और वीडियो जेनरेशन फ्रेमवर्क के साथ इसकी तुलना करते हैं। तो आइए शुरू करें।

डायनामिक्राफ्टर: ओपन-डोमेन इमेजेस एनिमेशन

एक स्थिर इमेज को एनिमेट करना अक्सर दर्शकों के लिए एक आकर्षक दृश्य अनुभव प्रदान करता है क्योंकि यह स्थिर इमेज को जीवंत बनाने की तरह लगता है। वर्षों से, कई फ्रेमवर्क ने विभिन्न तरीकों से स्थिर इमेजेस को एनिमेट करने का अन्वेषण किया है। शुरुआती एनिमेशन फ्रेमवर्क ने भौतिक सिमुलेशन-आधारित दृष्टिकोणों को लागू किया जो विशिष्ट वस्तुओं की गति के सिमुलेशन पर केंद्रित थे। हालांकि, प्रत्येक वस्तु वर्ग के स्वतंत्र मॉडलिंग के कारण, ये दृष्टिकोण न तो प्रभावी थे और न ही वे सामान्यीकृत थे। अधिक वास्तविक गतियों को प्रतिबिंबित करने के लिए, संदर्भ-आधारित विधियां उभरीं, जो सिंथेसिस प्रक्रिया में वीडियो जैसे संदर्भ संकेतों से गति या उपस्थिति जानकारी को स्थानांतरित करती हैं। हालांकि संदर्भ-आधारित दृष्टिकोणों ने सिमुलेशन-आधारित दृष्टिकोणों की तुलना में बेहतर परिणाम दिए, लेकिन उन्हें अतिरिक्त मार्गदर्शन की आवश्यकता थी जो उनके व्यावहारिक अनुप्रयोगों को सीमित करती थी।

हाल के वर्षों में, अधिकांश एनिमेशन फ्रेमवर्क मुख्य रूप से प्राकृतिक दृश्यों को स्टोकास्टिक, डोमेन-विशिष्ट या दोलन गतियों के साथ एनिमेट करने पर ध्यान केंद्रित करते हैं। हालांकि इन फ्रेमवर्क द्वारा लागू किया गया दृष्टिकोण कुछ हद तक काम करता है, परिणाम जो वे उत्पन्न करते हैं संतोषजनक नहीं हैं, और इसमें सुधार के लिए महत्वपूर्ण कमरा है। पिछले कुछ वर्षों में, टेक्स्ट टू वीडियो जेनरेटिव मॉडल ने टेक्स्ट प्रॉम्प्ट का उपयोग करके जीवंत और विविध वीडियो बनाने में उल्लेखनीय सफलता दिखाई है, और यह टी2वी मॉडल का प्रदर्शन है जो डायनामिक्राफ्टर फ्रेमवर्क के लिए प्रेरणा का स्रोत है।

डायनामिक्राफ्टर फ्रेमवर्क का मुख्य आधार यह है कि यह टेक्स्ट टू वीडियो डिफ्यूजन मॉडल के वीडियो जेनरेशन प्रक्रिया को नियंत्रित करने के लिए एक सशर्त इमेज को शामिल करने का प्रयास करता है। हालांकि, इमेज एनिमेशन का अंतिम लक्ष्य अभी भी गैर-तुच्छ है क्योंकि इमेज एनिमेशन विवरणों के संरक्षण के साथ-साथ दृश्य संदर्भों को समझने की आवश्यकता होती है जो गतिविधियों के निर्माण के लिए आवश्यक हैं। हालांकि, मल्टी-मॉडल कंट्रोलेबल वीडियो डिफ्यूजन मॉडल जैसे वीडियोकंपोजर ने विजुअल गाइडेंस से वीडियो जेनरेशन को सक्षम करने का प्रयास किया है। हालांकि, ये दृष्टिकोण इमेज एनिमेशन के लिए उपयुक्त नहीं हैं क्योंकि वे या तो तीव्र अस्थायी परिवर्तन या इनपुट इमेज के लिए कम दृश्य अनुरूपता का परिणाम देते हैं क्योंकि उनके पास कम व्यापक इमेज इंजेक्शन तंत्र हैं। इस बाधा को दूर करने के लिए, डायनामिक्राफ्टर फ्रेमवर्क एक डुअल-स्ट्रीम इंजेक्शन दृष्टिकोण का प्रस्ताव करता है, जिसमें विजुअल डिटेल गाइडेंस और टेक्स्ट-एलाइड कॉन्टेक्स्ट रिप्रेजेंटेशन शामिल है। डुअल-स्ट्रीम इंजेक्शन दृष्टिकोण डायनामिक्राफ्टर फ्रेमवर्क को वीडियो डिफ्यूजन मॉडल को विस्तार से संरक्षित गतिशील सामग्री का संश्लेषण करने में सक्षम बनाता है।

एक दिए गए इमेज के लिए, डायनामिक्राफ्टर फ्रेमवर्क पहले एक विशेष रूप से डिज़ाइन किए गए कॉन्टेक्स्ट लर्निंग नेटवर्क का उपयोग करके इमेज को टेक्स्ट-एलाइड कॉन्टेक्स्ट रिप्रेजेंटेशन स्पेस में परियोजना करता है। विशेष रूप से, कॉन्टेक्स्ट रिप्रेजेंटेशन स्पेस में एक सीखने योग्य क्वेरी ट्रांसफॉर्मर शामिल होता है जो डिफ्यूजन मॉडल के अनुकूलन को बढ़ावा देता है, और एक प्री-ट्रेन्ड क्लिप इमेज एनकोडर जो टेक्स्ट-एलाइड इमेज विशेषताओं को निकालता है। फिर मॉडल क्रॉस-एटेंशन लेयर्स का उपयोग करके समृद्ध कॉन्टेक्स्ट विशेषताओं का उपयोग करता है, और मॉडल गेटेड फ्यूजन का उपयोग करके इन टेक्स्ट विशेषताओं को क्रॉस-एटेंशन लेयर्स के साथ जोड़ता है। हालांकि, यह दृष्टिकोण सीखने वाले कॉन्टेक्स्ट प्रतिनिधित्व को टेक्स्ट-एलाइड विजुअल विवरण के साथ व्यापार करता है जो दृश्य संदर्भ की सेमांटिक समझ को सुविधाजनक बनाता है और तर्कसंगत और जीवंत गतिविधियों को संश्लेषित करने की अनुमति देता है। इसके अलावा, विजुअल विवरण को पूरक करने के प्रयास में, फ्रेमवर्क डिफ्यूजन मॉडल में पूरी इमेज को जोड़ता है जो प्रारंभिक शोर के साथ इमेज को जोड़कर, इस प्रकार मॉडल को अधिक सटीक इमेज जानकारी प्रदान करता है।

आगे बढ़ते हुए, डिफ्यूजन मॉडल या डीएम ने टी2आई या टेक्स्ट टू इमेज जेनरेशन में उल्लेखनीय प्रदर्शन और जेनरेटिव क्षमता दिखाई है। टी2आई मॉडल की सफलता को वीडियो जेनरेशन में प्रतिबिंबित करने के लिए, वीडियो डिफ्यूजन मॉडल या वीडीएम प्रस्तावित किए जाते हैं जो पिक्सेल स्पेस में एक स्पेस-टाइम फैक्टराइज्ड यू-न्यू आर्किटेक्चर का उपयोग करके कम-रिज़ॉल्यूशन वीडियो को मॉडल करते हैं। टी2आई फ्रेमवर्क से सीखने को टी2वी फ्रेमवर्क में स्थानांतरित करने से प्रशिक्षण लागत को कम करने में मदद मिलेगी। हालांकि वीडीएम में उच्च-गुणवत्ता वाले वीडियो बनाने की क्षमता है, वे केवल टेक्स्ट प्रॉम्प्ट को एकमात्र सेमेंटिक मार्गदर्शन के रूप में स्वीकार करते हैं जो उपयोगकर्ता के वास्तविक इरादों को प्रतिबिंबित नहीं कर सकते हैं या अस्पष्ट हो सकते हैं। हालांकि, वीडीएम मॉडल के परिणाम अक्सर इनपुट इमेज के लिए अनुरूप नहीं होते हैं और अवास्तविक अस्थायी परिवर्तन की समस्या से ग्रस्त होते हैं। डायनामिक्राफ्टर दृष्टिकोण टेक्स्ट-शर्त वीडियो डिफ्यूजन मॉडल पर आधारित है जो ओपन-डोमेन इमेजेस को एनिमेट करने के लिए उनकी समृद्ध गतिशील प्रायर का लाभ उठाता है। यह विशिष्ट डिज़ाइन के साथ बेहतर सेमांटिक समझ और इनपुट इमेज के लिए अनुरूपता के लिए प्रयास करता है।

डायनामिक्राफ्टर: विधि और वास्तुकला

एक दिए गए स्थिर इमेज के लिए, डायनामिक्राफ्टर फ्रेमवर्क एक छोटी वीडियो क्लिप उत्पन्न करने का प्रयास करता है जो इमेज से विजुअल सामग्री विरासत में मिलती है और प्राकृतिक गतिविधियों को प्रदर्शित करती है। हालांकि, यह संभावना है कि इमेज परिणामी फ्रेम अनुक्रम में एक मनमाने स्थान में दिखाई दे सकती है। इमेज का एक मनमाने स्थान में दिखाई देना एक विशेष प्रकार की चुनौती है जो उच्च दृश्य अनुरूपता आवश्यकताओं वाले इमेज-शर्त वीडियो जेनरेशन कार्यों में देखी जाती है। डायनामिक्राफ्टर फ्रेमवर्क इस चुनौती को पूर्व-प्रशिक्षित वीडियो डिफ्यूजन मॉडल के जनरेटिव प्रायर का उपयोग करके पार करता है।

वीडियो डिफ्यूजन प्रायर से इमेज डायनामिक्स

आम तौर पर, ओपन-डोमेन टेक्स्ट टू वीडियो डिफ्यूजन मॉडल टेक्स्ट विवरणों पर सशर्त गतिशील दृश्य सामग्री प्रदर्शित करते हैं। एक स्थिर इमेज को टेक्स्ट टू वीडियो जेनरेटिव प्रायर के साथ एनिमेट करने के लिए, फ्रेमवर्क को पहले वीडियो जेनरेशन प्रक्रिया में विजुऐल जानकारी को व्यापक तरीके से इंजेक्ट करना चाहिए। इसके अलावा, गतिशील संश्लेषण के लिए, टी2वी मॉडल को संदर्भ समझने के लिए इमेज को पचाना चाहिए, जबकि यह उत्पन्न वीडियो में विजुअल विवरणों को संरक्षित करने में सक्षम होना चाहिए।

टेक्स्ट-एलाइड कॉन्टेक्स्ट रिप्रेजेंटेशन

वीडियो जेनरेशन को इमेज कॉन्टेक्स्ट के साथ मार्गदर्शन देने के लिए, डायनामिक्राफ्टर फ्रेमवर्क इमेज को एक संगत एम्बेडिंग स्पेस में परियोजना करने का प्रयास करता है जो वीडियो मॉडल को इमेज जानकारी का उपयोग करने में सक्षम बनाता है। इसके बाद, डायनामिक्राफ्टर फ्रेमवर्क इमेज एनकोडर का उपयोग करता है ताकि यह इनपुट इमेज से इमेज विशेषताओं को निकाल सके, क्योंकि टेक्स्ट एम्बेडिंग एक प्री-ट्रेन्ड क्लिप टेक्स्ट एनकोडर का उपयोग करके उत्पन्न की जाती है। अब, हालांकि क्लिप इमेज एनकोडर से वैश्विक सेमांटिक टोकन इमेज कैप्शन के साथ संरेखित होते हैं, वे मुख्य रूप से सेमांटिक स्तर पर दृश्य सामग्री का प्रतिनिधित्व करते हैं, इस प्रकार इमेज को पूरी तरह से कैप्चर नहीं करते हैं। डायनामिक्राफ्टर फ्रेमवर्क क्लिप एनकोडर की अंतिम परत से पूर्ण विजुअल टोकन का उपयोग करके अधिक पूर्ण जानकारी निकालने के लिए करता है क्योंकि ये विजुऐल टोकन सशर्त इमेज जेनरेशन कार्यों में उच्च विश्वास性的ता प्रदर्शित करते हैं। इसके अलावा, फ्रेमवर्क कॉन्टेक्स्ट और टेक्स्ट एम्बेडिंग का उपयोग यू-नेट मध्यवर्ती विशेषताओं के साथ डुअल क्रॉस-एटेंशन लेयर्स का उपयोग करके बातचीत करने के लिए करता है। इस घटक के डिज़ाइन से मॉडल को परत-निर्भर तरीके से इमेज शर्तों को अवशोषित करने में मदद मिलती है। इसके अलावा, चूंकि यू-नेट आर्किटेक्चर की मध्यवर्ती परतें वस्तु पोज़ या आकार से अधिक जुड़ी हुई हैं, इसलिए यह अपेक्षा की जाती है कि इमेज विशेषताएं वीडियो की उपस्थिति पर प्रभाव डालेंगी, खासकर जब दो-सिर वाली परतें अधिक उपस्थिति से जुड़ी होती हैं।

विजुअल डिटेल गाइडेंस

डायनामिक्राफ्टर फ्रेमवर्क समृद्ध-इन्फॉर्मेटिव कॉन्टेक्स्ट रिप्रेजेंटेशन का उपयोग करता है जो वीडियो डिफ्यूजन मॉडल को अपनी वास्तुकला में इमेज के समान वीडियो उत्पन्न करने में सक्षम बनाता है। हालांकि, जैसा कि निम्नलिखित इमेज में दिखाया गया है, उत्पन्न सामग्री कुछ विसंगतियों को प्रदर्शित कर सकती है जो प्री-ट्रेन्ड क्लिप एनकोडर की सीमित क्षमता के कारण होती है जो इनपुट जानकारी को पूरी तरह से संरक्षित नहीं कर सकती है, क्योंकि यह भाषा और विजुअल विशेषताओं को संरेखित करने के लिए डिज़ाइन की गई है।

विजुअल अनुरूपता को बढ़ाने के लिए, डायनामिक्राफ्टर फ्रेमवर्क वीडियो डिफ्यूजन मॉडल को इनपुट इमेज से अतिरिक्त विजुऐल विवरण प्रदान करने का प्रस्ताव करता है। इसे प्राप्त करने के लिए, डायनामिक्राफ्टर मॉडल प्रति-फ्रेम प्रारंभिक शोर के साथ सशर्त इमेज को जोड़ता है और इसे डीनोइज़िंग यू-नेट घटक को मार्गदर्शन के रूप में खिलाता है।

प्रशिक्षण तंत्र

डायनामिक्राफ्टर फ्रेमवर्क सशर्त इमेज को दो पूरक धाराओं के माध्यम से एकीकृत करता है जो विवरण मार्गदर्शन और संदर्भ नियंत्रण में महत्वपूर्ण भूमिका निभाते हैं। इसे सुविधाजनक बनाने के लिए, डायनामिक्राफ्टर मॉडल एक तीन-चरण प्रशिक्षण प्रक्रिया का उपयोग करता है

1. पहले चरण में, मॉडल इमेज कॉन्टेक्स्ट रिप्रेजेंटेशन नेटवर्क को प्रशिक्षित करता है।
2. दूसरे चरण में, मॉडल टेक्स्ट टू वीडियो मॉडल के लिए इमेज कॉन्टेक्स्ट रिप्रेजेंटेशन नेटवर्क को अनुकूलित करता है।
3. तीसरे और अंतिम चरण में, मॉडल विजुअल डिटेल गाइडेंस घटक के साथ इमेज कॉन्टेक्स्ट रिप्रेजेंटेशन नेटवर्क को संयुक्त रूप से ठीक करता है।

टेक्स्ट-टू-वीडियो (टी2वी) मॉडल के साथ संगतता के लिए इमेज जानकारी को अनुकूलित करने के लिए, डायनामिक्राफ्टर फ्रेमवर्क एक कॉन्टेक्स्ट रिप्रेजेंटेशन नेटवर्क पी का प्रस्ताव करता है जो दिए गए इमेज से टेक्स्ट-एलाइड विजुऐल विवरण को पकड़ने के लिए डिज़ाइन किया गया है। यह मान्यता देते हुए कि पी को अभिसरण के लिए कई अनुकूलन चरणों की आवश्यकता है, फ्रेमवर्क का दृष्टिकोण पहले इसे एक सरल टेक्स्ट-टू-इमेज (टी2आई) मॉडल का उपयोग करके प्रशिक्षित करना शामिल है। यह रणनीति कॉन्टेक्स्ट रिप्रेजेंटेशन नेटवर्क को टी2वी मॉडल के साथ जोड़ने से पहले इमेज कॉन्टेक्स्ट के बारे में सीखने पर ध्यान केंद्रित करने में सक्षम बनाती है।

टी2वी के साथ संगतता सुनिश्चित करने के लिए, डायनामिक्राफ्टर फ्रेमवर्क इनपुट इमेज को प्रति-फ्रेम शोर के साथ जोड़ता है और फिर पी और वीडियो डिस्क्रिमिनेशन मॉडल (वीडीएम) के स्थानिक परतों को ठीक करता है। इस विधि का चयन टी2वी मॉडल के मौजूदा अस्थायी अंतर्दृष्टि की अखंडता को बनाए रखने और घने इमेज जोड़ने के प्रतिकूल प्रभावों से बचने के लिए किया जाता है जो प्रदर्शन को समझौता कर सकता है और हमारे प्राथमिक लक्ष्य से विचलित हो सकता है। इसके अलावा, फ्रेमवर्क एक रणनीति का उपयोग करता है जिसमें एक वीडियो फ्रेम को यादृच्छिक रूप से चुना जाता है ताकि दो उद्देश्यों को प्राप्त किया जा सके: (i) नेटवर्क को एक पूर्वानुमानित पैटर्न विकसित करने से रोकना जो सीधे जोड़ी गई इमेज को एक विशिष्ट फ्रेम स्थान से जोड़ता है, और (ii) एक अधिक अनुकूलन योग्य संदर्भ प्रतिनिधित्व को प्रोत्साहित करना जो किसी विशिष्ट फ्रेम के लिए अत्यधिक जिद्दी जानकारी को रोकता है।

डायनामिक्राफ्टर: प्रयोग और परिणाम

डायनामिक्राफ्टर फ्रेमवर्क पहले स्टेबल डिफ्यूजन पर कॉन्टेक्स्ट रिप्रेजेंटेशन नेटवर्क और इमेज क्रॉस-एटेंशन लेयर्स को प्रशिक्षित करता है। फिर फ्रेमवर्क स्टेबल डिफ्यूजन घटक को वीडियोक्राफ्टर से बदल देता है और अनुकूलन के लिए कॉन्टेक्स्ट रिप्रेजेंटेशन नेटवर्क और स्थानिक परतों को और ठीक करता है, साथ ही इमेज जोड़ने के साथ। अनुमान में, फ्रेमवर्क डीडीआईएम सैंपलर को बहु-स्थिति वर्गीकरणकर्ता-मुक्त मार्गदर्शन के साथ अपनाता है। इसके अलावा, वीडियो की अस्थायी सुसंगतता और गुणवत्ता का मूल्यांकन करने के लिए, फ्रेमवर्क एफवीडी या फ्रेचेट वीडियो दूरी और केवीडी या कर्नल वीडियो दूरी की रिपोर्ट करता है, और एमएसआर-वीटीटी और यूसीएफ-101 बेंचमार्क पर शून्य-शॉट प्रदर्शन का मूल्यांकन करता है। इनपुट इमेज और उत्पन्न परिणामों के बीच संवेदी अनुरूपता की जांच करने के लिए, फ्रेमवर्क पीआईसी या संवेदी इनपुट अनुरूपता पेश करता है और संवेदी दूरी मीट्रिक ड्रीमसिम को दूरी के रूप में अपनाता है।

निम्नलिखित आंकड़ा विभिन्न शैलियों और सामग्री के साथ उत्पन्न एनिमेटेड सामग्री की दृश्य तुलना दिखाता है।

जैसा कि देखा जा सकता है, विभिन्न तरीकों में से, डायनामिक्राफ्टर फ्रेमवर्क इनपुट इमेज शर्त का अच्छी तरह से पालन करता है और अस्थायी रूप से सुसंगत वीडियो उत्पन्न करता है। निम्नलिखित तालिका 49 प्रतिभागियों के साथ एक उपयोगकर्ता अध्ययन के आंकड़े हैं जो अस्थायी सुसंगतता (टीसी), गति गुणवत्ता (एमसी) के लिए वरीयता दर और इनपुट इमेज (आईसी) के लिए दृश्य अनुरूपता के चयन दर को दर्शाते हैं। जैसा कि देखा जा सकता है, डायनामिक्राफ्टर फ्रेमवर्क मौजूदा तरीकों को एक महत्वपूर्ण अंतर से पार करता है।

निम्नलिखित आंकड़ा डुअल-स्ट्रीम इंजेक्शन विधि और प्रशिक्षण तंत्र के परिणामों को दर्शाता है।

अंतिम विचार

इस लेख में, हमने डायनामिक्राफ्टर के बारे में बात की है, जो वर्तमान इमेज एनिमेशन मॉडल की सीमाओं को पार करने और ओपन-वर्ल्ड इमेजेस जैसे सामान्य परिदृश्यों में उनकी व्यापकता को बढ़ाने का प्रयास है। डायनामिक्राफ्टर फ्रेमवर्क ओपन-डोमेन इमेजेस के लिए गतिशील सामग्री का संश्लेषण करने का प्रयास करता है, उन्हें एनिमेटेड वीडियो में परिवर्तित करता है। डायनामिक्राफ्टर के पीछे का मुख्य विचार यह है कि जनरेटिव प्रक्रिया में मार्गदर्शन के रूप में इमेज को शामिल करने का प्रयास करना है, जो पहले से मौजूद टेक्स्ट टू वीडियो डिफ्यूजन मॉडल के मोशन प्रायर का उपयोग करने का प्रयास करता है। एक दिए गए इमेज के लिए, डायनामिक्राफ्टर मॉडल पहले एक क्वेरी ट्रांसफॉर्मर लागू करता है जो इमेज को एक टेक्स्ट-एलाइड रिच कॉन्टेक्स्ट रिप्रेजेंटेशन स्पेस में परियोजना करता है, जो वीडियो मॉडल को इमेज सामग्री को संगत तरीके से पचाने में मदद करता है। हालांकि, डायनामिक्राफ्टर मॉडल अभी भी परिणामी वीडियो में कुछ दृश्य विवरणों को संरक्षित करने के लिए संघर्ष करता है, जो एक समस्या है जिसे डायनामिक्राफ्टर मॉडल डिफ्यूजन मॉडल में पूरी इमेज को खिलाने के द्वारा हल करता है जो प्रारंभिक शोर के साथ इमेज को जोड़कर, इस प्रकार मॉडल को अधिक सटीक इमेज जानकारी प्रदान करता है।