एआई वीडियो निर्माण में सम्पूर्ण नियंत्रण की ओर

वीडियो फाउंडेशन मॉडल जैसे हुनयुआन और वान 2.1हालांकि ये शक्तिशाली हैं, लेकिन उपयोगकर्ताओं को उस तरह का विस्तृत नियंत्रण प्रदान नहीं करते हैं जो फिल्म और टीवी प्रोडक्शन (विशेष रूप से वीएफएक्स प्रोडक्शन) की मांग करता है।

पेशेवर दृश्य प्रभाव स्टूडियो में, इस तरह के ओपन-सोर्स मॉडल के साथ-साथ पहले के छवि-आधारित (वीडियो के बजाय) मॉडल जैसे स्थिर प्रसार, कैंडिंस्की और प्रवाह, आमतौर पर सहायक उपकरणों की एक श्रृंखला के साथ उपयोग किया जाता है जो विशिष्ट रचनात्मक आवश्यकताओं को पूरा करने के लिए अपने कच्चे आउटपुट को अनुकूलित करते हैं। जब कोई निर्देशक कहता है, “यह बहुत अच्छा लग रहा है, लेकिन क्या हम इसे थोड़ा और बेहतर बना सकते हैं?” आप यह कहकर जवाब नहीं दे सकते कि मॉडल ऐसे अनुरोधों को संभालने के लिए पर्याप्त सटीक नहीं है।

इसके बजाय एक एआई वीएफएक्स टीम पारंपरिक की एक श्रृंखला का उपयोग करेगी सीजीआई और रचना संबंधी तकनीकों को समय के साथ विकसित कस्टम प्रक्रियाओं और कार्यप्रवाहों के साथ संयोजित किया गया है, ताकि वीडियो संश्लेषण की सीमाओं को थोड़ा और आगे बढ़ाया जा सके।

इसलिए समानता के आधार पर, एक फाउंडेशन वीडियो मॉडल क्रोम जैसे वेब-ब्राउज़र की डिफ़ॉल्ट स्थापना की तरह है; यह बहुत कुछ करता है, लेकिन यदि आप चाहते हैं कि यह आपकी आवश्यकताओं के अनुकूल हो, न कि इसके विपरीत, तो आपको कुछ प्लगइन्स की आवश्यकता होगी।

नियंत्रण शैतान

प्रसार-आधारित छवि संश्लेषण की दुनिया में, सबसे महत्वपूर्ण ऐसी तृतीय-पक्ष प्रणाली है कंट्रोलनेट.

कंट्रोलनेट प्रसार-आधारित जनरेटिव मॉडलों में संरचित नियंत्रण जोड़ने की एक तकनीक है, जो उपयोगकर्ताओं को अतिरिक्त इनपुट के साथ छवि या वीडियो निर्माण का मार्गदर्शन करने की अनुमति देती है, जैसे किनारे के नक्शे, गहराई के नक्शेया, मुद्रा जानकारी.

कंट्रोलनेट की विभिन्न विधियां गहराई>छवि (शीर्ष पंक्ति), अर्थगत विभाजन>छवि (नीचे बाईं ओर) और मनुष्यों और जानवरों की मुद्रा-निर्देशित छवि निर्माण (नीचे बाईं ओर) की अनुमति देती हैं।

केवल पाठ संकेतों पर निर्भर रहने के बजाय, कंट्रोलनेट अलग-अलग तंत्रिका नेटवर्क शाखाएं प्रस्तुत करता है, या एडेप्टर, जो आधार मॉडल की उत्पादक क्षमताओं को संरक्षित करते हुए इन कंडीशनिंग संकेतों को संसाधित करते हैं।

यह ऐसे सूक्ष्म आउटपुट को सक्षम बनाता है जो उपयोगकर्ता विनिर्देशों का अधिक निकटता से पालन करते हैं, जिससे यह उन अनुप्रयोगों में विशेष रूप से उपयोगी हो जाता है जहां सटीक संयोजन, संरचना या गति नियंत्रण की आवश्यकता होती है:

मार्गदर्शक मुद्रा के साथ, कंट्रोलनेट के माध्यम से विभिन्न प्रकार के सटीक आउटपुट प्राप्त किए जा सकते हैं। स्रोत: https://arxiv.org/pdf/2302.05543

हालांकि, इस तरह के एडाप्टर-आधारित ढांचे बाहरी रूप से तंत्रिका प्रक्रियाओं के एक सेट पर काम करते हैं जो बहुत आंतरिक रूप से केंद्रित होते हैं। इन तरीकों में कई कमियाँ हैं।

सबसे पहले, एडाप्टर्स को स्वतंत्र रूप से प्रशिक्षित किया जाता है, जिससे शाखा संघर्ष जब कई एडाप्टरों को एक साथ जोड़ा जाता है, तो इससे उत्पादन की गुणवत्ता में गिरावट आ सकती है।

दूसरा, वे परिचय देते हैं पैरामीटर अतिरेक, प्रत्येक एडाप्टर के लिए अतिरिक्त संगणना और मेमोरी की आवश्यकता होती है, जिससे स्केलिंग अकुशल हो जाती है।

तीसरा, अपने लचीलेपन के बावजूद, एडाप्टर्स अक्सर उप इष्टतम परिणाम उन मॉडलों की तुलना में जो पूरी तरह से सुधारी बहु-स्थिति निर्माण के लिए। ये मुद्दे एडाप्टर-आधारित विधियों को कई नियंत्रण संकेतों के निर्बाध एकीकरण की आवश्यकता वाले कार्यों के लिए कम प्रभावी बनाते हैं।

आदर्श रूप से, कंट्रोलनेट की क्षमताओं को प्रशिक्षित किया जाएगा मूल रूप से मॉडल में, एक मॉड्यूलर तरीके से, जो बाद में और बहुप्रतीक्षित स्पष्ट नवाचारों जैसे कि एक साथ वीडियो/ऑडियो उत्पादन, या मूल लिप-सिंक क्षमताओं (बाहरी ऑडियो के लिए) को समायोजित कर सकता है।

जैसा कि यह है, कार्यक्षमता का प्रत्येक अतिरिक्त भाग या तो एक पोस्ट-प्रोडक्शन कार्य या एक गैर-देशी प्रक्रिया का प्रतिनिधित्व करता है, जिसे उस आधार मॉडल के कसकर बंधे और संवेदनशील भार को नेविगेट करना होता है जिस पर वह काम कर रहा है।

फुलडिट

इस गतिरोध में चीन की ओर से एक नई पेशकश सामने आई है, जिसमें एक ऐसी प्रणाली की बात कही गई है, जिसमें कंट्रोलनेट शैली के उपायों को प्रशिक्षण के समय सीधे एक जनरेटिव वीडियो मॉडल में शामिल कर दिया जाता है, न कि बाद में विचार के लिए छोड़ दिया जाता है।

नए पेपर से: फुलडिट दृष्टिकोण पहचान आरोपण, गहराई और कैमरा आंदोलन को मूल पीढ़ी में शामिल कर सकता है, और इनमें से किसी भी संयोजन को एक साथ बुला सकता है. स्रोत: https://arxiv.org/pdf/2503.19907

शीर्षक फुलडिटनया दृष्टिकोण बहु-कार्य स्थितियों जैसे पहचान हस्तांतरण, गहराई-मानचित्रण और कैमरा आंदोलन को प्रशिक्षित जनरेटिव वीडियो मॉडल के एकीकृत हिस्से में जोड़ता है, जिसके लिए लेखकों ने एक प्रोटोटाइप प्रशिक्षित मॉडल और साथ में वीडियो-क्लिप तैयार किए हैं। परियोजना स्थल.

नीचे दिए गए उदाहरण में, हम ऐसी पीढ़ियाँ देखते हैं जो कैमरा मूवमेंट, पहचान संबंधी जानकारी और पाठ्य जानकारी (अर्थात, उपयोगकर्ता को निर्देशित करने वाले पाठ्य संकेत) को सम्मिलित करती हैं:

चलाने के लिए क्लिक करें। केवल एक मूल प्रशिक्षित आधार मॉडल के साथ कंट्रोलनेट-शैली उपयोगकर्ता आरोपण के उदाहरण। स्रोत: https://fulldit.github.io/

यह ध्यान दिया जाना चाहिए कि लेखक अपने प्रयोगात्मक प्रशिक्षित मॉडल को कार्यात्मक आधार मॉडल के रूप में प्रस्तावित नहीं कर रहे हैं, बल्कि मूल पाठ-से-वीडियो (T2V) और छवि-से-वीडियो (I2V) मॉडल के लिए एक अवधारणा के प्रमाण के रूप में प्रस्तावित कर रहे हैं, जो उपयोगकर्ताओं को केवल एक छवि प्रॉम्प्ट या एक पाठ-प्रॉम्प्ट की तुलना में अधिक नियंत्रण प्रदान करता है।

चूंकि इस तरह का कोई समान मॉडल अभी तक उपलब्ध नहीं है, इसलिए शोधकर्ताओं ने एक नया बेंचमार्क बनाया है जिसका शीर्षक है फुलबेंच, मल्टी-टास्क वीडियो के मूल्यांकन के लिए, और पिछले तरीकों के खिलाफ उनके द्वारा तैयार किए गए समान-से-समान परीक्षणों में अत्याधुनिक प्रदर्शन का दावा करते हैं। हालाँकि, चूँकि फुलबेंच को लेखकों ने स्वयं डिज़ाइन किया था, इसलिए इसकी निष्पक्षता का परीक्षण नहीं किया गया है, और 1,400 मामलों का इसका डेटासेट व्यापक निष्कर्षों के लिए बहुत सीमित हो सकता है।

पेपर में जिस आर्किटेक्चर को प्रस्तुत किया गया है, उसका शायद सबसे दिलचस्प पहलू यह है कि इसमें नए प्रकार के नियंत्रण को शामिल करने की क्षमता है। लेखक कहते हैं:

इस कार्य में, हम केवल कैमरे की नियंत्रण स्थितियों, पहचानों और गहराई की जानकारी का अन्वेषण करते हैं। हमने ऑडियो, स्पीच, पॉइंट क्लाउड, ऑब्जेक्ट बाउंडिंग बॉक्स, ऑप्टिकल फ़्लो आदि जैसी अन्य स्थितियों और तौर-तरीकों की आगे जाँच नहीं की। हालाँकि FullDiT का डिज़ाइन न्यूनतम आर्किटेक्चर संशोधन के साथ अन्य तौर-तरीकों को सहजता से एकीकृत कर सकता है, फिर भी मौजूदा मॉडलों को नई स्थितियों और तौर-तरीकों के अनुकूल कैसे शीघ्रता और किफ़ायती ढंग से ढाला जाए, यह अभी भी एक महत्वपूर्ण प्रश्न है जिस पर आगे और अधिक शोध की आवश्यकता है।

यद्यपि शोधकर्ता फुलडिट को बहु-कार्य वीडियो निर्माण में एक कदम आगे के रूप में प्रस्तुत करते हैं, लेकिन यह ध्यान में रखना चाहिए कि यह नया कार्य मौलिक रूप से नए प्रतिमान को प्रस्तुत करने के बजाय मौजूदा आर्किटेक्चर पर आधारित है।

फिर भी, FullDiT वर्तमान में (जहां तक ​​मुझे पता है) 'हार्ड कोडेड' कंट्रोलनेट-शैली सुविधाओं के साथ एक वीडियो फाउंडेशन मॉडल के रूप में अकेला खड़ा है - और यह देखना अच्छा है कि प्रस्तावित आर्किटेक्चर बाद के नवाचारों को भी समायोजित कर सकता है।

चलाने के लिए क्लिक करें। परियोजना स्थल से उपयोगकर्ता-नियंत्रित कैमरा चालन के उदाहरण।

RSI नया कागज शीर्षक है फुलडिट: पूर्ण ध्यान के साथ मल्टी-टास्क वीडियो जेनरेटिव फाउंडेशन मॉडल, और कुआइशौ टेक्नोलॉजी और द चाइनीज यूनिवर्सिटी ऑफ हांगकांग के नौ शोधकर्ताओं से आया है। प्रोजेक्ट पेज है यहाँ उत्पन्न करें और नया बेंचमार्क डेटा है गले मिलते चेहरे पर.

विधि

लेखकों का तर्क है कि फुलडिट का एकीकृत ध्यान तंत्र विभिन्न स्थितियों में स्थानिक और लौकिक दोनों संबंधों को पकड़कर मजबूत क्रॉस-मोडल प्रतिनिधित्व सीखने को सक्षम बनाता है:

नए पेपर के अनुसार, फुलडीआईटी पूर्ण स्व-ध्यान के माध्यम से कई इनपुट स्थितियों को एकीकृत करता है, उन्हें एकीकृत अनुक्रम में परिवर्तित करता है। इसके विपरीत, एडाप्टर-आधारित मॉडल (ऊपर सबसे बाईं ओर) प्रत्येक इनपुट के लिए अलग-अलग मॉड्यूल का उपयोग करते हैं, जिससे अतिरेक, संघर्ष और कमजोर प्रदर्शन होता है।

एडाप्टर-आधारित सेटअप के विपरीत जो प्रत्येक इनपुट स्ट्रीम को अलग से संसाधित करते हैं, यह साझा ध्यान संरचना शाखा संघर्षों से बचती है और पैरामीटर ओवरहेड को कम करती है। वे यह भी दावा करते हैं कि आर्किटेक्चर प्रमुख रीडिज़ाइन के बिना नए इनपुट प्रकारों को स्केल कर सकता है - और यह कि मॉडल स्कीमा प्रशिक्षण के दौरान नहीं देखे गए कंडीशन संयोजनों को सामान्य करने के संकेत दिखाती है, जैसे कि कैमरा गति को चरित्र पहचान के साथ जोड़ना।

चलाने के लिए क्लिक करें। परियोजना स्थल से पहचान निर्माण के उदाहरण.

फुलडिट की वास्तुकला में, सभी कंडीशनिंग इनपुट - जैसे कि टेक्स्ट, कैमरा मोशन, पहचान और गहराई - को पहले एक एकीकृत टोकन प्रारूप में परिवर्तित किया जाता है। इन टोकन को फिर एक एकल लंबे अनुक्रम में संयोजित किया जाता है, जिसे स्टैक के माध्यम से संसाधित किया जाता है ट्रांसफार्मर पूर्ण आत्म-ध्यान का उपयोग करते हुए परतें। यह दृष्टिकोण पहले के कार्यों जैसे कि ओपन-सोरा योजना और मूवी जनरेशन.

यह डिज़ाइन मॉडल को सभी स्थितियों में संयुक्त रूप से अस्थायी और स्थानिक संबंधों को सीखने की अनुमति देता है। प्रत्येक ट्रांसफ़ॉर्मर ब्लॉक पूरे अनुक्रम पर काम करता है, जिससे प्रत्येक इनपुट के लिए अलग-अलग मॉड्यूल पर निर्भर किए बिना मोडैलिटी के बीच गतिशील इंटरैक्शन सक्षम होता है - और, जैसा कि हमने उल्लेख किया है, आर्किटेक्चर को विस्तार योग्य होने के लिए डिज़ाइन किया गया है, जिससे भविष्य में बड़े संरचनात्मक परिवर्तनों के बिना अतिरिक्त नियंत्रण संकेतों को शामिल करना बहुत आसान हो जाता है।

तीन की शक्ति

FullDiT प्रत्येक नियंत्रण सिग्नल को एक मानकीकृत टोकन प्रारूप में परिवर्तित करता है ताकि सभी स्थितियों को एक एकीकृत ध्यान ढांचे में एक साथ संसाधित किया जा सके। कैमरा गति के लिए, मॉडल प्रत्येक फ्रेम के लिए बाह्य मापदंडों - जैसे स्थिति और अभिविन्यास - के अनुक्रम को एनकोड करता है। इन मापदंडों को टाइमस्टैम्प किया जाता है और एम्बेडिंग वैक्टर में प्रक्षेपित किया जाता है जो सिग्नल की अस्थायी प्रकृति को दर्शाते हैं।

पहचान संबंधी जानकारी को अलग तरीके से माना जाता है, क्योंकि यह स्वाभाविक रूप से स्थानिक होती है न कि अस्थायी। मॉडल पहचान मानचित्रों का उपयोग करता है जो यह संकेत देते हैं कि प्रत्येक फ़्रेम के किस भाग में कौन से अक्षर मौजूद हैं। इन मानचित्रों को निम्न में विभाजित किया गया है पैच, प्रत्येक पैच को एक में प्रक्षेपित किया गया embedding जो स्थानिक पहचान संकेतों को पकड़ता है, जिससे मॉडल को फ्रेम के विशिष्ट क्षेत्रों को विशिष्ट संस्थाओं के साथ जोड़ने की अनुमति मिलती है।

गहराई एक स्थानिक-समय संकेत है, और मॉडल गहराई वीडियो को 3D पैच में विभाजित करके इसे संभालता है जो स्थान और समय दोनों को फैलाते हैं। फिर इन पैच को इस तरह से एम्बेड किया जाता है कि फ्रेम में उनकी संरचना सुरक्षित रहे।

एक बार एम्बेड हो जाने पर, ये सभी कंडीशन टोकन (कैमरा, पहचान और गहराई) एक लंबे अनुक्रम में संयोजित हो जाते हैं, जिससे FullDiT को पूर्ण का उपयोग करके उन्हें एक साथ संसाधित करने की अनुमति मिलती है आत्म-ध्यानयह साझा प्रतिनिधित्व मॉडल के लिए अलग-अलग प्रसंस्करण धाराओं पर भरोसा किए बिना मोडलिटी और समय के पार अंतःक्रियाओं को सीखना संभव बनाता है।

डेटा और परीक्षण

फुलडिट का प्रशिक्षण दृष्टिकोण प्रत्येक कंडीशनिंग प्रकार के अनुरूप चुनिंदा एनोटेट किए गए डेटासेट पर निर्भर करता था, बजाय इसके कि सभी स्थितियों को एक साथ मौजूद रहने की आवश्यकता होती थी।

पाठ्य स्थितियों के लिए, यह पहल में उल्लिखित संरचित कैप्शनिंग दृष्टिकोण का अनुसरण करती है मीराडाटा परियोजना.

मीराडाटा परियोजना से वीडियो संग्रहण और एनोटेशन पाइपलाइन। स्रोत: https://arxiv.org/pdf/2407.06358

कैमरा गति के लिए, रियलएस्टेट10K डेटासेट मुख्य डेटा स्रोत था, क्योंकि इसमें कैमरा मापदंडों की उच्च गुणवत्ता वाली ग्राउंड-ट्रुथ एनोटेशन थी।

हालांकि, लेखकों ने पाया कि RealEstate10K जैसे स्थिर-दृश्य कैमरा डेटासेट पर विशेष रूप से प्रशिक्षण से उत्पन्न वीडियो में गतिशील वस्तु और मानव आंदोलनों में कमी आई। इसका प्रतिकार करने के लिए, उन्होंने आंतरिक डेटासेट का उपयोग करके अतिरिक्त फ़ाइन-ट्यूनिंग की जिसमें अधिक गतिशील कैमरा गतियाँ शामिल थीं।

पहचान एनोटेशन को इसके लिए विकसित पाइपलाइन का उपयोग करके तैयार किया गया था। कॉन्सेप्टमास्टर परियोजना, जिसने सूक्ष्म पहचान संबंधी जानकारी को कुशलतापूर्वक फ़िल्टर करने और निकालने की अनुमति दी।

कॉन्सेप्टमास्टर फ्रेमवर्क को अनुकूलित वीडियो में अवधारणा की विश्वसनीयता को बनाए रखते हुए पहचान वियोजन संबंधी मुद्दों को संबोधित करने के लिए डिज़ाइन किया गया है। स्रोत: https://arxiv.org/pdf/2501.04698

गहराई एनोटेशन से प्राप्त किए गए थे पांडा-70एम डेटासेट का उपयोग करना गहराई कुछ भी.

डेटा-ऑर्डरिंग के माध्यम से अनुकूलन

लेखकों ने एक प्रगतिशील प्रशिक्षण कार्यक्रम भी लागू किया, जिसमें अधिक चुनौतीपूर्ण परिस्थितियां शामिल थीं पहले प्रशिक्षण में यह सुनिश्चित करने के लिए कि सरल कार्यों को जोड़ने से पहले मॉडल ने मजबूत प्रतिनिधित्व हासिल कर लिया है। प्रशिक्षण क्रम आगे बढ़ा टेक्स्ट सेवा मेरे कैमरा शर्तें, फिर पहचान, और अंत में गहराई, आसान कार्य आम तौर पर बाद में और कम उदाहरणों के साथ पेश किए जाते हैं।

लेखक कार्यभार को इस प्रकार व्यवस्थित करने के महत्व पर जोर देते हैं:

'प्री-ट्रेनिंग चरण के दौरान, हमने पाया कि अधिक चुनौतीपूर्ण कार्यों के लिए विस्तारित प्रशिक्षण समय की आवश्यकता होती है और उन्हें सीखने की प्रक्रिया में पहले ही पेश किया जाना चाहिए। इन चुनौतीपूर्ण कार्यों में जटिल डेटा वितरण शामिल होते हैं जो आउटपुट वीडियो से काफी भिन्न होते हैं, जिसके लिए मॉडल को उन्हें सटीक रूप से कैप्चर करने और प्रस्तुत करने के लिए पर्याप्त क्षमता रखने की आवश्यकता होती है।

'इसके विपरीत, आसान कार्यों को बहुत जल्दी प्रस्तुत करने से मॉडल उन्हें पहले सीखने को प्राथमिकता दे सकता है, क्योंकि वे अधिक तत्काल अनुकूलन प्रतिक्रिया प्रदान करते हैं, जो अधिक चुनौतीपूर्ण कार्यों के अभिसरण में बाधा डालते हैं।'

शोधकर्ताओं द्वारा अपनाए गए डेटा प्रशिक्षण क्रम का एक चित्रण, जिसमें लाल रंग अधिक डेटा मात्रा को दर्शाता है।

प्रारंभिक पूर्व-प्रशिक्षण के बाद, अंतिम फ़ाइन-ट्यूनिंग चरण ने दृश्य गुणवत्ता और गति गतिशीलता को बेहतर बनाने के लिए मॉडल को और परिष्कृत किया। इसके बाद प्रशिक्षण एक मानक प्रसार ढांचे* का अनुसरण करता है: वीडियो लेटेंट में शोर जोड़ा जाता है, और मॉडल पूर्वानुमान लगाना और उसे दूर करना सीखना, मार्गदर्शन के रूप में एम्बेडेड स्थिति टोकन का उपयोग करना।

फुलडिट का प्रभावी मूल्यांकन करने और मौजूदा तरीकों के खिलाफ निष्पक्ष तुलना प्रदान करने के लिए, और किसी अन्य उपयुक्त बेंचमार्क की उपलब्धता के अभाव में, लेखकों ने प्रस्तुत किया फुलबेंच, एक क्यूरेटेड बेंचमार्क सूट जिसमें 1,400 अलग-अलग परीक्षण मामले शामिल हैं।

नए फुलबेंच बेंचमार्क के लिए डेटा एक्सप्लोरर इंस्टेंस. स्रोत: https://huggingface.co/datasets/KwaiVGI/FullBench

प्रत्येक डेटा बिंदु ने विभिन्न कंडीशनिंग संकेतों के लिए ग्राउंड ट्रुथ एनोटेशन प्रदान किए, जिनमें शामिल हैं कैमरा गति, पहचान, तथा गहराई.

मेट्रिक्स

लेखकों ने प्रदर्शन के पांच मुख्य पहलुओं को कवर करते हुए दस मैट्रिक्स का उपयोग करके फुलडिट का मूल्यांकन किया: पाठ संरेखण, कैमरा नियंत्रण, पहचान समानता, गहराई सटीकता और सामान्य वीडियो गुणवत्ता।

पाठ संरेखण का मापन निम्न का उपयोग करके किया गया क्लिप समानता, जबकि कैमरा नियंत्रण का मूल्यांकन किया गया रोटेशन त्रुटि (रोटएर), अनुवाद त्रुटि (ट्रांसएर), और कैमरा गति स्थिरता (कैमएमसी), के दृष्टिकोण का अनुसरण करते हुए कैमआई2वी (में कैमरा Ctrl परियोजना)।

पहचान समानता का मूल्यांकन किया गया डिनो-I और क्लिप-I, और गहराई नियंत्रण सटीकता का उपयोग करके मात्रा निर्धारित की गई माध्य निरपेक्ष त्रुटि (एमएई)

वीडियो की गुणवत्ता को मीराडाटा के तीन मापदंडों के साथ आंका गया: सुगमता के लिए फ्रेम-स्तरीय CLIP समानता; गतिशीलता के लिए ऑप्टिकल प्रवाह-आधारित गति दूरी; और LAION-सौंदर्य स्कोर दृश्य अपील के लिए.

प्रशिक्षण

लेखकों ने एक आंतरिक (अघोषित) टेक्स्ट-टू-वीडियो प्रसार मॉडल का उपयोग करके फुलडिट को प्रशिक्षित किया जिसमें लगभग एक बिलियन पैरामीटर शामिल थे। उन्होंने जानबूझकर पिछले तरीकों के साथ तुलना में निष्पक्षता बनाए रखने और पुनरुत्पादन सुनिश्चित करने के लिए एक मामूली पैरामीटर आकार चुना।

चूंकि प्रशिक्षण वीडियो की लंबाई और रिज़ॉल्यूशन अलग-अलग थे, इसलिए लेखकों ने प्रत्येक को मानकीकृत किया बैच वीडियो को एक सामान्य रिज़ॉल्यूशन में आकार देकर और पैडिंग करके, प्रति अनुक्रम 77 फ़्रेम का नमूना लेकर, और लागू ध्यान और हानि मास्क प्रशिक्षण प्रभावशीलता को अनुकूलित करने के लिए।

RSI ऐडम अनुकूलक का उपयोग किया गया सीखने की दर 1 × 10 का^-5 64 NVIDIA H800 GPU के एक क्लस्टर में, कुल मिलाकर 5,120GB VRAM के लिए (इस बात पर विचार करें कि उत्साही संश्लेषण समुदायों में, 24GB RTX 3090 पर अभी भी एक शानदार मानक माना जाता है)।

मॉडल को लगभग 32,000 चरणों के लिए प्रशिक्षित किया गया, जिसमें प्रति वीडियो तीन पहचानों को शामिल किया गया, साथ ही कैमरा स्थितियों के 20 फ्रेम और गहराई की स्थितियों के 21 फ्रेम शामिल किए गए, दोनों को कुल 77 फ्रेमों से समान रूप से नमूना लिया गया।

अनुमान के लिए, मॉडल ने 384x672 पिक्सल (लगभग 15 फ्रेम प्रति सेकंड पर पांच सेकंड) के रिज़ॉल्यूशन पर 50 प्रसार अनुमान चरणों और पांच के क्लासिफायर-मुक्त मार्गदर्शन पैमाने के साथ वीडियो तैयार किया।

पूर्व विधियाँ

कैमरा-टू-वीडियो मूल्यांकन के लिए, लेखकों ने FullDiT की तुलना की मोशनCtrl, CameraCtrl, और CamI2V, सभी मॉडलों को RealEstate10k डेटासेट का उपयोग करके प्रशिक्षित किया गया है ताकि स्थिरता और निष्पक्षता सुनिश्चित की जा सके।

पहचान-वातानुकूलित पीढ़ी में, चूंकि कोई तुलनीय ओपन-सोर्स बहु-पहचान मॉडल उपलब्ध नहीं था, इसलिए मॉडल को समान प्रशिक्षण डेटा और आर्किटेक्चर का उपयोग करके 1B-पैरामीटर कॉन्सेप्टमास्टर मॉडल के विरुद्ध बेंचमार्क किया गया।

गहराई से वीडियो कार्यों के लिए, तुलना की गई Ctrl-एडाप्टर और नियंत्रणवीडियो.

एकल-कार्य वीडियो निर्माण के लिए मात्रात्मक परिणाम। कैमरा-टू-वीडियो निर्माण के लिए FullDiT की तुलना MotionCtrl, CameraCtrl और CamI2V से की गई; पहचान-से-वीडियो के लिए ConceptMaster (1B पैरामीटर संस्करण); और गहराई-से-वीडियो के लिए Ctrl-Adapter और ControlVideo से की गई। सभी मॉडलों का मूल्यांकन उनकी डिफ़ॉल्ट सेटिंग्स का उपयोग करके किया गया। संगति के लिए, प्रत्येक विधि से 16 फ़्रेमों का समान रूप से नमूना लिया गया, जो पिछले मॉडलों की आउटपुट लंबाई से मेल खाते थे।

परिणाम दर्शाते हैं कि फुलडिट ने एक साथ कई कंडीशनिंग सिग्नलों को संभालने के बावजूद, पाठ, कैमरा गति, पहचान और गहराई नियंत्रण से संबंधित मेट्रिक्स में अत्याधुनिक प्रदर्शन हासिल किया।

समग्र गुणवत्ता मानकों में, सिस्टम ने आम तौर पर अन्य विधियों से बेहतर प्रदर्शन किया, हालाँकि इसकी सुगमता कॉन्सेप्टमास्टर की तुलना में थोड़ी कम थी। यहाँ लेखक टिप्पणी करते हैं:

'फुलडिट की चिकनाई कॉन्सेप्टमास्टर की तुलना में थोड़ी कम है क्योंकि चिकनाई की गणना आसन्न फ़्रेमों के बीच CLIP समानता पर आधारित है। चूंकि फुलडिट कॉन्सेप्टमास्टर की तुलना में काफी अधिक गतिशीलता प्रदर्शित करता है, इसलिए चिकनाई मीट्रिक आसन्न फ़्रेमों के बीच बड़े बदलावों से प्रभावित होता है।

'सौंदर्यात्मक स्कोर के लिए, चूंकि रेटिंग मॉडल पेंटिंग शैली में छवियों को प्राथमिकता देता है और कंट्रोलवीडियो आमतौर पर इस शैली में वीडियो तैयार करता है, इसलिए यह सौंदर्यशास्त्र में उच्च स्कोर प्राप्त करता है।'

गुणात्मक तुलना के संबंध में, फुलडिट परियोजना साइट पर नमूना वीडियो का संदर्भ लेना बेहतर हो सकता है, क्योंकि पीडीएफ उदाहरण अनिवार्य रूप से स्थिर हैं (और यहां पूरी तरह से पुन: प्रस्तुत करने के लिए बहुत बड़े हैं)।

पीडीएफ में गुणात्मक परिणामों का पहला खंड। कृपया अतिरिक्त उदाहरणों के लिए स्रोत पेपर देखें, जो यहां पुन: प्रस्तुत करने के लिए बहुत व्यापक हैं।

लेखक टिप्पणी करते हैं:

'फुलडिट बेहतर पहचान संरक्षण को प्रदर्शित करता है और [कॉन्सेप्टमास्टर] की तुलना में बेहतर गतिशीलता और दृश्य गुणवत्ता वाले वीडियो बनाता है। चूंकि कॉन्सेप्टमास्टर और फुलडिट को एक ही आधार पर प्रशिक्षित किया जाता है, इसलिए यह पूर्ण ध्यान के साथ कंडीशन इंजेक्शन की प्रभावशीलता को उजागर करता है।

'... [अन्य] परिणाम मौजूदा डेप्थ-टू-वीडियो और कैमरा-टू-वीडियो विधियों की तुलना में फुलडीआईटी की बेहतर नियंत्रण क्षमता और उत्पादन गुणवत्ता को प्रदर्शित करते हैं।'

PDF में FullDiT के आउटपुट के कई सिग्नलों वाले उदाहरणों का एक भाग। अतिरिक्त उदाहरणों के लिए कृपया स्रोत पेपर और प्रोजेक्ट साइट देखें।

निष्कर्ष

हालांकि फुलडिट एक अधिक पूर्ण-विशेषताओं वाले वीडियो फाउंडेशन मॉडल की दिशा में एक रोमांचक प्रयास है, लेकिन यह सोचना होगा कि क्या कंट्रोलनेट-शैली के उपकरणों की मांग कभी भी इस तरह की सुविधाओं को बड़े पैमाने पर लागू करने को उचित ठहराएगी, कम से कम FOSS परियोजनाओं के लिए, जो वाणिज्यिक समर्थन के बिना, आवश्यक GPU प्रसंस्करण शक्ति की विशाल मात्रा प्राप्त करने के लिए संघर्ष करेंगे।

प्राथमिक चुनौती यह है कि डेप्थ और पोज़ जैसी प्रणालियों का उपयोग करने के लिए आम तौर पर कॉम्फीयूआई जैसे अपेक्षाकृत जटिल उपयोगकर्ता इंटरफ़ेस के साथ गैर-तुच्छ परिचितता की आवश्यकता होती है। इसलिए ऐसा लगता है कि इस तरह के एक कार्यात्मक FOSS मॉडल को छोटी VFX कंपनियों के एक कैडर द्वारा विकसित किए जाने की सबसे अधिक संभावना है, जिनके पास बंद दरवाजों के पीछे इस तरह के मॉडल को क्यूरेट करने और प्रशिक्षित करने के लिए पैसे (या इच्छाशक्ति, यह देखते हुए कि ऐसे सिस्टम मॉडल अपग्रेड द्वारा जल्दी से अप्रचलित हो जाते हैं) की कमी है।

दूसरी ओर, एपीआई-संचालित 'रेंट-एन-एआई' प्रणालियां उन मॉडलों के लिए सरल और अधिक उपयोगकर्ता-अनुकूल व्याख्यात्मक तरीकों को विकसित करने के लिए प्रेरित हो सकती हैं, जिनमें सहायक नियंत्रण प्रणालियों को सीधे प्रशिक्षित किया गया है।

चलाने के लिए क्लिक करें। FullDiT का उपयोग करके वीडियो निर्माण पर गहराई+पाठ नियंत्रण लागू किया गया।

* लेखक किसी ज्ञात आधार मॉडल (अर्थात् SDXL, आदि) का उल्लेख नहीं करते हैं।

पहली बार प्रकाशित गुरुवार, 27 मार्च 2025