Anderson का एंगल
क्यों AI वीडियो कभी-कभी उल्टा हो जाता है
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
यदि 2022 वह वर्ष था जब जनरेटिव AI ने व्यापक जनता की कल्पना को पकड़ लिया, तो 2025 वह वर्ष है जब चीन से आने वाले नए पीढ़ी के जनरेटिव वीडियो फ्रेमवर्क भी ऐसा ही करने के लिए तैयार हैं।
टेंसेंट के हुन्युआन वीडियो ने अपने खुले स्रोत जारी करने के साथ ही एक पूर्ण-विश्व वीडियो डिफ्यूजन मॉडल के साथ हॉबीस्ट AI समुदाय पर एक बड़ा प्रभाव डाला है, जिसे उपयोगकर्ता अपनी आवश्यकताओं के अनुसार अनुकूलित कर सकते हैं।
इसके बाद अलीबाबा का हालिया वान 2.1 है, जो इस अवधि के सबसे शक्तिशाली इमेज-टू-वीडियो फॉस सॉल्यूशन में से एक है – अब वान लोरास के माध्यम से अनुकूलन का समर्थन करता है।
हाल ही में मानव-केंद्रित फाउंडेशन मॉडल स्काईरील्स की उपलब्धता के अलावा, लेखन के समय हम अलीबाबा की व्यापक वीएसई वीडियो सृजन और संपादन सूट की रिलीज का इंतजार कर रहे हैं:
प्ले करने के लिए क्लिक करें। अलीबाबा के मल्टी-फंक्शन AI-एडिटिंग सूट VACE की प्रतीक्षित रिलीज ने उपयोगकर्ता समुदाय को उत्साहित किया है। स्रोत: https://ali-vilab.github.io/VACE-Page/
अचानक प्रभाव
जनरेटिव वीडियो एआई अनुसंधान दृश्य स्वयं कम विस्फोटक नहीं है; यह अभी भी मार्च का पहला आधा है, और मंगलवार को अर्क्सिव के कंप्यूटर विजन अनुभाग (एक जनरेटिव एआई पेपर के लिए एक केंद्र) में प्रस्तुतियाँ लगभग 350 प्रविष्टियों तक पहुँच गईं – एक आंकड़ा जो सम्मेलन के शिखर के साथ जुड़ा हुआ है।
2022 के गर्मियों में स्टेबल डिफ्यूजन के प्रक्षेपण और ड्रीमबूथ और लोरा अनुकूलन विधियों के बाद के विकास के दो वर्षों में आगे के प्रमुख विकास की कमी की विशेषता है।
वीडियो डिफ्यूजन मॉडल जैसे हुन्युआन और वान 2.1 ने अंततः, और वर्षों के सैकड़ों शोध पहल के विफल प्रयासों के बाद, मानवों, और वातावरण और वस्तुओं के संबंध में कालिक स्थिरता की समस्या का समाधान कर लिया है।
वीएफएक्स स्टूडियो वर्तमान में चेहरा-स्वैपिंग जैसी तत्काल चुनौतियों का समाधान करने के लिए कर्मचारियों और संसाधनों को इन नए चीनी वीडियो मॉडल को अनुकूलित करने के लिए आवंटित कर रहे हैं, कंट्रोलनेट-शैली के सहायक तंत्रों की वर्तमान कमी के बावजूद।
यह इतनी बड़ी बाधा का संभावित रूप से पार हो जाना एक बड़ी राहत होगी, हालांकि अपेक्षित मार्ग से नहीं।
शेष समस्याओं में, यह एक महत्वपूर्ण नहीं है:
प्ले करने के लिए क्लिक करें। ‘एक छोटी सी चट्टान एक तेज, चट्टानी ढलान से नीचे गिरती है, मिट्टी और छोटे पत्थरों को विस्थापित करती है’ प्रॉम्प्ट पर वान 2.1, जो नए कागजात में बहुत उच्च स्कोर हासिल करता है, एक सरल त्रुटि करता है। स्रोत: https://videophy2.github.io/
पहाड़ की ओर पीछे की ओर
वर्तमान में उपलब्ध सभी पाठ-से-वीडियो और छवि-से-वीडियो प्रणाली, वाणिज्यिक बंद-स्रोत मॉडल सहित, एक चट्टान को पहाड़ की ओर ऊपर की ओर घूमते हुए दिखाने जैसी भौतिकी ब्लूपर्स उत्पन्न करने की प्रवृत्ति रखती हैं, जो प्रॉम्प्ट ‘एक छोटी सी चट्टान एक तेज, चट्टानी ढलान से नीचे गिरती है, मिट्टी और छोटे पत्थरों को विस्थापित करती है‘ पर आधारित है।
यह होने का एक सिद्धांत, हाल ही में प्रस्तावित अलीबाबा और यूएई के बीच एक अकादमिक सहयोग में, यह है कि मॉडल हमेशा एकल छवियों पर प्रशिक्षित होते हैं, एक अर्थ में, यहां तक कि जब वे वीडियो (जो प्रशिक्षण उद्देश्यों के लिए एकल-फ्रेम अनुक्रम में लिखे जाते हैं) पर प्रशिक्षित होते हैं; और वे आवश्यक रूप से ‘पहले‘ और ‘बाद‘ चित्रों के सही कालिक क्रम को सीखने की आवश्यकता नहीं है।
हालांकि, सबसे संभावित समाधान यह है कि मॉडल ने डेटा ऑगमेंटेशन दिनचर्या का उपयोग किया है जिसमें एक स्रोत प्रशिक्षण क्लिप को मॉडल के सामने आगे और पीछे की ओर प्रस्तुत किया जाता है, प्रभावी रूप से प्रशिक्षण डेटा को दोगुना कर दिया जाता है।
यह लंबे समय से ज्ञात है कि यह मनमाने ढंग से नहीं किया जाना चाहिए, क्योंकि कुछ आंदोलनों में उल्टा काम करता है, लेकिन अधिकांश नहीं। एक 2019 के अध्ययन में यूके के ब्रिस्टल विश्वविद्यालय ने एक विधि विकसित करने का प्रयास किया जो सममित, अपरिवर्तनीय और अपरिवर्तनीय स्रोत डेटा वीडियो क्लिप को बता सकता है जो एक ही डेटासेट में सहexist हैं (नीचे दी गई छवि देखें), यह धारणा के साथ कि अनुपयुक्त स्रोत क्लिप को डेटा ऑगमेंटेशन दिनचर्या से हटाया जा सकता है।
तीन प्रकार की गति के उदाहरण, जिनमें से केवल एक ही स्वतंत्र रूप से उल्टा हो सकता है और वास्तविक भौतिक गतिविधियों को बनाए रख सकता है। स्रोत: https://arxiv.org/abs/1909.09422
इस काम के लेखक समस्या को स्पष्ट रूप से बताते हैं:
‘हम उल्टे वीडियो की वास्तविकता को उल्टे आर्टिफैक्ट्स द्वारा धोखा दिया जाता है, जो दृश्य के ऐसे पहलू हैं जो प्राकृतिक दुनिया में संभव नहीं होंगे। कुछ आर्टिफैक्ट्स सूक्ष्म हैं, जबकि अन्य आसानी से देखे जा सकते हैं, जैसे कि एक उल्टा ‘फेंक’ कार्रवाई जहां फेंका गया वस्तु अचानक फर्श से उठता है।
‘हम दो प्रकार के उल्टे आर्टिफैक्ट्स का अवलोकन करते हैं, भौतिक, जो प्रकृति के नियमों का उल्लंघन करते हैं, और असंभव, जो एक संभावित लेकिन असंभव परिदृश्य को दर्शाते हैं। ये एक दूसरे के साथ अनन्य नहीं हैं, और कई उल्टे क्रियाएं दोनों प्रकार के आर्टिफैक्ट्स से पीड़ित होती हैं, जैसे कि एक कागज़ को अनक्रिम्पल करना।
‘भौतिक आर्टिफैक्ट्स के उदाहरणों में शामिल हैं: गुरुत्वाकर्षण का उल्टा (जैसे ‘कुछ गिराना’), वस्तुओं पर स्वतंत्र आवेग (जैसे ‘पेन को घुमाना’), और अपरिवर्तनीय स्थिति परिवर्तन (जैसे ‘एक मोमबत्ती जलाना’)। एक असंभव आर्टिफैक्ट का उदाहरण: एक प्लेट को अलमारी से निकालना, इसे सुखाना, और इसे सुखाने वाली रैक पर रखना।
‘इस प्रकार का डेटा का पुन: उपयोग प्रशिक्षण समय में बहुत आम है, और फायदेमंद हो सकता है – उदाहरण के लिए, यह सुनिश्चित करने के लिए कि मॉडल केवल एक दृश्य या वस्तु को सीखता है जो फ्लिप या घुमाया जा सकता है बिना अपनी केंद्रीय सुसंगतता और तर्क को खोए।
‘यह केवल तभी काम करता है जब वस्तुएं वास्तव में सममित होती हैं, और भौतिकी को एक ‘उल्टे’ वीडियो से सीखना केवल तभी काम करता है जब उल्टा संस्करण उतना ही समझ में आता है जितना कि आगे की ओर।’
अस्थायी उल्टा
हमें कोई प्रमाण नहीं है कि हुन्युआन वीडियो और वान 2.1 जैसी प्रणालियों ने प्रशिक्षण के दौरान मनमाने ढंग से ‘उल्टे’ क्लिप को मॉडल के सामने प्रस्तुत करने की अनुमति दी थी (न तो शोधकर्ताओं के समूह ने डेटा ऑगमेंटेशन दिनचर्या के बारे में विशिष्ट जानकारी दी है)।
हालांकि, एकमात्र उचित वैकल्पिक संभावना, कई रिपोर्टों (और मेरे अपने व्यावहारिक अनुभव) के सामने, यह लगता है कि इन मॉडलों को शक्तिशाली डेटासेट में क्लिप हो सकते हैं जो वास्तव में उल्टी दिशा में होती हैं।
उपरोक्त एम्बेडेड वीडियो में चट्टान वान 2.1 का उपयोग करके उत्पन्न की गई है, और एक नए अध्ययन में शामिल है जो यह देखता है कि वीडियो डिफ्यूजन मॉडल भौतिकी को कितनी अच्छी तरह से संभालते हैं।
इस परियोजना के परीक्षणों में, वान 2.1 ने भौतिक नियमों का पालन करने की अपनी क्षमता में केवल 22% स्कोर हासिल किया।
हालांकि, यह सर्वोत्तम स्कोर है जो किसी भी प्रणाली द्वारा परीक्षण में प्राप्त किया गया है, जो यह दर्शाता है कि हमें वीडियो एआई के लिए अपना अगला ठोकर मिल सकता है:
मानव अन्नोटेटर द्वारा मूल्यांकित फ्रेमवर्क के आउटपुट के लिए स्कोर। स्रोत: https://arxiv.org/pdf/2503.06800
लेखकों ने एक बेंचमार्किंग प्रणाली विकसित की है, जो अब अपने दूसरे संस्करण में, वीडियोफाई नामक है, जिसका कोड गिटहब पर उपलब्ध है।
हालांकि काम का दायरा यहां व्यापक रूप से कवर करने से परे है, आइए इसकी विधि और भविष्य के मॉडल-प्रशिक्षण सत्रों को इन अजीब उल्टा उदाहरणों से दूर ले जाने के लिए एक मीट्रिक स्थापित करने की इसकी संभावना पर एक सामान्य नज़र डालें।
अध्ययन, वीडियोफाई-2: एक चुनौतीपूर्ण एक्शन-सेंट्रिक भौतिक सामान्य ज्ञान मूल्यांकन वीडियो पीढ़ी नामक, यूसीएलए और गूगल रिसर्च के छह शोधकर्ताओं द्वारा किया गया है। एक भीड़भाड़ वाली परियोजना साइट भी उपलब्ध है, साथ ही कोड और डेटासेट गिटहब पर, और एक डेटासेट दृश्य हगिंग फेस पर।
प्ले करने के लिए क्लिक करें। यहां, ओपनएआई सोरा मॉडल नौका और प्रतिबिंब के बीच परस्पर क्रिया को समझने में विफल रहता है, और न तो नाव में व्यक्ति और न ही नाव के साथ उसकी बातचीत के लिए एक तार्किक भौतिक प्रवाह प्रदान कर सकता है।
विधि
लेखक अपने नवीनतम कार्य, वीडियोफाई-2, को ‘वास्तविक दुनिया की क्रियाओं के लिए एक चुनौतीपूर्ण सामान्य ज्ञान मूल्यांकन’ के रूप में वर्णित करते हैं। संग्रह में विभिन्न शारीरिक गतिविधियों जैसे हुला हूपिंग, जिमनास्टिक और टेनिस के साथ-साथ वस्तु परस्पर क्रिया जैसे वस्तु को मोड़ना शामिल हैं।
एक बड़े भाषा मॉडल (एलएलएम) का उपयोग इन क्रियाओं से 3840 प्रॉम्प्ट उत्पन्न करने के लिए किया जाता है, और प्रॉम्प्ट का उपयोग विभिन्न फ्रेमवर्क के माध्यम से वीडियो सिंथेसाइज करने के लिए किया जाता है।
पूरी प्रक्रिया के दौरान, लेखकों ने वीडियो को संतुष्ट करने के लिए ‘उम्मीदवार’ भौतिक नियमों और कानूनों की एक सूची विकसित की है, जो दृष्टि-भाषा मॉडल का उपयोग करके मूल्यांकन किया जाता है।
लेखकों का कहना है:
‘उदाहरण के लिए, एक वीडियो में एक खिलाड़ी टेनिस खेल रहा है, एक भौतिक नियम यह है कि टेनिस बॉल गुरुत्वाकर्षण के तहत एक परवलयिक траJECTORY का पालन करेगा। सोने के मानक निर्णय के लिए, हम मानव अन्नोटेटर से प्रत्येक वीडियो को समग्र सेमेंटिक अनुपालन और भौतिक सामान्य ज्ञान के आधार पर स्कोर करने के लिए कहते हैं, और विभिन्न भौतिक नियमों के साथ इसके अनुपालन को चिह्नित करते हैं। ‘
उपर: एक एलएलएम का उपयोग करके एक क्रिया से एक प्रॉम्प्ट उत्पन्न किया जाता है और एक पाठ-से-वीडियो जनरेटर के साथ एक वीडियो बनाने के लिए उपयोग किया जाता है। एक दृष्टि-भाषा मॉडल वीडियो को कैप्शन देता है, संभावित भौतिक नियमों की पहचान करता है। नीचे: मानव अन्नोटेटर वीडियो की वास्तविकता का मूल्यांकन करते हैं, नियम उल्लंघन की पुष्टि करते हैं, लापता नियम जोड़ते हैं, और जांचते हैं कि क्या वीडियो मूल प्रॉम्प्ट से मेल खाता है।
प्रारंभ में, शोधकर्ताओं ने वीडियो में भौतिक सामान्य ज्ञान का मूल्यांकन करने के लिए क्रियाओं का एक सेट क्यूरेट किया। उन्होंने काइनेटिक्स, यूसीएफ-101, और एसएसवी2 डेटासेट से 600 से अधिक क्रियाओं के साथ शुरू किया, जो खेल, वस्तु परस्पर क्रिया और वास्तविक दुनिया की भौतिकी पर केंद्रित हैं।
दो स्वतंत्र समूहों ने स्टेम-शिक्षित छात्र अन्नोटेटर (न्यूनतम स्नातक योग्यता प्राप्त) ने सूची की समीक्षा और फ़िल्टर की, जो भौतिक सिद्धांतों जैसे गुरुत्वाकर्षण, गति और लोच का परीक्षण करने वाली क्रियाओं का चयन किया, जबकि निम्न-गति कार्यों जैसे टाइपिंग, बिल्ली को प्यार करना, या चबाना को हटा दिया।
जेमिनी-2.0-फ्लैश-एक्सपी के साथ आगे के परिष्करण के बाद, अंतिम डेटासेट में 197 क्रियाएं शामिल थीं, जिनमें से 54 वस्तु परस्पर क्रिया और 143 शारीरिक और खेल गतिविधियों पर केंद्रित थीं:
वीडियोफाई से जुड़ी क्रियाओं के नमूने।
दूसरे चरण में, शोधकर्ताओं ने जेमिनी-2.0-फ्लैश-एक्सपी का उपयोग करके प्रत्येक क्रिया के लिए 20 प्रॉम्प्ट उत्पन्न किया, जिसके परिणामस्वरूप कुल 3,940 प्रॉम्प्ट हुए। पीढ़े की प्रक्रिया में दृश्य भौतिक परस्पर क्रिया पर ध्यान केंद्रित किया गया जो स्पष्ट रूप से एक उत्पन्न वीडियो में प्रस्तुत किया जा सकता है।
उदाहरण के लिए, एक सरल प्रॉम्प्ट के बजाय ‘एक तीरंदाज तीर छोड़ता है‘, मॉडल को एक अधिक विस्तृत संस्करण जैसे ‘एक तीरंदाज तीर को पूरी तनाव में खींचता है, फिर तीर छोड़ता है, जो सीधा उड़ता है और एक कागज़ के लक्ष्य पर बुल्सआई मारता है‘ उत्पन्न करने के लिए निर्देशित किया गया था।
चूंकि आधुनिक वीडियो मॉडल लंबे विवरणों को व्याख्या कर सकते हैं, शोधकर्ताओं ने मिस्ट्रल-नेमो-12बी-इन्सट्रक्ट प्रॉम्प्ट अपस्केलर का उपयोग करके विवरण में दृश्य विवरण जोड़ने के लिए कैप्शन को और परिष्कृत किया, जिससे मूल अर्थ बदले बिना विवरण में दृश्य विवरण जोड़े।
वीडियोफाई-2 से प्रॉम्प्ट के नमूने, जो शारीरिक गतिविधियों या वस्तु परस्पर क्रिया द्वारा वर्गीकृत हैं। प्रत्येक प्रॉम्प्ट अपनी संबंधित क्रिया और संबंधित भौतिक सिद्धांत के साथ जोड़ा जाता है जिसे यह परीक्षण करता है।
तीसरे चरण में, भौतिक नियम प्रॉम्प्ट से नहीं बल्कि उत्पन्न वीडियो से प्राप्त किए गए, क्योंकि जनरेटिव मॉडल सशर्त प्रॉम्प्ट का पालन करने के लिए संघर्ष कर सकते हैं।
वीडियो पहले वीडियोफाई-2 प्रॉम्प्ट का उपयोग करके बनाए गए थे, फिर जेमिनी-2.0-फ्लैश-एक्सपी के साथ ‘अप-कैप्शन’ किए गए थे, जो कि वीडियो से प्रमुख विवरण निकालने के लिए थे। मॉडल ने प्रत्येक वीडियो के लिए तीन अपेक्षित भौतिक नियमों का प्रस्ताव दिया, जिसे मानव अन्नोटेटर ने समीक्षा की और विस्तार किया, जिसमें अतिरिक्त संभावित उल्लंघनों की पहचान की गई।
अपसैंपल्ड कैप्शन के उदाहरण।
इसके बाद, शोधकर्ताओं ने वीडियोफाई-2 डेटासेट से 60 क्रियाओं का चयन किया, जहां मॉडल ने न केवल प्रॉम्प्ट का पालन करने में विफल रहा, बल्कि मूल भौतिक सामान्य ज्ञान का भी।
इन क्रियाओं में भौतिकी से भरपूर परस्पर क्रिया जैसे डिस्कस फेंकने में गति हस्तांतरण, स्थिति परिवर्तन जैसे वस्तु को मोड़ना जब तक कि यह टूट न जाए, संतुलन कार्य जैसे टाइट्रोप वॉकिंग, और जटिल गतिविधियां जिनमें बैक-फ्लिप, पोल वॉल्टिंग और पिज्जा टॉसिंग शामिल हैं। कुल मिलाकर, 1,200 प्रॉम्प्ट चुने गए ताकि उप-डेटासेट की कठिनाई बढ़ सके।
परिणामी डेटासेट में 3,940 कैप्शन शामिल थे – पिछले संस्करण की तुलना में 5.72 गुना अधिक। मूल कैप्शन की औसत लंबाई 16 टोकन है, जबकि अपसैंपल्ड कैप्शन 138 टोकन तक पहुंच जाता है – क्रमशः 1.88 गुना और 16.2 गुना लंबा।
डेटासेट में विभिन्न वीडियो पीढ़ी मॉडल पर 102,000 मानव अन्नोटेशन भी शामिल हैं, जो सेमेंटिक अनुपालन, भौतिक सामान्य ज्ञान और नियम उल्लंघन को कवर करते हैं।
मूल्यांकन
शोधकर्ताओं ने तब वीडियो का मूल्यांकन करने के लिए स्पष्ट मानदंड परिभाषित किए। मुख्य लक्ष्य यह आकलन करना था कि प्रत्येक वीडियो अपने इनपुट प्रॉम्प्ट से कितनी अच्छी तरह मेल खाता है और मूल भौतिक सिद्धांतों का पालन करता है।
सिर्फ वीडियो को वरीयता के अनुसार रैंक करने के बजाय, उन्होंने विशिष्ट सफलताओं और विफलताओं को पकड़ने के लिए रेटिंग-आधारित प्रतिक्रिया का उपयोग किया। मानव अन्नोटेटर ने वीडियो को पांच-बिंदु पैमाने पर रेट किया, जिससे अधिक विस्तृत निर्णय संभव हो गए, जबकि मूल्यांकन ने यह भी जांचा कि क्या वीडियो विभिन्न भौतिक नियमों और कानूनों का पालन करते हैं या नहीं।
मानव मूल्यांकन के लिए, 12 अन्नोटेटर का चयन अमेज़न मैकेनिकल टर्क (एएमटी) पर परीक्षण से किया गया था, और वे विस्तृत दूरस्थ निर्देश प्राप्त करने के बाद रेटिंग प्रदान करते थे। न्याय के लिए, सेमेंटिक अनुपालन और भौतिक सामान्य ज्ञान का अलग-अलग मूल्यांकन किया गया (मूल वीडियोफाई अध्ययन में, वे संयुक्त रूप से मूल्यांकित किए गए थे)।
अन्नोटेटर ने पहले वीडियो को अपने इनपुट प्रॉम्प्ट से कितनी अच्छी तरह मेल खाता है, इसका मूल्यांकन किया, फिर अलग से भौतिक यथार्थवाद का मूल्यांकन किया, नियम उल्लंघन और समग्र यथार्थवाद को पांच-बिंदु पैमाने पर स्कोर किया। केवल मूल प्रॉम्प्ट दिखाए गए, ताकि मॉडल के माध्यम से एक निष्पक्ष तुलना सुनिश्चित की जा सके।
एएमटी अन्नोटेटर को प्रस्तुत इंटरफ़ेस।
हालांकि मानव निर्णय अभी भी स्वर्ण मानक है, यह महंगा है और कुछ असुविधाओं के साथ आता है। इसलिए स्वचालित मूल्यांकन तेजी से और अधिक मापनीय मॉडल मूल्यांकन के लिए आवश्यक है।
लेखकों ने वीडियो की सेमेंटिक सटीकता और ‘भौतिक सामान्य ज्ञान’ के लिए अपनी रेटिंग क्षमता का परीक्षण करने के लिए कई वीडियो-भाषा मॉडल, जिनमें जेमिनी-2.0-फ्लैश-एक्सपी और वीडियोस्कोर शामिल हैं, का परीक्षण किया।
मॉडल ने प्रत्येक वीडियो को पांच-बिंदु पैमाने पर रेट किया, जबकि एक अलग वर्गीकरण कार्य यह निर्धारित करता था कि क्या भौतिक नियमों का पालन किया गया था, उल्लंघन किया गया था, या अस्पष्ट था।
प्रयोगों से पता चला कि मौजूदा वीडियो-भाषा मॉडल मानव निर्णय से मेल खाने के लिए संघर्ष करते हैं, मुख्य रूप से कमजोर भौतिक तर्क और प्रॉम्प्ट की जटिलता के कारण। स्वचालित मूल्यांकन में सुधार करने के लिए, शोधकर्ताओं ने वीडियोफाई-2-ऑटोइवल नामक 7बी-पैरामीटर मॉडल विकसित किया, जो तीन श्रेणियों में अधिक सटीक पूर्वानुमान प्रदान करने के लिए डिज़ाइन किया गया है: सेमेंटिक अनुपालन; भौतिक सामान्य ज्ञान; और नियम अनुपालन, जो वीडियोकॉन-फिजिक्स मॉडल पर 50,000 मानव अन्नोटेशन का उपयोग करके महीन है।
डेटा और परीक्षण
इन उपकरणों के साथ, लेखकों ने विभिन्न जनरेटिव वीडियो प्रणालियों का परीक्षण किया, स्थानीय स्थापना के माध्यम से और जहां आवश्यक हो वहां व्यावसायिक एपीआई के माध्यम से: कोगवीडियोक्स-5बी; वीडियोक्राफ्टर2; हुन्युआनवीडियो-13बी; कोसमोस-डिफ्यूजन; वान2.1-14बी; ओपनएआई सोरा; और लुमा रे.
मॉडल को अपसैंपल्ड कैप्शन के साथ प्रॉम्प्ट किया गया था, जहां संभव था, सिवाय इसके कि हुन्युआन वीडियो और वीडियोक्राफ्टर2 77-टोकन सीएलआईपी सीमाओं के तहत संचालित होते हैं, और एक निश्चित लंबाई से अधिक प्रॉम्प्ट स्वीकार नहीं कर सकते हैं।
उत्पन्न वीडियो 6 सेकंड से कम रखे गए थे, क्योंकि छोटा आउटपुट आसानी से मूल्यांकित किया जा सकता है।
वीडियोफाई-2 डेटासेट ड्राइविंग डेटा था, जिसे एक बेंचमार्क और प्रशिक्षण सेट में विभाजित किया गया था। प्रत्येक मॉडल के लिए 590 वीडियो उत्पन्न किए गए, सोरा और रे2 के लिए अपवाद के साथ; लागत कारक के कारण (इन मॉडलों के लिए कम संख्या में वीडियो उत्पन्न किए गए थे)।
प्रारंभिक मूल्यांकन भौतिक गतिविधियों/खेल (पीए) और वस्तु परस्पर क्रिया (ओआई) के साथ संबंधित था, और दोनों सामान्य डेटासेट और उल्लेखित ‘कठिन’ उपसेट का परीक्षण किया:
प्रारंभिक दौर के परिणाम।
यहां लेखक टिप्पणी करते हैं:
‘यहां तक कि सर्वोत्तम प्रदर्शन करने वाला मॉडल, वान2.1-14बी, केवल 32.6% और 21.9% हासिल करता है, क्रमशः हमारे डेटासेट के पूर्ण और कठिन विभाजन पर। इसका अपेक्षाकृत मजबूत प्रदर्शन अन्य मॉडलों की तुलना में इसके बहुमोड़ल प्रशिक्षण डेटा की विविधता और उच्च-गुणवत्ता वाले वीडियो को बनाए रखने के लिए मजबूत गति फिल्टरिंग के कारण हो सकता है। ‘
‘इसके अलावा, हम यह देखते हैं कि बंद मॉडल, जैसे कि रे, खुले मॉडल जैसे वान2.1-14बी और कोगवीडियोक्स-5बी की तुलना में भौतिक सामान्य ज्ञान को पकड़ने में कम सक्षम हैं। यह सुझाव देता है कि बंद मॉडल खुले मॉडलों की तुलना में भौतिक सामान्य ज्ञान को पकड़ने में आवश्यक रूप से बेहतर नहीं हैं। ‘
‘विशेष रूप से, कोसमोस-डिफ्यूजन-7बी कठिन विभाजन पर दूसरा सर्वश्रेष्ठ स्कोर हासिल करता है, यहां तक कि बहुत बड़े हुन्युआनवीडियो-13बी मॉडल को भी पार करता है। यह इसके प्रशिक्षण डेटा में मानव क्रियाओं के उच्च प्रतिनिधित्व और सिंथेटिक रूप से रेंडर किए गए सिमुलेशन के कारण हो सकता है।’
परिणाम यह दर्शाते हैं कि वीडियो मॉडल खेल जैसी भौतिक गतिविधियों के साथ अधिक संघर्ष करते हैं than वस्तु परस्पर क्रिया जैसी सरल गतिविधियों के साथ। यह सुझाव देता है कि इन क्षेत्रों में एआई-उत्पन्न वीडियो में सुधार करने के लिए बेहतर डेटासेट की आवश्यकता होगी, विशेष रूप से उच्च-गुणवत्ता वाली फुटेज जैसे टेनिस, डिस्कस, बेसबॉल और क्रिकेट जैसे खेल।
अध्ययन यह भी जांचता है कि क्या एक मॉडल की भौतिक यथार्थवाद का संबंध अन्य वीडियो गुणवत्ता मेट्रिक्स जैसे सौंदर्यशास्त्र और गति चिकनाई से है। निष्कर्षों से पता चलता है कि कोई मजबूत संबंध नहीं है, जिसका अर्थ है कि एक मॉडल को वीडियोफाई-2 पर अपने प्रदर्शन में सुधार करने के लिए केवल दृश्य रूप से आकर्षक या चिकनी गति उत्पन्न करने के लिए पर्याप्त नहीं है – यह भौतिक सामान्य ज्ञान की गहरी समझ की आवश्यकता है।
हालांकि कागजात में बहुत सारे गुणात्मक उदाहरण प्रदान किए गए हैं, बहुत से स्थिर उदाहरण जो पीडीएफ में प्रदान किए गए हैं वे वास्तविक वीडियो उदाहरणों से संबंधित नहीं हैं जिन्हें लेखक परियोजना साइट पर प्रदान करते हैं। इसलिए, हम कुछ स्थिर उदाहरणों पर एक नज़र डालेंगे और फिर कुछ वास्तविक परियोजना वीडियो देखेंगे।
प्ले करने के लिए क्लिक करें। यहां, कैप्शन था ‘एक व्यक्ति एक गीले तौलिये को जोर से मोड़ता है, पानी बाहर निकलता है’ – लेकिन परिणामी पानी का स्रोत एक तौलिये की तुलना में एक पानी की नली जैसा अधिक है।
प्ले करने के लिए क्लिक करें। यहां, कैप्शन था ‘एक रसायनज्ञ एक बीकर से एक परीक्षण ट्यूब में एक स्पष्ट तरल डालता है, ध्यान से बिना किसी फैलाव के’, लेकिन हम देख सकते हैं कि जुग में मौजूद पानी की मात्रा बीकर में मौजूद पानी की मात्रा के साथ संगत नहीं है।
जैसा कि मैंने शुरुआत में उल्लेख किया था, इस परियोजना से जुड़ी सामग्री की मात्रा यहां कवर किए जाने से बहुत अधिक है। इसलिए, कृपया लेखकों की प्रक्रिया और अधिक परीक्षण उदाहरणों और प्रक्रियात्मक विवरण के लिए स्रोत पत्र, परियोजना साइट और पहले उल्लिखित संबंधित साइटों पर जाएं।
* अन्नोटेशन की उत्पत्ति के बारे में, कागज़ केवल ‘इन कार्यों के लिए प्राप्त’ निर्दिष्ट करता है – यह 12 एएमटी कार्यकर्ताओं द्वारा उत्पन्न करने के लिए बहुत अधिक लगता है।
पहली बार गुरुवार, 13 मार्च, 2025 को प्रकाशित हुआ।
