एआई आधारित वीडियो संपादन में सुधार के लिए रास्ता

वीडियो/इमेज सिंथेसिस अनुसंधान क्षेत्र नियमित रूप से वीडियो-संपादन* आर्किटेक्चर का उत्पादन करता है, और पिछले नौ महीनों में, इस तरह के उत्पादन और भी अधिक बार हो रहे हैं। हालांकि, अधिकांश में केवल राज्य की कला पर क्रमिक प्रगति का प्रतिनिधित्व किया जाता है, क्योंकि मूल चुनौतियां महत्वपूर्ण हैं।

हालांकि, चीन और जापान के बीच एक नए सहयोग ने कुछ उदाहरण प्रस्तुत किए हैं जो दृष्टिकोण की एक करीबी जांच के योग्य हैं, भले ही यह आवश्यक रूप से एक ऐतिहासिक कार्य न हो।

नीचे दिए गए वीडियो-क्लिप (पेपर की संबद्ध परियोजना साइट से, जो – चेतावनी दी जा रही है – आपके ब्राउज़र को तनाव दे सकती है) में हम देखते हैं कि जबकि प्रणाली की गहरी नकल करने की क्षमताएं वर्तमान में मौजूद नहीं हैं, यह युवा महिला की पहचान को वीडियो मास्क (नीचे बाएं) के आधार पर विश्वसनीय और महत्वपूर्ण रूप से बदलने का एक अच्छा काम करती है:

प्ले करने के लिए क्लिक करें। नीचे बाएं में दिखाए गए सेमांटिक सेगमेंटेशन मास्क के आधार पर, मूल (ऊपर बाएं) महिला को एक उल्लेखनीय रूप से अलग पहचान में बदल दिया जाता है, हालांकि यह प्रक्रिया प्रॉम्प्ट में इंगित पहचान-विनिमय को प्राप्त नहीं करती है। स्रोत: https://yxbian23.github.io/project/video-painter/ (लेखन के समय, यह ऑटोप्ले और वीडियो से भरी साइट मेरे ब्राउज़र को क्रैश करने के लिए इच्छुक थी।) यदि आप उन तक पहुंच सकते हैं, तो बेहतर रिज़ॉल्यूशन और विवरण के लिए स्रोत वीडियो को देखें, या https://www.youtube.com/watch?v=HYzNfsD3A0s पर परियोजना के ओवरव्यू वीडियो की जांच करें

इस तरह के मास्क-आधारित संपादन स्थिर लेटेंट डिफ्यूजन मॉडल में अच्छी तरह से स्थापित है, जो ControlNet जैसे उपकरणों का उपयोग करके है। हालांकि, वीडियो में पृष्ठभूमि की निरंतरता बनाए रखना बहुत अधिक चुनौतीपूर्ण है, यहां तक कि जब मास्क क्षेत्र मॉडल को रचनात्मक लचीलापन प्रदान करते हैं, जैसा कि नीचे दिखाया गया है:

प्ले करने के लिए क्लिक करें। एक प्रजाति परिवर्तन, नए वीडियोपेंटर विधि के साथ। यदि आप उन तक पहुंच सकते हैं, तो बेहतर रिज़ॉल्यूशन और विवरण के लिए स्रोत वीडियो को देखें, या https://www.youtube.com/watch?v=HYzNfsD3A0s पर परियोजना के ओवरव्यू वीडियो की जांच करें

लेखक अपने तरीके को टेंसेंट के अपने ब्रशनेट आर्किटेक्चर (जिसे पिछले साल हमने कवर किया था) और कंट्रोलनेट के संबंध में मानते हैं, जो दोनों एक दो-शाखा वास्तुकला का इलाज करते हैं जो अग्रभूमि और पृष्ठभूमि पीढ़ी को अलग करने में सक्षम है।

हालांकि, ओपनएआई के सोरा द्वारा प्रस्तावित डिफ्यूजन ट्रांसफॉर्मर (DiT) दृष्टिकोण को सीधे लागू करने से विशेष चुनौतियां उत्पन्न होती हैं, जैसा कि लेखकों ने उल्लेख किया है”

‘[सीधे] लागू करना [ब्रशनेट और कंट्रोलनेट की वास्तुकला] वीडियो डीआईटी में कई चुनौतियां प्रस्तुत करता है: [पहले], वीडियो डीआईटी के मजबूत उत्पादक आधार और भारी मॉडल आकार को देखते हुए, संदर्भ एन्कोडर के रूप में पूरे / अर्ध-विशाल वीडियो डीआईटी बैकबोन को दोहराना अनावश्यक और गणनात्मक रूप से प्रतिबंधक होगा।

‘[दूसरा], ब्रशनेट की शुद्ध कन्वोल्यूशनल नियंत्रण शाखा के विपरीत, डीआईटी के मास्क क्षेत्रों में टोकन वैश्विक ध्यान के कारण मास्क और अनमास्क क्षेत्रों के बीच भेद को जटिल बनाते हुए पृष्ठभूमि जानकारी स्वाभाविक रूप से रखते हैं।

‘[अंत में], कंट्रोलनेट में सभी परतों में सुविधा इंजेक्शन की कमी है, जो इनपेंटिंग कार्यों के लिए घने पृष्ठभूमि नियंत्रण को बाधित करती है।’

इसलिए शोधकर्ताओं ने एक प्लग-एंड-प्ले दृष्टिकोण के रूप में एक दो-शाखा फ्रेमवर्क के रूप में वीडियोपेंटर विकसित किया है।

वीडियोपेंटर एक दो-शाखा वीडियो इनपेंटिंग फ्रेमवर्क प्रदान करता है जो पूर्व-प्रशिक्षित डीआईटी को एक हल्के संदर्भ एन्कोडर के साथ बढ़ाता है। यह एन्कोडर केवल 6% बैकबोन पैरामीटर के लिए जिम्मेदार है, जिसे लेखक अधिक कुशल बनाने के लिए कहते हैं।

मॉडल में तीन प्रमुख नवाचार हैं: एक स्ट्रीमलाइन दो-परत संदर्भ एन्कोडर जो पृष्ठभूमि मार्गदर्शन के लिए कुशल है; एक मास्क-चयनात्मक सुविधा एकीकरण प्रणाली जो मास्क और अनमास्क टोकन को अलग करती है; और एक इनपेंटिंग क्षेत्र आईडी रीसैम्पलिंग तकनीक जो लंबी वीडियो अनुक्रमों में पहचान स्थिरता बनाए रखती है।

पूर्व-प्रशिक्षित डीआईटी और संदर्भ एन्कोडर दोनों को फ्रीज करके और एक आईडी-एडाप्टर पेश करके, वीडियोपेंटर यह सुनिश्चित करता है कि इनपेंटिंग क्षेत्र टोकन पिछले क्लिप से बने रहते हैं, जिससे फ्लिकर और असंगतता कम हो जाती है।

फ्रेमवर्क प्लग-एंड-प्ले संगतता के लिए भी डिज़ाइन किया गया है, जिससे उपयोगकर्ता इसे मौजूदा वीडियो पीढ़ी और संपादन कार्यों में आसानी से एकीकृत कर सकते हैं।

काम का समर्थन करने के लिए, जो कोगवीडियो-5बी-आई2वी को अपने उत्पादक इंजन के रूप में उपयोग करता है, लेखकों ने दावा किया है कि यह अब तक का सबसे बड़ा वीडियो इनपेंटिंग डेटासेट तैयार किया है। वीपीडाटा नामक संग्रह में 390,000 से अधिक क्लिप हैं, जिसकी कुल वीडियो अवधि 886 घंटे से अधिक है। उन्होंने वीपीबेंच नामक एक संबंधित बेंचमार्किंग फ्रेमवर्क भी विकसित किया है।

प्ले करने के लिए क्लिक करें। परियोजना वेबसाइट के उदाहरणों से, हम देखते हैं कि वीपीडाटा संग्रह और वीपीबेंच परीक्षण सूट द्वारा संचालित सेगमेंटेशन क्षमताएं। यदि आप उन तक पहुंच सकते हैं, तो बेहतर रिज़ॉल्यूशन और विवरण के लिए स्रोत वीडियो को देखें, या https://www.youtube.com/watch?v=HYzNfsD3A0s पर परियोजना के ओवरव्यू वीडियो की जांच करें

नया काम वीडियोपेंटर: प्लग-एंड-प्ले संदर्भ नियंत्रण के साथ किसी भी लंबाई वाले वीडियो इनपेंटिंग और संपादन शीर्षक से है, और टेंसेंट आरसी लैब, चीनी विश्वविद्यालय हांगकांग, टोक्यो विश्वविद्यालय और मकाओ विश्वविद्यालय के सात लेखकों से आया है।

उपरोक्त परियोजना साइट के अलावा, लेखकों ने एक अधिक सुलभ यूट्यूब ओवरव्यू और हगिंग फेस पेज भी जारी किया है।

विधि

वीपीडाटा के लिए डेटा संग्रह पाइपलाइन में संग्रह, एनोटेशन, विभाजन, चयन और कैप्शनिंग शामिल हैं:

डेटासेट निर्माण पाइपलाइन के लिए योजना। स्रोत: https://arxiv.org/pdf/2503.05639

इस संकलन के लिए उपयोग की जाने वाली स्रोत संग्रह वीडेवो और पेक्सल्स से आए थे, जिसमें लगभग 450,000 वीडियो प्राप्त हुए थे।

पूर्व-प्रसंस्करण चरण में कई योगदानकर्ता लाइब्रेरी और विधियां शामिल थीं: रिकॉग्नाइज़ एण्यथिंग फ्रेमवर्क का उपयोग खुले सेट वीडियो टैगिंग के लिए किया गया था, जो प्राथमिक वस्तुओं की पहचान करने का काम सौंपा गया था; ग्राउंडिंग डिनो का उपयोग वस्तुओं के चारों ओर बाउंडिंग बॉक्स का पता लगाने के लिए किया गया था; और सेगमेंट एण्यथिंग मॉडल 2 (एसएएम 2) फ्रेमवर्क का उपयोग इन खुरदरी चयनों को उच्च-गुणवत्ता वाले मास्क सेगमेंटेशन में परिष्कृत करने के लिए किया गया था।

दृश्य परिवर्तनों को प्रबंधित करने और वीडियो इनपेंटिंग में निरंतरता सुनिश्चित करने के लिए, वीडियोपेंटर पीसीनेडिट का उपयोग करता है ताकि यह प्राकृतिक ब्रेकपॉइंट पर क्लिप को पहचाने और खंडित करे, जो अक्सर एक ही वस्तु को विभिन्न कोणों से ट्रैक करने से होने वाले व्यवधानों से बचा जा सके। क्लिप को 10-सेकंड के अंतराल में विभाजित किया गया था, और छह सेकंड से कम की अवधि वाली किसी भी चीज़ को त्याग दिया गया था।

डेटा चयन के लिए, तीन फिल्टरिंग मानदंड लागू किए गए थे: सौंदर्य गुणवत्ता, जिसे लायोन-एस्थेटिक स्कोर प्रेडिक्टर के साथ मूल्यांकन किया गया था; मोशन ताकत, जिसे ऑप्टिकल फ्लो का उपयोग करके राफ्ट के साथ मापा गया था; और सामग्री सुरक्षा, जिसे स्टेबल डिफ्यूजन के सुरक्षा जांचकर्ता के माध्यम से सत्यापित किया गया था।

मौजूदा वीडियो सेगमेंटेशन डेटासेट में एक प्रमुख सीमा विस्तृत पाठ्य अनुसंधानों की कमी है, जो उत्पादक मॉडलों के लिए मार्गदर्शन के लिए महत्वपूर्ण हैं:

[caption id="attachment_213690" align="alignnone" width="710"] शोधकर्ता तुलनात्मक संग्रह में वीडियो-कैप्शनिंग की कमी पर जोर देते हैं।

इसलिए, वीडियोपेंटर डेटा क्यूरेशन प्रक्रिया में विभिन्न प्रमुख दृष्टि-भाषा मॉडल शामिल हैं, जिनमें कोगवीएलएम2 और चैट जीपीटी-4ओ शामिल हैं, जो कीफ्रेम-आधारित कैप्शन और मास्क क्षेत्रों के विस्तृत विवरण उत्पन्न करते हैं।

वीडियोपेंटर पूर्व-प्रशिक्षित डीआईटी को एक कस्टम हल्के संदर्भ एन्कोडर के साथ बढ़ाता है, जो पृष्ठभूमि संदर्भ निष्कर्षण को अग्रभूमि पीढ़ी से अलग करता है, जैसा कि नीचे दिए गए स्कीमा के ऊपरी दाएं हिस्से में देखा गया है:

वीडियोपेंटर के लिए संकल्पनात्मक स्कीमा। वीडियोपेंटर का संदर्भ एन्कोडर वीएई के माध्यम से शोर लेटेंट, डाउनसैंपल किए गए मास्क, और मास्क वीडियो लेटेंट को संसाधित करता है, केवल पृष्ठभूमि टोकन को पूर्व-प्रशिक्षित डीआईटी में एकीकृत करता है ताकि अस्पष्टता से बचा जा सके। आईडी रीसैम्पल एडाप्टर प्रशिक्षण के दौरान मास्क क्षेत्र टोकन को संकेत देकर और अनुमान के दौरान पिछले क्लिप से उन्हें पुनः नमूना लेकर पहचान स्थिरता सुनिश्चित करता है।

इसके बजाय बैकबोन को दोहरी प्रसंस्करण के साथ बोझ करने के, इस एन्कोडर को एक स्ट्रीमलाइन इनपुट पर काम करने के लिए डिज़ाइन किया गया है: शोर लेटेंट, मास्क वीडियो लेटेंट (एक वैरिएशनल ऑटोएनकोडर, या वीएई के माध्यम से निकाला गया), और डाउनसैंपल किए गए मास्क का संयोजन।

शोर लेटेंट पीढ़ी संदर्भ प्रदान करता है, और मास्क वीडियो लेटेंट डीआईटी के मौजूदा वितरण के साथ संरेखित होता है, संगतता में सुधार का लक्ष्य रखता है।

पिछले कार्यों में बड़े मॉडल के बड़े हिस्सों की प्रतिलिपि बनाने के बजाय, वीडियोपेंटर केवल डीआईटी की पहली दो परतों को एकीकृत करता है। इन निकाली गई सुविधाओं को जमे हुए डीआईटी में एक संरचित, समूह-वार तरीके से पुनः प्रस्तुत किया जाता है – प्रारंभिक परत की सुविधाएं मॉडल के पहले आधे हिस्से को सूचित करती हैं, जबकि बाद की सुविधाएं दूसरे आधे हिस्से को परिष्कृत करती हैं।

इसके अतिरिक्त, एक टोकन-चयनात्मक तंत्र यह सुनिश्चित करता है कि केवल पृष्ठभूमि से संबंधित सुविधाएं पुनः एकीकृत हों, जो मास्क और अनमास्क क्षेत्रों के बीच भ्रम को रोकता है। इस दृष्टिकोण को लेखक वीडियोपेंटर को पृष्ठभूमि संरक्षण में उच्च विश्वसनीयता बनाए रखने और अग्रभूमि इनपेंटिंग दक्षता में सुधार करने में सक्षम बनाते हैं।

लेखक यह भी उल्लेख करते हैं कि उनकी विधि विभिन्न शैलीकरण विधियों का समर्थन करती है, जिनमें सबसे लोकप्रिय लो रैंक अनुकूलन (लोरा) शामिल है।

डेटा और परीक्षण

वीडियोपेंटर को कोगवीडियो-5बी-आई2वी मॉडल का उपयोग करके प्रशिक्षित किया गया था, साथ ही इसके पाठ-से-वीडियो समकक्ष का भी उपयोग किया गया था। वीपीडाटा संग्रह 480x720px पर उपयोग किया गया था, 1×10^-5 की सीखने की दर के साथ।

आईडी रीसैम्पल एडाप्टर को 2,000 कदम के लिए प्रशिक्षित किया गया था, और संदर्भ एन्कोडर को 80,000 कदम के लिए, दोनों एडमडब्ल्यू ऑप्टिमाइज़र का उपयोग करके। प्रशिक्षण दो चरणों में हुआ, जिसमें 64 एनवीडिया वी100 जीपीयू (हालांकि पेपर यह नहीं बताता है कि उनमें 16GB या 32GB वीआरएएम थी) का उपयोग किया गया था।

बेंचमार्किंग के लिए, डेविस का उपयोग यादृच्छिक मास्क के लिए किया गया था, और लेखकों के अपने वीपीबेंच का उपयोग सेगमेंटेशन-आधारित मास्क के लिए किया गया था।

वीपीबेंच डेटासेट में वस्तुएं, जानवर, मनुष्य, परिदृश्य और विविध कार्य शामिल हैं, और चार क्रियाएं शामिल हैं: जोड़ें, हटाएं, बदलें, और स्वैप। संग्रह में 45 6-सेकंड के वीडियो हैं, और नौ वीडियो जो औसतन 30 सेकंड तक चलते हैं।

प्रक्रिया के लिए आठ मीट्रिक का उपयोग किया गया था। मास्क क्षेत्र संरक्षण के लिए, लेखकों ने पीक सिग्नल-टू-शोर अनुपात (पीएसएनआर); सीखा हुआ संवेदी समानता मीट्रिक (एलपीआईपीएस); संरचनात्मक समानता सूचकांक (एसएसआईएम); और माध्य पूर्ण त्रुटि (एमएई) का उपयोग किया।

पाठ-संरेखण के लिए, शोधकर्ताओं ने सीएलआईपी समानता का उपयोग किया, जो क्लिप की कैप्शन और इसकी वास्तविक सामग्री के बीच सेमांटिक दूरी का मूल्यांकन करने के लिए किया गया था, साथ ही मास्क क्षेत्रों की सटीकता का मूल्यांकन करने के लिए भी किया गया था।

आउटपुट वीडियो की सामान्य गुणवत्ता का मूल्यांकन करने के लिए, फ्रेचेट वीडियो दूरी (एफवीडी) का उपयोग किया गया था।

वीडियो इनपेंटिंग के लिए एक मात्रात्मक तुलना दौर के लिए, लेखकों ने अपनी प्रणाली को पूर्ववर्ती दृष्टिकोणों प्रोपेंटर, कोकोको और कोग-इनप (कोगवीडियोएक्स) के खिलाफ रखी। परीक्षण में पहले फ्रेम को छवि इनपेंटिंग मॉडल का उपयोग करके एक क्लिप को इनपेंट करना शामिल था, और फिर एक छवि-से-वीडियो (आई2वी) बैकबोन का उपयोग करके परिणामों को एक लेटेंट मिश्रण ऑपरेशन में प्रसारित करना था, जो 2023 के एक पेपर द्वारा प्रस्तावित विधि के अनुसार था।

चूंकि परियोजना वेबसाइट लेखन के समय पूरी तरह से कार्यात्मक नहीं थी, और चूंकि परियोजना के संबद्ध यूट्यूब वीडियो में परियोजना साइट पर भरे हुए उदाहरणों का संपूर्ण नहीं हो सकता है, इसलिए परिणामों में निर्दिष्ट परिणामों के लिए विशिष्ट वीडियो उदाहरणों का पता लगाना काफी मुश्किल है। इसलिए, हम पेपर में दिखाए गए आंशिक स्थिर परिणामों को दिखाएंगे, और लेख को कुछ अतिरिक्त वीडियो उदाहरणों के साथ बंद करेंगे जिन्हें हम परियोजना साइट से निकाल पाए।

वीपीबेंच (सेगमेंटेशन मास्क) और डेविस (यादृच्छिक मास्क) पर वीडियोपेंटर बनाम प्रोपेंटर, कोकोको और कोग-इनप की मात्रात्मक तुलना। मीट्रिक मास्क क्षेत्र संरक्षण, पाठ-संरेखण और वीडियो गुणवत्ता को कवर करते हैं। लाल = सर्वश्रेष्ठ, नीला = दूसरा सर्वश्रेष्ठ।

इन गुणात्मक परिणामों पर, लेखक टिप्पणी करते हैं:

‘वीपीबेंच में सेगमेंटेशन-आधारित, प्रोपेंटर और कोकोको सबसे खराब प्रदर्शन प्रदर्शित करते हैं, मुख्य रूप से पूरी तरह से मास्क की गई वस्तुओं को इनपेंट करने में असमर्थता और एकल-बैकबोन आर्किटेक्चर की पृष्ठभूमि संरक्षण और अग्रभूमि पीढ़ी के बीच प्रतिस्पर्धा को संतुलित करने में कठिनाई के कारण।

‘डेविस में यादृच्छिक मास्क बेंचमार्क में, प्रोपेंटर आंशिक रूप से बैकग्राउंड जानकारी का लाभ उठाकर सुधार दिखाता है। हालांकि, वीडियोपेंटर अपनी दो-शाखा वास्तुकला के माध्यम से सेगमेंटेशन (मानक और लंबी लंबाई) और यादृच्छिक मास्क दोनों पर ऑप्टिमल प्रदर्शन प्राप्त करता है, जो पृष्ठभूमि संरक्षण और अग्रभूमि पीढ़ी को प्रभावी ढंग से अलग करता है।’

लेखक तब गुणात्मक परीक्षणों के लिए स्थिर उदाहरण प्रस्तुत करते हैं, जिनमें से हम नीचे एक चयन प्रदर्शित करते हैं। सभी मामलों में, हम पाठक को बेहतर रिज़ॉल्यूशन और विवरण के लिए परियोजना साइट और यूट्यूब वीडियो को देखने के लिए संदर्भित करते हैं।

पिछले फ्रेमवर्क में इनपेंटिंग विधियों की तुलना।

प्ले करने के लिए क्लिक करें। परियोजना साइट के ‘परिणाम’ वीडियो से हम द्वारा संकलित उदाहरण।

वीडियो इनपेंटिंग के लिए इस गुणात्मक दौर पर, लेखक टिप्पणी करते हैं:

‘वीडियोपेंटर वीडियो संगति, गुणवत्ता और पाठ कैप्शन के साथ संरेखण में लगातार असाधारण परिणाम दिखाता है। विशेष रूप से, प्रोपेंटर पूरी तरह से मास्क की गई वस्तुओं का उत्पादन करने में विफल रहता है क्योंकि यह केवल पृष्ठभूमि पिक्सल प्रसार पर निर्भर करता है, न कि उत्पादन के लिए।

‘कोकोको मूल कार्यक्षमता प्रदर्शित करता है, लेकिन इनपेंट क्षेत्रों में स्थिर आईडी (असंगत जहाज उपस्थिति और अचानक भूभाग परिवर्तन) बनाए रखने में विफल रहता है क्योंकि इसकी एकल-बैकबोन वास्तुकला पृष्ठभूमि संरक्षण और अग्रभूमि पीढ़ी के बीच प्रतिस्पर्धा को संतुलित करने का प्रयास करती है।

‘कोग-इनप मूल इनपेंटिंग परिणाम प्राप्त करता है; हालांकि, इसके मिश्रण ऑपरेशन की मास्क सीमाओं का पता लगाने में असमर्थता महत्वपूर्ण कलाकृतियों का कारण बनती है।

‘इसके अलावा, वीडियोपेंटर एक मिनट से अधिक के सुसंगत वीडियो का उत्पादन करने में सक्षम है जबकि हमारे आईडी रीसैम्पलिंग द्वारा पहचान स्थिरता बनाए रखता है।’

शोधकर्ताओं ने वीडियोपेंटर की कैप्शन में सुधार करने और इस विधि से बेहतर परिणाम प्राप्त करने की क्षमता का भी परीक्षण किया, जिसमें उन्होंने प्रणाली को यूनीडिट, डीटीसीट्रल, और रेवीडियो के खिलाफ खड़ा किया।

तीन पूर्ववर्ती दृष्टिकोणों के खिलाफ वीडियो संपादन परिणाम।

लेखक टिप्पणी करते हैं:

‘वीपीबेंच में मानक और लंबी वीडियो दोनों के लिए, वीडियोपेंटर श्रेष्ठ प्रदर्शन प्राप्त करता है, यहां तक कि अंत-से-अंत रेवीडियो को भी पार करता है। यह सफलता इसकी दो-शाखा वास्तुकला के लिए जिम्मेदार है, जो उत्कृष्ट पृष्ठभूमि संरक्षण और अग्रभूमि पीढ़ी क्षमताओं को सुनिश्चित करती है, जो गैर-संपादित क्षेत्रों में उच्च विश्वसनीयता बनाए रखती है और संपादित क्षेत्रों को संपादन निर्देशों के साथ करीब से संरेखित करती है, जो इनपेंटिंग क्षेत्र आईडी रीसैम्पलिंग द्वारा पूरक है।’

हालांकि पेपर इस मीट्रिक के लिए स्थिर गुणात्मक उदाहरण प्रदर्शित करता है, वे प्रकाश डालने वाले नहीं हैं, और हम पाठक को इसके बजाय विभिन्न वीडियो में फैले विविध उदाहरणों को देखने के लिए संदर्भित करते हैं।

अंत में, एक मानव अध्ययन आयोजित किया गया था, जिसमें तीस उपयोगकर्ताओं को वीपीबेंच और संपादन उपसेट से यादृच्छिक रूप से चुने गए 50 पीढ़ियों का मूल्यांकन करने के लिए कहा गया था। उदाहरणों ने पृष्ठभूमि संरक्षण, प्रॉम्प्ट के साथ संरेखण और सामान्य वीडियो गुणवत्ता पर प्रकाश डाला।

वीडियोपेंटर के लिए उपयोगकर्ता अध्ययन के परिणाम।

लेखकों का कहना है:

‘वीडियोपेंटर ने मौजूदा बेंचमार्क के खिलाफ सभी मूल्यांकन मानदंडों में उच्च प्राथमिकता दर हासिल की।’

वे स्वीकार करते हैं कि वीडियोपेंटर की पीढ़ियों की गुणवत्ता आधार मॉडल पर निर्भर करती है, जो जटिल गति और भौतिकी से संघर्ष कर सकता है; और वे यह भी देखते हैं कि यह कम गुणवत्ता वाले मास्क या गलत संरेखित कैप्शन के साथ खराब प्रदर्शन करता है।

निष्कर्ष

वीडियोपेंटर साहित्य में एक योग्य अतिरिक्त लगता है। हालांकि, यह हाल के समाधानों की तरह, इसके पास महत्वपूर्ण कंप्यूटिंग मांगें हैं। इसके अलावा, परियोजना साइट पर प्रस्तुत किए गए कई उदाहरण सर्वोत्तम उदाहरणों से बहुत दूर हैं; इसलिए, यह देखना दिलचस्प होगा कि यह फ्रेमवर्क भविष्य के प्रवेशों और व्यापक श्रृंखला के पूर्ववर्ती दृष्टिकोणों के खिलाफ कैसे खड़ा होता है।

* यह उल्लेख करना उचित है कि ‘वीडियो संपादन’ इस अर्थ में नहीं है कि ‘विभिन्न क्लिप को एक अनुक्रम में इकट्ठा करना’, जो इस शब्द का पारंपरिक अर्थ है; बल्कि मौजूदा वीडियो क्लिप की आंतरिक सामग्री को सीधे बदलना या किसी तरह से संशोधित करना, मशीन लर्निंग तकनीकों का उपयोग करके

सोमवार, 10 मार्च, 2025 को पहली बार प्रकाशित। शनिवार, 25 जुलाई, 2026 को वीडियो को बदलने के लिए अद्यतन किया गया।