AI से वीडियो में मौजूद वस्तुओं और लोगों को हटाना

अगर AI का बस चले, तो नहीं, बच्चा तस्वीर में नहीं रहेगा।

तस्वीरों और वीडियो से लोगों तथा वस्तुओं को हटाना VFX-केंद्रित AI शोध की एक लोकप्रिय शाखा है। इस चुनौती के लिए विशेष डेटासेट और फ्रेमवर्क लगातार बढ़ रहे हैं। चीन के फुदान विश्वविद्यालय के इंस्टीट्यूट ऑफ बिग डेटा का नवीनतम योगदान है EffectErase, एक ‘प्रभाव-सजग’ वीडियो वस्तु हटाने का सिस्टम। लेखकों का दावा है कि परीक्षणों में यह मौजूदा अत्याधुनिक तरीकों से उल्लेखनीय रूप से बेहतर प्रदर्शन करता है:

परियोजना की वेबसाइट की सामग्री से तैयार किए गए EffectErase के उदाहरण। कृपया ध्यान दें: हमने स्रोत का लिंक दिया है, लेकिन उस साइट पर इतने अधिक उच्च-रिज़ॉल्यूशन वाले, अनुकूलित न किए गए और अपने आप चलने वाले वीडियो हैं कि आपके ब्राउज़र की स्थिरता प्रभावित हो सकती है। साथ का YouTube वीडियो अधिक सुविधाजनक और संपूर्ण संदर्भ है; इसे इस लेख के अंत में एम्बेड किया गया है।  स्रोत

इस नए काम में एक आंशिक रूप से नया डेटासेट तैयार और संकलित किया गया। इसमें वास्तविक दुनिया के लगभग 350 मूल दृश्य तथा संश्लेषित दृश्य शामिल हैं। सार्वजनिक रिपॉज़िटरी* का भी उपयोग किया गया है। दृश्य या तो विशेष उपकरणों से रिकॉर्ड किए गए या दूसरे स्रोतों से लेकर ओपन-सोर्स Blender 3D फ्रेमवर्क पर आधारित कार्यप्रवाह के अनुकूल बनाए गए।

यह मिश्रित Video Object Removal (VOR) डेटासेट EffectErase एप्लिकेशन का आधार है। यह एप्लिकेशन Wan2.1 वीडियो जनरेशन सिस्टम पर बनाया गया है। सिस्टम दो नए संबंधित बेंचमार्क भी परिभाषित करता है: VOR Eval और VOR Wild। इनमें क्रमशः ऐसे नमूने शामिल हैं जिनके लिए सही संदर्भ परिणाम (ground truth) उपलब्ध हैं और ऐसे नमूने जिनके लिए ये उपलब्ध नहीं हैं।

(हालाँकि शोधपत्र के साथ परियोजना की वेबसाइट भी उपलब्ध है, उस पर कई उच्च-रिज़ॉल्यूशन वाले वीडियो होने के कारण उसे लोड करना कठिन है। यदि आपको साइट इस्तेमाल करने में परेशानी हो, तो ऊपर एम्बेड किए गए वीडियो में मेरे संकलित अंश देखें।)

नए डेटासेट और पहले के तुलनीय डेटासेट में शामिल सामग्री की मात्रा की तुलना। स्रोत

शोधकर्ताओं का दावा है कि उनका तरीका मात्रात्मक मेट्रिक्स और मानव अध्ययन से आँके गए गुणात्मक परिणामों, दोनों में अत्याधुनिक प्रदर्शन करता है।

वे बताते हैं कि पहले के काम वस्तु के साथ जुड़े प्रभाव, जैसे छाया और प्रतिबिंब, हमेशा नहीं हटा पाए हैं। इस कमी को दूर करने के लिए उनका डेटासेट सावधानी से बनाया गया है:

पहले के तरीकों के उदाहरण, जो हटाई जाने वाली वस्तु से आगे जाकर उसके प्रतिबिंब और छाया जैसे अप्रत्यक्ष संकेतों को मिटाने में विफल रहे।

इस नए शोधपत्र का शीर्षक है EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing। इसे फुदान विश्वविद्यालय के कॉलेज ऑफ कंप्यूटर साइंस एंड आर्टिफिशियल इंटेलिजेंस के चार शोधकर्ताओं ने लिखा है।

विधि

मिश्रित VOR डेटासेट में इतने व्यापक परिदृश्य शामिल करने का लक्ष्य था कि वीडियो से किसी व्यक्ति या वस्तु को हटाने के सभी प्रभावों को समेटा जा सके:

VOR डेटासेट के जोड़ीदार फ्रेम दिखाते हैं कि किसी वस्तु को हटाते समय दिखाई देने वाली वस्तु के साथ उसके उत्पन्न प्रभावों को भी हटाना आवश्यक है। उदाहरणों में दृश्य अवरोध, छाया, रोशनी में बदलाव, प्रतिबिंब और भौतिक विकृति शामिल हैं। हर उदाहरण में वस्तु वाले इनपुट के साथ उसे हटाने के बाद की संबंधित साफ पृष्ठभूमि दिखाई गई है। अधिक उदाहरणों के लिए लेख के अंत में एम्बेड किया गया YouTube वीडियो देखें।

लेखकों ने दूर किए जाने वाले पाँच प्रतिनिधि प्रकार के ‘व्यवधान’ परिभाषित किए हैं: दृश्य अवरोध, जिसमें विभिन्न प्रकार के काँच और धुएँ से होने वाला अवरोध शामिल है; छाया; रोशनी (मसलन, जब हटाई जाने वाली वस्तु प्रकाश का मार्ग बनाती या बदलती है); प्रतिबिंब; और विकृति (मसलन, कुशन पर बैठे व्यक्ति का दबाव-चिह्न, जो उस व्यक्ति को हटाने के बाद नहीं रहना चाहिए)।

VOR डेटासेट तैयार करने की प्रक्रिया में Blender से बनाए गए संश्लेषित दृश्य और वास्तविक दुनिया की रिकॉर्डिंग मिलाई जाती हैं। संश्लेषित डेटा के लिए चुने हुए 3D परिवेश, वस्तुएँ और कैमरा पथ इस्तेमाल होते हैं। वास्तविक फुटेज विभिन्न दृश्यों में रिकॉर्ड की जाती है और उसमें Ken Burns गति जोड़ी जाती है। इसके बाद SAM2 से विभाजन और मैन्युअल सुधार करके अग्रभूमि वीडियो, पृष्ठभूमि वीडियो तथा संबंधित मास्क की परस्पर संरेखित तिकड़ियाँ तैयार की जाती हैं।

मूल वास्तविक डेटा के लिए शोधकर्ताओं ने स्थिर कैमरों से वस्तु ‘सहित’ और ‘रहित’ दृश्य रिकॉर्ड किए। इनमें अनेक परिवेश, दिन के अलग-अलग समय और मौसम की स्थितियाँ शामिल थीं।

संश्लेषित डेटा के लिए कई दृष्टिकोणों से दृश्य रेंडर किए गए और एक से अधिक वस्तुओं वाले परिदृश्य बनाए गए। कैमरे की गति जानबूझकर जटिल और चुनौतीपूर्ण रखी गई, जैसी वास्तविक फुटेज में हो सकती है। शोधकर्ताओं के अनुसार यह तरीका अन्य पहलुओं में समान Remove Objects with Side Effects in Videos (ROSE) डेटासेट को बनाने में प्रयुक्त तरीके से अधिक परिष्कृत है और इसमें अधिक प्रयास लगता है।

गति की विविधता बढ़ाने के लिए कैमरे से रिकॉर्ड की गई जोड़ियों पर Ken Burns प्रभाव लागू किया गया। चौदह पूर्वनिर्धारित नियमों के तहत नियंत्रित पैन, ज़ूम और हाथ में पकड़े कैमरे जैसी हल्की गति जोड़ी गई। प्रत्येक जोड़ी के लिए पाँच गति पैटर्न चुने गए और क्रॉप को मूल फ्रेम की सीमा के भीतर रखा गया।

संश्लेषित वस्तुओं को कैमरे के विभिन्न सेटअप के साथ मिलाकर पैमाना और विविधता और बढ़ाई गई। मास्क बनाने के लिए मुख्य फ्रेमों पर मैन्युअल बिंदु-प्रॉम्प्ट दिए गए और Segment Anything 2 (SAM2) से विभाजन को अन्य फ्रेमों तक फैलाया गया। परिणामों की सफाई और सुधार के बाद प्रशिक्षण के लिए सत्यापित अग्रभूमि, पृष्ठभूमि और मास्क की तिकड़ियाँ बनाई गईं।

अंतिम संग्रह में वास्तविक और संश्लेषित 60,000 जोड़ीदार वीडियो में कुल 145 घंटे का वीडियो है। इसमें 443 दृश्यों में 366 वस्तु श्रेणियाँ शामिल हैं।

EffectErase नेटवर्क इनपुट को Variational Auto-Encoder (VAE^†) के माध्यम से ग्रहण करता है, जबकि लेटेंट निरूपण से शोर हटाने का काम Wan2.1 संभालता है। इस मूल ढाँचे पर EffectErase तीन घटकों का उपयोग करता है: Removal-Insertion Joint Learning, जो एक ही क्षेत्र पर हटाने और जोड़ने के दोनों कार्यों को साथ प्रशिक्षित करता है; Task-Aware Region Guidance (TARG), जो वस्तु और कार्य के टोकन को क्रॉस-अटेंशन के साथ इस्तेमाल करके वस्तुओं और उनके प्रभावों के स्थानिक तथा समय-संबंधी रिश्ते मॉडल करता है और दोनों कार्यों के बीच बदलाव संभव बनाता है; तथा Effect Consistency Loss, जो हटाने और जोड़ने के कार्यों में प्रभाव वाले क्षेत्रों को संरेखित करती है:

EffectErase फ्रेमवर्क की रूपरेखा। प्रशिक्षण के दौरान जोड़ीदार वीडियो एक साझा लेटेंट स्पेस में एनकोड किए जाते हैं, उनमें शोर मिलाया जाता है और कार्य के प्रति सजग क्रॉस-अटेंशन के मार्गदर्शन में डिफ्यूज़न ट्रांसफॉर्मर से संसाधित किया जाता है। प्रभाव-संगति हानि हटाने और जोड़ने के क्षेत्रों को संरेखित करती है, ताकि दोनों कार्य एक ही क्षेत्र पर ध्यान दें।

हटाने और जोड़ने की प्रक्रियाएँ साझा डिफ्यूज़न ढाँचे पर एक साथ प्रशिक्षित की जाती हैं, ताकि मॉडल एक ही प्रभावित क्षेत्र और संरचनात्मक संकेतों पर ध्यान देना सीखे।

पहले वस्तु वाले वीडियो, केवल पृष्ठभूमि वाले वीडियो और मास्क को एक लेटेंट स्पेस में एनकोड किया जाता है। डिफ्यूज़न प्रशिक्षण के लिए शोर जोड़ा जाता है और मॉडल कार्य-विशिष्ट मार्गदर्शन के तहत साफ निरूपण पुनः प्राप्त करना सीखता है। एक हल्का अडैप्टर शोरयुक्त फीचरों को हटाने या जोड़ने की शर्तों के साथ मिलाता है। इससे दोनों कार्य साझा सुपरविज़न का उपयोग करते हुए नियंत्रित किए जा सकते हैं।

Task-Aware Region Guidance भाषा टोकन और अग्रभूमि की वस्तु से निकाले गए दृश्य फीचरों को मिलाकर कार्य-विशिष्ट संकेत बनाता है। इसके लिए CLIP का उपयोग किया जाता है। सामान्य वस्तु टोकन की जगह वास्तविक चित्र सामग्री से निकाला गया एम्बेडिंग रखा जाता है। यह संयुक्त निरूपण क्रॉस-अटेंशन के माध्यम से मूल ढाँचे में डाला जाता है। इससे मॉडल यह देख सकता है कि वस्तु और उसके दृश्य प्रभाव स्थान तथा समय के साथ कैसे बदलते हैं, और हटाने तथा जोड़ने के बीच लचीले ढंग से बदल सकता है।

Effect Consistency Loss हटाने और जोड़ने की प्रक्रियाओं को उन्हीं बदले हुए क्षेत्रों पर ध्यान देने के लिए बाध्य करती है, क्योंकि दोनों कार्य एक ही वस्तु और उसके दृश्य प्रभावों से जुड़े हैं। दोनों शाखाओं के अटेंशन मैप को मिलाकर सॉफ्ट रीजन मैप बनाए जाते हैं और उन्हें वस्तु वाले तथा केवल पृष्ठभूमि वाले वीडियो से निकाले गए अंतर-मानचित्र से संरेखित किया जाता है, ताकि रोशनी और छाया जैसे सूक्ष्म बदलाव सुरक्षित रहें। यह अतिरिक्त हानि जोड़ने के कार्य को हटाने के कार्य का मार्गदर्शन करने में मदद करती है और दोनों में संगति बनाए रखती है।

डेटा और परीक्षण

शोधकर्ताओं ने अपने तरीके की तुलना इनपेंटिंग, वीडियो इनपेंटिंग और वस्तु हटाने के विभिन्न तरीकों से की: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; और MiniMax-Remover।

Wan2.1 को LoRA^†† के साथ VOR डेटासेट पर 832x480px रिज़ॉल्यूशन में फाइन-ट्यून किया गया। प्रशिक्षण के लिए लगातार आने वाले 81 फ्रेम यादृच्छिक रूप से चुने गए। यह WAN की व्यावहारिक सीमा है, जिसके आगे आम तौर पर त्रुटियाँ होने लगती हैं। प्रशिक्षण 129,000 इटरेशन तक चला और बैच आकार 8 था। आठ H100 GPU इस्तेमाल किए गए, जिनमें से प्रत्येक में 80GB VRAM थी। लर्निंग रेट 1×10² रखी गई और LoRA रैंक 256 थी।

ROSE-Benchmark का संश्लेषित संग्रह परीक्षण में इस्तेमाल होने वाला एकमात्र बाहरी डेटासेट था। अन्य दो थे VOR-Eval, यानी VOR डेटासेट का परीक्षण उपसमुच्चय; और VOR-Wild, जिसमें इंटरनेट से संकलित 195 वास्तविक वीडियो में गतिशील वस्तुएँ हैं।

इन मेट्रिक्स का उपयोग किया गया: Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); और Fréchet Video Distance (FVD)। VOR-Wild से बनाए गए 195 वीडियो पर उपयोगकर्ता अध्ययन भी किया गया, जिसमें 20 स्वयंसेवकों की औसत रेटिंग को ध्यान में रखा गया।

इसके अलावा लेखकों ने QScore नाम का मेट्रिक बनाया, जो Qwen-VL मल्टीमॉडल मॉडल का उपयोग करता है। इसका उद्देश्य वस्तु हटाए गए वीडियो की गुणवत्ता को बची हुई दृश्य विकृतियों या छाया और रोशनी जैसे न हटाए गए परिवेशीय प्रभावों के आधार पर आँकना है:

ROSE और VOR बेंचमार्क पर मात्रात्मक तुलना। सर्वोत्तम परिणाम मोटे अक्षरों में और दूसरे सर्वोत्तम परिणाम रेखांकित करके दिखाए गए हैं।

इन परिणामों के बारे में लेखक बताते हैं:

‘[वर्तमान] इमेज इनपेंटिंग विधियाँ समय-संबंधी मॉडलिंग के बिना 2D मॉडल का उपयोग करके अलग-अलग फ्रेम पर काम करती हैं। इसलिए वे वीडियो में समय के साथ दृश्य संगति बनाए नहीं रख पातीं।

हाल की वीडियो इनपेंटिंग [विधियाँ] वस्तु के सहवर्ती प्रभावों को स्पष्ट रूप से मॉडल नहीं करतीं, जिससे हटाने के परिणाम अस्वाभाविक लगते हैं। मौजूदा वीडियो वस्तु हटाने की [विधियों] में वस्तु और उसके सहवर्ती प्रभावों के बीच स्थानिक तथा समय-संबंधी रिश्तों की मॉडलिंग नहीं होती। इसलिए वे अक्सर दृश्य विकृतियाँ और हटाई गई वस्तु के अवशेष छोड़ देती हैं।

‘कुल मिलाकर, EffectErase सभी डेटासेट और मूल्यांकन मेट्रिक्स पर अत्याधुनिक प्रदर्शन करता है। वीडियो गुणवत्ता मेट्रिक FVD पर उसे सर्वोत्तम स्कोर मिलते हैं, जो बनाए गए वीडियो में समय के साथ बेहतर सहजता और संगति दर्शाते हैं।

‘हमारी विधि को QScore और उपयोगकर्ता प्रतिक्रिया की रेटिंग में भी सर्वोच्च स्कोर मिलते हैं। यह देखने में विश्वसनीय हटाने के परिणाम देने की इसकी प्रभावशीलता को और दर्शाता है।’

गुणात्मक मूल्यांकन के लिए शोधपत्र में स्थिर परिणाम दिए गए हैं, जिन्हें ठीक नीचे दिखाया गया है। गतिशील परिणाम परियोजना की साइट और साथ की YouTube वीडियो प्रस्तुति में उपलब्ध हैं:

VOR-Eval पर दृश्य अवरोध, छाया, रोशनी, प्रतिबिंब और विकृति वाले मामलों की गुणात्मक तुलना। इनपेंटिंग विधियाँ मास्क के बाहर के प्रभाव हटाने में कठिनाई अनुभव करती हैं, जबकि वस्तु हटाने वाले मॉडल अक्सर दिखाई देने वाली विकृतियाँ छोड़ देते हैं। EffectErase लक्ष्य वस्तुओं और उनसे जुड़े प्रभावों, दोनों को अधिक साफ ढंग से हटाता है। बेहतर रिज़ॉल्यूशन के लिए मूल शोधपत्र और वीडियो उदाहरणों के लिए परियोजना की साइट देखें।

हम पाठकों को परियोजना की साइट पर उपलब्ध विभिन्न संबंधित उदाहरण भी देखने का सुझाव देते हैं। उनकी झलक नीचे दी गई है और आधिकारिक YouTube वीडियो इस लेख के अंत में एम्बेड किया गया है:

चलाने के लिए क्लिक करें। EffectErase की परियोजना साइट से तुलना का एक उदाहरण। बेहतर रिज़ॉल्यूशन के लिए ऊपर बताई गई सावधानियों को ध्यान में रखते हुए साइट देखें; वहाँ और उदाहरण भी हैं।

लेखकों की टिप्पणी है:

‘वीडियो इनपेंटिंग [विधियाँ] अक्सर मास्क किए गए क्षेत्रों में दृश्य विकृतियाँ पैदा करती हैं और हटाई गई वस्तुओं से उत्पन्न सहवर्ती प्रभाव पूरी तरह नहीं हटा पातीं। [ROSE] और [MinMax-Remover] जैसे पहले के तरीके लक्ष्य वस्तुओं को हटाने में अच्छा प्रदर्शन करते हैं, लेकिन उनके सहवर्ती प्रभावों से अभी भी जूझते हैं, खास तौर पर दृश्य अवरोध, छाया, रोशनी, प्रतिबिंब और विकृति वाले मामलों में।

‘इसके विपरीत, EffectErase लक्ष्य वस्तुओं और उनसे जुड़े प्रभावों, दोनों को प्रभावी ढंग से हटाता है, जिससे साफ, सुसंगत और उच्च-गुणवत्ता वाले परिणाम मिलते हैं।’

अंत में शोधकर्ता बताते हैं कि उनकी विधि को अतिरिक्त प्रशिक्षण के बिना हटाने के बजाय वस्तु जोड़ने के कार्यों के लिए भी अनुकूलित किया जा सकता है:

वीडियो में वस्तु जोड़ने के परिणाम। EffectErase वस्तुएँ जोड़ते समय पृष्ठभूमि की सामग्री सुरक्षित रखता है और अलग-अलग फ्रेम में छाया तथा प्रतिबिंब जैसे वस्तु-जनित प्रभावों में संगति बनाए रखता है।

वस्तु जोड़ने के कार्य के वीडियो परिणाम समय-विशिष्ट YouTube वीडियो में देखे जा सकते हैं। वीडियो लेख के अंत में बिना टाइमस्टैम्प के भी एम्बेड किया गया है।

निष्कर्ष

संबंधित शोध में ऐसी ही परियोजनाओं को देखने से पता चलता है कि कई लोगों को अभी भी उम्मीद है कि सामान्य-उद्देश्य वाले VFX मॉडल अंततः यह कार्यक्षमता भी ऐसे सामान्य ‘टूलकिट’ मॉडल में शामिल कर सकेंगे जो केवल इसी विशिष्ट कार्य के बजाय अनेक प्रभावों के लिए बनाया गया हो।

हालाँकि, हर काम थोड़ा-थोड़ा करने वाले दृष्टिकोण की सीमा को देखते हुए यह मानना उचित लगता है कि EffectErase जैसे समर्पित सिस्टम इस कार्यक्षमता में अधिक सामान्य तरीकों पर बढ़त बनाए रखेंगे। फिर भी अंतर अंततः इतना कम हो सकता है कि अलग मॉडल को प्रशिक्षित करने का अतिरिक्त प्रयास उचित न रहे।

* बौद्धिक संपदा की उत्पत्ति को लेकर बढ़ती चिंताओं के बीच यह अपेक्षा स्वाभाविक है कि ऐसे सभी स्रोत उद्धृत किए जाएँ। लेकिन यदि नए काम की उपलब्ध सामग्री में 3D मॉडल के स्रोत का उल्लेख है, तो मैं वह संदर्भ नहीं ढूँढ़ सका।

^† दिया गया संदर्भ 2013 का एक सामान्य व्याख्यात्मक पाठ प्रतीत होता है; विशिष्ट VAE का विवरण नहीं दिया गया है।

^†† यह वर्णन शोधपत्र से लिया गया है और अर्थ की दृष्टि से अस्पष्ट है, क्योंकि फाइन-ट्यूनिंग और LoRA अलग-अलग प्रक्रियाएँ हैं जिनकी आवश्यकताएँ बहुत अलग हैं।

पहली बार प्रकाशित: शनिवार, 21 मार्च, 2026