वीडियो एआई प्रशिक्षण को उपयोगकर्ता-केंद्रित डेटा के साथ पुनः सोच

उपयोगकर्ता जेनरेटिव मॉडल जैसे फ्लक्स या हुन्युआन वीडियो का उपयोग करके बनाने के लिए जो सामग्री चाहते हैं, वह हमेशा आसानी से उपलब्ध नहीं हो सकती है, भले ही सामग्री अनुरोध अपेक्षाकृत सामान्य हो और यह अनुमान लगाया जा सकता है कि जनरेटर इसे संभाल सकता है।

एक उदाहरण, जो एक नए शोध पत्र में दिखाया गया है जिस पर हम इस लेख में चर्चा करेंगे, यह बताता है कि खत्म हो रहे ओपनएआई सोरा मॉडल में एक आग लगने वाले फायरफ्लाई को सही ढंग से प्रस्तुत करने में कुछ कठिनाई होती है, प्रॉम्प्ट का उपयोग करके ‘एक फायरफ्लाई एक गर्मियों की शाम को घास की पत्ती पर चमक रहा है’:

ओपनएआई के सोरा में फायरफ्लाई की शारीरिक रचना की थोड़ी अजीब समझ है। स्रोत: https://arxiv.org/pdf/2503.01739

चूंकि मैं शोध दावों को अक्सर उनके चेहरे पर नहीं लेता, इसलिए मैंने आज सोरा पर उसी प्रॉम्प्ट का परीक्षण किया और थोड़ा बेहतर परिणाम प्राप्त किया। हालांकि, सोरा अभी भी ग्लो को सही ढंग से प्रस्तुत करने में विफल रहा – फायरफ्लाई की पूंछ के सिरे पर, जहां जैविक प्रकाश उत्पन्न होता है, इसके बजाय यह पैरों के पास ग्लो को गलत तरीके से रख दिया:

मेरे द्वारा शोधकर्ताओं के प्रॉम्प्ट का परीक्षण सोरा में यह परिणाम दिखाता है कि सोरा वास्तव में फायरफ्लाई के प्रकाश के स्रोत को नहीं समझता है।

विडंबना यह है कि एडोब फायरफ्लाई जेनरेटिव डिफ्यूजन इंजन, जो कंपनी के कॉपीराइट-सुरक्षित स्टॉक फोटो और वीडियो पर प्रशिक्षित है, ने इस संबंध में केवल 1-में-3 की सफलता दर हासिल की, जब मैंने फोटोशॉप की जेनरेटिव एआई सुविधा में उसी प्रॉम्प्ट का परीक्षण किया:

एडोब फायरफ्लाई (मार्च 2025) में तीन प्रस्तावित पीढ़ियों में से केवल अंतिम में ही कोई चमक पैदा होती है, हालांकि कम से कम चमक कीट की शारीरिक रचना के सही हिस्से में स्थित है।

यह उदाहरण नए शोध पत्र द्वारा इस बात पर प्रकाश डाला गया है कि जेनरेटिव मॉडल के लिए उपयोगकर्ता की जरूरतों के साथ प्रशिक्षण सेट का वितरण और जोर नहीं मिल सकता है, भले ही उपयोगकर्ता कुछ विशेष रूप से चुनौतीपूर्ण नहीं मांग रहा हो – एक विषय जो जेनरेटिव मॉडल के रूप में बड़े पैमाने पर प्रशिक्षण डेटासेट को उनके सबसे कुशल और प्रदर्शनकारी परिणामों के लिए अनुकूलित करने में आने वाली चुनौतियों को उठाता है।

लेखक कहते हैं:

‘[सोरा] एक चमकती हुई फायरफ्लाई की अवधारणा को पकड़ने में विफल रहता है, जबकि यह एक गर्मियों की रात और घास को सफलतापूर्वक उत्पन्न करता है। डेटा के दृष्टिकोण से, हम यह निष्कर्ष निकालते हैं कि यह मुख्य रूप से इसलिए है क्योंकि [सोरा] को फायरफ्लाई से संबंधित विषयों पर प्रशिक्षित नहीं किया गया है, जबकि यह घास और रात पर प्रशिक्षित किया गया है। इसके अलावा, यदि [सोरा] ने [उपरोक्त छवि में] दिखाए गए वीडियो को देखा है, तो यह जानता है कि एक चमकती हुई फायरफ्लाई कैसी दिखती है।’

वे एक नए डेटासेट की वकालत करते हैं और सुझाव देते हैं कि उनकी विधि को भविष्य के काम में परिष्कृत किया जा सकता है ताकि उपयोगकर्ता की अपेक्षाओं के साथ बेहतर ढंग से जुड़ने वाले डेटा संग्रह बनाए जा सकें।

लोगों के लिए डेटा

मूल रूप से, उनका प्रस्ताव एक डेटा क्यूरेशन दृष्टिकोण का प्रस्ताव करता है जो एक मॉडल-प्रकार के लिए कस्टम डेटा के बीच में आता है, जैसे कि लोरा (और यह दृष्टिकोण सामान्य उपयोग के लिए बहुत विशिष्ट है); और व्यापक और अपेक्षाकृत भेदभावपूर्ण उच्च-वॉल्यूम संग्रह (जैसे कि लायोन डेटासेट जो स्टेबल डिफ्यूजन को शक्ति प्रदान करता है) जो किसी भी अंत-उपयोग परिदृश्य के साथ विशेष रूप से संरेखित नहीं हैं।

नई दृष्टि, दोनों एक विधि और एक नए डेटासेट के रूप में, (काफी जटिल रूप से) उपयोगकर्ता के फोकस में टेक्स्ट-टू-वीडियो या वीडियोयूएफओ नाम दिया गया है। वीडियोयूएफओ डेटासेट में 1.9 मिलियन वीडियो क्लिप शामिल हैं जो 1291 उपयोगकर्ता-केंद्रित विषयों को कवर करते हैं। विषयों को खुद एक मौजूदा वीडियो डेटासेट से विकसित किया गया था, और विभिन्न भाषा मॉडल और प्राकृतिक भाषा प्रसंस्करण (एनएलपी) तकनीकों के माध्यम से पार्स किया गया था:

नए पत्र में प्रस्तुत विषयों के नमूने।

वीडियोयूएफओ डेटासेट में यूट्यूब से निकाले गए वीडियो क्लिप्स की एक बड़ी संख्या है – ‘नई’ का अर्थ है कि इन वीडियो में से कोई भी वर्तमान में साहित्य में लोकप्रिय वीडियो डेटासेट में नहीं है, और इसलिए उनसे बनाए गए कई उप-संग्रह में भी नहीं हैं (और कई वीडियो वास्तव में उन पुराने डेटासेट के निर्माण के बाद अपलोड किए गए थे जिन्हें पत्र में उल्लेख किया गया है)।

वास्तव में, लेखक दावा करते हैं कि मौजूदा वीडियो डेटासेट के साथ केवल 0.29% ओवरलैप है – एक उल्लेखनीय नवीनता का प्रदर्शन।

एक कारण यह हो सकता है कि लेखकों ने केवल यूट्यूब वीडियो स्वीकार किए जिन्हें क्रिएटिव कॉमन्स लाइसेंस प्राप्त था जो आगे चलकर उपयोगकर्ताओं के लिए कम प्रतिबंधात्मक होगा:

दूसरा, वीडियो पूर्वानुमानित उपयोगकर्ता आवश्यकता (ऊपर दिए गए चित्र को देखें) के आधार पर अनुरोध किए गए थे, न कि बिना किसी भेदभाव के खोजे गए। ये दो कारक मिलकर ऐसे संग्रह का कारण बन सकते हैं। इसके अलावा, शोधकर्ताओं ने योगदान देने वाले वीडियो (यानी, वीडियो जो बाद में वीडियोयूएफओ संग्रह के लिए विभाजित और पुनः कल्पना की जा सकती हैं) के यूट्यूब आईडी की जांच की मौजूदा संग्रह में विशेषता वाले लोगों के खिलाफ, दावे को विश्वसनीय बनाने के लिए।

हालांकि नए पत्र में सब कुछ उतना ही आश्वस्त नहीं है, यह एक दिलचस्प पढ़ाई है जो इस सीमा तक जोर देती है कि हम अभी भी असमान वितरण में डेटासेट के साथ कितने अभिभूत हैं, जो शोध दृश्य को अक्सर मिलने वाली बाधाओं के रूप में प्रस्तुत करता है।

नया काम शीर्षक है वीडियोयूएफओ: एक मिलियन-स्केल उपयोगकर्ता-केंद्रित डेटासेट टेक्स्ट-टू-वीडियो जेनरेशन के लिए, और यह ऑस्ट्रेलिया में सिडनी विश्वविद्यालय के दो शोधकर्ताओं से आता है, और चीन में जेजियांग विश्वविद्यालय से।

अंतिम प्राप्त डेटासेट से नमूने।

एआई डेटा के लिए एक ‘व्यक्तिगत शॉपर’

इंटरनेट पर मौजूद इमेज और वीडियो की सामग्री और अवधारणाएं आवश्यक रूप से वह नहीं हो सकती हैं जो औसत अंतिम उपयोगकर्ता जेनरेटिव सिस्टम से मांगता है; यहां तक कि जब सामग्री और मांग कभी-कभी टकराती है (जैसे कि पोर्न, जो इंटरनेट पर बहुतायत से उपलब्ध है और कई जेन एआई उपयोगकर्ताओं के लिए बहुत रुचिकर है), यह विकसित हो रहे जेनरेटिव सिस्टम के लिए डेवलपर के इरादे और मानकों के साथ संरेखित नहीं हो सकता है।

उच्च-वॉल्यूम सामग्री के अलावा जो दैनिक रूप से अपलोड की जाती है, नेट-उपलब्ध सामग्री का एक असमान्य रूप से बड़ा हिस्सा विज्ञापनदाताओं और उन लोगों से आ सकता है जो एसईओ को मैनिपुलेट करने का प्रयास कर रहे हैं। इस तरह के व्यावसायिक स्वार्थ का परिणाम विषय वस्तु के वितरण में भेदभावपूर्ण होता है; इससे भी बदतर, यह कठिन है कि ऐसी समस्या से निपटने के लिए एआई-आधारित फिल्टरिंग सिस्टम विकसित किए जा सकें क्योंकि मीनिंगफुल हाइपरस्केल डेटा से विकसित अल्गोरिदम और मॉडल स्वयं स्रोत डेटा की प्रवृत्तियों और प्राथमिकताओं को प्रतिबिंबित कर सकते हैं।

इसलिए, नए काम के लेखकों ने समस्या को प्रस्तुत करने के द्वारा दृष्टिकोण को उलट दिया है, उपयोगकर्ता की संभावित मांगों का निर्धारण करके और उन आवश्यकताओं के अनुरूप वीडियो प्राप्त करके।

इस दृष्टिकोण की सतह पर, यह उतना ही संभावना है कि एक सेमेंटिक दौड़ के नीचे की ओर उत्तेजित होगी जितना कि एक संतुलित, विकिपीडिया-शैली की तटस्थता प्राप्त करने के लिए। उपयोगकर्ता मांग के चारों ओर डेटा क्यूरेशन को कैलिब्रेट करने से निचले स्तर के उपयोगकर्ताओं की प्राथमिकताओं को बढ़ावा मिल सकता है जबकि निचे उपयोगकर्ताओं को कम महत्व दिया जा सकता है, क्योंकि बहुसंख्यक हित अपरिहार्य रूप से अधिक महत्व रखेगा।

हालांकि, आइए देखें कि पत्र इस चुनौती का सामना कैसे करता है।

विवेक के साथ अवधारणाओं को संक्षिप्त करना

शोधकर्ताओं ने वेब-स्क्रैपिंग के लिए विषय विश्लेषण के स्रोत के रूप में 2024 विडप्रोम डेटासेट का उपयोग किया।

लेखकों का कहना है कि यह डेटासेट इसलिए चुना गया था क्योंकि यह एकमात्र सार्वजनिक रूप से उपलब्ध 1 मिलियन से अधिक डेटासेट है जो ‘वास्तविक उपयोगकर्ताओं द्वारा लिखा गया है’ – और यह कहा जाना चाहिए कि यह डेटासेट खुद नए पत्र के दो लेखकों द्वारा क्यूरेट किया गया था।

पत्र में कहा गया है*:

‘पहले, हम विडप्रोम से सभी 1.67 मिलियन प्रॉम्प्ट को 384-आयामी वेक्टर में सेंटेंसट्रांसफॉर्मर का उपयोग करके एम्बेड करते हैं। उसके बाद, हम इन वेक्टर्स को के-मीन्स के साथ क्लस्टर करते हैं। ध्यान दें कि यहां हम क्लस्टर की संख्या को एक अपेक्षाकृत बड़े मूल्य पर सेट करते हैं, अर्थात् 2,000, और अगले चरण में समान क्लस्टर को मिलाते हैं।

‘अंत में, प्रत्येक क्लस्टर के लिए, हम जीपीटी-4ओ से एक विषय (एक या दो शब्द) का निष्कर्ष निकालने के लिए कहते हैं।’

लेखक यह बताते हैं कि कुछ अवधारणाएं विशिष्ट रूप से अलग हैं लेकिन उल्लेखनीय रूप से संबंधित हैं, जैसे कि चर्च और कैथेड्रल। इस तरह के मामलों में बहुत विस्तृत मानदंड के परिणामस्वरूप प्रत्येक प्रकार के कुत्ते की नस्ल के लिए अवधारणा एम्बेडिंग (उदाहरण के लिए) हो सकती है, बजाय कुत्ते शब्द के; जबकि बहुत व्यापक मानदंड एक ही अवधारणा में कई उप-अवधारणाओं को समाहित कर सकता है; इसलिए, पत्र इस तरह के मामलों का मूल्यांकन करने के लिए आवश्यक संतुलन कार्य को नोट करता है।

एकवचन और बहुवचन रूपों को मिलाया गया, और क्रियाओं को उनके आधार (क्रिया रूप) में बहाल किया गया। अत्यधिक व्यापक शब्द – जैसे एनिमेशन, दृश्य, फिल्म और गति – को हटा दिया गया।

इस प्रकार 1,291 विषय प्राप्त किए गए (पूरी सूची स्रोत पत्र के पूरक अनुभाग में उपलब्ध है)।

चयनित वेब-स्क्रैपिंग

इसके बाद, शोधकर्ताओं ने आधिकारिक यूट्यूब एपीआई का उपयोग विडप्रोम से निकाले गए मानदंडों के आधार पर वीडियो खोजने के लिए किया, प्रत्येक विषय के लिए 500 वीडियो प्राप्त करने का प्रयास किया। क्रिएटिव कॉमन्स लाइसेंस की आवश्यकता के अलावा, प्रत्येक वीडियो में 720p या उच्चतर रिज़ॉल्यूशन होना चाहिए और चार मिनट से कम होना चाहिए।

इस तरह 586,490 वीडियो यूट्यूब से निकाले गए।

लेखकों ने डाउनलोड किए गए वीडियो के यूट्यूब आईडी की तुलना कई लोकप्रिय डेटासेट से की: ओपनविड-1एम; एचडी-विला-100एम; इंटरन-विड; कोआला-36एम; एलवीडी-2एम; मिराडेटा; पांडा-70एम; विडजेन-1एम; और वेबविड-10एम.

उन्होंने पाया कि केवल 1,675 आईडी (उपरोक्त 0.29%) वीडियोयूएफओ क्लिप में इन पुराने संग्रह में शामिल थे, और यह स्वीकार किया जाना चाहिए कि जबकि डेटासेट तुलना सूची व्यापक नहीं है, यह जेनरेटिव वीडियो दृश्य में सभी बड़े और सबसे प्रभावशाली खिलाड़ियों को शामिल करता है।

विभाजन और मूल्यांकन

प्राप्त वीडियो को बाद में कई क्लिप में विभाजित किया गया, जैसा कि ऊपर उद्धृत पांडा-70एम पत्र में रूपरेखा दी गई है। शॉट सीमाएं अनुमानित की गईं, असेंबलियों को जोड़ा गया, और संयुक्त वीडियो को एकल क्लिप में विभाजित किया गया, जिसमें संक्षिप्त और विस्तृत कैप्शन प्रदान किए गए।

वीडियोयूएफओ डेटासेट में प्रत्येक डेटा प्रविष्टि में एक क्लिप, एक आईडी, प्रारंभ और समाप्ति समय, और एक संक्षिप्त और विस्तृत कैप्शन शामिल है।

संक्षिप्त कैप्शन पांडा-70एम विधi द्वारा संभाले गए थे, और विस्तृत वीडियो कैप्शन क्वेन2-वीएल-7बी द्वारा, ओपन-सोरा-प्लान द्वारा स्थापित दिशानिर्देशों के अनुसार। उन मामलों में जहां क्लिप वांछित लक्ष्य अवधारणा को शामिल नहीं करते थे, प्रत्येक ऐसे क्लिप के विस्तृत कैप्शन को जीपीटी-4ओ मिनी में डाला गया, ताकि यह पता लगाया जा सके कि क्या यह वास्तव में विषय के लिए फिट था। हालांकि लेखकों ने जीपीटी-4ओ के माध्यम से मूल्यांकन करना पसंद किया होगा, यह लाखों वीडियो क्लिप के लिए बहुत महंगा होगा।

वीडियो गुणवत्ता मूल्यांकन वीबेंच परियोजना के छह तरीकों से किया गया था।

तुलना

लेखकों ने वीडियोयूएफओ पर विषय निष्कर्षण प्रक्रिया को पूर्ववर्ती डेटासेट पर दोहराया। इसके लिए, वीडियोयूएफओ से प्राप्त श्रेणियों को अन्य संग्रह में श्रेणियों के साथ सेमेंटिक रूप से मेल खाना आवश्यक था; यह स्वीकार किया जाना चाहिए कि ऐसी प्रक्रियाएं केवल अनुमानित समकक्ष श्रेणियों की आपूर्ति करती हैं, और इसलिए यह एक विषयगत प्रक्रिया हो सकती है जो सांख्यिकीय तुलना की गारंटी देने के लिए पर्याप्त नहीं है।

फिर भी, नीचे दी गई छवि में हम उन परिणामों को देखते हैं जो शोधकर्ताओं ने इस विधि द्वारा प्राप्त किए:

वीडियोयूएफओ और पूर्व डेटासेट के माध्यम से प्राप्त मूल विशेषताओं की तुलना।

शोधकर्ता स्वीकार करते हैं कि उनका विश्लेषण प्रत्येक डेटासेट में उपलब्ध कैप्शन और विवरण पर निर्भर करता है। वे स्वीकार करते हैं कि पुराने डेटासेट को वीडियोयूएफओ के समान तरीके से पुनः कैप्शनिंग करना एक अधिक प्रत्यक्ष तुलना प्रदान कर सकता था। हालांकि, डेटा बिंदुओं की भारी मात्रा को देखते हुए, यह निष्कर्ष निकालना कि यह दृष्टिकोण निषिद्ध रूप से महंगा होगा, उचित प्रतीत होता है।

जेनरेशन

लेखकों ने उपयोगकर्ता-केंद्रित अवधारणाओं पर टेक्स्ट-टू-वीडियो मॉडल के प्रदर्शन का मूल्यांकन करने के लिए एक बेंचमार्क विकसित किया, जिसे बेंचयूएफओ कहा जाता है। इसमें वीडियोयूएफओ में 1,291 से 791 संज्ञाएं चुनना शामिल था। प्रत्येक चुने हुए विषय के लिए, विडप्रोम से दस प्रॉम्प्ट यादृच्छिक रूप से चुने गए थे।

प्रत्येक प्रॉम्प्ट को एक टेक्स्ट-टू-वीडियो मॉडल में पारित किया गया, जिसमें उल्लिखित क्वेन2-वीएल-7बी कैप्शनर का उपयोग उत्पन्न परिणामों का मूल्यांकन करने के लिए किया गया था। सभी उत्पन्न वीडियो को इस तरह कैप्शन दिए जाने के साथ, सेंटेंसट्रांसफॉर्मर का उपयोग प्रत्येक मामले में इनपुट प्रॉम्प्ट और आउटपुट (अनुमानित) विवरण के लिए कोसाइन समानता की गणना के लिए किया गया था।

बेंचयूएफओ प्रक्रिया के लिए योजना।

मूल्यांकित जेनरेटिव मॉडल थे: मिरा; शो-1; एलटीएक्स-वीडियो; ओपन-सोरा-प्लान; ओपन सोरा; टीएफ-टी2वी; मोची-1; हाइजेन; पिका; रेपवीडियो; टी2वी-जीरो; कॉगवीडियोक्स; लैट-1; हुन्युआन वीडियो; लावी; और पिरामिडल.

वीडियोयूएफओ के अलावा, एमवीडीटी-विडजेन और एमवीडिट-ओपनविड वैकल्पिक प्रशिक्षण डेटासेट थे।

परिणाम 10वें-50वें सबसे खराब और सर्वश्रेष्ठ प्रदर्शन करने वाले विषयों पर विचार करते हैं जो स्थापत्य और डेटासेट में हैं।

बेंचयूएफओ पर सार्वजनिक टी2वी मॉडल और लेखकों के प्रशिक्षित मॉडल के प्रदर्शन के परिणाम।

यहां लेखक टिप्पणी करते हैं:

‘वर्तमान टेक्स्ट-टू-वीडियो मॉडल उपयोगकर्ता-केंद्रित सभी विषयों पर लगातार अच्छा प्रदर्शन नहीं करते हैं। विशेष रूप से, शीर्ष-10 और निम्न-10 विषयों के बीच 0.233 से 0.314 तक का स्कोर अंतर है। ये मॉडल विषयों जैसे ‘विशाल स्क्विड’, ‘जानवर कोशिका’, ‘वैन गॉग’, और ‘प्राचीन मिस्री’ को प्रभावी ढंग से नहीं समझते हैं क्योंकि उन्हें इस तरह के वीडियो पर पर्याप्त प्रशिक्षण नहीं दिया गया है।’

‘वर्तमान टेक्स्ट-टू-वीडियो मॉडल अपने सर्वश्रेष्ठ प्रदर्शन करने वाले विषयों में एक निश्चित डिग्री की निरंतरता दिखाते हैं। हम यह पता लगाते हैं कि अधिकांश टेक्स्ट-टू-वीडियो मॉडल जानवर से संबंधित विषयों जैसे ‘सीगुल’, ‘पांडा’, ‘डॉल्फिन’, ‘उंट’, और ‘ओल’ पर वीडियो उत्पन्न करने में उत्कृष्टता प्राप्त करते हैं। हम यह निष्कर्ष निकालते हैं कि यह आंशिक रूप से इसलिए है क्योंकि वर्तमान वीडियो डेटासेट में जानवरों के प्रति पूर्वाग्रह है।’

निष्कर्ष

वीडियोयूएफओ ताज़ा डेटा के दृष्टिकोण से एक उत्कृष्ट प्रस्ताव है। यदि यूट्यूब आईडी का मूल्यांकन और उन्मूलन में कोई त्रुटि नहीं है, और यदि डेटासेट में इतना सामग्री है जो शोध दृश्य में नई है, तो यह एक दुर्लभ और संभावित रूप से मूल्यवान प्रस्ताव है।

नुकसान यह है कि आपको मूल विधि में विश्वास करने की आवश्यकता है; यदि आप नहीं मानते कि उपयोगकर्ता मांग को वेब-स्क्रैपिंग सूत्रों को सूचित करना चाहिए, तो आप एक डेटासेट में निवेश कर रहे हैं जो अपने साथ समस्याग्रस्त पूर्वाग्रह लाता है।

इसके अलावा, विलुप्त विषयों की उपयोगिता विलुप्त विधि की विश्वसनीयता पर निर्भर करती है (जो आमतौर पर बजट प्रतिबंधों से प्रभावित होती है), और 2024 डेटासेट के गठन विधियों पर भी निर्भर करती है जो स्रोत सामग्री प्रदान करता है।

फिर भी, वीडियोयूएफओ को आगे की जांच की आवश्यकता है – और यह हगिंग फेस पर उपलब्ध है।

*लेखकों के उद्धरणों के लिए मेरा प्रतिस्थापन हाइपरलिंक।

पहली बार बुधवार, 5 मार्च, 2025 को प्रकाशित।