क्या वास्तव में एआई वर्ल्ड मॉडल भौतिक नियमों को समझ सकते हैं?

विजन-लैंग्वेज एआई मॉडल्स के लिए बड़ी आशा यह है कि वे एक दिन अधिक स्वतंत्रता और बहुमुखी प्रतिभा के साथ सक्षम होंगे, जो भौतिक नियमों के सिद्धांतों को उसी तरह शामिल करेंगे जैसे हम पहले अनुभव के माध्यम से इन सिद्धांतों की एक अंतर्निहित समझ विकसित करते हैं।

उदाहरण के लिए, बच्चों के बॉल गेम्स में आमतौर पर गति की गतिज समझ विकसित होती है, और वजन और सतह के बनावट के प्रभाव को ट्रैजेक्टरी पर विकसित किया जाता है। इसी तरह, स्नान, फैले हुए पेय, महासागर, तैराकी पूल और अन्य विविध तरल पदार्थों के साथ बातचीत से हमें गुरुत्वाकर्षण के तहत तरल पदार्थ के व्यवहार की एक बहुमुखी और स्केलेबल समझ मिलती है।

यहां तक कि कम आम घटनाओं के पदार्थ – जैसे कि दहन, विस्फोट और दबाव के तहत वास्तुकला वजन वितरण – अनजाने में टीवी कार्यक्रमों और फिल्मों के माध्यम से या सोशल मीडिया वीडियो के माध्यम से अवशोषित किए जाते हैं।

जब हम इन प्रणालियों के पीछे के सिद्धांतों का अध्ययन अकादमिक स्तर पर करते हैं, तो हम केवल अपने अंतर्ज्ञानी (लेकिन अनजान) मानसिक मॉडल को इनसे जोड़ रहे होते हैं।

मास्टर्स ऑफ वन

वर्तमान में, अधिकांश एआई मॉडल, इसके विपरीत, अधिक ‘विशेषज्ञ’ हैं, और उनमें से कई या तो फाइन-ट्यून किए गए हैं या विशिष्ट उपयोग के मामलों के लिए विशिष्ट छवि या वीडियो डेटासेट पर प्रशिक्षित किए गए हैं, बजाय इसके कि वे ऐसी सामान्य समझ विकसित करने के लिए डिज़ाइन किए गए हों जो शासी नियमों की।

अन्य दिखावा का दिखावा पेश कर सकते हैं कि वे भौतिक नियमों को समझते हैं; लेकिन वे वास्तव में अपने प्रशिक्षण डेटा से नमूनों की प्रतिलिपि बना रहे होते हैं, बजाय इसके कि वे क्षेत्रों जैसे गति भौतिकी में मूल बातों को वास्तव में समझने के लिए जो वास्तव में नए (और वैज्ञानिक रूप से संभव) चित्रण उत्पन्न कर सकते हैं।

जनवरी में उत्पादीकरण और वाणिज्यिक एआई प्रणालियों के इस नाजुक क्षण में, यह हम पर निर्भर करता है, और निवेशकों की जांच के लिए, नए एआई मॉडल के विपणन और उनकी सीमाओं की वास्तविकता के बीच अंतर करना है।

नवंबर के सबसे दिलचस्प पत्रों में, बाइटडांस रिसर्च द्वारा नेतृत्व किया गया, इस मुद्दे को संबोधित किया गया, ‘ऑल-पर्पज’ जेनरेटिव मॉडल जैसे सोरा की स्पष्ट और वास्तविक क्षमताओं के बीच के अंतर की खोज की।

काम का निष्कर्ष यह निकाला कि वर्तमान राज्य में, इस प्रकार के मॉडल से उत्पन्न आउटपुट अधिक उनके प्रशिक्षण डेटा से उदाहरणों की नकल की तुलना में वास्तविक दुनिया में संचालित भौतिक प्रतिबंधों की पूरी समझ प्रदर्शित करने की संभावना है।

इस पत्र में कहा गया है*:

‘[इन] मॉडलों को आसानी से “धोखाधड़ी” उदाहरणों द्वारा पूर्वाग्रहित किया जा सकता है, जो उन्हें कुछ परिस्थितियों में “मामले-आधारित” तरीके से सामान्य करने के लिए ले जाता है। यह घटना, जो बड़े भाषा मॉडल में भी देखी गई है, मॉडल की एक प्रवृत्ति का वर्णन करती है जो नए कार्यों को हल करने के लिए समान प्रशिक्षण मामलों को संदर्भित करती है।

‘उदाहरण के लिए, एक वीडियो मॉडल पर विचार करें जो एक उच्च गति वाली गेंद की एक समान रेखीय गति में डेटा पर प्रशिक्षित है। यदि डेटा ऑगमेंटेशन द्वारा वीडियो को क्षैतिज रूप से फ्लिप किया जाता है, तो विपरीत दिशा में गति को पेश किया जाता है, मॉडल एक दृश्य उत्पन्न कर सकता है जहां एक कम गति वाली गेंद अपनी दिशा बदल देती है शुरुआती फ्रेम के बाद, भले ही यह व्यवहार भौतिक रूप से सही नहीं है।’

हम जल्द ही इस पत्र – निर्णय लेने के लिए एलएलएम के साथ विश्व मॉडल का मूल्यांकन पर एक नज़दीकी नज़र डालेंगे। लेकिन पहले, आइए इन स्पष्ट सीमाओं के लिए पृष्ठभूमि पर एक नज़र डालें।

पिछली चीजों की याद

बिना सामान्यीकरण के, एक प्रशिक्षित एआई मॉडल एक महंगी स्प्रेडशीट से ज्यादा कुछ नहीं है जो इसके प्रशिक्षण डेटा के खंडों के संदर्भ में है: उपयुक्त खोज शब्द खोजें, और आप उस डेटा का एक उदाहरण बुला सकते हैं।

इस परिदृश्य में, मॉडल प्रभावी रूप से एक ‘न्यूरल सर्च इंजन’ के रूप में कार्य कर रहा है, क्योंकि यह वांछित आउटपुट के लिए अमूर्त या ‘रचनात्मक’ व्याख्या नहीं बना सकता है, लेकिन इसके बजाय कुछ छोटे से भिन्नता की प्रतिलिपि बनाता है। डेटा जो यह प्रशिक्षण प्रक्रिया के दौरान देखा था।

इसे स्मृति के रूप में जाना जाता है – एक विवादास्पद समस्या जो तब उत्पन्न होती है क्योंकि वास्तव में लचीले और व्याख्यात्मक एआई मॉडल विवरण की कमी की प्रवृत्ति रखते हैं, जबकि वास्तव में विस्तृत मॉडल मूल और लचीलेपन की कमी की प्रवृत्ति रखते हैं।

स्मृति से प्रभावित मॉडल की उनके प्रशिक्षण डेटा को पुन: उत्पन्न करने की क्षमता एक संभावित कानूनी बाधा है, मामलों में जहां मॉडल के निर्माता के पास उस डेटा का उपयोग करने के लिए अनप्रतिबंधित अधिकार नहीं थे; और जहां उस डेटा से लाभ को एक बढ़ती संख्या में निष्कर्षण विधियों के माध्यम से प्रदर्शित किया जा सकता है।

स्मृति के कारण, गैर-अनुमोदित डेटा के निशान दaisy-chained के माध्यम से एक से अधिक प्रशिक्षण प्रणालियों में बने रह सकते हैं, एक अवांछित और अनजाने वॉटरमार्क की तरह – यहां तक कि परियोजनाओं में जहां मशीन लर्निंग प्रैक्टिशनर ने सुनिश्चित किया है कि ‘सुरक्षित’ डेटा का उपयोग किया जाता है।

वर्ल्ड मॉडल

हालांकि, स्मृति के साथ मुख्य उपयोग मुद्दा यह है कि यह बुद्धिमत्ता का भ्रम प्रस्तुत करता है, या सुझाव देता है कि एआई मॉडल मूलभूत नियमों या डोमेन को सामान्यीकृत किया है, जहां वास्तव में यह भ्रम है कि मेमोराइज्ड डेटा की बड़ी मात्रा प्रदान करती है (यानी, मॉडल के पास इतने सारे डेटा उदाहरण हैं जिनसे चुनने के लिए यह मुश्किल है एक मानव के लिए यह बताने के लिए कि क्या यह सीखा हुआ सामग्री को उगल रहा है या वास्तव में शामिल concepts में से एक को समझता है)।

यह मुद्दा वर्ल्ड मॉडल में बढ़ती रुचि के लिए परिणाम है – अत्यधिक विविध और महंगी प्रशिक्षित एआई प्रणालियों की संभावना जो कई ज्ञात नियमों को शामिल करती हैं और समृद्ध रूप से अन्वेषण योग्य हैं।

वर्ल्ड मॉडल विशेष रूप से जेनरेटिव इमेज और वीडियो स्पेस में रुचि के हैं। 2023 में RunwayML ने सUCH मॉडल के विकास और व्यवहार्यता में शोध की शुरुआत की; DeepMind हाल ही में हायर एक प्रतिष्ठित Sora जेनरेटिव वीडियो के मूल निर्माता को इस प्रकार के मॉडल पर काम करने के लिए; और स्टार्टअप जैसे Higgsfield छवि और वीडियो सिंथेसिस के लिए वर्ल्ड मॉडल में महत्वपूर्ण रूप से निवेश कर रहे हैं।

हार्ड कॉम्बिनेशन

जेनरेटिव वीडियो एआई प्रणालियों में नए विकास के वादे में से एक यह है कि वे मूलभूत भौतिक नियमों को सीखने में सक्षम हो सकते हैं, जैसे कि गति, मानव काइनेमैटिक्स (जैसे चाल विशेषताएं), तरल गतिकी, और अन्य ज्ञात भौतिक घटनाएं जो कम से कम दृश्य रूप से मानवों के लिए परिचित हैं।

यदि जेनरेटिव एआई इस मील का पत्थर हासिल कर सकता है, तो यह विस्फोट, बाढ़ और विभिन्न प्रकार के वस्तुओं के बीच सटीक टक्कर की घटनाओं को चित्रित करने वाले अत्यधिक वास्तविक दृश्य प्रभाव उत्पन्न करने में सक्षम हो सकता है।

दूसरी ओर, यदि एआई सिस्टम को वास्तव में उन घटनाओं को प्रदर्शित करने वाले हजारों (या सैकड़ों हजारों) वीडियो पर प्रशिक्षित किया गया है, तो यह प्रशिक्षण डेटा को बहुत ही आश्वस्त रूप से पुन: उत्पन्न करने में सक्षम हो सकता है जब यह एक समान डेटा बिंदु पर प्रशिक्षित किया गया हो उपयोगकर्ता के लक्ष्य प्रश्न के लिए; फिर भी विफल यदि प्रश्न बहुत सारे अवधारणाओं को जोड़ता है जो ऐसे संयोजन में डेटा में प्रस्तुत नहीं किए गए हैं।

इसके अलावा, ये सीमाएं तुरंत स्पष्ट नहीं होंगी, जब तक कि आप प्रणाली को इस तरह के चुनौतीपूर्ण संयोजनों के साथ धक्का न दें।

इसका मतलब है कि एक नया जेनरेटिव सिस्टम वायरल वीडियो सामग्री उत्पन्न करने में सक्षम हो सकता है जो प्रभावशाली है, लेकिन सिस्टम की क्षमताओं और समझ की गहराई का गलत प्रभाव पैदा कर सकता है, क्योंकि यह कार्य वास्तव में सिस्टम के लिए एक वास्तविक चुनौती नहीं है।

उदाहरण के लिए, एक अपेक्षाकृत सामान्य और व्यापक घटना, जैसे ‘एक इमारत ध्वस्त है’, एक डेटासेट में मौजूद हो सकती है जिसका उपयोग एक मॉडल को प्रशिक्षित करने के लिए किया जाता है जिसे भौतिकी की कुछ समझ होनी चाहिए। इसलिए मॉडल संभावित रूप से इस अवधारणा को अच्छी तरह से सामान्य कर सकता है, और यहां तक कि सीखे हुए वीडियो के मापदंडों के भीतर वास्तव में नए आउटपुट भी उत्पन्न कर सकता है।

यह एक इन-वितरण उदाहरण है, जहां डेटासेट में एआई सिस्टम के लिए सीखने के लिए कई उपयोगी उदाहरण हैं।

हालांकि, यदि आप एक अधिक अजीब या संदेहास्पद उदाहरण मांगते हैं, जैसे ‘द ईफेल टावर को एलियन आक्रमणकारियों द्वारा उड़ा दिया जाता है’, तो मॉडल को विभिन्न डोमेन जैसे ‘धातु की विशेषताएं’, ‘विस्फोट की विशेषताएं’, ‘गुरुत्वाकर्षण’, ‘वायु प्रतिरोध’ – और ‘एलियन अंतरिक्ष यान’ को जोड़ना होगा।

यह एक आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) उदाहरण है, जो इतने सारे जटिल अवधारणाओं को जोड़ता है कि सिस्टम या तो एक आश्वस्त उदाहरण उत्पन्न करने में विफल रहेगा, या अपने प्रशिक्षण पर निकटतम सेमेंटिक उदाहरण पर डिफ़ॉल्ट करेगा – भले ही वह उदाहरण उपयोगकर्ता के प्रॉम्प्ट का पालन नहीं करता है।

एक हॉलीवुड-शैली के सीजीआई-आधारित वीएफएक्स को प्रदर्शित करने वाले मॉडल के स्रोत डेटासेट में ऐसी ही या समान घटना शामिल नहीं होने के अलावा, ऐसा चित्रण करने के लिए यह निश्चित रूप से आवश्यक होगा कि यह भौतिक नियमों को अच्छी तरह से सामान्यीकृत और लचीला समझ हासिल करे।

भौतिक प्रतिबंध

नया पत्र – बाइटडांस, त्सिंगहुआ विश्वविद्यालय और टेक्नियन के बीच एक सहयोग – सुझाव देता है कि न केवल मॉडल जैसे सोरा वास्तव में इस तरह से निर्धारित भौतिक नियमों को आंतरिक नहीं करते हैं, बल्कि डेटा (पिछले 18 महीनों में एक सामान्य दृष्टिकोण) को स्केल करना लगता है सबसे मामलों में इस मामले में कोई वास्तविक सुधार का उत्पादन नहीं करता है।

पत्र न केवल विशिष्ट भौतिक नियमों के प्रसार की सीमाओं का अन्वेषण करता है – जैसे कि गति में वस्तुओं के व्यवहार, या जब उनका मार्ग बाधित होता है – लेकिन एक मॉडल की संयोजन सामान्यीकरण की क्षमता भी – जहां दो अलग-अलग भौतिक सिद्धांतों के प्रतिनिधित्व को एक एकल उत्पादक आउटपुट में मिलाया जाता है।

नए पत्र का एक वीडियो सारांश। स्रोत: https://x.com/bingyikang/status/1853635009611219019

शोधकर्ताओं द्वारा अध्ययन के लिए चुने गए तीन भौतिक नियम परवलयिक गति थे; समान रेखीय गति; और पूरी तरह से लोचदार टक्कर。

जैसा कि ऊपर दिए गए वीडियो में देखा जा सकता है, निष्कर्ष बताते हैं कि सोरा जैसे मॉडल वास्तव में भौतिक नियमों को आंतरिक नहीं करते हैं, बल्कि प्रशिक्षण डेटा की प्रतिलिपि बनाते हैं।

इसके अलावा, लेखकों ने पाया कि रंग और आकार जैसी विशेषताएं अनुमान के समय इतनी जटिल हो जाती हैं कि एक उत्पन्न गेंद एक वर्ग में बदल जाएगी, कथित तौर पर क्योंकि एक समान गति एक डेटासेट उदाहरण में एक वर्ग और एक गेंद की सुविधा नहीं देती है (ऊपर एम्बेडेड वीडियो में उदाहरण देखें)।

पत्र निष्कर्ष निकालता है:

‘हमारा अध्ययन सुझाव देता है कि स्केलिंग अकेले वीडियो जनरेशन मॉडल के लिए मूलभूत भौतिक नियमों का पता लगाने के लिए पर्याप्त नहीं है, इसके व्यापक सफलता की भूमिका के बावजूद…

‘…[निष्कर्ष] सुझाव देते हैं कि स्केलिंग अकेले ओओडी समस्या को संबोधित नहीं कर सकती है, हालांकि यह अन्य परिदृश्यों में प्रदर्शन में सुधार करती है।

‘हमारा विस्तृत विश्लेषण सुझाव देता है कि वीडियो मॉडल सामान्यीकरण अधिक मामले-आधारित व्यवहार पर निर्भर करता है, न कि सार्वभौमिक नियमों को सीखने पर। हमने इस “मामले-आधारित” व्यवहार में रंग> आकार> वेग> आकार का प्राथमिकता क्रम देखा।

‘[हमारा] अध्ययन सुझाव देता है कि निर्दोष स्केलिंग वीडियो जनरेशन मॉडल के लिए मूलभूत भौतिक नियमों का पता लगाने के लिए पर्याप्त नहीं है।’

जब पूछा गया कि क्या शोध टीम ने इस मुद्दे का समाधान खोजा है, तो पत्र के एक लेखक टिप्पणी की:

‘दुर्भाग्य से, हमने नहीं। वास्तव में, यह शायद पूरे एआई समुदाय का मिशन है।’

विधि और डेटा

शोधकर्ताओं ने वीडियो नमूने उत्पन्न करने के लिए वेरिएशनल ऑटोएनकोडर (VAE) और DiT आर्किटेक्चर का उपयोग किया। इस सेटअप में, VAE द्वारा उत्पादित संकुचित लेटेंट प्रतिनिधित्व DiT के साथ काम करते हैं जो शोर-मुक्त प्रक्रिया का मॉडलिंग करता है।

वीडियो स्टेबल डिफ्यूजन V1.5-VAE पर प्रशिक्षित किए गए थे। योजना मूल रूप से अपरिवर्तित रही, केवल अंत-प्रक्रिया वास्तुकला सुधार के साथ:

‘[हम] मूल 2D कनवोल्यूशनल, समूह सामान्यीकरण, और स्थानिक आयामों पर ध्यान का अधिकांश हिस्सा बनाए रखते हैं।

‘इस संरचना को एक स्थानिक-तटस्थ ऑटोएनकोडर में फुलाने के लिए, हम एनकोडर के अंतिम कुछ 2D डाउनसैम्पल ब्लॉक और डिकोडर के प्रारंभिक कुछ 2D अपसैम्पल ब्लॉक को 3D में परिवर्तित करते हैं, और कई अतिरिक्त 1D परतों को अस्थायी मॉडलिंग में सुधार के लिए नियुक्त करते हैं।’

वीडियो मॉडलिंग को सक्षम करने के लिए, संशोधित VAE को संयुक्त रूप से HQ छवि और वीडियो डेटा के साथ प्रशिक्षित किया गया था, जिसमें 2D जेनरेटिव एडवर्सेरियल नेटवर्क (GAN) घटक SD1.5 आर्किटेक्चर में 3D के लिए पूरक था।

इस्तेमाल किया गया छवि डेटासेट स्टेबल डिफ्यूजन का मूल स्रोत था, LAION-Aesthetics, फिल्टरिंग के साथ, साथ ही DataComp। वीडियो डेटा के लिए, Vimeo-90K, Panda-70m और HDVG डेटासेट से एक उपसेट क्यूरेट किया गया था।

डेटा को एक मिलियन कदम के लिए प्रशिक्षित किया गया था, जिसमें यादृच्छिक आकार की फसल और यादृच्छिक क्षैतिज फ्लिप को डेटा ऑगमेंटेशन प्रक्रिया के रूप में लागू किया गया था।

फ्लिपिंग आउट

जैसा कि ऊपर उल्लेख किया गया है, यादृच्छिक क्षैतिज फ्लिप डेटा ऑगमेंटेशन प्रक्रिया एक प्रणाली को प्रशिक्षित करने में एक दोष हो सकती है जो वास्तविक गति का उत्पादन करने के लिए डिज़ाइन की गई है। यह इसलिए है क्योंकि प्रशिक्षित मॉडल का आउटपुट दोनों दिशाओं में एक वस्तु पर विचार कर सकता है, और जैसे ही यह इस संघर्षपूर्ण डेटा से निपटता है, यादृच्छिक रूप से उलट जाता है।

दूसरी ओर, यदि आप क्षैतिज फ्लिपिंग बंद करते हैं, तो मॉडल अधिक संभावना है कि यह केवल एक दिशा का पालन करेगा जो प्रशिक्षण डेटा से सीखा गया है।

इस मुद्दे का कोई आसान समाधान नहीं है, सिवाय इसके कि प्रणाली वास्तव में दोनों दिशाओं से गति की संपूर्ण संभावनाओं को आत्मसात कर लेती है – एक सुविधा जो बच्चे आसानी से विकसित करते हैं, लेकिन जो एआई मॉडल के लिए अधिक चुनौतीपूर्ण लगती है।

परीक्षण

पहले प्रयोग के लिए, शोधकर्ताओं ने वस्तु की गति और टकराव के वीडियो का उत्पादन करने के लिए एक 2D सिम्युलेटर तैयार किया जो शास्त्रीय यांत्रिकी के नियमों के अनुसार होता है, जो मॉडल के मूल्यांकन के लिए एक उच्च मात्रा और नियंत्रित डेटासेट प्रदान करता है जो वास्तविक दुनिया के वीडियो की अस्पष्टता को बाहर करता है। Box2D भौतिकी गेम इंजन का उपयोग इन वीडियो का निर्माण करने के लिए किया गया था।

तीन मूलभूत परिदृश्य ऊपर सूचीबद्ध थे: समान रेखीय गति, पूरी तरह से लोचदार टक्कर, और परवलयिक गति。

विभिन्न आकार (30,000 से लेकर तीन मिलियन वीडियो तक) के डेटासेट का उपयोग मॉडल के विभिन्न आकार और जटिलता (DiT-S से DiT-L) को प्रशिक्षित करने के लिए किया गया था, जिसमें प्रत्येक वीडियो के पहले तीन फ्रेम का उपयोग स्थिति के लिए किया गया था।

पहले प्रयोग के लिए प्रशिक्षित विभिन्न मॉडलों का विवरण। स्रोत: https://arxiv.org/pdf/2411.02385

शोधकर्ताओं ने पाया कि इन-वितरण (आईडी) परिणाम बढ़ती मात्रा में डेटा के साथ अच्छी तरह से स्केल करते हैं, जबकि ओओडी पीढ़ियां में सुधार नहीं हुआ, जो सामान्यीकरण में कमियों को दर्शाता है।

पहले परीक्षण के परिणाम।

लेखकों का उल्लेख है:

‘इन निष्कर्षों से सुझाव मिलता है कि स्केलिंग ओओडी दृश्यों में तर्क करने में असमर्थ है।’

इसके बाद, शोधकर्ताओं ने प्रणालियों का परीक्षण और प्रशिक्षण किया जो संयोजन सामान्यीकरण के लिए प्रवीणता प्रदर्शित करते हैं, जिसमें दो विरोधाभासी आंदोलनों को एक साथ मिलाकर एक साथ मिलाया जाता है (आशा है कि) एक सुसंगत आंदोलन जो प्रत्येक अलग-अलग आंदोलनों के पीछे के भौतिक नियम के प्रति वफादार है।

इस परीक्षण के दौरान, लेखकों ने PHYRE सिम्युलेटर का उपयोग किया, जो एक 2D वातावरण का निर्माण करता है जो विभिन्न आकार की वस्तुओं को मुक्त गिरावट में प्रदर्शित करता है, जो विभिन्न जटिल परस्पर क्रियाओं में एक दूसरे के साथ टकराते हैं।

इस दूसरे परीक्षण के लिए मूल्यांकन मेट्रिक्स फ्रेचेट वीडियो दूरी (FVD) थे; संरचनात्मक समानता सूचकांक (SSIM); पीक सिग्नल-टू-शोर अनुपात (PSNR); सीखा हुआ संवेदी समानता मेट्रिक्स (LPIPS); और एक मानव अध्ययन (परिणामों में ‘असामान्य’ के रूप में संकेत दिया गया है)।

तीन प्रशिक्षण डेटासेट के पैमाने बनाए गए थे, 100,000 वीडियो पर, 0.6 मिलियन वीडियो पर, और 3-6 मिलियन वीडियो पर। DiT-B और DiT-XL मॉडल का उपयोग किया गया था, वीडियो की बढ़ी हुई जटिलता के कारण, जिसमें पहला फ्रेम स्थिति के लिए उपयोग किया गया था।

मॉडल को 256×256 रेजोल्यूशन पर एक मिलियन कदम के लिए प्रशिक्षित किया गया था, प्रति वीडियो 32 फ्रेम के साथ।

दूसरे परीक्षण के परिणाम।

इस परीक्षण का परिणाम यह है कि केवल डेटा की मात्रा में वृद्धि करना पर्याप्त नहीं है:

पत्र में कहा गया है:

‘इन परिणामों से सुझाव मिलता है कि दोनों मॉडल क्षमता और संयोजन स्थान कवरेज संयोजन सामान्यीकरण के लिए महत्वपूर्ण हैं। यह अंतर्दृष्टि यह बताती है कि वीडियो पीढ़ी के लिए स्केलिंग कानूनों पर ध्यान केंद्रित करना चाहिए डेटा की मात्रा को बढ़ाने के बजाय संयोजन विविधता में वृद्धि पर।’

अंत में, शोधकर्ताओं ने आगे परीक्षण किए ताकि यह निर्धारित किया जा सके कि क्या वीडियो पीढ़ी मॉडल वास्तव में भौतिक नियमों को आत्मसात कर सकते हैं, या यदि यह केवल प्रशिक्षण डेटा को याद करता है और अनुमान के समय पुन: उत्पन्न करता है।

यहां उन्होंने ‘मामले-आधारित’ सामान्यीकरण की अवधारणा का परीक्षण किया, जहां मॉडल नए स्थितियों का सामना करते समय विशिष्ट प्रशिक्षण उदाहरणों की नकल करने की प्रवृत्ति रखते हैं, साथ ही साथ एक विशिष्ट रूप से समान गति का परीक्षण किया, विशेष रूप से प्रशिक्षण डेटा में गति की दिशा कैसे प्रशिक्षित मॉडल की भविष्यवाणियों को प्रभावित करती है।

दो सेटों का प्रशिक्षण डेटा, समान गति और टकराव के लिए, प्रत्येक में 2.5 से 4 इकाइयों के बीच वेग को प्रदर्शित करने वाले समान गति वीडियो शामिल थे, जिसमें पहले तीन फ्रेम का उपयोग स्थिति के लिए किया गया था। लेटेंट मान जैसे वेग को छोड़ दिया गया था, और प्रशिक्षण के बाद, देखे और अनदेखे दोनों परीक्षण पर परीक्षण किया गया था।

नीचे हम समान गति पीढ़ी के लिए परीक्षण के परिणाम देख सकते हैं:

प्रशिक्षण के दौरान ‘वेग’ переменnable को छोड़ दिए जाने पर समान गति पीढ़ी के लिए परिणाम।

लेखकों का कहना है:

‘[एक बड़े अंतर के साथ] प्रशिक्षण सेट में, मॉडल मध्यम-श्रेणी की गति दिखाने वाले प्रारंभिक फ्रेम को देखने पर उच्च या निम्न गति के साथ वीडियो उत्पन्न करने की प्रवृत्ति रखता है जो प्रशिक्षण डेटा से मिलता जुलता है।’

टकराव परीक्षण के लिए, कई अधिक परिवर्तनीय शामिल हैं, और मॉडल को एक दो-आयामी गैर-रेखीय कार्य सीखना होगा।

टकराव: तीसरे और अंतिम परीक्षण के परिणाम।

लेखकों का remark है कि ‘धोखाधड़ी’ उदाहरणों की उपस्थिति, जैसे कि उल्टी गति (यानी, एक गेंद जो एक सतह से उछलती है और अपना पाठ्यक्रम उलट देती है), मॉडल को गुमराह कर सकती है और इसे भौतिक रूप से गलत भविष्यवाणियां करने का कारण बन सकती है।

निष्कर्ष

यदि एक गैर-एआई अल्गोरिथ्म (यानी, एक ‘बेक्ड’, प्रक्रियात्मक विधि) में भौतिक घटनाओं जैसे द्रव, वस्तुओं के तहत गुरुत्वाकर्षण, या दबाव के व्यवहार के लिए गणितीय नियम होते हैं, तो सटीक रेंडरिंग के लिए उपलब्ध एक सेट अप्रतिवर्ती स्थिरांक होते हैं।

हालांकि, नए पत्र के निष्कर्षों से पता चलता है कि जेनरेटिव मॉडल के प्रशिक्षण के दौरान क्लासिकल भौतिक नियमों की कोई समान संबंध या आंतरिक समझ विकसित नहीं होती है, और बढ़ती मात्रा में डेटा समस्या का समाधान नहीं करती है, बल्कि इसे और अधिक अस्पष्ट कर देती है – क्योंकि प्रणाली के लिए अनुमान के समय नकल करने के लिए अधिक प्रशिक्षण वीडियो उपलब्ध होते हैं।

* मेरा लेखकों के इनलाइन उद्धरणों को हाइपरलिंक में परिवर्तन।

मंगलवार, 26 नवंबर, 2024 को पहली बार प्रकाशित