जीपीटी मॉडल के आगमन के साथ, अन्य ऑटोरेग्रेसिव या एआर बड़े भाषा मॉडल ने मशीन लर्निंग और कृत्रिम बुद्धिमत्ता के क्षेत्र में एक नए युग की शुरुआत की है। जीपीटी और ऑटोरेग्रेसिव मॉडल अक्सर सामान्य बुद्धिमत्ता और बहुमुखी प्रतिभा प्रदर्शित करते हैं जो सामान्य कृत्रिम बुद्धिमत्ता या एजीआई की ओर एक महत्वपूर्ण कदम माने जाते हैं, हालांकि उनमें हॉलुसिनेशन जैसी कुछ समस्याएं हैं। हालांकि, इन बड़े मॉडलों के साथ जुड़ी एक पहेली समस्या एक स्व-पर्यवेक्षित लर्निंग रणनीति है जो मॉडल को एक क्रम में अगले टोकन की भविष्यवाणी करने की अनुमति देती है, एक सरल लेकिन प्रभावी रणनीति। हाल के कार्यों ने इन बड़े ऑटोरेग्रेसिव मॉडलों की सफलता को प्रदर्शित किया है, उनकी सामान्यता और स्केलेबिलिटी को उजागर किया है। स्केलेबिलिटी मौजूदा स्केलिंग कानूनों का एक典型 उदाहरण है जो शोधकर्ताओं को बड़े मॉडल के प्रदर्शन की भविष्यवाणी करने की अनुमति देता है, जो संसाधनों के बेहतर आवंटन का परिणाम है। दूसरी ओर, सामान्यता अक्सर शून्य-शॉट, एक-शॉट और कुछ-शॉट लर्निंग जैसी लर्निंग रणनीतियों द्वारा साबित की जाती है, जो असुपरवाइज्ड लेकिन प्रशिक्षित मॉडल की विविध और अदृश्य कार्यों के लिए अनुकूलन क्षमता को उजागर करती है। सामान्यता और स्केलेबिलिटी एक साथ ऑटोरेग्रेसिव मॉडलों की क्षमता को सीखने के लिए एक विशाल मात्रा में अनलेबल्ड डेटा को प्रकट करती है।

इसी के आधार पर, इस लेख में, हम दृश्य स्व-रिग्रेसिव या वीएआर फ्रेमवर्क के बारे में बात करेंगे, जो एक नई पीढ़ी की पैटर्न है जो दृश्य स्व-रिग्रेसिव लर्निंग को कोर्स-टू-फाइन “नेक्स्ट-रेसोल्यूशन प्रेडिक्शन” या “नेक्स्ट-स्केल प्रेडिक्शन” के रूप में परिभाषित करता है। हालांकि यह सरल है, यह दृष्टिकोण प्रभावी है और ऑटोरेग्रेसिव ट्रांसफॉर्मर को दृश्य वितरण सीखने में बेहतर बनाने की अनुमति देता है, और सामान्यता में सुधार करता है। इसके अलावा, दृश्य स्व-रिग्रेसिव मॉडल जीपीटी-शैली के ऑटोरेग्रेसिव मॉडल को छवि पीढ़ी में पहली बार डिफ्यूजन ट्रांसफर को पार करने में सक्षम बनाते हैं। प्रयोगों से यह भी पता चलता है कि वीएआर फ्रेमवर्क ऑटोरेग्रेसिव बेसलाइन को महत्वपूर्ण रूप से बेहतर बनाता है, और डेटा दक्षता, छवि गुणवत्ता, स्केलेबिलिटी, और अनुमान गति सहित कई आयामों में डिफ्यूजन ट्रांसफॉर्मर या डीआईटी फ्रेमवर्क को पार करता है। इसके अलावा, दृश्य स्व-रिग्रेसिव मॉडल को स्केल करने से बड़े भाषा मॉडल के साथ देखे गए समान शक्ति-कानून स्केलिंग कानून प्रदर्शित होते हैं, और डाउनस्ट्रीम कार्यों में शून्य-शॉट सामान्यीकरण क्षमता प्रदर्शित करते हैं, जिनमें संपादन, इन-पेंटिंग, और आउट-पेंटिंग शामिल हैं।

इस लेख का उद्देश्य दृश्य स्व-रिग्रेसिव फ्रेमवर्क को गहराई से कवर करना है, और हम तंत्र, पद्धति, वास्तुकला के साथ-साथ राज्य-ऑफ-द-आर्ट फ्रेमवर्क के साथ इसकी तुलना का अन्वेषण करेंगे। हम यह भी चर्चा करेंगे कि दृश्य स्व-रिग्रेसिव फ्रेमवर्क कैसे एलएलएम की दो महत्वपूर्ण विशेषताओं को प्रदर्शित करता है: स्केलिंग कानून और शून्य-शॉट सामान्यीकरण। तो आइए शुरू करें।

दृश्य स्व-रिग्रेसिव मॉडलिंग: छवि पीढ़ी को स्केल करना

हाल के बड़े भाषा मॉडलों में एक सामान्य पैटर्न स्व-पर्यवेक्षित लर्निंग रणनीति का कार्यान्वयन है, एक सरल लेकिन प्रभावी दृष्टिकोण जो क्रम में अगले टोकन की भविष्यवाणी करता है। इस दृष्टिकोण के लिए धन्यवाद, ऑटोरेग्रेसिव और बड़े भाषा मॉडलों ने उल्लेखनीय स्केलेबिलिटी और सामान्यता का प्रदर्शन किया है, जो गुण सामान्य कृत्रिम बुद्धिमत्ता के लिए ऑटोरेग्रेसिव मॉडलों की क्षमता को सीखने के लिए एक विशाल मात्रा में अनलेबल्ड डेटा को प्रकट करते हैं। इसके अलावा, कंप्यूटर विजन क्षेत्र में शोधकर्ताओं ने बड़े ऑटोरेग्रेसिव या विश्व मॉडल विकसित करने के लिए समानांतर काम किया है, जो उनकी स्केलेबिलिटी और सामान्यता को मैच या पार करने का लक्ष्य रखते हैं, जिनमें डीएलएल-ई और वीक्यूएएन जैसे मॉडल पहले से ही छवि पीढ़ी के क्षेत्र में ऑटोरेग्रेसिव मॉडलों की क्षमता को प्रदर्शित कर चुके हैं।

हालांकि, शोधकर्ता अभी तक इन मॉडलों के स्केलिंग कानूनों का अन्वेषण करने में असमर्थ हैं, और जो अधिक निराशाजनक है वह यह तथ्य है कि इन मॉडलों का प्रदर्शन अक्सर डिफ्यूजन मॉडल की तुलना में एक महत्वपूर्ण अंतर से पीछे रहता है, जैसा कि निम्नलिखित छवि में दिखाया गया है। प्रदर्शन में यह अंतर यह दर्शाता है कि बड़े भाषा मॉडलों की तुलना में कंप्यूटर विजन में ऑटोरेग्रेसिव मॉडलों की क्षमता कम अन्वेषित है।

एक ओर, पारंपरिक ऑटोरेग्रेसिव मॉडलों को डेटा का एक परिभाषित क्रम की आवश्यकता होती है, जबकि दूसरी ओर, दृश्य स्व-रिग्रेसिव या वीएआर मॉडल छवि को कैसे ऑर्डर करने के बारे में पुनर्विचार करता है, और यह वीएआर को मौजूदा एआर विधियों से अलग करता है। आमतौर पर, मानव एक छवि बनाते या देखते हैं एक पदानुक्रमित तरीके से, वैश्विक संरचना को पहले पकड़ते हुए, फिर स्थानीय विवरण, एक बहु-स्केल, कोर्स-टू-फाइन दृष्टिकोण जो छवि के लिए एक क्रम का सुझाव देता है। इसके अलावा, बहु-स्केल डिजाइनों से प्रेरित होकर, वीएआर फ्रेमवर्क छवि के लिए स्व-रिग्रेसिव लर्निंग को अगले स्केल प्रेडिक्शन के रूप में परिभाषित करता है, न कि पारंपरिक दृष्टिकोण जो इसे अगले टोकन प्रेडिक्शन के रूप में परिभाषित करते हैं। वीएआर फ्रेमवर्क द्वारा लागू की गई यह दृष्टिकोण एक छवि को बहु-स्केल टोकन मैप में एन्कोड करने से शुरू होता है। फ्रेमवर्क तब 1×1 टोकन मैप से ऑटोरेग्रेसिव प्रक्रिया शुरू करता है और प्रगतिशील रूप से रिज़ॉल्यूशन में विस्तार करता है। प्रत्येक चरण में, ट्रांसफॉर्मर पिछले सभी की स्थिति में अगले उच्च रिज़ॉल्यूशन टोकन मैप की भविष्यवाणी करता है, एक पद्धति जिसे वीएआर फ्रेमवर्क वीएआर मॉडलिंग के रूप में संदर्भित करता है।

वीएआर फ्रेमवर्क जीपीटी-2 के ट्रांसफॉर्मर आर्किटेक्चर का लाभ दृश्य स्व-रिग्रेसिव लर्निंग के लिए लेता है, और परिणाम इमेजनेट बेंचमार्क पर देखे जा सकते हैं जहां वीएआर मॉडल अपने एआर बेसलाइन को महत्वपूर्ण रूप से बेहतर बनाता है, 1.80 का एफआईडी और 356 का इन्सेप्शन स्कोर प्राप्त करता है, साथ ही 20x में अनुमान गति में सुधार करता है। जो अधिक दिलचस्प है वह यह है कि वीएआर फ्रेमवर्क डीआईटी या डिफ्यूजन ट्रांसफॉर्मर फ्रेमवर्क का प्रदर्शन एफआईडी और आईएस स्कोर, स्केलेबिलिटी, अनुमान गति और डेटा दक्षता के मामले में पार करता है। इसके अलावा, दृश्य स्व-रिग्रेसिव मॉडल बड़े भाषा मॉडल में देखे गए समान शक्ति-कानून स्केलिंग कानून प्रदर्शित करते हैं।

सारांश में, वीएआर फ्रेमवर्क निम्नलिखित योगदान करने का प्रयास करता है:

1. यह एक नई दृश्य पीढ़ी फ्रेमवर्क का प्रस्ताव करता है जो एक बहु-स्केल ऑटोरेग्रेसिव दृष्टिकोण का उपयोग करता है, जो पारंपरिक अगले टोकन प्रेडिक्शन के विपरीत है, जो दृश्य स्व-रिग्रेसिव लर्निंग को कंप्यूटर विजन कार्यों के लिए डिज़ाइन करने के लिए परिभाषित करता है।
2. यह एलएलएम की आकर्षक विशेषताओं को अनुकरण करने वाले ऑटोरेग्रेसिव मॉडलों के लिए स्केलिंग कानूनों और शून्य-शॉट सामान्यीकरण क्षमता को मान्य करने का प्रयास करता है।
3. यह दृश्य स्व-रिग्रेसिव मॉडलों के प्रदर्शन में एक突破 हासिल करता है, जो जीपीटी-शैली के ऑटोरेग्रेसिव फ्रेमवर्क को पहली बार छवि सिंथेसिस कार्यों में मौजूदा डिफ्यूजन मॉडलों को पार करने में सक्षम बनाता है।

इसके अलावा, यह भी महत्वपूर्ण है कि मौजूदा शक्ति-कानून स्केलिंग कानूनों पर चर्चा की जाए, जो मशीन लर्निंग मॉडल के डेटासेट आकार, मॉडल पैरामीटर, प्रदर्शन सुधार और गणना संसाधनों के बीच संबंध का गणितीय विवरण करते हैं। पहले, ये शक्ति-कानून स्केलिंग कानून एक बड़े मॉडल के प्रदर्शन को मॉडल आकार, गणना लागत और डेटा आकार को स्केल करने से अनुमान लगाने की अनुमति देते हैं, जो संसाधनों के बेहतर आवंटन का परिणाम है। दूसरे, स्केलिंग कानूनों ने एक सुसंगत और गैर-संतृप्त प्रदर्शन वृद्धि का प्रदर्शन किया है। एलएलएम में स्केलिंग कानूनों के सिद्धांतों के साथ आगे बढ़ते हुए, कई एलएलएम इस सिद्धांत को दर्शाते हैं कि मॉडल के पैमाने को बढ़ाने से बेहतर प्रदर्शन परिणाम प्राप्त होते हैं। शून्य-शॉट सामान्यीकरण, दूसरी ओर, एक मॉडल की क्षमता को संदर्भित करता है, विशेष रूप से एक एलएलएम, जो उन कार्यों को करने में सक्षम है जिन पर यह स्पष्ट रूप से प्रशिक्षित नहीं किया गया है। कंप्यूटर विजन डोमेन में, शून्य-शॉट और संदर्भ-भीतर सीखने की क्षमता का निर्माण करने में रुचि है।

भाषा मॉडल वर्डपीस अल्गोरिदम या बाइट पेयर एन्कोडिंग दृष्टिकोण पर निर्भर करते हैं टेक्स्ट टोकनाइजेशन के लिए। दृश्य पीढ़ी मॉडल, जो भाषा मॉडल पर आधारित हैं, 2डी छवियों को 1डी टोकन अनुक्रम में एन्कोड करने के लिए भी भारी रूप से निर्भर करते हैं। वीक्यूवीएई जैसे प्रारंभिक कार्यों ने छवियों को विवेकपूर्ण पुनर्निर्माण गुणवत्ता के साथ विच्छिन्न टोकन के रूप में प्रस्तुत करने की क्षमता का प्रदर्शन किया। वीक्यूवीएई के उत्तराधिकारी, वीक्यूएएन फ्रेमवर्क ने छवि विश्वसनीयता में सुधार के लिए अनुभूति और प्रतिकूल नुकसान को शामिल किया, और एक डिकोडर-ओनली ट्रांसफॉर्मर का उपयोग किया जो मानक रास्टर-स्कैन ऑटोरेग्रेसिव तरीके से छवि टोकन का उत्पादन करता है। डिफ्यूजन मॉडल, दूसरी ओर, लंबे समय से दृश्य सिंथेसिस कार्यों के लिए अग्रणी माने जाते हैं, उनकी विविधता और उत्कृष्ट पीढ़ी की गुणवत्ता के कारण। डिफ्यूजन मॉडल की प्रगति नमूना तकनीकों में सुधार, वास्तुकला में उन्नति और तेजी से नमूना लेने पर केंद्रित रही है। लेटेंट डिफ्यूजन मॉडल लेटेंट स्पेस में डिफ्यूजन लागू करते हैं, जो प्रशिक्षण दक्षता और अनुमान में सुधार करते हैं। डिफ्यूजन ट्रांसफॉर्मर मॉडल पारंपरिक यू-नेट आर्किटेक्चर को एक ट्रांसफॉर्मर-आधारित आर्किटेक्चर से बदल देते हैं, और हाल के छवि या वीडियो सिंथेसिस मॉडल जैसे सोरा और स्टेबल डिफ्यूजन में तैनात किए गए हैं।

दृश्य स्व-रिग्रेसिव: पद्धति और वास्तुकला

वीएआर फ्रेमवर्क का मूल में दो अलग-अलग प्रशिक्षण चरण हैं। पहले चरण में, एक बहु-स्केल क्वांटाइज्ड ऑटोएन्कोडर या वीक्यूवीएई एक छवि को टोकन मैप में एन्कोड करता है, और प्रशिक्षण के लिए एक यौगिक पुनर्निर्माण नुकसान लागू किया जाता है। उपरोक्त छवि में, एम्बेडिंग एक शब्द है जो विच्छिन्न टोकन को निरंतर एम्बेडिंग वेक्टर में परिवर्तित करने को परिभाषित करता है। दूसरे चरण में, वीएआर मॉडल में ट्रांसफॉर्मर को अगले स्केल प्रेडिक्शन दृष्टिकोण का उपयोग करके प्रशिक्षित किया जाता है या क्रॉस-एंट्रोपी नुकसान को कम करने से या संभावना को अधिकतम करने से। प्रशिक्षित वीक्यूवीएई वीएआर फ्रेमवर्क के लिए टोकन मैप ग्राउंड ट्रुथ का उत्पादन करता है।

अगले टोकन की भविष्यवाणी के माध्यम से स्व-रिग्रेसिव मॉडलिंग

एक दिए गए विच्छिन्न टोकन की श्रृंखला के लिए, जहां प्रत्येक टोकन एक वोकेबुलरी के आकार वी से एक पूर्णांक है, अगले टोकन स्व-रिग्रेसिव मॉडल यह प्रस्ताव करता है कि वर्तमान टोकन की संभावना केवल उसके पूर्ववर्ती पर निर्भर करती है। एकदिश टोकन निर्भरता मानकर, वीएआर फ्रेमवर्क क्रम की संभावना को सशर्त संभावना के उत्पाद में विभाजित करने की अनुमति देता है। एक स्व-रिग्रेसिव मॉडल को प्रशिक्षित करना डेटासेट पर मॉडल को अनुकूलित करने की प्रक्रिया है, और यह अनुकूलन प्रक्रिया अगले टोकन की भविष्यवाणी के रूप में जानी जाती है, जो प्रशिक्षित मॉडल को नई श्रृंखला उत्पन्न करने की अनुमति देती है। इसके अलावा, छवियां 2डी निरंतर संकेत हैं, और अगले टोकन प्रेडिक्शन अनुकूलन प्रक्रिया के माध्यम से छवियों पर स्व-रिग्रेसिव मॉडलिंग दृष्टिकोण लागू करने से पहले कुछ पूर्वापेक्षाएं हैं। पहले, छवि को विच्छिन्न टोकन में टोकनाइज़ किया जाना चाहिए। आमतौर पर, एक क्वांटाइज्ड ऑटोएन्कोडर को छवि विशेषता मैप को विच्छिन्न टोकन में परिवर्तित करने के लिए लागू किया जाता है। दूसरा, टोकन के लिए एक 1डी क्रम को परिभाषित किया जाना चाहिए अनुदिश स्व-रिग्रेसिव लर्निंग के लिए।

विच्छिन्न टोकन 2डी ग्रिड में व्यवस्थित होते हैं, और प्राकृतिक भाषा वाक्यों की तरह जो स्वाभाविक रूप से बाएं से दाएं क्रम में होते हैं, छवि टोकन के क्रम को अनुदिश स्व-रिग्रेसिव लर्निंग के लिए स्पष्ट रूप से परिभाषित किया जाना चाहिए। पिछले स्व-रिग्रेसिव दृष्टिकोणों ने 2डी ग्रिड को पंक्ति-प्रमुख रास्टर स्कैन, जेड-कर्व, या स्पाइरल ऑर्डर जैसे तरीकों का उपयोग करके 1डी अनुक्रम में विच्छिन्न टोकन को समतल किया। एक बार विच्छिन्न टोकन समतल हो जाने के बाद, एआर मॉडल डेटासेट से अनुक्रम का एक सेट निकालता है, और फिर अगले टोकन की भविष्यवाणी का उपयोग करके एक स्व-रिग्रेसिव मॉडल को प्रशिक्षित करता है जो टी सशर्त संभावना के उत्पाद में संभावना को अधिकतम करने के लिए है।

अगले स्केल प्रेडिक्शन के माध्यम से दृश्य स्व-रिग्रेसिव मॉडलिंग

वीएआर फ्रेमवर्क छवियों पर स्व-रिग्रेसिव मॉडलिंग को अगले टोकन प्रेडिक्शन से अगले स्केल प्रेडिक्शन दृष्टिकोण में स्थानांतरित करके पुनर्परिभाषित करता है, एक प्रक्रिया जिसमें स्व-रिग्रेसिव इकाई एक टोकन नहीं है, बल्कि एक पूरा टोकन मैप है। मॉडल पहले छवि को बहु-स्केल टोकन मैप में क्वांटाइज़ करता है, प्रत्येक में पिछले एक से उच्च रिज़ॉल्यूशन होता है, और मूल विशेषता मैप के रिज़ॉल्यूशन से मेल खाता है। इसके अलावा, वीएआर फ्रेमवर्क एक नई बहु-स्केल क्वांटाइजेशन एन्कोडर विकसित करता है जो एक छवि को बहु-स्केल विच्छिन्न टोकन मैप में एन्कोड करता है, जो वीएआर लर्निंग के लिए आवश्यक है। वीएआर फ्रेमवर्क वीक्यूएएन की समान वास्तुकला का उपयोग करता है, लेकिन एक संशोधित बहु-स्केल क्वांटाइजेशन परत के साथ, जिसके अल्गोरिदम निम्नलिखित छवि में दिखाए गए हैं।

दृश्य स्व-रिग्रेसिव: परिणाम और प्रयोग

वीएआर फ्रेमवर्क वैनिला वीक्यूवीएई आर्किटेक्चर का उपयोग करता है जिसमें एक बहु-स्केल क्वांटाइजेशन योजना होती है जिसमें के एक्स्ट्रा कॉन्वोल्यूशन होता है, और सभी स्केल के लिए एक साझा कोडबुक और 32 का लेटेंट आयाम होता है। प्राथमिक फोकस वीएआर अल्गोरिदम पर है जिसके कारण मॉडल आर्किटेक्चर डिज़ाइन सरल लेकिन प्रभावी है। फ्रेमवर्क एक मानक डिकोडर-ओनली ट्रांसफॉर्मर की वास्तुकला को अपनाता है, जो जीपीटी-2 मॉडल पर लागू की जाती है, केवल परंपरागत परत सामान्यीकरण के लिए अनुकूली सामान्यीकरण या एडीएलएन के प्रतिस्थापन के साथ। वर्ग-शर्त सिंथेसिस के लिए, वीएआर फ्रेमवर्क वर्ग एम्बेडिंग को प्रारंभिक टोकन के रूप में लागू करता है, और अनुकूली सामान्यीकरण परत की स्थिति के रूप में भी।

राज्य-ऑफ-द-आर्ट छवि पीढ़ी परिणाम

मौजूदा पीढ़ी फ्रेमवर्क के खिलाफ, जिनमें जीएनएस या जनरेटिव एडवर्सेरियल नेटवर्क, बीईआरटी-शैली के मास्क्ड प्रेडिक्शन मॉडल, डिफ्यूजन मॉडल, और जीपीटी-शैली के ऑटोरेग्रेसिव मॉडल शामिल हैं, दृश्य स्व-रिग्रेसिव फ्रेमवर्क आशाजनक परिणाम दिखाता है, जो निम्नलिखित तालिका में सारांशित है।

जैसा कि देखा जा सकता है, दृश्य स्व-रिग्रेसिव फ्रेमवर्क न केवल एफआईडी और आईएस स्कोर में सर्वश्रेष्ठ है, बल्कि यह छवि पीढ़ी की गति में भी उल्लेखनीय है, जो राज्य-ऑफ-द-आर्ट मॉडल के समान है। इसके अलावा, वीएआर फ्रेमवर्क संतोषजनक सटीकता और रिकॉल स्कोर भी बनाए रखता है, जो इसकी सेमेंटिक संगति की पुष्टि करता है। लेकिन असली आश्चर्य यह है कि वीएआर फ्रेमवर्क द्वारा पारंपरिक एआर क्षमता कार्यों पर दिए गए उत्कृष्ट प्रदर्शन, जो इसे पहला ऑटोरेग्रेसिव मॉडल बनाता है जो डिफ्यूजन ट्रांसफॉर्मर मॉडल को पार करता है, जैसा कि निम्नलिखित तालिका में दिखाया गया है।

शून्य-शॉट कार्य सामान्यीकरण परिणाम

इन- और आउट-पेंटिंग कार्यों के लिए, वीएआर फ्रेमवर्क मास्क के बाहर ग्राउंड ट्रुथ टोकन को शिक्षक-बल देता है, और मॉडल को केवल मास्क के भीतर टोकन का उत्पादन करने देता है, किसी भी वर्ग लेबल जानकारी को मॉडल में इंजेक्ट किए बिना। परिणाम निम्नलिखित छवि में दिखाए गए हैं, और जैसा कि देखा जा सकता है, वीएआर मॉडल डाउनस्ट्रीम कार्यों पर स्वीकार्य परिणाम प्राप्त करता है, बिना पैरामीटर को ट्यून किए या नेटवर्क आर्किटेक्चर को संशोधित किए, वीएआर फ्रेमवर्क की सामान्यता का प्रदर्शन करता है।

अंतिम विचार

इस लेख में, हमने एक नए दृश्य पीढ़ी फ्रेमवर्क के बारे में बात की है, जिसे दृश्य स्व-रिग्रेसिव मॉडलिंग (वीएआर) कहा जाता है, जो 1) मानक छवि स्व-रिग्रेसिव (एआर) मॉडल में निहित कुछ मुद्दों को सैद्धांतिक रूप से संबोधित करता है, और 2) भाषा मॉडल-आधारित एआर मॉडलों को पहली बार मौजूदा डिफ्यूजन मॉडलों को पार करने में सक्षम बनाता है छवि सिंथेसिस कार्यों में। एक ओर, पारंपरिक स्व-रिग्रेसिव मॉडलों को डेटा का एक परिभाषित क्रम की आवश्यकता होती है, जबकि दूसरी ओर, दृश्य स्व-रिग्रेसिव या वीएआर मॉडल छवि को कैसे ऑर्डर करने के बारे में पुनर्विचार करता है, और यह वीएआर को मौजूदा एआर विधियों से अलग करता है। वीएआर को 2 बिलियन पैरामीटर तक स्केल करने पर, वीएआर फ्रेमवर्क के विकासकर्ताओं ने परीक्षण प्रदर्शन और मॉडल पैरामीटर या प्रशिक्षण गणना के बीच एक स्पष्ट शक्ति-कानून संबंध देखा, पियर्सन सहसंबंध −0.998 के करीब, जो प्रदर्शन की भविष्यवाणी के लिए एक मजबूत फ्रेमवर्क को इंगित करता है। ये स्केलिंग कानून और शून्य-शॉट कार्य सामान्यीकरण की संभावना, एलएलएम के हॉलमार्क के रूप में, अब हमारे वीएआर ट्रांसफॉर्मर मॉडल में पहली बार सत्यापित किए गए हैं।