Η εμφάνιση των μοντέλων GPT, μαζί με άλλα αυτο-επαναληπτικά ή AR μεγάλης κλίμακας γλωσσικά μοντέλα, έχει ξεκινήσει μια νέα εποχή στον τομέα της μηχανικής μάθησης και της τεχνητής νοημοσύνης. Τα μοντέλα GPT και τα αυτο-επαναληπτικά μοντέλα συχνά εμφανίζουν γενική νοημοσύνη και ευελιξία που θεωρούνται σημαντικά βήματα προς τη γενική τεχνητή νοημοσύνη ή AGI, παρά τις προβληματικές πτυχές τους, όπως οι ψευδείς εντυπώσεις. Ωστόσο, το προβληματικό ζήτημα με αυτά τα μεγάλα μοντέλα είναι η στρατηγική της αυτο-επαναληπτικής μάθησης που επιτρέπει στο μοντέλο να προβλέψει το επόμενο token σε μια ακολουθία, μια απλή αλλά αποτελεσματική στρατηγική. Πρόσφατες εργασίες έχουν αποδείξει την επιτυχία αυτών των μεγάλων αυτο-επαναληπτικών μοντέλων, υπογραμμίζοντας τη γενικότητά τους και την κλιμάκωσή τους. Η κλιμάκωση είναι ένα τυπικό παράδειγμα των υφιστάμενων νόμων κλιμάκωσης που επιτρέπουν στους ερευνητές να προβλέψουν την απόδοση του μεγάλου μοντέλου από την απόδοση των μικρότερων μοντέλων, οδηγώντας σε καλύτερη διαχείριση των πόρων. Από την άλλη πλευρά, η γενικότητα συχνά αποδεικνύεται από στρατηγικές μάθησης όπως η μηχανική μάθηση με μηδέν, μία και λίγες ψηφιακές εικόνες, υπογραμμίζοντας την ικανότητα των μη επιτηρούμενων αλλά εκπαιδευμένων μοντέλων να προσαρμοστούν σε διάφορες και μη προβλεπόμενες εργασίες. Μαζί, η γενικότητα και η κλιμάκωση αποκαλύπτουν το δυναμικό των αυτο-επαναληπτικών μοντέλων να μάθουν από ένα τεράστιο ποσό μη επιτηρούμενων δεδομένων.

Κτίζοντας πάνω σε αυτό, σε αυτό το άρθρο, θα μιλήσουμε για το Οπτικό Αυτο-Επαναληπτικό ή το VAR framework, ένα νέο γενετικό μοτίβο που επαναορίζει την αυτο-επαναληπτική μάθηση σε εικόνες ως χονδρό-σε-λεπτό “προβλέψη επόμενης κλίμακας” ή “προβλέψη επόμενης κλίμακας”. Αν και απλό, η προσέγγιση είναι αποτελεσματική και επιτρέπει στα αυτο-επαναληπτικά μετασχηματιστές να μάθουν τις οπτικές κατανομές καλύτερα, και να βελτιώσουν τη γενικότητά τους. Επιπλέον, τα Οπτικά Αυτο-Επαναληπτικά μοντέλα επιτρέπουν στα GPT-στυλ αυτο-επαναληπτικά μοντέλα να ξεπεράσουν τις μεταφορικές μεταφράσεις σε εργασίες γεννήτριας εικόνων για πρώτη φορά. Πειράματα επίσης δείχνουν ότι το VAR framework βελτιώνει σημαντικά τις αυτο-επαναληπτικές βάσεις, και ξεπερνά το Diffusion Transformer ή DiT framework σε πολλές διαστάσεις, συμπεριλαμβανομένης της αποδοτικότητας δεδομένων, της ποιότητας εικόνας, της κλιμάκωσης και της ταχύτητας συλλογής. Επιπλέον, η κλιμάκωση των Οπτικών Αυτο-Επαναληπτικών μοντέλων αποκαλύπτει νόμους κλιμάκωσης που μοιάζουν με αυτούς που παρατηρούνται με τα μεγάλα γλωσσικά μοντέλα, και επίσης εμφανίζει ικανότητα μηδέν-ψηφιακής γενικότητας σε εργασίες κατάρτισης, συμπεριλαμβανομένων των εργασιών επεξεργασίας, εσωτερικής και εξωτερικής ζωγραφικής.

Αυτό το άρθρο έχει ως στόχο να καλύψει το Οπτικό Αυτο-Επαναληπτικό framework σε βάθος, και να εξερευνήσουμε τον μηχανισμό, τη μεθοδολογία, την αρχιτεκτονική του framework μαζί με τη σύγκρισή του με τα state-of-the-art frameworks. Θα μιλήσουμε επίσης για το πώς το Οπτικό Αυτο-Επαναληπτικό framework αποδεικνύει δύο σημαντικές ιδιότητες των LLMs: Νόμους Κλιμάκωσης και μηδέν-ψηφιακή γενικότητα. Έτσι, ας ξεκινήσουμε.

Οπτικό Αυτο-Επαναληπτικό Μοντέλο: Κλιμάκωση της Γεννήτριας Εικόνων

Ένα κοινό μοτίβο μεταξύ των πρόσφατων μεγάλων γλωσσικών μοντέλων είναι η υλοποίηση μιας αυτο-επαναληπτικής στρατηγικής μάθησης, μιας απλής αλλά αποτελεσματικής προσέγγισης που προβλέπει το επόμενο token σε μια ακολουθία. Χάρη σε αυτήν την προσέγγιση, τα αυτο-επαναληπτικά και τα μεγάλα γλωσσικά μοντέλα έχουν αποδείξει αξιοσημείωτη κλιμάκωση και γενικότητα, ιδιότητες που αποκαλύπτουν το δυναμικό των αυτο-επαναληπτικών μοντέλων να μάθουν από ένα τεράστιο ποσό μη επιτηρούμενων δεδομένων, και να συνοψίσουν την ουσία της Γενικής Τεχνητής Νοημοσύνης. Επιπλέον, ερευνητές στον τομέα της υπολογιστικής όρασης έχουν εργαστεί παράλληλα για την ανάπτυξη μεγάλων αυτο-επαναληπτικών ή παγκόσμιων μοντέλων με στόχο να ισορροπήσουν ή να ξεπεράσουν την αξιοσημείωτη κλιμάκωση και γενικότητά τους, με μοντέλα όπως το DALL-E και το VQGAN να έχουν ήδη αποδείξει το δυναμικό των αυτο-επαναληπτικών μοντέλων στον τομέα της γεννήτριας εικόνων. Αυτά τα μοντέλα συχνά υλοποιούν einen οπτικό tokenizador που αντιπροσωπεύει ή προσεγγίζει συνεχείς εικόνες σε ένα πλέγμα 2D tokens, τα οποία στη συνέχεια ισοπεδώνουν σε μια 1D ακολουθία για αυτο-επαναληπτική μάθηση, και έτσι αντανακλούν τη διαδικασία της ακολουθιακής γλωσσικής μοντελοποίησης.

Ωστόσο, οι ερευνητές δεν έχουν ακόμη εξερευνήσει τους νόμους κλιμάκωσης αυτών των μοντέλων, και αυτό που είναι πιο ενοχλητικό είναι το γεγονός ότι η απόδοση αυτών των μοντέλων συχνά μένει πίσω από τα μοντέλα διάχυσης με σημαντική διαφορά, όπως φαίνεται στην ακόλουθη εικόνα. Η διαφορά στην απόδοση υποδηλώνει ότι, σε σύγκριση με τα μεγάλα γλωσσικά μοντέλα, οι ικανότητες των αυτο-επαναληπτικών μοντέλων στην υπολογιστική όραση είναι υποανεπτυγμένες.

Από την μια πλευρά, τα παραδοσιακά αυτο-επαναληπτικά μοντέλα απαιτούν μια καθορισμένη σειρά δεδομένων, ενώ από την άλλη πλευρά, το Οπτικό Αυτο-Επαναληπτικό ή το VAR μοντέλο επαναξιολογεί τον τρόπο με τον οποίο μια εικόνα διατάζεται, και αυτό είναι που διακρίνει το VAR από τις υφιστάμενες AR μεθόδους. Συνήθως, οι άνθρωποι δημιουργούν ή αντιλαμβάνονται μια εικόνα με ιεραρχικό τρόπο, καταγράφοντας την καθολική δομή και στη συνέχεια τις τοπικές λεπτομέρειες, μια πολυ-κλιμακωτή, χονδρό-σε-λεπτό προσέγγιση που υποδηλώνει μια σειρά για την εικόνα φυσικά. Επιπλέον, εμπνευσμένοι από τις πολυ-κλιμακωτές σχεδιάσεις, το VAR framework ορίζει την αυτο-επαναληπτική μάθηση για εικόνες ως προβλέψη επόμενης κλίμακας, αντί για τις συμβατικές προσεγγίσεις που ορίζουν τη μάθηση ως προβλέψη επόμενου token. Η προσέγγιση που υλοποιεί το VAR framework ξεκινά με την κωδικοποίηση μιας εικόνας σε πολυ-κλιμακωτές token χάρτες. Το framework στη συνέχεια αρχίζει την αυτο-επαναληπτική διαδικασία από τον 1×1 token χάρτη και επεκτείνεται σε ανάλυση προοδευτικά. Σε κάθε βήμα, ο μετασχηματιστής προβλέπει τον επόμενο υψηλότερο token χάρτη υπό την προϋπόθεση όλων των προηγούμενων, μια μεθοδολογία που το VAR framework αναφέρεται ως VAR μοντελοποίηση.

Το VAR framework προσπαθεί να αξιοποιήσει την αρχιτεκτονική του GPT-2 για οπτική αυτο-επαναληπτική μάθηση, και τα αποτελέσματα είναι εμφανή στο ImageNet benchmark, όπου το VAR μοντέλο βελτιώνει σημαντικά την AR βάση, επιτυγχάνοντας ένα FID του 1,80 και ένα inception score του 356, μαζί με μια 20x βελτίωση στην ταχύτητα συλλογής. Τι είναι πιο ενδιαφέρον είναι ότι το VAR framework καταφέρνει να ξεπεράσει την απόδοση του DiT ή Diffusion Transformer framework σε όρους FID & IS scores, κλιμάκωση, ταχύτητα συλλογής και αποδοτικότητα δεδομένων. Επιπλέον, το Οπτικό Αυτο-Επαναληπτικό μοντέλο εμφανίζει ισχυρούς νόμους κλιμάκωσης που μοιάζουν με αυτούς που παρατηρούνται στα μεγάλα γλωσσικά μοντέλα.

Για να το συνοψίσουμε, το VAR framework προσπαθεί να κάνει τις ακόλουθες συνεισφορές.

1. Προτείνει ένα νέο οπτικό γενετικό framework που χρησιμοποιεί μια πολυ-κλιμακωτή αυτο-επαναληπτική προσέγγιση με προβλέψη επόμενης κλίμακας, αντί για την παραδοσιακή προβλέψη επόμενου token, οδηγώντας στη σχεδίαση του αυτο-επαναληπτικού αλγορίθμου για εργασίες υπολογιστικής όρασης.
2. Προσπαθεί να επικυρώσει τους νόμους κλιμάκωσης για τα αυτο-επαναληπτικά μοντέλα μαζί με το δυναμικό της μηδέν-ψηφιακής γενικότητας που μιμείται τις ελκυστικές ιδιότητες των LLMs.
3. Προσφέρει μια突破 στην απόδοση των οπτικών αυτο-επαναληπτικών μοντέλων, επιτρέποντας στα GPT-στυλ αυτο-επαναληπτικά frameworks να ξεπεράσουν τα υφιστάμενα μοντέλα διάχυσης σε εργασίες σύνθεσης εικόνων για πρώτη φορά.

Επιπλέον, είναι επίσης σημαντικό να συζητήσουμε τους υφιστάμενους νόμους κλιμάκωσης που περιγράφουν μαθηματικά τη σχέση μεταξύ μεγεθών συνόλων δεδομένων, παραμέτρων μοντέλων, βελτιώσεων απόδοσης και υπολογιστικών πόρων των μοντέλων μηχανικής μάθησης. Πρώτον, οι νόμοι κλιμάκωσης διευκολύνουν την εφαρμογή της απόδοσης ενός μεγαλύτερου μοντέλου με την κλιμάκωση του μεγέθους του μοντέλου, του κόστους και του μεγέθους των δεδομένων, εξοικονομώντας άσκοπες δαπάνες και διανέμοντας τον προϋπολογισμό της εκπαίδευσης, παρέχοντας αρχές. Δεύτερον, οι νόμοι κλιμάκωσης έχουν αποδείξει μια συνεχή και μη-σατουράτη αύξηση της απόδοσης. Προχωρώντας με τις αρχές των νόμων κλιμάκωσης στα γλωσσικά μοντέλα, πολλά LLMs ενσωματώνουν την αρχή ότι η αύξηση του μεγέθους των μοντέλων οδηγεί σε βελτιωμένα αποτελέσματα απόδοσης. Η μηδέν-ψηφιακή γενικότητα, από την άλλη πλευρά, αναφέρεται στην ικανότητα ενός μοντέλου, ιδιαίτερα ενός LLM, να εκτελεί εργασίες που δεν έχει εκπαιδευτεί ρητά.

Τα γλωσσικά μοντέλα βασίζονται σε αλγορίθμους WordPiece ή Byte Pair Encoding για την τοκενοποίηση κειμένου. Τα οπτικά μοντέλα γεννήτριας που βασίζονται σε γλωσσικά μοντέλα επίσης βασίζονται σε μεγάλο βαθμό στην κωδικοποίηση 2D εικόνων σε 1D ακολουθίες token. Πρώιμες εργασίες όπως το VQVAE απέδειξαν την ικανότητα να αντιπροσωπεύουν εικόνες ως διακριτά token με μέτρια ποιότητα ανακατασκευής. Ο διάδοχος του VQVAE, το VQGAN framework, ενσωμάτωσε περιцепτρορικές και αντι-περισπωμενικές απώλειες για να βελτιώσει την πιστότητα της εικόνας και επίσης χρησιμοποίησε einen αποκωδικοποιητή-μόνο μετασχηματιστή για να γεννήσει token εικόνων σε τυπική αυτο-επαναληπτική ακολουθία. Τα μοντέλα διάχυσης, από την άλλη πλευρά, έχουν θεωρηθεί ως οι πρωταγωνιστές για τις εργασίες σύνθεσης εικόνων, λόγω της ποικιλίας και της υπεροχή τους. Η πρόοδος των μοντέλων διάχυσης έχει επικεντρωθεί στην βελτίωση των τεχνικών δειγματοληψίας, των αρχιτεκτονικών βελτιώσεων και της ταχύτερης δειγματοληψίας. Τα μοντέλα διάχυσης σε χώρο latents εφαρμόζουν διάχυση στον χώρο latents, βελτιώνοντας την αποδοτικότητα της εκπαίδευσης και της συλλογής. Τα μοντέλα μετασχηματιστή διάχυσης αντικαθιστούν την παραδοσιακή αρχιτεκτονική U-Net με μια αρχιτεκτονική μετασχηματιστή και έχουν αναπτυχθεί σε πρόσφατα μοντέλα σύνθεσης εικόνων και βίντεο όπως το SORA και το Stable Diffusion.

Οπτικό Αυτο-Επαναληπτικό: Μεθοδολογία και Αρχιτεκτονική

Στην καρδιά του, το VAR framework έχει δύο διακριτά στάδια εκπαίδευσης. Στο πρώτο στάδιο, ένας πολυ-κλιμακωτός quantized autoencoder ή VQVAE κωδικοποιεί μια εικόνα σε token χάρτες, και μια σύνθετη απώλεια ανακατασκευής εφαρμόζεται για την εκπαίδευση. Στο παραπάνω σχήμα, η ενσωμάτωση ορίζεται ως η διαδικασία της μετατροπής των διακριτών token σε συνεχείς διανυσματικές ενσωματώσεις. Στο δεύτερο στάδιο, ο μετασχηματιστής στο VAR μοντέλο εκπαιδεύεται είτε με την ελαχιστοποίηση της απώλειας cross-entropy είτε με την μεγιστοποίηση της πιθανοότητας χρησιμοποιώντας την προσέγγιση προβλέψεως επόμενης κλίμακας. Ο εκπαιδευμένος VQVAE στη συνέχεια παράγει τον token χάρτη ground truth για το VAR framework.

Αυτο-Επαναληπτική Μοντελοποίηση μέσω Προβλέψεως Επόμενου Token

Για μια δεδομένη ακολουθία διακριτών token, όπου κάθε token είναι ένας ακέραιος από ένα λεξιλόγιο μεγέθους V, το αυτο-επαναληπτικό μοντέλο προβλέψεως επόμενου token υποθέτει ότι η πιθανότητα να παρατηρηθεί το τρέχον token εξαρτάται μόνο από το προηγούμενο. Υποθέτοντας μια μονοκατευθυντική εξάρτηση token, το VAR framework μπορεί να αναλύσει την πιθανότητα της ακολουθίας σε προϊόν συνθηκών. Η εκπαίδευση ενός αυτο-επαναληπτικού μοντέλου περιλαμβάνει την оптимποίηση του μοντέλου σε ένα σύνολο δεδομένων, και αυτή η διαδικασία είναι γνωστή ως προβλέψη επόμενου token, και επιτρέπει στο εκπαιδευμένο μοντέλο να γεννήσει νέες ακολουθίες. Επιπλέον, οι εικόνες είναι 2D συνεχείς σήματα από φύση, και για να εφαρμοστεί η αυτο-επαναληπτική μοντελοποίηση σε εικόνες μέσω της διαδικασίας προβλέψεως επόμενου token, υπάρχουν κάποια προαπαιτούμενα. Πρώτον, η εικόνα πρέπει να τοκενοποιηθεί σε διακριτά token. Συνήθως, ένας quantized autoencoder εφαρμόζεται για να μετατρέψει την εικόνα σε διακριτά token. Δεύτερον, μια 1D σειρά token πρέπει να οριστεί για μονοκατευθυντική αυτο-επαναληπτική μάθηση.

Τα token εικόνων σε διακριτά token είναι διατεταγμένα σε ένα 2D πλέγμα, και αντίθετα με τις φυσικές γλώσσες που έχουν μια φυσική σειρά από αριστερά προς δεξιά, η σειρά των token εικόνων πρέπει να οριστεί ρητά για μονοκατευθυντική αυτο-επαναληπτική μάθηση. Προηγούμενες αυτο-επαναληπτικές προσεγγίσεις ισοπέδωσαν το 2D πλέγμα διακριτών token σε μια 1D ακολουθία χρησιμοποιώντας μεθόδους όπως row-major raster scan, z-curve, ή spiral order. Μόλις τα διακριτά token ισοπεδώθηκαν, τα AR μοντέλα εξήγαγαν ένα σύνολο ακολουθιών από το σύνολο δεδομένων, και στη συνέχεια εκπαίδευσαν ένα αυτο-επαναληπτικό μοντέλο για να μεγιστοποιήσουν την πιθανότητα στο προϊόν T συνθηκών χρησιμοποιώντας προβλέψη επόμενου token.

Οπτική Αυτο-Επαναληπτική Μοντελοποίηση μέσω Προβλέψεως Επόμενης Κλίμακας

Το VAR framework επαναορίζει την αυτο-επαναληπτική μοντελοποίηση σε εικόνες μετατοπίζοντας από προβλέψη επόμενου token σε προβλέψη επόμενης κλίμακας, μια διαδικασία υπό την οποία αντί για ένα單 token, η αυτο-επαναληπτική μονάδα είναι ένας ολόκληρος token χάρτης. Το μοντέλο πρώτα quantizes την εικόνα σε πολυ-κλιμακωτούς token χάρτες, κάθε ένας με υψηλότερη ανάλυση από τον προηγούμενο, και τελειώνει με την αντιστοίχιση της ανάλυσης της αρχικής εικόνας. Επιπλέον, το VAR framework αναπτύσσει einen νέο πολυ-κλιμακωτό quantization encoder για να κωδικοποιήσει μια εικόνα σε πολυ-κλιμακωτούς διακριτούς token χάρτες, απαραίτητους για την VAR μάθηση. Το VAR framework χρησιμοποιεί την ίδια αρχιτεκτονική με το VQGAN, αλλά με einen τροποποιημένο πολυ-κλιμακωτό quantization layer, με τους αλγορίθμους που παρουσιάζονται στην ακόλουθη εικόνα.

Οπτικό Αυτο-Επαναληπτικό: Αποτελέσματα και Πειράματα

Το VAR framework χρησιμοποιεί την αρχιτεκτονική VQVAE με einen πολυ-κλιμακωτό quantization scheme με K extra convolution, και χρησιμοποιεί einen κοινό codebook για όλες τις κλίμακες και einen latent dim του 32. Η κύρια εστίαση βρίσκεται στο VAR αλγόριθμο, grâce στον οποίο η σχεδίαση της αρχιτεκτονίας του μοντέλου είναι απλή αλλά αποτελεσματική. Το framework υιοθετεί την αρχιτεκτονική ενός τυπικού αποκωδικοποιητή-μόνο μετασχηματιστή, παρόμοια με αυτά που υλοποιούνται στα GPT-2 μοντέλα, με την einzige τροποποίηση να είναι η αντικατάσταση της παραδοσιακής layer normalization με adaptive normalization ή AdaLN. Για την ταξινόμηση σύνθεσης, το VAR framework υλοποιεί τις ταξινόμησεις ως το αρχικό token, και επίσης ως την προϋπόθεση της adaptive normalization layer.

Αποτελέσματα Γεννήτριας Εικόνων State-of-the-Art

Όταν τοποθετηθεί ενάντια σε υφιστάμενα γενετικά frameworks, συμπεριλαμβανομένων GANs ή Generative Adversarial Networks, BERT-στυλ masked prediction μοντέλων, μοντέλων διάχυσης, και GPT-στυλ αυτο-επαναληπτικών μοντέλων, το Οπτικό Αυτο-Επαναληπτικό framework δείχνει υποσχόμενα αποτελέσματα που συνοψίζονται στον ακόλουθο πίνακα.

Όπως μπορείτε να δείτε, το Οπτικό Αυτο-Επαναληπτικό framework δεν μόνο ξεπερνά τα FID και IS scores, αλλά επίσης δείχνει αξιοσημείωτη ταχύτητα γεννήτριας εικόνων, συγκρίσιμη με τα state-of-the-art μοντέλα. Επιπλέον, το VAR framework επίσης διατηρεί ικανοποιητικά ποσοστά ακρίβειας και ανακλησεως, τα οποία επιβεβαιώνουν την σεμαντική του συνεκτικότητα. Αλλά η πραγματική έκπληξη είναι η αξιοσημείωτη απόδοση που παρέχει το VAR framework σε παραδοσιακές AR ικανότητες εργασιών, καθιστώντας το το πρώτο αυτο-επαναληπτικό μοντέλο που ξεπέρασε ένα Diffusion Transformer μοντέλο, όπως φαίνεται στον ακόλουθο πίνακα.

Αποτελέσματα Γενικότητας Μηδέν-Ψηφιακής Εργασίας

Για εργασίες εσωτερικής και εξωτερικής ζωγραφικής, το VAR framework teacher-forces τα ground truth tokens έξω από την μάσκα, και αφήνει το μοντέλο να γεννήσει μόνο τα token μέσα στην μάσκα, χωρίς καμία ταξινόμηση να έχει ενταχθεί στο μοντέλο. Τα αποτελέσματα παρουσιάζονται στην ακόλουθη εικόνα, και όπως μπορείτε να δείτε, το VAR μοντέλο επιτυγχάνει ικανοποιητικά αποτελέσματα σε εργασίες κατάρτισης χωρίς να τροποποιήσει παραμέτρους ή να τροποποιήσει την αρχιτεκτονική του δικτύου, αποδεικνύοντας τη γενικότητα του VAR framework.

Τελικές Σκέψεις

Σε αυτό το άρθρο, μιλήσαμε για ένα νέο οπτικό γενετικό framework που ονομάζεται Οπτικό Αυτο-Επαναληπτικό μοντέλο (VAR) που 1) θεωρητικά αντιμετωπίζει κάποια προβλήματα που είναι εγγενή στα τυπικά μοντέλα αυτο-επαναλήψεως (AR), και 2) κάνει τα GPT-στυλ αυτο-επαναληπτικά μοντέλα να ξεπεράσουν τα μοντέλα διάχυσης σε εργασίες γεννήτριας εικόνων για πρώτη φορά. Από την μια πλευρά, τα παραδοσιακά αυτο-επαναληπτικά μοντέλα απαιτούν μια καθορισμένη σειρά δεδομένων, ενώ από την άλλη πλευρά, το Οπτικό Αυτο-Επαναληπτικό ή το VAR μοντέλο επαναξιολογεί τον τρόπο με τον οποίο μια εικόνα διατάζεται, και αυτό είναι που διακρίνει το VAR από τις υφιστάμενες AR μεθόδους. Όταν το VAR μοντέλο κλιμακωθεί σε 2 δισεκατομμύρια παραμέτρους, οι développers του VAR framework παρατήρησαν μια σαφή σχέση power-law μεταξύ της απόδοσης του μοντέλου και των παραμέτρων του μοντέλου ή της υπολογιστικής δύναμης, με συντελεστές Pearson που πλησιάζουν −0,998, υποδεικνύοντας einen robusto framework για την πρόβλεψη της απόδοσης. Οι νόμοι κλιμάκωσης και η δυνατότητα της μηδέν-ψηφιακής γενικότητας, ως χαρακτηριστικά των LLMs, έχουν τώρα αρχικά επιβεβαιωθεί στα VAR μετασχηματιστές μοντέλα μας.