L’avvento dei modelli GPT, insieme ad altri modelli di linguaggio autoregressivi o AR, ha aperto una nuova era nel campo dell’apprendimento automatico e dell’intelligenza artificiale. I modelli GPT e autoregressivi spesso esibiscono intelligenza generale e versatilità che sono considerate un passo significativo verso l’intelligenza artificiale generale o AGI, nonostante alcuni problemi come le allucinazioni. Tuttavia, il problema più intrigante con questi grandi modelli è una strategia di apprendimento autosufficiente che consente al modello di prevedere il prossimo token in una sequenza, una strategia semplice ma efficace. Lavori recenti hanno dimostrato il successo di questi grandi modelli autoregressivi, evidenziando la loro generalizzabilità e scalabilità. La scalabilità è un esempio tipico delle leggi di scalabilità esistenti che consente ai ricercatori di prevedere le prestazioni del modello più grande dalle prestazioni dei modelli più piccoli, risultando in una migliore allocazione delle risorse. D’altra parte, la generalizzabilità è spesso dimostrata da strategie di apprendimento come zero-shot, one-shot e few-shot, evidenziando la capacità dei modelli non supervisionati ma addestrati di adattarsi a compiti diversi e non visti. Insieme, la generalizzabilità e la scalabilità rivelano il potenziale dei modelli autoregressivi per imparare da una grande quantità di dati non etichettati.

Basandoci sullo stesso, in questo articolo, parleremo del framework Visual AutoRegressive o VAR, un nuovo modello di generazione che ridefinisce l’apprendimento autoregressivo sulle immagini come predizione di “prossima risoluzione” o “prossima scala”. Sebbene semplice, l’approccio è efficace e consente ai trasformatori autoregressivi di imparare meglio le distribuzioni visive, e una maggiore generalizzabilità. Inoltre, i modelli Visual AutoRegressive abilitano i modelli autoregressivi di stile GPT a superare i trasferimenti di diffusione nella generazione di immagini per la prima volta. Gli esperimenti indicano anche che il framework VAR migliora notevolmente i risultati dei modelli autoregressivi di base e supera il framework del trasformatore di diffusione o DiT in più dimensioni, tra cui efficienza dei dati, qualità dell’immagine, scalabilità e velocità di inferenza. Inoltre, l’aumento dei modelli Visual AutoRegressive dimostra leggi di scalabilità di potenza simili a quelle osservate con i grandi modelli di linguaggio, e mostra anche la capacità di generalizzazione zero-shot in compiti downstream, tra cui editing, in-painting e out-painting.

Questo articolo si propone di coprire il framework Visual AutoRegressive in profondità, ed esploreremo il meccanismo, la metodologia, l’architettura del framework insieme al suo confronto con i framework di stato dell’arte. Parleremo anche di come il framework Visual AutoRegressive dimostra due proprietà importanti dei LLM: Leggi di Scalabilità e generalizzazione zero-shot. Quindi, iniziamo.

Modellazione AutoRegressiva Visiva: Generazione di Immagini Scalabili

Un modello comune tra i recenti grandi modelli di linguaggio è l’implementazione di una strategia di apprendimento autosufficiente, un approccio semplice ma efficace che prevede il prossimo token nella sequenza. Grazie a questo approccio, i modelli autoregressivi e i grandi modelli di linguaggio di oggi hanno dimostrato una notevole scalabilità e generalizzabilità, proprietà che rivelano il potenziale dei modelli autoregressivi per imparare da una grande quantità di dati non etichettati, quindi riassumendo l’essenza dell’Intelligenza Artificiale Generale. Inoltre, i ricercatori nel campo della visione artificiale hanno lavorato parallelamente per sviluppare grandi modelli autoregressivi o modelli di mondo con l’obiettivo di eguagliare o superare la loro scalabilità e generalizzabilità, con modelli come DALL-E e VQGAN che hanno già dimostrato il potenziale dei modelli autoregressivi nel campo della generazione di immagini. Questi modelli spesso implementano un tokenizzatore visivo che rappresenta o approssima le immagini continue in una griglia di token 2D, che vengono quindi appiattiti in una sequenza 1D per l’apprendimento autoregressivo, così specchiando il processo di modellazione del linguaggio sequenziale.

Tuttavia, i ricercatori non hanno ancora esplorato le leggi di scalabilità di questi modelli, e ciò che è più frustrante è il fatto che le prestazioni di questi modelli spesso rimangono indietro rispetto ai modelli di diffusione di una margine significativa, come dimostrato nell’immagine seguente. Il divario nelle prestazioni indica che, rispetto ai grandi modelli di linguaggio, le capacità dei modelli autoregressivi nella visione artificiale sono poco esplorate.

Da un lato, i modelli autoregressivi tradizionali richiedono un ordine di dati definito, mentre dall’altro lato, il modello Visual AutoRegressive o VAR riconsidera come ordinare un’immagine, e questo è ciò che distingue il VAR dai metodi AR esistenti. Tipicamente, gli esseri umani creano o percepiscono un’immagine in modo gerarchico, catturando la struttura globale seguita dai dettagli locali, un approccio multi-scala, da grossolano a fine, che suggerisce un ordine per l’immagine in modo naturale. Inoltre, ispirandosi ai progetti multi-scala, il framework VAR definisce l’apprendimento autoregressivo per le immagini come predizione di prossima scala, anziché approcci convenzionali che definiscono l’apprendimento come predizione di prossimo token. L’approccio implementato dal framework VAR inizia codificando un’immagine in mappe di token multi-scala. Il framework quindi inizia il processo autoregressivo dalla mappa di token 1×1 e si espande in risoluzione progressivamente. A ogni passo, il trasformatore prevede la mappa di token di risoluzione superiore condizionata su tutte le precedenti, una metodologia che il framework VAR si riferisce come modellazione VAR.

Il framework VAR tenta di sfruttare l’architettura del trasformatore di GPT-2 per l’apprendimento autoregressivo visivo, e i risultati sono evidenti sul benchmark ImageNet dove il modello VAR migliora notevolmente il suo baseline AR, raggiungendo un FID di 1,80 e un punteggio di inizio di 356, insieme a un miglioramento del 20x nella velocità di inferenza. Ciò che è più interessante è che il framework VAR riesce a superare le prestazioni del framework DiT o Diffusion Transformer in termini di punteggi FID e IS, scalabilità, velocità di inferenza e efficienza dei dati. Inoltre, il modello Visual AutoRegressive esibisce forti leggi di scalabilità simili a quelle osservate nei grandi modelli di linguaggio.

Per riassumere, il framework VAR tenta di fare le seguenti contribuzioni.

1. Propone un nuovo framework generativo visivo che utilizza un approccio autoregressivo multi-scala con predizione di prossima scala, contrariamente alla predizione di prossimo token tradizionale, risultando nel progettare l’algoritmo autoregressivo per i compiti di visione artificiale.
2. Tenta di validare le leggi di scalabilità per i modelli autoregressivi insieme al potenziale di generalizzazione zero-shot che emula le proprietà attraenti dei LLM.
3. Offre una svolta nelle prestazioni dei modelli autoregressivi visivi, abilitando i framework autoregressivi di stile GPT a superare i modelli di diffusione esistenti nei compiti di sintesi di immagini per la prima volta.

Inoltre, è anche vitale discutere le leggi di scalabilità di potenza esistenti che descrivono matematicamente la relazione tra le dimensioni del dataset, i parametri del modello, i miglioramenti delle prestazioni e le risorse computazionali dei modelli di apprendimento automatico. In primo luogo, queste leggi di scalabilità di potenza facilitano l’applicazione delle prestazioni di un modello più grande scalando il modello, il costo computazionale e le dimensioni del dataset, risparmiando costi inutili e allocando il budget di addestramento fornendo principi. In secondo luogo, le leggi di scalabilità hanno dimostrato un aumento costante e non saturante delle prestazioni. Proseguendo con i principi delle leggi di scalabilità nei modelli di linguaggio neurale, diversi LLM incorporano il principio che l’aumento della scala dei modelli tende a produrre risultati di prestazioni migliori. La generalizzazione zero-shot, d’altra parte, si riferisce alla capacità di un modello, in particolare un LLM, di eseguire compiti che non sono stati addestrati esplicitamente. All’interno del dominio della visione artificiale, l’interesse per costruire capacità di apprendimento zero-shot e in-contexto dei modelli di base.

I modelli di linguaggio si basano su algoritmi WordPiece o approcci di codifica Byte Pair per la tokenizzazione del testo. I modelli di generazione visiva basati sui modelli di linguaggio si basano anche pesantemente sulla codifica di immagini 2D in sequenze di token 1D. Lavori precedenti come VQVAE hanno dimostrato la capacità di rappresentare le immagini come token discreti con una qualità di ricostruzione moderata. Il successore di VQVAE, il framework VQGAN ha incorporato perdite percettive e avversarie per migliorare la fedeltà dell’immagine e ha anche impiegato un trasformatore decoder-only per generare token di immagine in modo autoregressivo standard. I modelli di diffusione, d’altra parte, sono stati a lungo considerati i leader per i compiti di sintesi visiva, grazie alla loro diversità e qualità di generazione superiore. L’evoluzione dei modelli di diffusione si è concentrata sull’miglioramento delle tecniche di campionamento, sulle migliorie architettoniche e sulla velocità di campionamento più rapida. I modelli di diffusione latente applicano la diffusione nello spazio latente, migliorando l’efficienza di addestramento e l’inferenza. I modelli di trasformatore di diffusione sostituiscono l’architettura U-Net tradizionale con un’architettura basata su trasformatore e sono stati impiegati in modelli di sintesi di immagini o video recenti come SORA e Stable Diffusion.

Visual AutoRegressive: Metodologia e Architettura

Al suo nucleo, il framework VAR ha due fasi di addestramento discrete. Nella prima fase, un autoencoder quantizzato multi-scala o VQVAE codifica un’immagine in mappe di token, e una perdita di ricostruzione composta viene implementata per scopi di addestramento. Nell’immagine sopra, l’incorporamento è una parola utilizzata per definire la conversione di token discreti in vettori di incorporamento continui. Nella seconda fase, il trasformatore nel modello VAR viene addestrato minimizzando la perdita di entropia incrociata o massimizzando la probabilità utilizzando l’approccio di predizione di prossima scala. Il VQVAE addestrato produce quindi la mappa di token di verità di base per il framework VAR.

Modellazione Autoregressiva tramite Predizione di Prossimo Token

Per una data sequenza di token discreti, dove ogni token è un intero da un vocabolario di dimensione V, il modello autoregressivo di prossimo token ipotizza che la probabilità di osservare il token attuale dipende solo dal suo prefisso. Assumendo una dipendenza unidirezionale dei token, il framework VAR può decomporre le probabilità della sequenza nel prodotto delle probabilità condizionali. L’addestramento di un modello autoregressivo comporta l’ottimizzazione del modello su un dataset, e questo processo di ottimizzazione è noto come predizione di prossimo token, e consente al modello addestrato di generare nuove sequenze. Inoltre, le immagini sono segnali continui 2D per eredità, e applicare l’approccio di modellazione autoregressiva alle immagini tramite il processo di ottimizzazione della predizione di prossimo token ha alcune condizioni preliminari. In primo luogo, l’immagine deve essere tokenizzata in diversi token discreti. Di solito, un autoencoder quantizzato viene implementato per convertire la mappa di feature dell’immagine in token discreti. In secondo luogo, un ordine 1D di token deve essere definito per la modellazione autoregressiva unidirezionale.

I token di immagine in token discreti sono disposti in una griglia 2D, e a differenza delle frasi del linguaggio naturale che hanno un ordine intrinseco da sinistra a destra, l’ordine dei token di immagine deve essere definito esplicitamente per l’apprendimento autoregressivo unidirezionale. Approcci autoregressivi precedenti hanno appiattito la griglia 2D di token discreti in una sequenza 1D utilizzando metodi come la scansione raster principale, la curva z o l’ordine a spirale. Una volta che i token discreti sono stati appiattiti, i modelli AR hanno estratto un set di sequenze dal dataset e quindi addestrato un modello autoregressivo per massimizzare la probabilità nel prodotto delle probabilità condizionali utilizzando la predizione di prossimo token.

Modellazione AutoRegressiva Visiva tramite Predizione di Prossima Scala

Il framework VAR riconcepisce la modellazione autoregressiva sulle immagini spostandosi dalla predizione di prossimo token all’approccio di predizione di prossima scala, un processo in cui, invece di essere un singolo token, l’unità autoregressiva è una mappa di token intera. Il modello prima quantizza la mappa di feature in mappe di token multi-scala, ciascuna con una risoluzione superiore alla precedente, e culmina con la risoluzione della mappa di feature originale. Inoltre, il framework VAR sviluppa un nuovo encoder di quantizzazione multi-scala per codificare un’immagine in mappe di token discreti multi-scala, necessarie per l’apprendimento VAR. Il framework VAR impiega la stessa architettura del VQGAN, ma con un livello di quantizzazione multi-scala modificato, con gli algoritmi dimostrati nell’immagine seguente.

Visual AutoRegressive: Risultati e Esperimenti

Il framework VAR utilizza l’architettura VQVAE vanilla con uno schema di quantizzazione multi-scala con K convoluzioni extra, e utilizza un codice condiviso per tutte le scale e una dimensione latente di 32. L’attenzione principale si concentra sull’algoritmo VAR, a causa del quale la progettazione dell’architettura del modello è mantenuta semplice ma efficace. Il framework adotta l’architettura di un trasformatore decoder-only standard simile a quelli implementati sui modelli GPT-2, con la sola modifica della sostituzione della normalizzazione di livello tradizionale con la normalizzazione adattiva o AdaLN. Per la sintesi condizionale di classe, il framework VAR implementa le incorporazioni di classe come token di inizio e anche la condizione del livello di normalizzazione adattiva.

Risultati di Generazione di Immagini di Stato dell’Arte

Quando confrontato con i framework generativi esistenti, tra cui GAN o Reti Generative Adversarie, modelli di previsione mascherata di stile BERT, modelli di diffusione e modelli autoregressivi di stile GPT, il framework Visual AutoRegressive mostra risultati promettenti riassunti nella tabella seguente.

Come può essere osservato, il framework Visual AutoRegressive non solo è in grado di ottenere i migliori punteggi FID e IS, ma mostra anche una notevole velocità di generazione di immagini, paragonabile ai modelli di stato dell’arte. Inoltre, il framework VAR mantiene anche punteggi di precisione e richiamo soddisfacenti, che confermano la sua coerenza semantica. Ma la vera sorpresa è la notevole prestazione offerta dal framework VAR sui compiti di capacità AR tradizionali, rendendolo il primo modello autoregressivo che ha superato un modello di trasformatore di diffusione, come dimostrato nella tabella seguente.

Risultato di Generalizzazione del Compito Zero-Shot

Per i compiti di in-painting e out-painting, il framework VAR forza i token di verità di base al di fuori della maschera e lascia che il modello generi solo i token all’interno della maschera, senza iniettare alcuna informazione di etichetta di classe nel modello. I risultati sono dimostrati nell’immagine seguente, e come può essere visto, il modello VAR ottiene risultati accettabili sui compiti downstream senza regolare i parametri o modificare l’architettura della rete, dimostrando la generalizzabilità del framework VAR.

Pensieri Finali

In questo articolo, abbiamo parlato di un nuovo framework generativo visivo chiamato Visual AutoRegressive modeling (VAR) che 1) affronta teoricamente alcuni problemi intrinseci ai modelli AR standard, e 2) fa sì che i modelli AR di stile GPT superino i modelli di diffusione esistenti in termini di qualità dell’immagine, diversità, efficienza dei dati e velocità di inferenza. Da un lato, i modelli autoregressivi tradizionali richiedono un ordine di dati definito, mentre dall’altro lato, il modello Visual AutoRegressive o VAR riconsidera come ordinare un’immagine, e questo è ciò che distingue il VAR dai metodi AR esistenti. Quando il VAR viene scalato a 2 miliardi di parametri, gli sviluppatori del framework VAR hanno osservato una chiara relazione di potenza tra le prestazioni di test e i parametri del modello o il calcolo di addestramento, con coefficienti di Pearson vicini a −0,998, indicando un framework robusto per la previsione delle prestazioni. Queste leggi di scalabilità e la possibilità di generalizzazione del compito zero-shot, come marchi di fabbrica dei LLM, sono state ora verificate inizialmente nei nostri modelli di trasformatore VAR.