De komst van GPT-modellen, samen met andere autoregressieve of AR-grote taalmodellen, heeft een nieuwe epoch in het veld van machine learning en kunstmatige intelligentie ontsloten. GPT- en autoregressieve modellen vertonen vaak algemene intelligentie en veelzijdigheid die als een significante stap naar algemene kunstmatige intelligentie of AGI worden beschouwd, ondanks enkele problemen zoals hallucinaties. Het puzzelende probleem met deze grote modellen is echter een zelf-supervised learning-strategie die de modellen in staat stelt de volgende token in een sequentie te voorspellen, een eenvoudige maar effectieve strategie. Recent onderzoek heeft de succesvolle toepassing van deze grote autoregressieve modellen aangetoond, waarbij hun generaliseerbaarheid en schaalbaarheid worden benadrukt. Schaalbaarheid is een typisch voorbeeld van de bestaande schaalwetten die onderzoekers in staat stellen de prestaties van grote modellen te voorspellen op basis van de prestaties van kleinere modellen, wat resulteert in een betere allocatie van middelen. Aan de andere kant wordt generaliseerbaarheid vaak aangetoond door leerstrategieën zoals zero-shot, one-shot en few-shot learning, waarbij de mogelijkheid van onbegeleide maar getrainde modellen om zich aan te passen aan diverse en ongeziene taken wordt benadrukt. Samen onthullen generaliseerbaarheid en schaalbaarheid het potentieel van autoregressieve modellen om te leren van een grote hoeveelheid ongelabelde gegevens.

Op basis van hetzelfde, zullen we in dit artikel praten over Visuele AutoRegressieve of de VAR-structuur, een nieuwe generatiepatroon dat autoregressief leren op beelden redefineert als een grof-naar-fijn “next-resolutievoorspelling” of “next-schaalvoorspelling”. Hoewel eenvoudig, is de benadering effectief en stelt autoregressieve transformatoren in staat om visuele distributies beter te leren en verbeterde generaliseerbaarheid te bereiken. Bovendien stellen de Visuele AutoRegressieve modellen GPT-achtige autoregressieve modellen in staat om diffusie-overdrachten in beeldgeneratie voor het eerst te overtreffen. Experimenten geven ook aan dat de VAR-structuur de autoregressieve basismodellen aanzienlijk verbetert en de Diffusie-Transformatormodellen in meerdere dimensies, waaronder gegevensefficiëntie, beeldkwaliteit, schaalbaarheid en inferentiesnelheid, overtreft. Bovendien tonen de geschaalde Visuele AutoRegressieve modellen krachtwet-schaalwetten die vergelijkbaar zijn met die waargenomen bij grote taalmodellen en vertonen ook zero-shot generalisatie mogelijkheden in downstream-taken, waaronder bewerken, in-painting en out-painting.

Dit artikel heeft als doel de Visuele AutoRegressieve structuur in detail te behandelen en we zullen de mechanisme, de methodologie, de architectuur van de structuur en de vergelijking met state-of-the-art-structuren onderzoeken. We zullen ook praten over hoe de Visuele AutoRegressieve structuur twee belangrijke eigenschappen van LLM’s demonstreert: Schaalwetten en zero-shot generalisatie. Laten we dus beginnen.

Visuele AutoRegressieve Modellering: Schaalbare Beeldgeneratie

Een veel voorkomend patroon onder recente grote taalmodellen is de implementatie van een zelf-supervised learning-strategie, een eenvoudige maar effectieve benadering die de volgende token in de sequentie voorspelt. Dankzij deze benadering hebben autoregressieve en grote taalmodellen vandaag de dag opmerkelijke schaalbaarheid en generaliseerbaarheid gedemonstreerd, eigenschappen die het potentieel van autoregressieve modellen om te leren van een grote hoeveelheid ongelabelde gegevens onthullen, en dus de essentie van Algemene Kunstmatige Intelligentie samenvatten. Bovendien hebben onderzoekers in het veld van computer visie parallel gewerkt aan de ontwikkeling van grote autoregressieve of wereldmodellen met als doel om de indrukwekkende schaalbaarheid en generaliseerbaarheid van deze modellen te evenaren of te overtreffen, met modellen zoals DALL-E en VQGAN die al het potentieel van autoregressieve modellen in het veld van beeldgeneratie hebben aangetoond. Deze modellen implementeren vaak een visuele tokenizer die continue beelden vertegenwoordigt of benadert in een grid van 2D-tokens, die vervolgens worden platgelegd in een 1D-sequentie voor autoregressief leren, waardoor het sequentiële taalmodelproces wordt gemodelleerd.

Onderzoekers zijn echter nog niet in staat geweest om de schaalwetten van deze modellen te onderzoeken, en wat nog frustrerender is, is het feit dat de prestaties van deze modellen vaak achterblijven bij diffusiemodellen met een significante marge, zoals wordt aangetoond in de volgende afbeelding. De kloof in prestaties geeft aan dat, in vergelijking met grote taalmodellen, de mogelijkheden van autoregressieve modellen in computer visie onvoldoende zijn onderzocht.

Enerzijds vereisen traditionele autoregressieve modellen een gedefinieerde volgorde van gegevens, terwijl anderzijds de Visuele AutoRegressieve of de VAR-modellen opnieuw overwegen hoe een beeld te ordenen, en dit is wat de VAR onderscheidt van bestaande AR-methoden. Typisch creëren mensen een beeld in een hiërarchische manier, waarbij eerst de globale structuur wordt vastgelegd, gevolgd door de lokale details, een multi-schaal, grof-naar-fijn benadering die een natuurlijke volgorde voor het beeld suggereert. Verder, door inspiratie te putten uit multi-schaal ontwerpen, definieert de VAR-structuur autoregressief leren voor beelden als next-schaalvoorspelling, in tegenstelling tot conventionele benaderingen die het leren definiëren als next-tokenvoorspelling. De benadering die door de VAR-structuur wordt geïmplementeerd, begint met het coderen van een beeld in multi-schaal tokenkaarten. De structuur start vervolgens het autoregressieve proces vanaf de 1×1 tokenkaart en breidt progressief uit in resolutie. Op elk moment voorspelt de transformatie de volgende hogere resolutie tokenkaart, voorwaardelijk op alle voorgaande, een methodologie die de VAR-structuur VAR-modellering noemt.

De VAR-structuur probeert de transformatiearchitectuur van GPT-2 te benutten voor visueel autoregressief leren, en de resultaten zijn zichtbaar op de ImageNet-benchmark, waar de VAR-modellen de AR-basismodellen aanzienlijk verbeteren, een FID van 1,80 en een inceptiescore van 356 behalen, evenals een 20x verbetering in de inferentiesnelheid. Wat nog interessanter is, is dat de VAR-structuur erin slaagt de prestaties van de DiT- of Diffusie-Transformatormodellen te overtreffen in termen van FID- en IS-scores, schaalbaarheid, inferentiesnelheid en gegevensefficiëntie. Bovendien vertoont de Visuele AutoRegressieve modellen sterke schaalwetten die vergelijkbaar zijn met die waargenomen bij grote taalmodellen.

Om samen te vatten, probeert de VAR-structuur de volgende bijdragen te leveren.

1. Het voorstelt een nieuwe visuele generatieve structuur die een multi-schaal autoregressieve benadering met next-schaalvoorspelling gebruikt, in tegenstelling tot de traditionele next-tokenvoorspelling, waardoor het autoregressieve algoritme voor computer visie taken wordt ontworpen.
2. Het probeert schaalwetten voor autoregressieve modellen te valideren, evenals zero-shot generalisatie mogelijkheden die de aantrekkelijke eigenschappen van LLM’s imiteren.
3. Het biedt een doorbraak in de prestaties van visuele autoregressieve modellen, waardoor GPT-achtige autoregressieve structuren bestaande diffusiemodellen in beeldsynthesetaak voor het eerst overtreffen.

Bovendien is het ook essentieel om de bestaande krachtwet-schaalwetten te bespreken die wiskundig de relatie tussen gegevensgroottes, modelparameters, prestatieverbeteringen en computationele middelen van machine learning-modellen beschrijven. Ten eerste faciliteren deze krachtwet-schaalwetten de toepassing van een groter model door het modelgrootte, computationele kosten en gegevensgrootte te schalen, waardoor onnodige kosten worden bespaard en de trainingsbegroting wordt toegewezen door principes te bieden. Ten tweede hebben schaalwetten een consistente en niet-verzadigde toename in prestaties aangetoond. Verdergaand met de principes van schaalwetten in neurale taalmodellen, vertegenwoordigen verschillende LLM’s het principe dat het vergroten van de schaal van modellen leidt tot verbeterde prestatie resultaten. Zero-shot generalisatie daarentegen verwijst naar de mogelijkheid van een model, in het bijzonder een LLM, om taken uit te voeren die het niet expliciet is getraind op. Binnen het domein van computer visie is er interesse in het opbouwen van zero-shot en in-context leer mogelijkheden van foundation modellen.

Taalmodellen vertrouwen op WordPiece-algoritmen of Byte Pair Encoding-benaderingen voor teksttokenisatie. Visuele generatie modellen die zijn gebaseerd op taalmodellen vertrouwen ook zwaar op het coderen van 2D-beelden in 1D-token sequenties. Vroege werken zoals VQVAE toonden de mogelijkheid aan om beelden te vertegenwoordigen als discrete tokens met matige reconstructie kwaliteit. De opvolger van VQVAE, de VQGAN-structuur, incorporeerde perceptuele en adversarial verliezen om beeldfideliteit te verbeteren en gebruikte ook een decoder-only transformatie om beeldtokens in standaard raster-scan autoregressieve wijze te genereren. Diffusiemodellen daarentegen zijn lang beschouwd als de frontrunners voor visuele synthesetaak, vanwege hun diversiteit en superieure generatie kwaliteit. De vooruitgang van diffusiemodellen is gericht op het verbeteren van sampling technieken, architecturale verbeteringen en snellere sampling. Latente diffusiemodellen passen diffusie toe in de latente ruimte, waardoor de trainings-efficiëntie en inferentie worden verbeterd. Diffusie-Transformatormodellen vervangen de traditionele U-Net architectuur door een transformatie-gebaseerde architectuur en zijn geïmplementeerd in recente beeld- of videosynthesemodellen zoals SORA en Stable Diffusion.

Visuele AutoRegressieve : Methodologie en Architectuur

In zijn kern heeft de VAR-structuur twee discrete trainingsfasen. In de eerste fase wordt een multi-schaal gequantificeerde autoencoder of VQVAE gebruikt om een beeld in tokenkaarten te coderen, en wordt een samengestelde reconstructie verlies geïmplementeerd voor trainingsdoeleinden. In de bovenstaande afbeelding wordt embedding gebruikt om discrete tokens om te zetten in continue embedding vectoren. In de tweede fase wordt de transformatie in de VAR-modellen getraind door het minimaliseren van de cross-entropie verlies of door het maximaliseren van de waarschijnlijkheid met de next-schaalvoorspelling benadering. De getrainde VQVAE produceert vervolgens de tokenkaart grondwaarheid voor de VAR-structuur.

Autoregressief Modellering via Next-Token Voorspelling

Voor een gegeven sequentie van discrete tokens, waarbij elke token een geheel getal is uit een vocabulaire van grootte V, stelt het next-token autoregressieve model voor dat de waarschijnlijkheid van het observeren van de huidige token afhankelijk is van zijn prefix. Aannemend dat unidirectionele token afhankelijkheid de VAR-structuur in staat stelt de kansen van sequentie te decomponeren in het product van conditionele waarschijnlijkheden. Het trainen van een autoregressief model omvat het optimaliseren van het model over een dataset, en dit optimalisatieproces wordt next-token voorspelling genoemd, en stelt het getrainde model in staat om nieuwe sequenties te genereren. Bovendien zijn beelden 2D continue signalen van nature, en om de autoregressieve modellering benadering op beelden via de next-token voorspelling optimalisatieproces toe te passen, zijn enkele voorwaarden nodig. Ten eerste moet het beeld worden getokeniseerd in discrete tokens. Meestal wordt een gequantificeerde autoencoder geïmplementeerd om het beeld functiekaart om te zetten in discrete tokens. Ten tweede moet een 1D volgorde van tokens worden gedefinieerd voor unidirectionele autoregressieve leer.

De beeldtokens in discrete tokens worden gerangschikt in een 2D grid, en in tegenstelling tot natuurlijke taalzinnen die van nature een links-naar-rechts volgorde hebben, moet de volgorde van beeldtokens expliciet worden gedefinieerd voor unidirectionele autoregressieve leer. Vorige autoregressieve benaderingen hebben de 2D grid van discrete tokens platgelegd in een 1D sequentie met behulp van methoden zoals row-major raster scan, z-curve of spiral order. Zodra de discrete tokens waren platgelegd, hebben de AR-modellen een set van sequenties uit de dataset geëxtraheerd en vervolgens een autoregressief model getraind om de waarschijnlijkheid te maximaliseren in het product van T conditionele waarschijnlijkheden met next-token voorspelling.

Visuele AutoRegressieve Modellering via Next-Schaal Voorspelling

De VAR-structuur reconceptualiseert de autoregressieve modellering op beelden door over te schakelen van next-token voorspelling naar next-schaal voorspelling benadering, een proces waarbij in plaats van een enkele token, de autoregressieve eenheid een hele tokenkaart is. Het model quantiseert eerst de functiekaart in multi-schaal tokenkaarten, elk met een hogere resolutie dan de vorige, en eindigt met het matchen van de resolutie van de oorspronkelijke functiekaarten. Bovendien ontwikkelt de VAR-structuur een nieuwe multi-schaal quantificatie encoder om een beeld te coderen in multi-schaal discrete tokenkaarten, noodzakelijk voor de VAR-leer. De VAR-structuur gebruikt dezelfde architectuur als VQGAN, maar met een gewijzigde multi-schaal quantificatie laag, met de algoritmen die in de volgende afbeelding worden gedemonstreerd.

Visuele AutoRegressieve : Resultaten en Experimenten

De VAR-structuur gebruikt de vanilla VQVAE-architectuur met een multi-schaal quantificatie schema met K extra convolution, en gebruikt een gedeelde codebook voor alle schalen en een latent dim van 32. De primaire focus ligt op de VAR-algoritme, waardoor de modelarchitectuur ontwerp eenvoudig maar effectief wordt gehouden. De structuur adopteert de architectuur van een standaard decoder-only transformatie, vergelijkbaar met die geïmplementeerd op GPT-2 modellen, met de enige modificatie die de vervanging van traditionele layer normalisatie voor adaptieve normalisatie of AdaLN is. Voor class conditionele synthese implementeert de VAR-structuur de class embeddings als de start token, en ook de conditie van de adaptieve normalisatie laag.

State of the Art Beeldgeneratie Resultaten

Wanneer vergeleken met bestaande generatieve structuren, waaronder GANs of Generatieve Adversarial Netwerken, BERT-achtige gemaskerde voorspellingsmodellen, diffusiemodellen en GPT-achtige autoregressieve modellen, toont de Visuele AutoRegressieve structuur veelbelovende resultaten, die worden samengevat in de volgende tabel.

Zoals te zien is, is de Visuele AutoRegressieve structuur niet alleen in staat om de beste FID en IS scores te behalen, maar het toont ook opmerkelijke beeldgeneratie snelheid, vergelijkbaar met state-of-the-art modellen. Bovendien behaalt de VAR-structuur ook bevredigende precisie en recall scores, wat de semantische consistentie bevestigt. Maar de echte verrassing is de opmerkelijke prestatie die door de VAR-structuur wordt geleverd op traditionele AR-mogelijkheden taken, waardoor het de eerste autoregressieve modellen zijn die een Diffusie-Transformatormodel overtreffen, zoals wordt aangetoond in de volgende tabel.

Zero-Shot Taak Generalisatie Resultaat

Voor in- en out-painting taken, forceert de VAR-structuur de grondwaarheid tokens buiten de masker, en laat de modellen alleen de tokens binnen de masker genereren, zonder enige class label informatie te injecteren in de modellen. De resultaten worden gedemonstreerd in de volgende afbeelding, en zoals te zien is, behaalt de VAR-modellen acceptabele resultaten op downstream taken zonder parameters aan te passen of de netwerkarchitectuur te wijzigen, waardoor de generaliseerbaarheid van de VAR-structuur wordt aangetoond.

Slotgedachten

In dit artikel hebben we gesproken over een nieuwe visuele generatieve structuur genaamd Visuele AutoRegressieve modellering (VAR) die 1) theoretisch enkele problemen inherent aan standaard beeldautoregressieve (AR) modellen aanpakt, en 2) taalmodel-gebaseerde AR-modellen in staat stelt om bestaande diffusiemodellen te overtreffen in termen van beeldkwaliteit, diversiteit, gegevensefficiëntie en inferentiesnelheid. Aan de ene kant vereisen traditionele autoregressieve modellen een gedefinieerde volgorde van gegevens, terwijl aan de andere kant de Visuele AutoRegressieve of de VAR-modellen opnieuw overwegen hoe een beeld te ordenen, en dit is wat de VAR onderscheidt van bestaande AR-methoden. Bij het schalen van de VAR naar 2 miljard parameters, hebben de ontwikkelaars van de VAR-structuur een duidelijke krachtwet-relatie tussen testprestaties en modelparameters of trainingscomputatie waargenomen, met Pearson-coëfficiënten die in de buurt van −0,998 komen, wat een robuust kader voor prestatievoorspelling aangeeft. Deze schaalwetten en de mogelijkheid voor zero-shot taakgeneralisatie, als kenmerken van LLM’s, zijn nu voor het eerst geverifieerd in onze VAR-transformatiemodellen.