Příchod modelů GPT, spolu s dalšími autoregresivními nebo AR velkými jazykovými modely, odstartoval novou éru v oblasti strojového učení a umělé inteligence. Modely GPT a autoregresivní modely často vykazují obecnou inteligenci a všestrannost, které jsou považovány za významný krok směrem k obecné umělé inteligenci nebo AGI,尽管 mají některé problémy, jako jsou halucinace. Nicméně, záhadný problém s těmito velkými modely je sebe-naučící strategie, která umožňuje modelu předpovědět další token v sekvenci, jednoduchá, ale efektivní strategie. Nedávné práce prokázaly úspěch těchto velkých autoregresivních modelů, zdůrazňujících jejich obecnost a škálovatelnost. Škálovatelnost je typickým příkladem existujících škálujících zákonů, které umožňují výzkumníkům předpovědět výkon velkého modelu z výkonu menších modelů, což vede k lepší alokaci zdrojů. Na druhé straně je obecnost často prokázána učeními strategiemi, jako je zero-shot, one-shot a few-shot učení, zdůrazňujících schopnost nesupervizovaných, ale trénovaných modelů, přizpůsobit se rozmanitým a neviditelným úkolům. Společně, obecnost a škálovatelnost odhalují potenciál autoregresivních modelů učit se z velké části nelabelovaných dat.

Vycházející z toho, v tomto článku budeme mluvit o Vizuálním AutoRegressivním nebo VAR rámci, novém generativním vzoru, který předefinuje autoregresivní učení na obrázcích jako hrubé-na-jemné „předpověď další škály“ nebo „předpověď další velikosti“. Ačkoli jednoduchý, přístup je efektivní a umožňuje autoregresivním transformérům lépe učit se vizuální distribuce, a vylepšenou obecnost. Kromě toho, Vizuální AutoRegressivní modely umožňují GPT-styl autoregresivním modelům překonat difuzní transfery v generaci obrázků poprvé. Experimenty také ukazují, že VAR rámec významně zlepšuje autoregresivní základní modely a překonává Difuzní Transformer nebo DiT rámec v několika dimenzích, včetně datové efektivity, kvality obrázků, škálovatelnosti a rychlosti inference. Kromě toho, škálování Vizuálních AutoRegressivních modelů prokazuje mocenské škálující zákony podobné těm, které jsou pozorovány u velkých jazykových modelů, a také prokazuje schopnost zero-shot generalizace v downstream úkolech, včetně editace, vymalování a vybarvení.

Tento článek si klade za cíl pokrýt Vizuální AutoRegressivní rámec v hloubce, a prozkoumává mechanismus, metodologii, architekturu rámcu, spolu s jeho srovnáním se stávajícími rámci. Budeme také mluvit o tom, jak Vizuální AutoRegressivní rámec prokazuje dvě důležité vlastnosti LLM: Škálující zákony a zero-shot generalizaci. Takže pojďme začít.

Vizuální AutoRegressivní Modelování: Škálovatelná Generace Obrázků

Společný vzorec mezi nedávnými velkými jazykovými modely je implementace sebe-naučící strategie, jednoduchá, ale efektivní strategie, která předpovídá další token v sekvenci. Díky této strategii, autoregresivní a velké jazykové modely dnes prokázaly pozoruhodnou škálovatelnost a obecnost, vlastnosti, které odhalují potenciál autoregresivních modelů učit se z velké části nelabelovaných dat, a tedy shrnují podstatu Obecné Umělé Inteligence. Kromě toho, výzkumníci v oblasti počítačového vidění pracovali paralelně na vývoji velkých autoregresivních nebo světových modelů s cílem dosáhnout nebo překonat jejich působivou škálovatelnost a obecnost, s modely, jako je DALL-E a VQGAN, které již prokázaly potenciál autoregresivních modelů v oblasti generace obrázků. Tyto modely často implementují vizuální tokenizér, který reprezentuje nebo aproximuje kontinuální obrázky do mřížky 2D tokenů, které jsou poté zflatovány do 1D sekvence pro autoregresivní učení, a tak zrcadlí sekvenční jazykový modelovací proces.

Nicméně, výzkumníci dosud neprozkoumali škálující zákony těchto modelů, a co je ještě frustrujícím, je fakt, že výkon těchto modelů často zaostává za difuzními modely o významnou mez, jak je demonstrováno v následující obrazovce. Mezera v výkonu naznačuje, že ve srovnání s velkými jazykovými modely, schopnosti autoregresivních modelů v počítačovém vidění jsou nedostatečně prozkoumány.

Na jedné straně, tradiční autoregresivní modely vyžadují definovaný řád dat, zatímco na druhé straně, Vizuální AutoRegressivní nebo VAR model přehodnocuje, jak řádně uspořádat obrázek, a to je to, co odlišuje VAR od stávajících AR metod. Obvykle, lidé vytvářejí nebo vnímají obrázek hierarchickým způsobem, zachycujícím globální strukturu následovanou lokálními detaily, multi-škálový, hrubý-na-jemný přístup, který naznačuje řád pro obrázek přirozeně. Kromě toho, inspirace multi-škálovými designy, VAR rámec definuje autoregresivní učení pro obrázky jako předpověď další škály, na rozdíl od konvenčních přístupů, které definují učení jako předpověď dalšího tokenu. Přístup implementovaný VAR rámcem začíná kódováním obrázku do multi-škálových token map. Rámec poté začíná autoregresivní proces od 1×1 token mapy a expanduje v rozlišení progresivně. V každém kroku, transformér předpovídá další vyšší rozlišení token mapy podmíněně na všech předchozích, metodologie, kterou VAR rámec označuje jako VAR modelování.

VAR rámec se snaží využít transformátorovou architekturu GPT-2 pro vizuální autoregresivní učení, a výsledky jsou evidentní na ImageNet benchmarku, kde VAR model zlepšuje svůj AR základ významně, dosahující FID 1,80 a inception score 356, spolu s 20x zlepšením v rychlosti inference. Co je ještě zajímavější, je to, že VAR rámec překonává výkon DiT nebo Difuzního Transformeru v termínech FID & IS skóre, škálovatelnosti, rychlosti inference a datové efektivity. Kromě toho, Vizuální AutoRegressivní model prokazuje silné škálující zákony podobné těm, které jsou pozorovány u velkých jazykových modelů.

Shrnutí, VAR rámec se snaží učinit následující příspěvky.

1. Navrhuje nový vizuální generativní rámec, který používá multi-škálový autoregresivní přístup s předpovědí další škály, na rozdíl od tradiční předpovědi dalšího tokenu, vedoucí k návrhu autoregresivního algoritmu pro úkoly počítačového vidění.
2. Pokusí se ověřit škálující zákony pro autoregresivní modely spolu se zero-shot generalizační potenciál, který emuluje atraktivní vlastnosti LLM.
3. Nabízí průlom v výkonu vizuálních autoregresivních modelů, umožňující GPT-styl autoregresivním rámcům překonat stávající difuzní modely v úkolech syntézy obrázků poprvé.

Kromě toho, je také důležité diskutovat o stávajících škálujících zákonech, které matematicky popisují vztah mezi velikostí dat, modelovými parametry, zlepšením výkonu a výpočetními zdroji modelů strojového učení. První, tyto škálující zákony umožňují aplikaci výkonu většího modelu škálováním modelové velikosti, výpočetních nákladů a velikosti dat, šetřících zbytečných nákladů a alokací tréninkového rozpočtu poskytujících principy. Druhý, škálující zákony prokázaly konzistentní a nesaturující zlepšení výkonu. Pokračující s principy škálujících zákonů v neuronových jazykových modelech, několik LLM ztělesňuje princip, že zvyšování velikosti modelů tenduje k lepším výkonovým výsledkům. Zero-shot generalizace na druhé straně odkazuje na schopnost modelu, zejména LLM, provádět úkoly, na které nebyl explicitně trénován. V rámci domény počítačového vidění, zájem o budování zero-shot a v kontextu učení schopností základních modelů.

Jazykové modely spoléhají na WordPiece algoritmy nebo Byte Pair Encoding přístup pro tokenizaci textu. Vizuální generativní modely založené na jazykových modelech také spoléhají silně na kódování 2D obrázků do 1D tokenových sekvencí. Rané práce, jako je VQVAE, prokázaly schopnost reprezentovat obrázky jako diskrétní tokeny s mírnou kvalitou rekonstrukce. Nástupce VQVAE, VQGAN rámec, zahrnoval percepční a adversativní ztráty pro zlepšení kvality obrázků a také zaměstnával dekodér-only transformér pro generování tokenů obrázků ve standardním raster-skenu autoregresivním způsobu. Difuzní modely na druhé straně byly dlouho považovány za lídry v úkolech vizuální syntézy, poskytujících rozmanitost a lepší kvalitu generace. Pokrok difuzních modelů se soustředil na zlepšování vzorkovacích technik, architektonických vylepšení a rychlejší vzorkování. Latentní difuzní modely aplikují difuzi v latentním prostoru, zlepšující tréninkovou efektivitu a inferenci. Difuzní Transformer modely nahrazují tradiční U-Net architekturu transformér-založenou architekturou a byly nasazeny v nedávných modelech syntézy obrázků a videí, jako je SORA a Stable Diffusion.

Vizuální AutoRegressivní: Metodologie a Architektura

V jádru, VAR rámec má dvě diskrétní tréninkové fáze. V první fázi, multi-škálový kvantizovaný autoencoder nebo VQVAE kóduje obrázek do token map, a sloučený rekonstrukční ztrátový proces je implementován pro tréninkové účely. V výše uvedeném obrázku, embedding je slovo, které definuje konverzi diskrétních tokenů do kontinuálních vektorů embeddingu. Ve druhé fázi, transformér v VAR modelu je trénován buď minimalizací cross-entropy ztráty nebo maximalizací pravděpodobnosti pomocí předpovědi další škály. Trénovaný VQVAE poté produkuje token mapu ground truth pro VAR rámec.

Autoregresivní Modelování pomocí Předpovědi Dalšího Tokenu

Pro danou sekvenci diskrétních tokenů, kde každý token je integer z vocabuláře velikosti V, next-token autoregresivní model navrhuje, že pravděpodobnost pozorování aktuálního tokenu závisí pouze na jeho prefixu. Předpokládající unidirekcionální token závislost umožňuje VAR rámci rozložit šance sekvence do produktu podmíněných pravděpodobností. Trénink autoregresivního modelu zahrnuje optimalizaci modelu napříč datovým souborem, a tento optimalizační proces je známý jako next-token předpověď, a umožňuje trénovanému modelu generovat nové sekvence. Kromě toho, obrázky jsou 2D kontinuální signály z dědictví, a aplikovat autoregresivní modelovací přístup k obrázkům pomocí next-token předpovědního procesu má několik předpokladů. První, obrázek potřebuje být tokenizován do několika diskrétních tokenů. Obvykle, kvantizovaný autoencoder je implementován pro konverzi obrázku feature mapy do diskrétních tokenů. Druhý, 1D řád tokenů musí být definován pro unidirekcionální autoregresivní učení.

Tokeny obrázků v diskrétních tokenech jsou uspořádány v 2D mřížce, a na rozdíl od přirozených jazykových vět, které mají inherenty levou-pravou objednávku, řád tokenů obrázků musí být explicitně definován pro unidirekcionální autoregresivní učení. Předchozí autoregresivní přístupy zflatovaly 2D mřížku diskrétních tokenů do 1D sekvence pomocí metod, jako je řádková raster sken, z-curve nebo spirálový řád. Jakmile byly diskrétní tokeny zflatovány, AR modely extrahovaly sadu sekvencí z datového souboru, a poté trénovaly autoregresivní model pro maximalizaci pravděpodobnosti do produktu T podmíněných pravděpodobností pomocí next-token předpovědi.

Vizuální AutoRegressivní Modelování pomocí Předpovědi Další Škály

VAR rámec rekonceptualizuje autoregresivní modelování na obrázcích, přecházející z next-token předpovědi na next-škálovou předpověď, proces, pod kterým místo toho, aby byl jeden token, autoregresivní jednotka je celý token map. Model nejprve kvantizuje feature mapu do multi-škálových token map, každá s vyšším rozlišením než předchozí, a končí tak, aby odpovídala rozlišení původní feature mapy. Kromě toho, VAR rámec vyvíjí nový multi-škálový kvantizační encoder pro kódování obrázku do multi-škálových diskrétních token map, nezbytný pro VAR učení. VAR rámec zaměstnává stejnou architekturu jako VQGAN, ale s modifikovaným multi-škálovým kvantizačním vrstvem, s algoritmy demonstrovány v následující obrazovce.

Vizuální AutoRegressivní: Výsledky a Experimenty

VAR rámec používá vanilla VQVAE architekturu s multi-škálovým kvantizačním schématem s K extra konvolucí, a používá sdílenou kódbázi pro všechny škály a latentní dimenzi 32. Hlavní zaměření spočívá na VAR algoritmu, kvůli kterému je design modelové architektury jednoduchý, ale efektivní. Rámec přijímá architekturu standardního dekodéru-only transforméru podobného těm, které jsou implementovány v modelech GPT-2, s jediným rozdílem, že tradiční vrstva normalizace je nahrazena adaptivní normalizací nebo AdaLN. Pro třídě podmíněnou syntézu, VAR rámec implementuje třídě embeddings jako start token, a také podmínku adaptivní normalizační vrstvy.

Stav-Of-The-Art Výsledky Generace Obrázků

Když je srovnán s existujícími generativními rámci, včetně GAN nebo Generativních Adversativních Sítí, BERT-stylu maskovaných předpovědních modelů, difuzních modelů a GPT-styl autoregresivních modelů, Vizuální AutoRegressivní rámec prokazuje slibné výsledky shrnuté v následující tabulce.

Jak je vidět, Vizuální AutoRegressivní rámec nejenže překonává FID a IS skóre, ale také prokazuje pozoruhodnou rychlost generace obrázků, srovnatelnou se stávajícími modely. Kromě toho, VAR rámec také udržuje uspokojivé přesnosti a recall skóre, které potvrzují jeho sémantickou konzistenci. Ale skutečným překvapením je pozoruhodný výkon, který VAR rámec dodává na tradičních AR schopnostech úkolech, dělající ho prvním autoregresivním modelem, který překonal Difuzní Transformer model, jak je demonstrováno v následující tabulce.

Zero-Shot Úkol Generalizace Výsledek

Pro vymalování a vybarvení úkolech, VAR rámec teacher-forces ground truth tokeny mimo masku, a nechává model generovat pouze tokeny uvnitř masky, bez jakékoliv třídě embeddings informace injektované do modelu. Výsledky jsou demonstrovány v následující obrazovce, a jak je vidět, VAR model dosahuje přijatelných výsledků na downstream úkolech bez ladění parametrů nebo modifikace sítě, prokazujících generalizaci VAR rámce.

Závěrečné Myšlenky

V tomto článku, jsme mluvili o novém vizuálním generativním rámci nazvaném Vizuální AutoRegressivní modelování (VAR), který 1) teoreticky řeší některé problémy inherenty v standardních image autoregresivních (AR) modelech, a 2) dělá language-model-based AR modely první překonání silných difuzních modelů v termínech kvality obrázků, rozmanitosti, datové efektivity a rychlosti inference. Na jedné straně, tradiční autoregresivní modely vyžadují definovaný řád dat, zatímco na druhé straně, Vizuální AutoRegressivní nebo VAR model přehodnocuje, jak řádně uspořádat obrázek, a to je to, co odlišuje VAR od stávajících AR metod. Při škálování VAR na 2 miliardy parametrů, vývojáři VAR rámce pozorovali jasný power-law vztah mezi testovacím výkonem a modelovými parametry nebo tréninkovým výpočtem, s Pearsonovými koeficienty blížícími se −0,998, indikujícími robustní rámec pro předpověď výkonu. Tyto škálující zákony a možnost zero-shot úkol generalizace, jako znaky LLM, byly nyní inicializovaně ověřeny v našich VAR transformátorových modelech.