L’avènement des modèles GPT, ainsi que d’autres modèles de langage autoregressifs ou AR, a marqué le début d’une nouvelle ère dans le domaine de l’apprentissage automatique et de l’intelligence artificielle. Les modèles GPT et autoregressifs présentent souvent une intelligence générale et une polyvalence considérées comme un grand pas vers l’intelligence artificielle générale ou AGI, malgré certains problèmes tels que les hallucinations. Cependant, le problème déroutant avec ces grands modèles est une stratégie d’apprentissage auto-supervisé qui permet au modèle de prédire le prochain jeton dans une séquence, une stratégie simple mais efficace. Des travaux récents ont démontré le succès de ces grands modèles autoregressifs, mettant en évidence leur généralisabilité et leur évolutivité. L’évolutivité est un exemple typique des lois de mise à l’échelle existantes qui permettent aux chercheurs de prédire les performances d’un grand modèle à partir des performances de modèles plus petits, ce qui entraîne une meilleure allocation des ressources. D’un autre côté, la généralisabilité est souvent démontrée par des stratégies d’apprentissage telles que l’apprentissage à zéro coup, à un coup et à quelques coups, mettant en évidence la capacité de modèles non supervisés mais formés à s’adapter à des tâches diverses et inconnues. Ensemble, la généralisabilité et l’évolutivité révèlent le potentiel des modèles autoregressifs pour apprendre à partir d’une grande quantité de données non étiquetées.

En nous appuyant sur cela, dans cet article, nous allons discuter du cadre Visual AutoRegressive ou VAR, un nouveau modèle de génération qui redéfinit l’apprentissage autoregressif sur les images en tant que prédiction de « prochaine résolution » ou « prochaine échelle ». Bien que simple, l’approche est efficace et permet aux transformateurs autoregressifs d’apprendre les distributions visuelles de meilleure manière, ainsi qu’une généralisabilité améliorée. De plus, les modèles Visual AutoRegressive permettent aux modèles autoregressifs de type GPT de surpasser les transferts de diffusion dans la génération d’images pour la première fois. Les expériences indiquent également que le cadre VAR améliore considérablement les modèles autoregressifs de base et surpasse le cadre de transfert de diffusion ou DiT dans plusieurs dimensions, notamment l’efficacité des données, la qualité des images, l’évolutivité et la vitesse d’inférence. De plus, la mise à l’échelle des modèles Visual AutoRegressive démontre des lois de mise à l’échelle de puissance similaires à celles observées avec les grands modèles de langage, et affiche également une capacité de généralisation à zéro coup dans les tâches en aval, notamment l’édition, la peinture et la peinture en dehors.

Cet article vise à couvrir en profondeur le cadre Visual AutoRegressive, et nous explorons le mécanisme, la méthodologie, l’architecture du cadre ainsi que sa comparaison avec les cadres de l’état de l’art. Nous allons également discuter de la manière dont le cadre Visual AutoRegressive démontre deux propriétés importantes des LLM : les lois de mise à l’échelle et la généralisation à zéro coup. Alors, commençons.

Modélisation AutoRegressive Visuelle : Génération d’Images Évolutives

Un modèle commun parmi les récents grands modèles de langage est la mise en œuvre d’une stratégie d’apprentissage auto-supervisé, une approche simple mais efficace qui prédit le prochain jeton dans la séquence. Grâce à cette approche, les modèles autoregressifs et les grands modèles de langage ont aujourd’hui démontré une remarquable évolutivité ainsi qu’une généralisabilité, des propriétés qui révèlent le potentiel des modèles autoregressifs pour apprendre à partir d’une grande quantité de données non étiquetées, résumant ainsi l’essence de l’intelligence artificielle générale. De plus, les chercheurs dans le domaine de la vision par ordinateur ont travaillé en parallèle pour développer de grands modèles autoregressifs ou des modèles mondiaux avec pour objectif de correspondre ou de surpasser leur évolutivité et leur généralisabilité impressionnantes, avec des modèles tels que DALL-E et VQGAN qui démontrent déjà le potentiel des modèles autoregressifs dans le domaine de la génération d’images. Ces modèles mettent souvent en œuvre un tokenizeur visuel qui représente ou approxime des images continues en un réseau de jetons 2D, qui sont ensuite aplaties en une séquence 1D pour l’apprentissage autoregressif, mirroring ainsi le processus de modélisation de langage séquentiel.

Cependant, les chercheurs n’ont pas encore exploré les lois de mise à l’échelle de ces modèles, et ce qui est plus frustrant est le fait que les performances de ces modèles sont souvent inférieures à celles des modèles de diffusion d’une marge significative, comme le démontre l’image suivante. L’écart de performance indique que, par rapport aux grands modèles de langage, les capacités des modèles autoregressifs en vision par ordinateur sont sous-explorées.

D’une part, les modèles autoregressifs traditionnels nécessitent un ordre de données défini, tandis que d’autre part, le modèle Visual AutoRegressive ou VAR réévalue la manière d’ordonner une image, et c’est ce qui distingue le VAR des méthodes AR existantes. Typiquement, les humains créent ou perçoivent une image de manière hiérarchique, capturant la structure globale suivie des détails locaux, une approche multi-échelle, grossière à fine qui suggère un ordre naturel pour l’image. De plus, en s’inspirant des conceptions multi-échelles, le cadre VAR définit l’apprentissage autoregressif pour les images en tant que prédiction d’échelle suivante, et non en tant que prédiction de jeton suivant. L’approche mise en œuvre par le cadre VAR commence par encoder une image en cartes de jetons multi-échelles. Le cadre commence ensuite le processus autoregressif à partir de la carte de jetons 1×1, et s’étend en résolution de manière progressive. À chaque étape, le transformateur prédit la carte de jetons de résolution supérieure suivante, conditionnée à toutes les précédentes, une méthodologie que le cadre VAR appelle modélisation VAR.

Le cadre VAR tente de tirer parti de l’architecture du transformateur de GPT-2 pour l’apprentissage autoregressif visuel, et les résultats sont évidents sur le benchmark ImageNet où le modèle VAR améliore considérablement sa base AR, atteignant un FID de 1,80 et un score d’inception de 356, ainsi qu’une amélioration de 20 fois de la vitesse d’inférence. Ce qui est plus intéressant est que le cadre VAR parvient à surpasser les performances du cadre de transfert de diffusion ou DiT en termes de scores FID et IS, d’évolutivité, de vitesse d’inférence et d’efficacité des données. De plus, le modèle Visual AutoRegressive présente des lois de mise à l’échelle de puissance similaires à celles observées dans les grands modèles de langage.

Pour résumer, le cadre VAR tente de faire les contributions suivantes.

1. Il propose un nouveau cadre de génération visuelle qui utilise une approche autoregressive multi-échelle avec prédiction d’échelle suivante, contrairement à la prédiction de jeton suivant traditionnelle, aboutissant à la conception de l’algorithme autoregressif pour les tâches de vision par ordinateur.
2. Il tente de valider les lois de mise à l’échelle pour les modèles autoregressifs ainsi que le potentiel de généralisation à zéro coup qui imite les propriétés attrayantes des LLM.
3. Il offre une avancée dans les performances des modèles autoregressifs visuels, permettant aux cadres autoregressifs de type GPT de surpasser les modèles de diffusion existants dans les tâches de synthèse d’images pour la première fois.

De plus, il est également vital de discuter des lois de mise à l’échelle de puissance existantes qui décrivent mathématiquement la relation entre les tailles de données, les paramètres de modèle, les améliorations de performance et les ressources de calcul des modèles d’apprentissage automatique. Premièrement, ces lois de mise à l’échelle de puissance facilitent l’application des performances d’un grand modèle en mettant à l’échelle la taille du modèle, le coût de calcul et la taille des données, ce qui économise des coûts inutiles et alloue le budget de formation en fournissant des principes. Deuxièmement, les lois de mise à l’échelle ont démontré une augmentation constante et non saturante des performances. En avançant avec les principes des lois de mise à l’échelle dans les modèles de langage neuronal, plusieurs LLM incorporent le principe selon lequel l’augmentation de la taille des modèles tend à améliorer les résultats de performance. La généralisation à zéro coup, d’un autre côté, fait référence à la capacité d’un modèle, en particulier d’un LLM, à effectuer des tâches sur lesquelles il n’a pas été formé explicitement. Dans le domaine de la vision par ordinateur, l’intérêt pour construire des capacités d’apprentissage à zéro coup et d’apprentissage en contexte des modèles de base.

Les modèles de langage reposent sur des algorithmes WordPiece ou des approches de codage par paires de bytes pour la tokenisation du texte. Les modèles de génération visuelle basés sur les modèles de langage reposent également fortement sur le codage des images 2D en séquences de jetons 1D. Les premiers travaux comme VQVAE ont démontré la capacité de représenter des images en tant que jetons discrets avec une qualité de reconstruction modérée. Le successeur de VQVAE, le cadre VQGAN, a incorporé des pertes perceptuelles et adverses pour améliorer la fidélité des images, et a également employé un transformateur décodeur-seulement pour générer des jetons d’images dans un mode autoregressif standard de balayage de raster. Les modèles de diffusion, d’un autre côté, ont longtemps été considérés comme les leaders pour les tâches de synthèse visuelle en raison de leur diversité et de leur qualité de génération supérieure. L’avancement des modèles de diffusion a été centré sur l’amélioration des techniques d’échantillonnage, les améliorations architecturales et l’échantillonnage plus rapide. Les modèles de diffusion latente appliquent la diffusion dans l’espace latent, ce qui améliore l’efficacité de formation et d’inférence. Les modèles de transformateur de diffusion remplacent l’architecture U-Net traditionnelle par une architecture basée sur le transformateur, et ont été déployés dans les modèles récents de synthèse d’images ou de vidéos comme SORA et Stable Diffusion.

Visual AutoRegressive : Méthodologie et Architecture

Au cœur du cadre VAR, il y a deux étapes de formation distinctes. Dans la première étape, un auto-encodeur quantifié multi-échelle ou VQVAE encode une image en cartes de jetons, et une perte de reconstruction composée est mise en œuvre pour la formation. Dans l’image ci-dessus, l’incrustation est un mot utilisé pour définir la conversion de jetons discrets en vecteurs d’incrustation continus. Dans la deuxième étape, le transformateur dans le modèle VAR est formé en minimisant la perte d’entropie croisée ou en maximisant la probabilité à l’aide de l’approche de prédiction d’échelle suivante. Le VQVAE formé produit ensuite la carte de jetons de vérité pour le cadre VAR.

Modélisation Autoregressive via Prédiction de Jeton Suivant

Pour une séquence donnée de jetons discrets, où chaque jeton est un entier d’un vocabulaire de taille V, le modèle autoregressif de prédiction de jeton suivant suppose que la probabilité d’observer le jeton actuel dépend uniquement de son préfixe. En supposant une dépendance de jeton unidirectionnelle, le cadre VAR peut décomposer la probabilité de la séquence en le produit de probabilités conditionnelles. La formation d’un modèle autoregressif implique l’optimisation du modèle sur un ensemble de données, et ce processus d’optimisation est connu sous le nom de prédiction de jeton suivant, et permet au modèle formé de générer de nouvelles séquences. De plus, les images sont des signaux continus 2D par héritage, et pour appliquer l’approche de modélisation autoregressive aux images via le processus d’optimisation de prédiction de jeton suivant, il y a quelques prérequis. Premièrement, l’image doit être tokenisée en plusieurs jetons discrets. Habituellement, un auto-encodeur quantifié est mis en œuvre pour convertir la carte de fonctionnalités de l’image en jetons discrets. Deuxièmement, un ordre 1D de jetons doit être défini pour la modélisation autoregressive unidirectionnelle.

Les jetons d’images en jetons discrets sont disposés dans une grille 2D, et contrairement aux phrases de langage naturel qui ont naturellement un ordre de gauche à droite, l’ordre des jetons d’images doit être explicitement défini pour la modélisation autoregressive unidirectionnelle. Les approches autoregressives antérieures ont aplaties la grille 2D de jetons discrets en une séquence 1D en utilisant des méthodes telles que le balayage de raster par ligne majeure, la courbe en z ou l’ordre en spirale. Une fois les jetons discrets aplaties, les modèles AR ont extrait un ensemble de séquences à partir de l’ensemble de données, puis ont formé un modèle autoregressif pour maximiser la probabilité dans le produit de T probabilités conditionnelles en utilisant la prédiction de jeton suivant.

Modélisation AutoRegressive Visuelle via Prédiction d’Échelle Suivante

Le cadre VAR reconceptualise la modélisation autoregressive sur les images en passant de la prédiction de jeton suivant à la prédiction d’échelle suivante, un processus dans lequel, au lieu d’être un seul jeton, l’unité autoregressive est une carte de jetons entière. Le modèle quantifie d’abord la carte de fonctionnalités en cartes de jetons multi-échelles, chacune avec une résolution supérieure à la précédente, et se termine par une résolution qui correspond à celle de la carte de fonctionnalités d’origine. De plus, le cadre VAR développe un nouvel encodeur de quantification multi-échelle pour encoder une image en cartes de jetons discrets multi-échelles, nécessaires pour l’apprentissage VAR. Le cadre VAR utilise la même architecture que VQGAN, mais avec une couche de quantification multi-échelle modifiée, avec les algorithmes démontrés dans l’image suivante.

Visual AutoRegressive : Résultats et Expériences

Le cadre VAR utilise l’architecture VQVAE vanille avec un schéma de quantification multi-échelle avec K convolution supplémentaire, et utilise un codebook partagé pour toutes les échelles et une dimension latente de 32. L’accent principal est mis sur l’algorithme VAR, ce qui fait que la conception de l’architecture du modèle est maintenue simple mais efficace. Le cadre adopte l’architecture d’un transformateur décodeur-seulement standard similaire à celui mis en œuvre sur les modèles GPT-2, avec la seule modification étant le remplacement de la normalisation de couche traditionnelle par une normalisation adaptative ou AdaLN. Pour la synthèse conditionnelle de classe, le cadre VAR met en œuvre les incrustations de classe en tant que jeton de début, ainsi que la condition de la couche de normalisation adaptative.

Résultats de Génération d’Images de l’État de l’Art

Lorsqu’il est associé à des cadres de génération existants, notamment les GAN ou les réseaux antagonistes génératifs, les modèles de prédiction masquée de type BERT, les modèles de diffusion et les modèles autoregressifs de type GPT, le cadre Visual AutoRegressive montre des résultats prometteurs résumés dans le tableau suivant.

Comme on peut l’observer, le cadre Visual AutoRegressive n’est pas seulement capable de surpasser les scores FID et IS, mais il démontre également une vitesse de génération d’images remarquable, comparable aux modèles de l’état de l’art. De plus, le cadre VAR maintient également des scores de précision et de rappel satisfaisants, ce qui confirme sa cohérence sémantique. Mais la véritable surprise est la performance remarquable livrée par le cadre VAR sur les tâches traditionnelles de capacités AR, ce qui en fait le premier modèle autoregressif à surpasser un modèle de transformateur de diffusion, comme le démontre le tableau suivant.

Résultat de Généralisation de Tâche à Zéro Coup

Pour les tâches de peinture et de peinture en dehors, le cadre VAR force les jetons de vérité à l’extérieur du masque, et laisse le modèle générer uniquement les jetons à l’intérieur du masque, sans injecter d’informations d’étiquette de classe dans le modèle. Les résultats sont démontrés dans l’image suivante, et comme on peut le voir, le modèle VAR atteint des résultats acceptables sur les tâches en aval sans ajuster les paramètres ou modifier l’architecture du réseau, démontrant ainsi la généralisabilité du cadre VAR.

Pensées Finales

Dans cet article, nous avons discuté d’un nouveau cadre de génération visuelle appelé Visual AutoRegressive, qui 1) aborde théoriquement certains problèmes inhérents aux modèles AR d’image standard, et 2) permet aux modèles AR de type GPT de surpasser les modèles de diffusion existants en termes de qualité d’image, de diversité, d’efficacité des données et de vitesse d’inférence. D’une part, les modèles autoregressifs traditionnels nécessitent un ordre de données défini, tandis que d’autre part, le modèle Visual AutoRegressive ou VAR réévalue la manière d’ordonner une image, et c’est ce qui distingue le VAR des méthodes AR existantes. Lorsque le VAR est mis à l’échelle à 2 milliards de paramètres, les développeurs du cadre VAR ont observé une relation de puissance claire entre les performances de test et les paramètres du modèle ou le calcul de formation, avec des coefficients de Pearson approchant −0,998, indiquant un cadre robuste pour la prédiction des performances. Ces lois de mise à l’échelle et la possibilité de généralisation à zéro coup, en tant que caractéristiques des LLM, ont maintenant été vérifiées initialement dans nos modèles de transformateur VAR.