Les progrès récents et les avancées des grands modèles de langage ont connu une augmentation significative des capacités de raisonnement, de compréhension et d’interaction visuo-linguistiques. Les cadres modernes réalisent cela en projetant des signaux visuels dans les grands modèles de langage pour leur permettre d’interpréter visuellement le monde, un large éventail de scénarios qui reposent sur des stratégies d’encodage visuel. Cependant, les images du monde réel ne contiennent pas seulement une grande variété de scénarios, mais elles varient également considérablement en termes de résolutions et de rapports d’aspect, ce qui pose des défis importants pour les grands modèles de langage dans différents domaines et tâches. Pour relever la variance significative posée par les images du monde réel, les grands modèles de langage modernes perçoivent les images à basse résolution, c’est-à-dire 224×224, et à rapport d’aspect fixe, c’est-à-dire 1:1. Bien que ce compromis soit utile pour assurer la généralisabilité du grand modèle de langage dans les applications du monde réel, il entraîne souvent des images très floues et une distorsion de forme sévère. Cela réduit les capacités des grands modèles multi-modaux ou LMM, en particulier ceux optimisés pour les tâches à grain fin, comme la reconnaissance optique des caractères et la compréhension des petits objets. Puisque la résolution et le rapport d’aspect sont prédéfinis, les modèles ne peuvent que deviner les images floues, ce qui entraîne une hallucination du modèle, faisant que les réponses textuelles générées finales ne sont pas fondées sur les faits dans les images.

Dans cet article, nous allons parler de LLaVA-UHD, une approche novatrice qui prend d’abord les cadres LLaVA-1,5 et GPT-4V comme exemples représentatifs, et tente d’exposer les failles systémiques enracinées dans leur stratégie d’encodage visuel. Le cadre LLaVA-UHD, un modèle multi-modal, est une tentative pour relever les défis. Le cadre LLaVA-UHD peut percevoir des images à haute résolution ainsi qu’à n’importe quel rapport d’aspect. Le cadre LLaVA-UHD est construit autour de trois composants clés. Premièrement, une stratégie de modularisation d’images qui divise les images à résolution native en tranches de tailles variables pour améliorer l’efficacité et étendre l’encodage. Ensuite, un module de compression qui condense les jetons d’images produits par les encodeurs visuels. Enfin, un schéma spatial qui organise les jetons de tranches pour les grands modèles de langage. Des expériences complètes indiquent que le cadre LLaVA-UHD est capable de surpasser les grands modèles de langage de pointe sur 9 références. De plus, en utilisant seulement 94 % de calcul d’inférence, le cadre LLaVA-UHD est capable de prendre en charge des images avec une résolution 6 fois plus grande, c’est-à-dire 672×1088.

LLaVA-UHD : Percevoir efficacement les images dans n’importe quel rapport d’aspect et haute résolution

Le raisonnement, la compréhension et l’interaction visuo-linguistiques ont fait des progrès importants ces derniers temps, en grande partie grâce à la récente poussée des grands modèles de langage. Dans les cadres modernes, cela est réalisé en alimentant des signaux visuels dans les grands modèles de langage pour leur permettre d’interpréter visuellement le monde, un large éventail de scénarios qui reposent sur des stratégies d’encodage visuel. La différence de scénario reflète une couverture étroite des grands modèles de langage dans différents domaines et tâches, tandis que la différence de résolutions et de rapports d’aspect révèle les grandes variations intraclasses dans les images du monde réel, qui sont difficiles à gérer. Contrairement à la petite échelle qui réduit la variance, les modèles après BERT traitent de l’importance de la faible résolution (par exemple, pour LLaVA-UHD, il s’agit de 224×224) des images avec un rapport d’aspect fixe, 1:1, pour donner des images du monde réel. Bien que ce compromis soit utile pour assurer la généralisabilité du grand modèle de langage dans les applications du monde réel, il entraîne souvent des images très floues et une distorsion de forme sévère. Cela réduit les capacités des grands modèles multi-modaux ou LMM, en particulier ceux optimisés pour les tâches à grain fin, comme la reconnaissance optique des caractères et la compréhension des petits objets. Puisque la résolution et le rapport d’aspect sont prédéfinis, les modèles ne peuvent que deviner les images floues, ce qui entraîne une hallucination du modèle, faisant que les réponses textuelles générées finales ne sont pas fondées sur les faits dans les images. Pourquoi les modèles LMM de référence ne perçoivent-ils pas les images à haute résolution et à rapport d’aspect variable ?

Il y a deux raisons majeures pour lesquelles les modèles LMM de référence ne peuvent pas percevoir les images à haute résolution et à rapport d’aspect variable. Premièrement, puisque les encodeurs visuels sont formés à des résolutions fixes, il est difficile pour le modèle et l’encodeur de traiter les images avec des rapports d’aspect et des résolutions variables, ce qui affecte considérablement l’adaptabilité du modèle. Deuxièmement, l’encodage direct d’images à haute résolution à l’aide de transformateurs de vision est associé à des coûts de calcul importants en fonction de la taille des images. De plus, les coûts de calcul peuvent être considérablement plus élevés pour que le grand modèle de langage traite un grand nombre de jetons visuels pour les images à haute résolution, ce qui affecte considérablement l’efficacité globale du modèle. Pour relever ces défis, LLaVA-UHD, un grand modèle multi-modal qui perçoit les images à haute résolution et à n’importe quel rapport d’aspect, prend les cadres LLaVA-1,5 et GPT-4V comme exemples représentatifs, et tente d’exposer les failles systémiques enracinées dans leur stratégie d’encodage visuel.

L’image ci-dessus reflète les résultats expérimentaux de GPT-4V dans l’identification du nombre d’objets dans une image. Au cœur du cadre LLaVA-UHD, il y a trois composants. Premièrement, une stratégie de modularisation d’images qui divise les images à résolution native en tranches de tailles variables pour une codification extensible et efficace. Contrairement aux LLM récents qui adaptent les images à plusieurs résolutions et rapports d’aspect fixes, les tranches de tailles variables générées par le cadre LLaVA-UHD permettent une adaptabilité complète aux images à résolution native sans distorsion de forme, redimensionnement ou remplissage. Deuxièmement, le modèle condense les jetons visuels par une couche de compression pour une longueur modeste, ce qui réduit considérablement le calcul pour les LLM. Enfin, le modèle organise les jetons de tranches compressés dans un schéma spatial pour informer les positions de tranches dans les images au grand modèle de langage.

LLaVA-UHD : Méthodologie et Architecture

Sur la base des enseignements tirés de certaines expériences pilotes pour étudier les cadres existants, notamment GPT-4V et LLaVA-1,5, le cadre LLaVA-UHD met en œuvre une architecture à trois composants, comme le montre l’image suivante.

Premièrement, une stratégie de modularisation d’images qui divise les images à résolution native en tranches de tailles variables pour améliorer l’efficacité et étendre l’encodage. Ensuite, un module de compression qui condense les jetons d’images produits par les encodeurs visuels. Enfin, un schéma spatial qui organise les jetons de tranches pour les grands modèles de langage. Examinons ces composants en détail.

Encodage visuel modulaire

Une approche courante pour traiter les images à haute résolution et à rapport d’aspect variable consiste à interpoler les embeddings de position du transformateur de vision ou ViT à la forme cible pour un encodage direct dans son ensemble. Cependant, la mise en œuvre de cette approche est souvent accompagnée de coûts de calcul élevés, et les problèmes hors distribution entraînent une dégradation des performances. Pour relever ce défi, le cadre LLaVA-UHD présente une stratégie d’encodage visuel modulaire qui vise à diviser les images à résolution native en tranches de tailles variables, dont la forme de chaque tranche est proche de la configuration d’entraînement standard du transformateur de vision. Grâce à l’utilisation de tranches de tailles variables, le cadre LLaVA-UHD peut atteindre une adaptabilité complète aux images à résolution native sans mise en œuvre de réorganisation de forme ou de remplissage. De plus, l’objectif principal de la stratégie de découpage d’images est de déterminer une division des images à haute résolution avec des changements minimaux aux résolutions de chaque tranche. Pour une image donnée avec une certaine résolution (w, h) et un transformateur de vision formé à une autre résolution, le cadre LLaVA-UHD détermine d’abord le calcul idéal, c’est-à-dire le nombre de tranches nécessaires pour traiter l’image. Le cadre factorise ensuite le nombre de tranches en m colonnes et n lignes. Le cadre définit ensuite une fonction de score pour mesurer l’écart par rapport à la configuration d’entraînement standard du transformateur de vision. Théoriquement, le cadre LLaVA-UHD peut démontrer que la stratégie de partition mise en œuvre dans son architecture garantit des changements minimaux et modestes par rapport à la résolution d’entraînement standard pour chaque tranche.

De plus, la plupart des LLM existants mettent en œuvre une résolution statique pour l’encodage des tranches d’images, une approche qui empêche l’adaptabilité complète du modèle aux résolutions natives, car ils n’ont accès qu’à plusieurs tranches de formes fixes prédéfinies. De plus, la résolution de tranche statique nuit aux performances, à l’efficacité et à l’exactitude du modèle, car elle entraîne inévitablement une réorganisation de forme ou un remplissage. Pour relever ce défi, le cadre LLaVA-UHD propose d’encoder les tranches d’images dans le rapport d’aspect défini par la stratégie de partition. Plus précisément, le cadre LLaVA-UHD redimensionne d’abord l’image originale de manière proportionnelle en fonction du rapport d’aspect, de sorte que le nombre de patches soit dans le budget d’entraînement, c’est-à-dire le nombre de séquences d’embeddings de position dans le transformateur de vision, de manière maximale. Le modèle LLaVA-UHD reorganise ensuite la séquence d’embeddings de position 1D pré-entraînée du transformateur de vision dans un format 2D conformément à ses paramètres d’entraînement.

Couche de compression

Un problème courant que les LLM rencontrent lors du traitement des images à haute résolution est que la quantité de jetons visuels qu’ils doivent traiter est nettement plus élevée (par exemple, le cadre LLaVA-1,5 produit environ 3500 jetons visuels lors du traitement d’une seule image avec une résolution de 672×1008), ce qui représente une grande partie des ressources et des coûts de calcul. Pour relever ce défi, le modèle LLaVA-UHD met en œuvre une couche de rééchantillonneur de perceiver partagée pour compresser les jetons visuels de chaque tranche d’image. Le modèle met ensuite en œuvre un ensemble de vecteurs de requête via l’attention croisée pour rééchantillonner la sortie des jetons d’images par les encodeurs visuels à un nombre inférieur. Par rapport aux stratégies de projection visuelle basées sur les perceptrons multi-couches prévalents, l’approche de rééchantillonnage de perceiver mise en œuvre par LLaVA-UHD est capable de maintenir un nombre de jetons visuels abordable mais fixe, indépendamment de la résolution de l’image, ce qui rend le cadre LLaVA-UHD plus compatible avec les tâches de traitement et de compréhension d’images à haute résolution. Pour illustrer cela, le cadre LLaVA-UDH génère la même quantité de jetons lors de l’encodage d’une image avec une résolution de 672×1008 que le cadre LLaVA-1,5 génère lors de l’encodage d’une image avec une résolution de 336×336, soit environ 6 fois plus efficace que son concurrent.

Schéma spatial pour les tranches d’images

Il est nécessaire d’informer le grand modèle de langage de l’organisation spatiale des tranches d’images, car la partition des images est dynamique entre les différentes images. Le cadre LLaVA-UHD conçoit et met en œuvre un schéma spatial qui utilise deux jetons spéciaux pour informer le LLM de la position relative des tranches d’images. Selon ce schéma spatial, le cadre LLaVA-UHD utilise « , » pour séparer les représentations de tranches dans une ligne, et les différentes lignes sont séparées à l’aide d’un « n ».

LLaVA-UDH : Expériences et résultats

Le cadre LLaVA-UHD est évalué contre 9 références populaires, notamment des références de questions visuelles générales, des références de questions visuelles basées sur les caractères optiques, des références d’hallucination et des références complètes. De plus, le cadre LLaVA-UHD est comparé à des références solides, notamment LLaVA-1,5, MiniGPT-v2, InstructBLIP, BLIP-2 et plus.

Les performances du cadre LLaVA-UHD sur 9 références populaires sont résumées et comparées aux références populaires dans le tableau ci-dessous.

Sur la base des performances ci-dessus, il peut être conclu que le cadre LLaVA-UHD est capable de surpasser les modèles de référence solides sur des références populaires, notamment des références générales solides formées sur une quantité significativement plus grande de données, ainsi que de surpasser les LLM qui nécessitent une quantité significativement plus grande de calcul, comme Fuyu-8B, Monkey et plus. Deuxièmement, les résultats indiquent également que le cadre LLaVA-UHD obtient des résultats significativement meilleurs que l’architecture LLaVA-1,5, et d’une part, où LLaVA-1,5 prend en charge une résolution fixe de 336×336, le cadre LLaVA-UHD prend en charge des images avec une résolution de 672×1088 et n’importe quel rapport d’aspect, et le même nombre de jetons visuels.

Pensées finales

Dans cet article, nous avons parlé de LLaVA-UHD, une approche novatrice qui prend d’abord les cadres LLaVA-1,5 et GPT-4V comme exemples représentatifs, et tente d’exposer les failles systémiques enracinées dans leur stratégie d’encodage visuel. Le cadre LLaVA-UHD, un modèle multi-modal, est une tentative pour relever les défis. Le cadre LLaVA-UHD peut percevoir des images à haute résolution ainsi qu’à n’importe quel rapport d’aspect. Le cadre LLaVA-UHD est construit autour de trois composants clés. Premièrement, une stratégie de modularisation d’images qui divise les images à résolution native en tranches de tailles variables pour améliorer l’efficacité et étendre l’encodage. Ensuite, un module de compression qui condense les jetons d’images produits par les encodeurs visuels. Enfin, un schéma spatial qui organise les jetons de tranches pour les grands modèles de langage. Des expériences complètes indiquent que le cadre LLaVA-UHD est capable de surpasser les grands modèles de langage de pointe sur 9 références. De plus, en utilisant seulement 94 % de calcul d’inférence, le cadre LLaVA-UHD est capable de prendre en charge des images avec une résolution 6 fois plus grande, c’est-à-dire 672×1088.