La capacidad de interpretar con precisión la información visual compleja es un enfoque crucial de los modelos de lenguaje grande multimodal (MLLMs). Los trabajos recientes muestran que la percepción visual mejorada reduce significativamente las alucinaciones y mejora el rendimiento en tareas sensibles a la resolución, como el reconocimiento óptico de caracteres y el análisis de documentos. Varios MLLMs recientes logran esto utilizando una mezcla de codificadores de visión. A pesar de su éxito, hay una falta de comparaciones sistemáticas y estudios de ablation detallados que abordan aspectos críticos, como la selección de expertos y la integración de múltiples expertos en visión. Este artículo proporciona una exploración extensa del espacio de diseño para MLLMs utilizando una mezcla de codificadores de visión y resoluciones, el marco de Águila que intenta explorar el espacio de diseño para modelos de lenguaje grande multimodal con una mezcla de codificadores. Los hallazgos revelan varios principios subyacentes comunes a diversas estrategias existentes, lo que lleva a un enfoque de diseño simplificado pero eficaz. Águila descubre que simplemente concatenar tokens visuales de un conjunto de codificadores de visión complementarios es tan efectivo como arquitecturas de mezcla más complejas o estrategias. Además, Águila introduce el preajuste para bridar la brecha entre codificadores de visión enfocados y tokens de lenguaje, mejorando la coherencia del modelo. La familia resultante de MLLMs, Águila, supera a otros modelos de código abierto líderes en las principales pruebas de benchmarks de MLLM.

El trabajo de Águila está relacionado con el diseño general de la arquitectura de los modelos de lenguaje grande multimodal (MLLMs). Además de la línea de investigación de código abierto representativa mencionada anteriormente, otras familias notables de MLLMs incluyen, pero no se limitan a, MiniGPT-4, Lynx, Otter, QwenVL, CogVLM, VILA, GPT-4V, Gemini y Llama 3.1. Dependiendo de cómo se integran las señales de visión en el modelo de lenguaje, los MLLMs se pueden categorizar ampliamente en modelos de “atención entre modos” y modelos de “ajuste de prefijo”. El primero inyecta información visual en diferentes capas de LLMs utilizando la atención entre modos, mientras que el segundo trata los tokens visuales como parte de la secuencia de tokens de lenguaje y los apende directamente con incrustaciones de texto. El modelo de Águila pertenece a la familia de ajuste de prefijo siguiendo una arquitectura multimodal estilo LLaVA. Considerando que MLLM es un campo en rápido crecimiento, Águila recomienda referirse a estudios y encuestas más detallados para obtener más información.

El trabajo de Águila está estrechamente relacionado con la investigación centrada en mejorar los diseños de codificadores de visión para MLLMs. Los trabajos anteriores solían adoptar codificadores de visión preentrenados en tareas de alineación de visión-lenguaje como CLIP y EVA-CLIP. Codificadores de visión más fuertes, como SigLIP y InternVL, se han propuesto para mejorar las tareas de visión-lenguaje con mejores diseños, tamaños de modelo más grandes y recetas de entrenamiento más efectivas. Dado que los modelos a menudo se preentrenan en imágenes de baja resolución y pueden carecer de la capacidad de codificar detalles finos, la adaptación de resolución más alta se realiza con frecuencia para aumentar la resolución de entrada de MLLM. Además de la adaptación de resolución más alta, los modelos como LLaVA-NeXT, LLaVA-UHD, Monkey, InternLM-XComposer y InternVL utilizan mosaico o mosaico adaptativo para manejar la entrada de alta resolución, donde las imágenes se dividen en parches de baja resolución y se procesan por separado. Aunque la capacidad de manejar resoluciones más altas es posible al introducir expertos visuales adicionales, este enfoque difiere ligeramente de las técnicas de mosaico, aunque ambos son compatibles y se pueden combinar.

Águila: Utilizando una mezcla de codificadores para explorar el espacio de diseño para MLLMs

El éxito de los modelos de lenguaje grande (LLMs) ha generado un gran interés en habilitar sus capacidades de percepción visual, lo que les permite ver, entender y razonar en el mundo real. En el núcleo de estos modelos de lenguaje grande multimodal (MLLMs) se encuentra un diseño típico donde las imágenes se convierten en una serie de tokens visuales por los codificadores de visión y se apenden con las incrustaciones de texto. CLIP a menudo se elige como el codificador de visión porque su representación visual está alineada con el espacio de texto mediante el preentrenamiento en pares de imagen-texto. Dependiendo de las arquitecturas, las recetas de entrenamiento y la forma en que se inyectan los tokens visuales en el modelo de lenguaje, las familias notables de MLLMs incluyen Flamingo, BLIP, PaLI, PaLM-E y LLaVA. La mayoría de estos modelos mantienen resoluciones de entrada relativamente bajas debido a las limitaciones en los codificadores de visión preentrenados y la longitud de la secuencia de LLM. El trabajo de Águila está estrechamente alineado con los modelos que utilizan múltiples codificadores de visión para una mejor percepción. Mini-Gemini y LLaVA-HR proponen fusionar características visuales de alta resolución en tokens visuales de baja resolución. Más allá de los problemas de resolución, estos codificadores de visión preentrenados pueden carecer de capacidades específicas como leer texto o localizar objetos. Para abordar esto, varios modelos integran codificadores de visión preentrenados en diferentes tareas de visión para mejorar las capacidades del codificador de visión.

Por ejemplo, modelos como Mousi y Brave fusionan tokens visuales de diferentes codificadores de visión concatenándolos a lo largo del canal o la dirección del token. RADIO introduce un método de destilación de múltiples maestros para unificar las capacidades de diferentes codificadores de visión en un solo modelo. MoAI, IVE y Prismer utilizan la salida de expertos en visión, como OCR, detección o estimación de profundidad, para complementar información adicional para que los MLLMs generen respuestas. MoVA diseña una red de enrutamiento para asignar un modelo de visión óptimo basado en la imagen y las instrucciones dadas.

Estudios recientes han demostrado que los diseños de codificadores de visión más fuertes son importantes para reducir las alucinaciones de MLLM y mejorar el rendimiento en tareas sensibles a la resolución como el reconocimiento óptico de caracteres (OCR). Varios trabajos se centran en mejorar la capacidad del codificador de visión, ya sea escalando los datos de preentrenamiento y los parámetros o dividiendo las imágenes en parches de baja resolución. Sin embargo, estos enfoques a menudo introducen grandes demandas de recursos de entrenamiento. Una estrategia eficiente pero poderosa es mezclar codificadores visuales preentrenados con diferentes tareas y resoluciones de entrada, ya sea fusionando codificadores de resolución más alta con el codificador CLIP, apendiendo secuencialmente características de diferentes codificadores o adoptando estrategias de fusión y enrutamiento más complejas para maximizar los beneficios de los diferentes codificadores. Este enfoque de “mezcla de expertos en visión” ha demostrado ser eficaz, aunque todavía falta un estudio detallado de su espacio de diseño con ablation rigurosa, lo que motiva a Águila a revisitar esta área. Preguntas clave siguen siendo: ¿qué combinaciones de codificadores de visión elegir, cómo fusionar diferentes expertos y cómo ajustar las estrategias de entrenamiento con más codificadores de visión?

Para abordar estas preguntas, Águila investiga sistemáticamente el espacio de diseño de la mezcla de codificadores de visión para una mejor percepción de MLLM. La exploración de este espacio de diseño implica los siguientes pasos: 1) benchmarking varios codificadores de visión y búsqueda de adaptación de resolución más alta; 2) realizando una comparación “manzana con manzana” entre estrategias de fusión de codificadores de visión; 3) identificando progresivamente la combinación óptima de múltiples codificadores de visión; 4) mejorando el preajuste de expertos en visión y la mezcla de datos. Los pasos de exploración se ilustran en la siguiente imagen.

El estudio de Águila cubre el rendimiento de los codificadores de visión preentrenados en diferentes tareas y resoluciones, como alineación de visión-lenguaje, aprendizaje auto-supervisado, detección, segmentación y OCR. Utilizando un enfoque de “ruleta”, Águila comienza con el codificador de visión básico CLIP y agrega un experto adicional a la vez, seleccionando el experto que proporciona la mejor mejora en cada ronda.

Mientras que el trabajo de Águila no es el primero en aprovechar múltiples codificadores de visión en MLLMs, el estudio sistemático conduce a varios hallazgos clave en este contexto:

• Desbloquear los codificadores de visión durante el entrenamiento de MLLM es importante. Esto contrasta con modelos como LLaVA y otros que consideran múltiples codificadores de visión o maestros, donde congelar los codificadores de visión ha sido una práctica común.
• Algunas estrategias de fusión propuestas recientemente no muestran ventajas significativas. En cambio, la concatenación de canal directa emerge como una estrategia de fusión simple pero competitiva, ofreciendo la mejor eficiencia y rendimiento.
• Incorporar expertos en visión adicionales conduce a ganancias consistentes. Esto hace que sea un camino prometedor para mejorar sistemáticamente la percepción de MLLM, además de escalar los codificadores individuales. La mejora es particularmente pronunciada cuando los codificadores de visión se desbloquean.
• La etapa de preajuste es clave. Águila introduce una etapa de preajuste donde los expertos en visión no alineados con el texto se ajustan individualmente con un LLM congelado antes de ser entrenados juntos. Esta etapa mejora significativamente el rendimiento de MLLM bajo el diseño de mezcla de codificadores de visión.

Águila: Metodología y Arquitectura

A diferencia de los métodos anteriores que se centran en nuevos paradigmas de fusión o arquitecturas entre codificadores de visión, el objetivo de Águila es identificar un diseño minimalista para fusionar diferentes codificadores de visión, apoyado por ablation detallada y eliminando cualquier componente innecesario. Como se muestra en la siguiente figura, Águila comienza extendiendo el codificador de visión básico CLIP a un conjunto de expertos en visión con diferentes arquitecturas, tareas de preentrenamiento y resoluciones. Con estos expertos, Águila compara diferentes arquitecturas de fusión y métodos y explora cómo optimizar las estrategias de preentrenamiento con múltiples codificadores.

Finalmente, Águila combina todos los hallazgos y extiende el enfoque a múltiples expertos en visión con diferentes resoluciones y conocimientos de dominio. Utilizando los mismos datos de preentrenamiento que LLaVA-1.5, que consisten en 595k pares de imagen-texto, Águila pasa a la etapa de ajuste fino supervisado recopilando datos de una serie de tareas y convirtiéndolos en conversaciones multimodales, incluyendo LLaVA-1.5, Laion-GPT4V, ShareGPT-4V, DocVQA, synDog-EN, ChartQA, DVQA y AI2D, lo que resulta en 934k muestras.

El modelo se preentrena con pares de imagen-texto durante una época con un tamaño de lote de 256, donde el modelo completo se mantiene congelado y solo se actualiza la capa del proyector. En la segunda etapa, el modelo se ajusta fino en los datos de ajuste fino supervisado durante una época con un tamaño de lote de 128. Para esta exploración, Águila emplea Vicuna-7B como el modelo de lenguaje subyacente. Las tasas de aprendizaje se establecen en 1e-3 para la primera etapa y 2e-5 para la segunda etapa.

Codificador de visión CLIP más fuerte

Águila comienza la exploración con el modelo CLIP, ya que se ha convertido en la elección principal para muchos MLLMs. Aunque los modelos CLIP son conocidos por mejorar las tareas multimodales, sus limitaciones también han sido bien documentadas. Por ejemplo, muchos MLLMs existentes tienden a utilizar las resoluciones preentrenadas de CLIP (como 224 × 224 o 336 × 336) como sus resoluciones de entrada. En estos casos, los codificadores a menudo luchan por capturar detalles finos importantes para tareas sensibles a la resolución como OCR y comprensión de documentos.

Para manejar una resolución de entrada más alta, un enfoque común es el mosaico, donde las imágenes de entrada se dividen en mosaicos y se codifican por separado. Otro método más simple es escalar directamente la resolución de entrada y interpolar las incrustaciones de posición del modelo de transformador de visión si es necesario. Águila compara estos dos enfoques con codificadores de visión congelados y desbloqueados a través de diferentes resoluciones, con los resultados contenidos en la tabla anterior. Los hallazgos se pueden resumir de la siguiente manera:

• Desbloquear el codificador de visión CLIP conduce a una mejora significativa cuando se interpolan a una resolución de entrada de MLLM más alta que difiere de la resolución de preentrenamiento de CLIP, sin degradación del rendimiento cuando las resoluciones permanecen iguales.
• Congelar el codificador de visión CLIP y adaptarlo directamente a una resolución de entrada de MLLM más alta perjudica significativamente el rendimiento.
• Entre las estrategias comparadas, interpolar directamente a 448 × 448 con un codificador de visión CLIP desbloqueado resulta ser tanto efectivo como eficiente en términos de rendimiento y costo.
• El mejor codificador de visión CLIP logra un rendimiento cercano a InternVL, a pesar de ser un modelo mucho más pequeño (300M vs. 6B) con menos datos de preentrenamiento.

Es importante destacar que CLIP-448 permite a Águila igualar la configuración con LLaVA-HR y InternVL, donde los codificadores de visión CLIP se adaptan para tomar una entrada de 448 × 448 y producir 1024 tokens de parche. Para una mayor investigación, Águila sigue esta estrategia simple de escalar la resolución de entrada y desbloquear el codificador de visión durante el entrenamiento.

Águila observa que las estrategias de fusión populares existentes, a pesar de sus variaciones de diseño, se pueden categorizar ampliamente de la siguiente manera:

1. Apendice de secuencia: Apendiendo directamente los tokens visuales de diferentes troncos como una secuencia más larga.
2. Concatenación de canal: Concatenando los tokens visuales a lo largo de la dimensión del canal sin aumentar la longitud de la secuencia.
3. LLaVA-HR: Inyectando características de alta resolución en codificadores de visión de baja resolución utilizando un adaptador de mezcla de resolución.
4. Mini-Gemini: Utilizando los tokens de CLIP como consultas de baja resolución para atender a otro codificador de visión de alta resolución en ventanas locales co-localizadas.
5. Atención deformable: Una nueva línea de base introducida sobre Mini-Gemini, donde la atención de ventana estándar se reemplaza con atención deformable.

En lugar de entrenar un proyector para alinear simultáneamente múltiples expertos en visión como en la estrategia de preentrenamiento original de LLaVA, primero alineamos la representación de cada experto individual con un modelo de lenguaje más pequeño (Vicuna-7B en la práctica) utilizando la supervisión de predicción de token siguiente. Como se muestra en la figura a continuación, con el preajuste, el proceso de entrenamiento completo consta de tres pasos: 1) entrenar cada experto en visión preentrenado con su propio proyector en los datos de ajuste fino supervisado, manteniendo el modelo de lenguaje congelado; 2) combinar todos los expertos en visión del primer paso y entrenar solo el proyector con datos de pares de imagen-texto; 3) entrenar el modelo completo en los datos de ajuste fino supervisado.

Águila: Experimentos y Resultados

Después de desarrollar sistemáticamente sus estrategias, Águila ha establecido los siguientes principios para el modelo: (1) integrar más expertos en visión con una receta de entrenamiento optimizada; (2) combinar múltiples expertos en visión a través de la concatenación de canal directa; (3) preentrenar los expertos en visión por separado a través del preajuste. En esta sección, para demostrar aún más las ventajas de los modelos de Águila, se incorporan datos de entrenamiento adicionales y Águila se compara con los MLLMs actuales de estado del arte en varias tareas. Águila utiliza Vicuna-v1.5-7B, Llama3-8B y Vicuna-v1.5-13B como los modelos de lenguaje. Para los codificadores de visión, basándose en los resultados de la Sección 2.6, los modelos de Águila se denotan como Águila-X4, que incluye cuatro codificadores de visión: CLIP, ConvNeXt, Pix2Struct y EVA-02, y Águila-X5, que incluye un codificador de visión SAM adicional.

Tareas de Pregunta y Respuesta Visual

Águila compara la serie de modelos a través de tres benchmarks de Pregunta y Respuesta Visual (VQA), incluyendo GQA, VQAv2 y VizWiz. Como se muestra en la tabla a continuación, Águila-X5 logra un rendimiento de estado del arte en GQA y VQAv2, destacando las ventajas de incorporar expertos en visión adicionales.

Tareas de OCR y Comprensión de Gráficos

Para evaluar las capacidades de OCR, documento y comprensión de gráficos de Águila, el modelo se benchmarkea en OCRBench, TextVQA y ChartQA. Como se muestra en la tabla anterior, Águila supera significativamente a los competidores en TextVQA, beneficiándose de su arquitectura de alta resolución y la integración de diferentes codificadores de visión. Notablemente, Águila mantiene un diseño directo, soportando hasta 1024 tokens sin requerir una descomposición de mosaico compleja de imágenes.

La figura a continuación presenta ejemplos de casos de OCR y comprensión de documentos. Con la adaptación de alta resolución y la inclusión de más expertos en visión, Águila puede identificar texto pequeño dentro de las imágenes y extraer información con precisión según las instrucciones del usuario.

Para comprender mejor los beneficios de introducir expertos preentrenados en otras tareas de visión, la figura siguiente visualiza resultados de un modelo con solo los codificadores de visión ConvNeXt y CLIP, en comparación con los resultados de Águila-X5. Con el conjunto completo de codificadores de visión, el modelo corrige errores con éxito, demostrando que incluso cuando se equipa con codificadores de visión de alta resolución preentrenados en alineación de visión-lenguaje, las capacidades de Águila se mejoran aún más al integrar expertos en visión adicionales preentrenados en tareas de visión diversas.

Evaluación de Benchmark Multimodal

Águila se evalúa en siete benchmarks para MLLMs para demostrar sus capacidades desde diferentes perspectivas, incluyendo MME, MMBench, SEED, MathVista, MMMU, ScienceQA y POPE. En particular, MME, MMBench y SEED evalúan el rendimiento general en varias tareas del mundo real que involucran razonamiento, reconocimiento, conocimiento y OCR. MMMU se centra en problemas desafiantes de diversos dominios que requieren conocimiento de nivel universitario. POPE evalúa las alucinaciones visuales de los MLLMs. Las métricas utilizadas en esta evaluación se adhieren a la configuración predeterminada de estos benchmarks. Águila informa la puntuación de percepción para MME, la división en_dev para MMBench, la división de imagen para SEED, la división de prueba-mini para MathVista, la división de val para MMMU, la puntuación F1 para POPE y la puntuación de imagen para ScienceQA, asegurando la alineación con las puntuaciones informadas por otros modelos.

Pensamientos Finales

En este artículo, hemos hablado sobre Águila, un análisis en profundidad del espacio de diseño para integrar codificadores de visión en modelos de lenguaje grande multimodal. A diferencia de trabajos anteriores que se centran en diseñar nuevos paradigmas de fusión o arquitecturas entre codificadores de visión, Águila encuentra que las elecciones de diseño sistemáticas importan y descubre una serie de técnicas útiles. Paso a paso, Águila optimiza la receta de entrenamiento de los codificadores de visión individuales, identifica un método de fusión extendible y eficiente, y combina gradualmente los codificadores de visión con diferentes conocimientos de dominio. Los resultados resaltan la importancia crítica de consideraciones básicas del espacio de diseño.