Los avances en los modelos de lenguaje grande han acelerado significativamente el desarrollo del procesamiento de lenguaje natural, o NLP. La introducción del marco de transformador resultó ser un hito, facilitando el desarrollo de una nueva ola de modelos de lenguaje, incluidos OPT y BERT, que exhiben una profunda comprensión lingüística. Además, la creación de GPT, o modelos de transformador preentrenados generativos, introdujo un nuevo paradigma con modelado autoregresivo y estableció un método robusto para la predicción y generación de lenguaje. La aparición de modelos de lenguaje como GPT-4, ChatGPT, Mixtral, LLaMA y otros ha impulsado aún más la evolución rápida, con cada modelo demostrando un rendimiento mejorado en tareas que involucran procesamiento de lenguaje complejo. Entre los métodos existentes, el ajuste de instrucciones ha surgido como una técnica clave para refinar la salida de los modelos de lenguaje grande preentrenados, y la integración de estos modelos con herramientas específicas para tareas visuales ha destacado su adaptabilidad y ha abierto puertas para aplicaciones futuras. Estas se extienden mucho más allá del procesamiento de texto tradicional de los LLM para incluir interacciones multimodales.

Además, la convergencia del procesamiento de lenguaje natural y los modelos de visión ha dado lugar a los modelos de lenguaje de visión, o VLM, que combinan modelos lingüísticos y de visión para lograr una comprensión y razonamiento transmodales. La integración y aparición de modelos visuales y lingüísticos han desempeñado un papel crucial en el avance de tareas que requieren tanto procesamiento de lenguaje como comprensión visual. La aparición de modelos revolucionarios como CLIP ha cerrado aún más la brecha entre tareas de visión y modelos de lenguaje, demostrando la factibilidad y practicidad de aplicaciones transmodales. Marcos más recientes como LLaMA y BLIP aprovechan datos de instrucción personalizados para diseñar estrategias eficientes que demuestran las capacidades potentes del modelo. Además, combinar modelos de lenguaje grande con salidas de imagen es el enfoque de la investigación multimodal reciente, con métodos recientes que pueden omitir la generación directa al utilizar el enfoque de recuperación de imágenes para producir salidas de imagen y texto intercalado.

Con eso dicho, y a pesar de los avances rápidos en los modelos de lenguaje de visión que facilitan el razonamiento y el diálogo visual básico, todavía existe una brecha de rendimiento significativa entre modelos avanzados como GPT-4 y los modelos de lenguaje de visión. Mini-Gemini es un intento de reducir la brecha que existe entre los modelos de lenguaje de visión y modelos más avanzados al explotar el potencial de los VLM para un mejor rendimiento desde tres aspectos: generación guiada por VLM, datos de alta calidad y tokens visuales de alta resolución. Para mejorar los tokens visuales, el marco de trabajo Mini-Gemini propone utilizar un codificador visual adicional para la refinación de alta resolución sin aumentar la cantidad de tokens visuales. El marco de trabajo Mini-Gemini también construye un conjunto de datos de alta calidad con el fin de promover la comprensión precisa de las imágenes y la generación basada en razonamiento. En general, el marco de trabajo Mini-Gemini intenta explotar el potencial de los modelos de lenguaje de visión y apunta a empoderar a los marcos de trabajo existentes con capacidades de razonamiento de imagen, comprensión y generación simultáneamente. Este artículo tiene como objetivo cubrir el marco de trabajo Mini-Gemini en profundidad, y exploramos el mecanismo, la metodología, la arquitectura del marco de trabajo junto con su comparación con marcos de trabajo del estado del arte. Así que comencemos.

Mini-Gemini: Acelerando los Modelos de Lenguaje de Visión Multimodal

A lo largo de los años, los modelos de lenguaje grande han evolucionado, y ahora se jactan de capacidades multimodales notables, y se están convirtiendo en una parte esencial de los actuales modelos de lenguaje de visión. Sin embargo, existe una brecha entre el rendimiento multimodal de los modelos de lenguaje grande y los modelos de lenguaje de visión, con investigaciones recientes que buscan formas de combinar la visión con los modelos de lenguaje grande utilizando imágenes y videos. Para las tareas de visión en sí, la resolución de la imagen es un elemento crucial para describir explícitamente el entorno circundante con alucinaciones visuales mínimas. Para cerrar la brecha, los investigadores están desarrollando modelos para mejorar la comprensión visual en los actuales modelos de lenguaje de visión, y dos de los enfoques más comunes son: aumentar la resolución y aumentar la cantidad de tokens visuales. Aunque aumentar la cantidad de tokens visuales con imágenes de alta resolución mejora la comprensión visual, el impulso suele estar acompañado de requisitos computacionales aumentados y costos asociados, especialmente al procesar múltiples imágenes. Además, las capacidades de los modelos existentes, la calidad de los datos existentes y la aplicabilidad siguen siendo inadecuadas para un proceso de desarrollo acelerado, lo que deja a los investigadores con la pregunta, “¿cómo acelerar el desarrollo de los modelos de lenguaje de visión con costos aceptables”?”?

El marco de trabajo Mini-Gemini es un intento de responder a la pregunta, ya que intenta explorar el potencial de los modelos de lenguaje de visión desde tres aspectos: generación guiada por VLM o aplicaciones expandidas, datos de alta calidad y tokens visuales de alta resolución. Primero, el marco de trabajo Mini-Gemini implementa una arquitectura ConvNet para generar candidatos de alta resolución de manera eficiente, mejorando los detalles visuales mientras mantiene la cantidad de tokens visuales para el modelo de lenguaje grande. El marco de trabajo Mini-Gemini combina conjuntos de datos de alta calidad disponibles públicamente con el fin de mejorar la calidad de los datos, e integra estas mejoras con modelos generativos y de lenguaje grande del estado del arte con el fin de mejorar el rendimiento de los VLM y mejorar la experiencia del usuario. La estrategia multifacética implementada por el marco de trabajo Mini-Gemini le permite explorar capacidades ocultas de los modelos de lenguaje de visión y logra avances significativos con restricciones de recursos evidentes.

En general, el marco de trabajo Mini-Gemini emplea un paradigma de cualquier a cualquier, ya que es capaz de manejar tanto texto como imágenes como entrada y salida. En particular, el marco de trabajo Mini-Gemini introduce una tubería eficiente para mejorar los tokens visuales para las imágenes de entrada, y cuenta con un sistema de codificador dual que comprende dos codificadores: el primer codificador es para imágenes de alta resolución, mientras que el segundo codificador es para incrustaciones visuales de baja calidad. Durante la inferencia, los codificadores funcionan en un mecanismo de atención, donde el codificador de baja resolución genera consultas visuales, mientras que el codificador de alta resolución proporciona claves y valores de referencia. Para aumentar la calidad de los datos, el marco de trabajo Mini-Gemini recopila y produce más datos basados en recursos públicos, incluidas instrucciones orientadas a tareas, datos relacionados con la generación y respuestas de alta resolución, con la cantidad y calidad aumentadas que mejoran el rendimiento y las capacidades generales del modelo. Además, el marco de trabajo Mini-Gemini admite la generación concurrente de texto e imagen como resultado de la integración del modelo de lenguaje de visión con modelos generativos avanzados.

Mini-Gemini: Metodología y Arquitectura

En su núcleo, el marco de trabajo Mini-Gemini es conceptualmente simple y se compone de tres componentes.

1. El marco de trabajo emplea codificadores de visión duales para proporcionar incrustaciones visuales de baja resolución y candidatos de alta resolución.
2. El marco de trabajo propone implementar la minería de información de parches para realizar la minería a nivel de parche entre consultas visuales de baja resolución y regiones de alta resolución.
3. El marco de trabajo Mini-Gemini utiliza un modelo de lenguaje grande para combinar texto con imágenes para la generación y la comprensión simultáneamente.

Codificadores de Visión Dual

El marco de trabajo Mini-Gemini puede procesar tanto entradas de texto como de imagen, con la opción de manejarlas individualmente o en combinación. Como se demuestra en la siguiente imagen, el marco de trabajo Mini-Gemini comienza el proceso empleando la interpolación bilineal para generar una imagen de baja resolución a partir de su imagen de alta resolución correspondiente.

Luego, el marco de trabajo procesa estas imágenes y las codifica en una incrustación visual multi-grilla en dos flujos de imagen paralelos. Más específicamente, el marco de trabajo Mini-Gemini mantiene la tubería tradicional para los flujos de baja resolución y emplea un codificador de transformador visual preentrenado con CLIP para codificar las incrustaciones visuales, lo que permite al modelo conservar la relación a largo plazo entre parches visuales para interacciones posteriores en los modelos de lenguaje grande. Para los flujos de alta resolución, el marco de trabajo Mini-Gemini adopta el codificador basado en CNN o Redes Neuronales Convolucionales para el procesamiento de imágenes de alta resolución adaptativo y eficiente.

Minería de Información de Parches

Con los codificadores de visión dual generando las incrustaciones de baja resolución y las características de alta resolución, el marco de trabajo Mini-Gemini propone implementar la minería de información de parches con el objetivo de ampliar el potencial de los modelos de lenguaje de visión con tokens visuales mejorados. Para mantener la cantidad de tokens visuales para la eficiencia en los modelos de lenguaje grande, el marco de trabajo Mini-Gemini toma las incrustaciones visuales de baja resolución como la consulta, y apunta a recuperar pistas visuales relevantes de los candidatos de características de alta resolución, con el marco de trabajo tomando el mapa de características de alta resolución como la clave y el valor.

Como se demuestra en la imagen anterior, la fórmula encapsula el proceso de refinar y sintetizar pistas visuales, lo que conduce a la generación de tokens visuales avanzados para el procesamiento posterior del modelo de lenguaje grande. El proceso garantiza que el marco de trabajo pueda confinar la minería para cada consulta a su región de sub correspondiente en el mapa de características de alta resolución con la cuenta de características de píxel, lo que resulta en una mayor eficiencia. Debido a este diseño, el marco de trabajo Mini-Gemini puede extraer los detalles de las características de alta resolución sin aumentar la cantidad de tokens visuales, y mantiene un equilibrio entre la factibilidad computacional y la riqueza de detalles.

Generación de Texto e Imagen

El marco de trabajo Mini-Gemini concatena los tokens visuales y los tokens de texto de entrada como la entrada para los modelos de lenguaje grande para la generación autoregresiva. A diferencia de los modelos de lenguaje de visión tradicionales, el marco de trabajo Mini-Gemini admite la generación de solo texto y texto-imagen como entrada y salida, es decir, cualquier inferencia a cualquier, y es el resultado de las capacidades de comprensión y razonamiento de imagen-texto sobresalientes, el Mini-Gemini puede generar imágenes de alta calidad. A diferencia de los trabajos recientes que se centran en la brecha de dominio entre las incrustaciones de texto de los modelos de generación y los modelos de lenguaje grande, el marco de trabajo Mini-Gemini intenta optimizar la brecha en el dominio de las instrucciones de lenguaje al traducir las instrucciones del usuario a instrucciones de alta calidad que producen imágenes relevantes en el contexto en los modelos de difusión latente. Además, para una mejor comprensión del ajuste de instrucciones y la alineación transmodal, el marco de trabajo Mini-Gemini recopila muestras de conjuntos de datos de alta calidad disponibles públicamente, y utiliza el marco de trabajo GPT-4 turbo para construir aún más un conjunto de datos de seguimiento de instrucciones de 13K para apoyar la generación de imágenes.

Mini-Gemini: Experimentos y Resultados

Para evaluar su rendimiento, el marco de trabajo Mini-Gemini se instancia con el marco de trabajo ConvNext-L preentrenado para el codificador de visión de alta resolución, y con un codificador de transformador visual preentrenado con CLIP para el codificador de visión de baja resolución. Para garantizar la eficiencia del entrenamiento, el marco de trabajo Mini-Gemini mantiene los dos codificadores de visión fijos, y optimiza los proyectores de la minería de información de parches en todas las etapas, y optimiza el modelo de lenguaje grande durante la etapa de ajuste de instrucciones en sí.

La siguiente tabla compara el rendimiento del marco de trabajo Mini-Gemini con los modelos del estado del arte en diferentes configuraciones, y también considera los modelos privados. Como se puede observar, el Mini-Gemini supera a los marcos de trabajo existentes en una amplia gama de LLM de manera consistente a resolución normal, y demuestra un rendimiento superior cuando se configura con el Gemma-2B en la categoría de modelos eficientes. Además, cuando se emplean modelos de lenguaje grande más grandes, la escalabilidad del marco de trabajo Mini-Gemini es evidente.

Para evaluar su rendimiento en alta resolución y tokens visuales extendidos, los experimentos se realizan con un tamaño de entrada de 672 para el codificador de visión de baja resolución, y 1536 para el codificador visual. Como se mencionó anteriormente, el propósito principal del codificador visual de alta resolución es ofrecer información de candidatos de alta resolución. Como se puede observar, el marco de trabajo Mini-Gemini entrega un rendimiento superior cuando se compara con los marcos de trabajo del estado del arte.

Además, para evaluar la comprensión visual del marco de trabajo Mini-Gemini en entornos del mundo real, los desarrolladores aplican el modelo a una variedad de tareas de razonamiento y comprensión como se demuestra en la siguiente imagen. Como se puede observar, el marco de trabajo Mini-Gemini es capaz de resolver una amplia gama de tareas complejas gracias a la implementación de la minería de información de parches y los datos de alta calidad. Pero lo que es más impresionante es el hecho de que el marco de trabajo Mini-Gemini demuestra una adición aguda a los detalles que se extiende más allá de la simple capacidad de reconocimiento, y describe elementos intrincados de manera intrincada.

La siguiente figura proporciona una evaluación integral de las capacidades generativas del marco de trabajo Mini-Gemini.

Al compararlo con modelos recientes como ChatIllusion y AnyGPT, el marco de trabajo Mini-Gemini demuestra capacidades de comprensión multimodal más fuertes, lo que le permite generar capturas de texto a imagen que se alinean mejor con las instrucciones de entrada, y resulta en respuestas de imagen a texto con una mayor similitud conceptual. Lo que es más impresionante es el hecho de que el marco de trabajo Mini-Gemini demuestra una notable habilidad para generar contenido de alta calidad utilizando instrucciones multimodales humanas solo con datos de entrenamiento de texto, una capacidad que ilustra las sólidas habilidades de interpretación semántica y alineación de imagen-texto del Mini-Gemini.

Pensamientos Finales

En este artículo, hemos hablado sobre Mini-Gemini, un marco de trabajo potente y simplificado para los modelos de lenguaje de visión multimodal. El objetivo principal del marco de trabajo Mini-Gemini es aprovechar las capacidades latentes de los modelos de lenguaje de visión utilizando datos de alta calidad, un diseño estratégico del marco de trabajo y un alcance funcional expandido. Mini-Gemini es un intento de reducir la brecha que existe entre los modelos de lenguaje de visión y los modelos más avanzados al explotar el potencial de los VLM para un mejor rendimiento desde tres aspectos: generación guiada por VLM, datos de alta calidad y tokens visuales de alta resolución. Para mejorar los tokens visuales, el marco de trabajo Mini-Gemini propone utilizar un codificador visual adicional para la refinación de alta resolución sin aumentar la cantidad de tokens visuales. El marco de trabajo Mini-Gemini también construye un conjunto de datos de alta calidad con el fin de promover la comprensión precisa de las imágenes y la generación basada en razonamiento. En general, el marco de trabajo Mini-Gemini intenta explotar el potencial de los modelos de lenguaje de visión y apunta a empoderar a los marcos de trabajo existentes con capacidades de razonamiento de imagen, comprensión y generación simultáneamente. El marco de trabajo Mini-Gemini utiliza un conjunto de datos de alta calidad en un intento de promover la comprensión precisa de las imágenes y la generación basada en razonamiento. En general, el marco de trabajo Mini-Gemini intenta explotar el potencial de los modelos de lenguaje de visión y apunta a empoderar a los marcos de trabajo existentes con capacidades de razonamiento de imagen, comprensión y generación simultáneamente. Un conjunto de datos de alta calidad en un intento de promover la comprensión precisa de las imágenes y la generación basada en razonamiento. Overall, el marco de trabajo Mini-Gemini intenta explotar el potencial de los modelos de lenguaje de visión y apunta a empoderar a los marcos de trabajo existentes con capacidades de razonamiento de imagen, comprensión y generación simultáneamente.