Los avances significativos en los grandes modelos de lenguaje (LLM) han inspirado el desarrollo de modelos de lenguaje multimodal grandes (MLLM). Los primeros esfuerzos de MLLM, como LLaVA, MiniGPT-4 y InstructBLIP, demuestran capacidades notables de comprensión multimodal. Para integrar los LLM en dominios multimodales, estos estudios exploraron la proyección de características de un codificador específico de modalidad preentrenado, como CLIP, en el espacio de entrada de los LLM, lo que permite la comprensión y razonamiento multimodal dentro del núcleo del transformador. Aunque existen diversas opciones de diseño para los MLLM, como codificadores de visión, adaptadores de alineación de características y conjuntos de datos, el entrenamiento de la mayoría de estos modelos se ajusta al paradigma de generación autoregresiva, que ha demostrado ser eficaz para la generación de texto en los LLM. A pesar de sus fuertes capacidades de comprensión multimodal, estos modelos se centran principalmente en la percepción visual y carecen de la capacidad de generar salidas multimodales más allá del texto.

Los modelos de transformador han demostrado un gran éxito en la modelización autoregresiva en el procesamiento del lenguaje natural. Inspirados por este progreso, los estudios anteriores han aplicado directamente la misma modelización autoregresiva para aprender la dependencia de los píxeles de la imagen para la generación de imágenes y videos. Por ejemplo, VideoPoet emplea una arquitectura de transformador solo decodificador para sintetizar videos de alta calidad a partir de entradas multimodales. Más recientemente, LlamaGen ha demostrado que una arquitectura de modelo de lenguaje grande como Llama puede modelar autoregresivamente tokens de imagen, logrando un rendimiento decente en la generación de imágenes condicionales a la clase.

En este artículo, discutiremos Show-O, un transformador unificado que integra la comprensión y generación multimodal. A diferencia de los modelos completamente autoregresivos, Show-O une la modelización autoregresiva y la modelización de difusión discreta para manejar adaptativamente las entradas y salidas de diversas y mezcladas modalidades. El modelo unificado admite flexiblemente una amplia gama de tareas de visión-lenguaje, incluyendo la respuesta a preguntas visuales, la generación de imagen a texto, la inpintura/extrapolación guiada por texto y la generación de modalidad mixta. En varios benchmarks, Show-O demuestra un rendimiento comparable o superior a los modelos individuales existentes con un número equivalente o mayor de parámetros, lo que destaca su potencial como modelo de base de próxima generación.

En este marco, el modelo se encarga de predecir el ruido gaussiano agregado a las representaciones latentes continuas. En contraste, otros modelos como D3PM, Mask-predict, ARDM y MaskGIT utilizan un proceso de corrupción discreta como alternativa a la difusión gaussiana. Específicamente, una imagen se representa como una secuencia de tokens discretos utilizando tokenizadores de imagen, con cada token asociado a una etiqueta categórica. La distribución de tokens se transforma en una distribución uniforme a través de un proceso de muestreo estocástico. Durante el entrenamiento, una parte de estos tokens se mascara aleatoriamente, y el modelo se entrena para predecir los valores originales de los tokens mascarados. En este trabajo, Show-O adopta la modelización de difusión discreta para la generación de imágenes visuales.

SHOW-O: Uniendo la comprensión y generación multimodal

En los últimos años, han surgido avances significativos en los dos pilares clave de la inteligencia multimodal: la comprensión y la generación. Para la comprensión multimodal, los modelos de lenguaje multimodal grandes (MLLM) como LLaVA han demostrado capacidades excepcionales en tareas de visión-lenguaje como la respuesta a preguntas visuales (VQA). Para la generación visual, los modelos de difusión probabilística de ruido (DDPM) han revolucionado los paradigmas generativos tradicionales, logrando un rendimiento sin precedentes en la generación de texto a imagen o video.

Dado estos logros en campos individuales, es natural explorar el potencial de conectarlos. Trabajos recientes han intentado ensamblar modelos expertos de estos dos dominios diferentes para formar un sistema unificado que pueda manejar tanto la comprensión multimodal como la generación. Sin embargo, los intentos existentes a menudo involucran modelos separados para la comprensión y la generación. Por ejemplo, NExT-GPT emplea un modelo de lenguaje base para la comprensión multimodal, pero requiere un modelo de difusión preentrenado adicional para la generación de imágenes. Esto plantea la pregunta: ¿puede un solo transformador manejar tanto la comprensión multimodal como la generación?

Recientemente, Chameleon demostró que esto es posible. Específicamente, Chameleon permite la fusión de diferentes modalidades para generar tanto tokens de texto como de imagen a través de la modelización autoregresiva. Aunque tiene sentido modelar tokens de texto autoregresivamente, no está claro si modelar parches o píxeles de imagen de la misma manera es óptimo. Un cuello de botella en la predicción autoregresiva de una imagen es el gran número de pasos de muestreo requeridos, especialmente al tratar con imágenes de mayor resolución. Los modelos de difusión continuos han demostrado un rendimiento superior en la generación visual en comparación con los autoregresivos.

Esto nos lleva a explorar si un solo transformador puede integrar tanto la modelización autoregresiva como la de difusión. Show-O concibe un nuevo paradigma en el que el texto se representa como tokens discretos y se modela autoregresivamente, mientras que los píxeles de imagen continuos se modelan utilizando la difusión de ruido. Sin embargo, integrar estas dos técnicas distintas en una sola red no es trivial debido a las diferencias entre tokens de texto discretos y representaciones de imagen continuas. Además, los modelos de difusión suelen depender de dos modelos distintos: un codificador de texto y una red de desruido.

Para abordar esto, Show-O introduce un modelo unificado capaz de manejar tanto la comprensión multimodal como la generación utilizando la modelización autoregresiva y de difusión mixta. Show-O se basa en un LLM preentrenado y aprovecha sus capacidades de modelización autoregresiva para el razonamiento basado en texto. Inspirado en otros trabajos, Show-O emplea la difusión de desruido discreta para modelar tokens de imagen en lugar de representaciones continuas. Además, Show-O codifica inherentemente la información condicional de texto, eliminando la necesidad de codificadores de texto adicionales. Al utilizar tokenizadores de texto e imagen, Show-O puede procesar datos de entrada diversos y tareas, proporcionando respuestas autoregresivas para tareas de visión-lenguaje y generando imágenes utilizando la difusión de desruido discreta.

Show-O demuestra un rendimiento comparable, y en algunos casos mejor, que los modelos individuales con un número equivalente o mayor de parámetros en varios benchmarks. A diferencia de la generación de imagen autoregresiva, el marco de Show-O requiere alrededor de 20 veces menos pasos de muestreo, lo que lo hace inherentemente más rápido. Además, el marco de Show-O admite aplicaciones descendentes como la inpintura y la extrapolación guiadas por texto sin necesidad de ajuste fino, como se demuestra en la siguiente imagen.

Show-O también tiene el potencial para la generación de modalidad mixta, como la generación de fotogramas de video intercalados con descripciones de texto, mostrando promesa para la generación de video a largo plazo. Además, el marco de Show-O investiga el impacto de las representaciones de imagen discretas y continuas en la comprensión multimodal, ofreciendo perspectivas para futuros diseños de modelos unificados.

La siguiente figura presenta una comparación de las características del modelo entre el marco de Show-O y los métodos existentes en varios dominios. Show-O se destaca como un modelo unificado que integra técnicas avanzadas para la comprensión y generación multimodal.

En resumen, las principales contribuciones de este artículo son las siguientes:

• Show-O es un modelo unificado que integra la comprensión y generación multimodal utilizando un solo transformador.
• Show-O une la modelización autoregresiva y la difusión discreta dentro de un solo transformador, manejando tanto texto como imágenes de manera efectiva.
• El marco de Show-O supera o iguala el rendimiento de los modelos individuales de referencia con un número equivalente o mayor de parámetros en benchmarks de comprensión y generación multimodal.
• Show-O admite aplicaciones descendentes como la inpintura y la extrapolación guiadas por texto sin ajuste fino y demuestra potencial para la generación de modalidad mixta.
• Show-O explora el impacto de diferentes tipos de representaciones, proporcionando valiosas perspectivas para mejorar la comprensión multimodal en modelos unificados.

En los últimos años, un número creciente de estudios se ha centrado en modelos de lenguaje multimodal unificados capaces de comprensión y generación. Algunos esfuerzos utilizan representaciones continuas intercaladas con tokens de texto para la modelización autoregresiva para generar imágenes. SEED-X propone un sistema de base unificado y versátil capaz de manejar tanto la comprensión multimodal como la generación. En este enfoque, las representaciones de imagen continuas del codificador CLIP ViT se combinan con tokens de texto y se alimentan a un LLM para realizar la predicción de la próxima palabra y la regresión de la representación de imagen. Chameleon introduce una familia de modelos de tokens mixtos basados en la modalidad capaces de comprender y generar imágenes. Este enfoque representa todas las modalidades como tokens discretos, utilizando una arquitectura de transformador unificada y entrenando el modelo desde cero de manera end-to-end. En comparación, Show-O también adopta tokens discretos para representar todas las modalidades, pero utiliza un proceso de difusión discreta en lugar de la modelización autoregresiva para la generación visual.

SHOW-O: Metodología y Arquitectura

El objetivo principal detrás del marco de Show-O es desarrollar un modelo unificado que integre la modelización autoregresiva y la difusión para la comprensión y generación multimodal conjunta. Desarrollar tal modelo unificado plantea desafíos significativos, con cuestiones centrales que giran en torno a: i) definir el espacio de entrada/salida del modelo; ii) unificar diferentes tipos de datos de entrada de varias modalidades; iii) integrar tanto la modelización autoregresiva como la de difusión dentro de un solo transformador; y iv) entrenar efectivamente dicho modelo unificado.

Show-O aborda estos desafíos con las siguientes soluciones:

• Show-O construye el espacio de entrada/salida tokenizando los datos de texto e imagen en tokens discretos.
• Show-O introduce su arquitectura predeterminada y una estrategia de llamada unificada para estructurar los datos de entrada y las modalidades.
• Show-O demuestra cómo incorporar tanto la modelización autoregresiva como la de difusión dentro de un solo transformador.
• Show-O presenta una tubería de entrenamiento de tres etapas para entrenar efectivamente el modelo unificado.

Tokenización

Dado que el Show-O propuesto se basa en modelos de lenguaje preentrenados, es natural realizar el aprendizaje unificado en el espacio discreto. Al mantener un vocabulario unificado que incluye tokens de texto e imagen discretos, Show-O se encarga del mismo objetivo de aprendizaje: predecir tokens discretos.

Tokenización de Texto

Show-O se basa en un LLM preentrenado, y el mismo tokenizador se utiliza para la tokenización de datos de texto sin modificaciones.

Tokenización de Imagen

Siguiendo a MAGVIT-v2, Show-O entrena un cuantificador libre de búsqueda utilizando alrededor de 35M de datos de imagen. El cuantificador mantiene un libro de códigos de tamaño 8,192 y codifica imágenes de resolución 256×256 en 16×16 tokens discretos. MAGVIT-v2 se elige por su facilidad de ajuste fino, lo que lo hace adecuado como tokenizador de video con capacidad de compresión temporal, un aspecto que Show-O planea explorar en el futuro. Un enfoque alternativo es utilizar diferentes tokenizadores para la comprensión y la generación, respectivamente. Inspirado en estudios existentes, Show-O también extrae representaciones de imagen continuas del preentrenado MAGVIT-v2 y del codificador CLIP-ViT para explorar mejoras en las capacidades de comprensión multimodal. En las secciones de metodología siguientes, el Show-O predeterminado emplea tokens de imagen discretos como entrada para la comprensión y generación multimodal. Para simplificar, las secciones de metodología se centrarán solo en el Show-O predeterminado.

Arquitectura

Show-O hereda la arquitectura de modelos de lenguaje existentes sin modificaciones arquitectónicas, excepto por agregar una operación QK-Norm al comienzo de cada capa de atención. Show-O se inicializa con los pesos de un LLM preentrenado y amplía el tamaño de la capa de incrustación incorporando 8,192 nuevas incrustaciones aprendibles para tokens de imagen discretos. A diferencia de los modelos de difusión de estado del arte que requieren un codificador de texto adicional, Show-O codifica inherentemente la información condicional de texto para la generación de imagen a texto.

Llamada Unificada

Para realizar el aprendizaje unificado en la comprensión y generación multimodal, Show-O utiliza una estrategia de llamada unificada para dar formato a los diferentes tipos de datos de entrada. Dada una pareja de imagen y texto (x, y), se tokeniza en M tokens de imagen y N tokens de texto por los tokenizadores de imagen y texto, respectivamente. Los tokens se forman entonces en una secuencia de entrada según el tipo de tarea, como se ilustra en la siguiente figura.

Al emplear este diseño de llamada, Show-O puede codificar efectivamente los diferentes datos de entrada para la comprensión multimodal, la generación de imagen a texto y la generación de modalidad mixta como datos secuenciales. Este entorno permite que el aprendizaje unificado opere sin problemas a través de secuencias para estas diversas tareas. Una vez entrenado, Show-O puede ser llamado para manejar una amplia gama de tareas de visión-lenguaje, incluyendo la respuesta a preguntas visuales y la generación de imagen a texto.

Mecanismo de Atención Omni

A diferencia de los trabajos existentes que modelan secuencias solo autoregresivamente, Show-O introduce un mecanismo de atención omni, que le permite modelar varios tipos de señales de maneras distintas. Este mecanismo de atención integral cambia adaptativamente entre la atención causal y la atención completa en función del formato de la secuencia de entrada. La siguiente figura ilustra ejemplos de atención omni para diferentes secuencias de entrada.

Específicamente, Show-O procesa los tokens de texto dentro de la secuencia a través de la atención causal, mientras que los tokens de imagen se manejan utilizando la atención completa, permitiendo que cada token interactúe completamente con todos los demás. En la comprensión multimodal, los tokens de texto pueden atender a todos los tokens de imagen anteriores, mientras que en la generación de imagen a texto, los tokens de imagen pueden interactuar con todos los tokens de texto anteriores. La atención omni retiene el conocimiento de razonamiento de texto del LLM preentrenado y mejora la eficiencia de la generación de imagen al reducir los pasos de muestreo. Además, admite varias aplicaciones descendentes, como la inpintura y la extrapolación, sin necesidad de ajuste fino. Cuando se le da solo tokens de texto, el mecanismo se convierte en atención causal.

SHOW-O: Experimentos y Resultados

La siguiente tabla presenta la capacidad de comprensión multimodal de Show-O en benchmarks públicos, como tareas de descripción de imagen y respuesta a preguntas visuales.

La versión actual de Show-O se basa en Phi-1.5, y por lo tanto, el contraparte de comprensión solo de Show-O, LLaVA-v1.5-Phi-1.5, sirve como la referencia directa. Show-O exhibe un rendimiento comparable en todas las métricas de evaluación en comparación con la referencia LLaVA-v1.5-Phi-1.5, que se dedica exclusivamente a la comprensión multimodal. Esto demuestra el gran potencial del marco de Show-O para unificar la comprensión y generación multimodal dentro de un solo transformador. En comparación con modelos de comprensión solo, como InstructBLIP, Qwen-VL-Chat y mPLUG-Owl2, Show-O, a pesar de tener un tamaño de modelo mucho menor, logra un rendimiento competitivo en los benchmarks POPE, MME, Flickr30k y VQAv2, y se desempeña mejor en el benchmark GQA. Cuando se compara con modelos unificados con un número significativamente mayor de parámetros, como NExT-GPT-13B y Chameleon-34B, Show-O también logra un rendimiento sólido en el benchmark Flickr30k y se desempeña mucho mejor en el benchmark VQAv2.

Dado estos resultados prometedores, Show-O se vislumbra como un posible modelo de base de próxima generación para unificar la comprensión y la generación. Estos resultados también demuestran el potencial de escalar Show-O para lograr un rendimiento de estado del arte.

Comparaciones Cualitativas

Presentamos comparaciones cualitativas con modelos de difusión, como SDv1.5, SDXL, y el modelo autoregresivo LlamaGen, junto con modelos unificados como LWM y SEED-X, como se demuestra en la siguiente figura.

Show-O demuestra la capacidad de generar imágenes realistas con contenido coherente descrito en tanto prompts de texto cortos como largos. En comparación con SDv1.5 y LlamaGen, Show-O exhibe una mejor calidad visual y una mayor alineación entre texto e imagen. Por ejemplo, en la segunda columna, tanto SDv1.5 como LlamaGen fallan en comprender completamente el prompt de texto y pierden atributos como “puesta de sol” y “cúpulas azules” en las imágenes generadas. En comparación con SDXL, Show-O ofrece una calidad visual y alineación comparables, como se ve en ejemplos como “una carrera de coches de rally” y “un contraste impresionante contra el vibrante atardecer”.

Inpintura y Extrapolación Guiadas por Texto

Show-O admite naturalmente la inpintura y extrapolación guiadas por texto sin requerir ajuste fino. La siguiente figura ilustra varios ejemplos.

En la parte superior de la figura, dado una imagen de entrada y una máscara de inpintura, Show-O puede transformar un coche de tranvía rojo en un coche deportivo azul con curvas elegantes y ventanas tintadas según un prompt de texto proporcionado por el usuario. Show-O también puede extrapolar la imagen original horizontal o verticalmente según el prompt de texto dado. Por ejemplo, en la segunda fila, Show-O extrapola la imagen agregando nuevos objetos, como “flores silvestres rojas”. Los píxeles en las regiones inpintadas y extrapoladas permanecen coherentes con la imagen original. Estos ejemplos demuestran claramente las ventajas inherentes de Show-O sobre los modelos autoregresivos para aplicaciones descendentes.

Pensamientos Finales

En este artículo, hemos hablado sobre Show-O, un transformador unificado que integra la comprensión y generación multimodal. A diferencia de los modelos completamente autoregresivos, Show-O une la modelización autoregresiva y la difusión discreta para manejar adaptativamente las entradas y salidas de diversas y mezcladas modalidades. El modelo unificado admite flexiblemente una amplia gama de tareas de visión-lenguaje, incluyendo la respuesta a preguntas visuales, la generación de imagen a texto, la inpintura/extrapolación guiada por texto y la generación de modalidad mixta. En varios benchmarks, Show-O demuestra un rendimiento comparable o superior a los modelos individuales existentes con un número equivalente o mayor de parámetros, lo que destaca su potencial como modelo de base de próxima generación. En este marco, el modelo se encarga de predecir el ruido gaussiano agregado a las representaciones latentes continuas. En contraste, otros modelos como D3PM, Mask-predict, ARDM y MaskGIT utilizan un proceso de corrupción discreta como alternativa a la difusión gaussiana. Show-O es el primero en unificar la modelización autoregresiva y la difusión discreta, lo que le permite manejar diferentes modalidades de maneras distintas. Los resultados experimentales extensivos demuestran que Show-O es comparable o incluso mejor que los modelos expertos individuales en una amplia gama de tareas de visión-lenguaje. Esto destaca su potencial como modelo de base de próxima generación.