A capacidade de interpretar com precisão informações visuais complexas é um foco crucial dos modelos de linguagem multimodal grande (MLLMs). Trabalhos recentes mostram que a percepção visual aprimorada reduz significativamente as alucinações e melhora o desempenho em tarefas sensíveis à resolução, como reconhecimento óptico de caracteres e análise de documentos. Vários MLLMs recentes alcançam isso utilizando uma mistura de codificadores de visão. Apesar de seu sucesso, há uma falta de comparações sistemáticas e estudos de ablação detalhados que abordam aspectos críticos, como seleção de especialistas e integração de vários especialistas em visão. Este artigo fornece uma exploração extensiva do espaço de projeto para MLLMs usando uma mistura de codificadores de visão e resoluções, a estrutura ÁGUIA que tenta explorar o espaço de projeto para modelos de linguagem multimodal grande com uma mistura de codificadores. As descobertas revelam vários princípios subjacentes comuns a várias estratégias existentes, levando a uma abordagem de design eficaz e simplificada. ÁGUIA descobre que simplesmente concatenar tokens visuais de um conjunto de codificadores de visão complementares é tão eficaz quanto arquiteturas de mistura mais complexas ou estratégias. Além disso, ÁGUIA introduz o Pré-Alinhamento para pontuar a lacuna entre codificadores de visão focados e tokens de linguagem, melhorando a coerência do modelo. A família resultante de MLLMs, ÁGUIA, supera outros modelos de código aberto líderes em principais benchmarks de MLLM.

O trabalho da ÁGUIA está relacionado ao projeto geral da arquitetura de modelos de linguagem multimodal grande (MLLMs). Além da linha de pesquisa de código aberto representativa mencionada anteriormente, outras famílias notáveis de MLLMs incluem, mas não se limitam a, MiniGPT-4, Lynx, Otter, QwenVL, CogVLM, VILA, GPT-4V, Gemini e Llama 3.1. Dependendo de como os sinais de visão são integrados ao modelo de linguagem, os MLLMs podem ser amplamente categorizados em “atenção cross-modal” e “prefix-tuning”. O primeiro injeta informações visuais em diferentes camadas de LLMs usando atenção cross-modal, enquanto o segundo trata os tokens visuais como parte da sequência de tokens de linguagem e os anexa diretamente com embeddings de texto. O modelo da ÁGUIA pertence à família de prefix-tuning, seguindo uma arquitetura multimodal estilizada LLaVA.

O trabalho da ÁGUIA está intimamente relacionado à pesquisa focada em melhorar os projetos de codificadores de visão para MLLMs. Trabalhos iniciais geralmente adotaram codificadores de visão pré-treinados em tarefas de alinhamento de linguagem e visão, como CLIP e EVA-CLIP. Codificadores de visão mais fortes, como SigLIP e InternVL, foram propostos para melhorar as tarefas de linguagem e visão com melhores projetos, tamanhos de modelo maiores e receitas de treinamento mais eficazes. Como os modelos são frequentemente pré-treinados em imagens de baixa resolução e podem carecer da capacidade de codificar detalhes finos, a adaptação de resolução mais alta é frequentemente realizada para aumentar a resolução de entrada do MLLM. Além da adaptação de resolução mais alta, modelos como LLaVA-NeXT, LLaVA-UHD, Monkey, InternLM-XComposer e InternVL usam emparelhamento ou emparelhamento adaptativo para lidar com entrada de alta resolução, onde as imagens são divididas em patches de baixa resolução e processadas separadamente. Embora a capacidade de lidar com resoluções mais altas seja tornada possível pela introdução de especialistas em visão adicionais, essa abordagem difere ligeiramente das técnicas de emparelhamento, embora ambas sejam compatíveis e possam ser combinadas.

ÁGUIA: Usando Mistura de Codificadores para Explorar o Espaço de Projeto para MLLMs

O sucesso dos modelos de linguagem grande (LLMs) despertou um interesse significativo em habilitar suas capacidades de percepção visual, permitindo que eles vejam, entendam e raciocinem no mundo real. No núcleo desses modelos de linguagem multimodal grande (MLLMs) está um projeto típico onde as imagens são convertidas em uma série de tokens visuais pelos codificadores de visão e anexadas com os embeddings de texto. CLIP é frequentemente escolhido como o codificador de visão porque sua representação visual é alinhada com o espaço de texto por pré-treinamento em pares de imagem e texto. Dependendo das arquiteturas, receitas de treinamento e da forma como os tokens visuais são injetados no modelo de linguagem, famílias notáveis de MLLMs incluem Flamingo, BLIP, PaLI, PaLM-E e LLaVA. A maioria desses modelos mantém resoluções de entrada relativamente baixas devido a limitações nos codificadores de visão pré-treinados e no comprimento da sequência de LLM. O trabalho da ÁGUIA está alinhado com modelos que usam vários codificadores de visão para percepção aprimorada.

Por exemplo, modelos como Mousi e Brave fundem tokens visuais de diferentes codificadores de visão concatenando ao longo do canal ou direção do token. RADIO introduz um método de destilação de multi-professores para unificar as habilidades de diferentes codificadores de visão em um único modelo. MoAI, IVE e Prismer usam ainda a saída de especialistas em visão, como OCR, detecção ou estimação de profundidade, para complementar informações adicionais para os MLLMs gerarem respostas. MoVA projeta uma rede de roteamento para atribuir um modelo de visão óptimo com base na imagem e instruções dadas.

Estudos recentes mostraram que projetos de codificadores de visão mais fortes são importantes para reduzir as alucinações dos MLLMs e melhorar o desempenho em tarefas sensíveis à resolução, como reconhecimento óptico de caracteres (OCR). Vários trabalhos se concentram em melhorar a capacidade do codificador de visão, seja escalando os dados de pré-treinamento e parâmetros ou dividindo as imagens em patches de baixa resolução. No entanto, essas abordagens frequentemente introduzem grandes demandas de recursos de treinamento. Uma estratégia eficiente, mas poderosa, é misturar codificadores visuais pré-treinados com diferentes tarefas e resoluções de entrada, seja fundindo codificadores de resolução mais alta com o codificador CLIP, anexando sequencialmente recursos de diferentes codificadores ou adotando estratégias de fusão e roteamento mais complexas para maximizar os benefícios dos diferentes codificadores. Essa abordagem de “mistura de especialistas em visão” provou ser eficaz, embora um estudo detalhado de seu espaço de projeto com ablação rigorosa ainda esteja faltando, motivando a ÁGUIA a reexaminar essa área. Questões-chave permanecem: quais combinações de codificadores de visão escolher, como fundir diferentes especialistas e como ajustar estratégias de treinamento com mais codificadores de visão.

Para abordar essas questões, a ÁGUIA investiga sistematicamente o espaço de projeto da mistura de codificadores de visão para percepção aprimorada dos MLLMs. A exploração desse espaço de projeto envolve as seguintes etapas: 1) Benchmarking vários codificadores de visão e busca por adaptação de resolução mais alta; 2) Realizando uma comparação “maçãs com maçãs” entre estratégias de fusão de codificadores de visão; 3) Identificando progressivamente a combinação óptima de vários codificadores de visão; 4) Melhorando o pré-alinhamento de especialistas em visão e mistura de dados. As etapas de exploração são ilustradas na figura a seguir.

A ÁGUIA examina o desempenho de codificadores de visão pré-treinados em diferentes tarefas e resoluções, como alinhamento de linguagem e visão, aprendizado auto-supervisionado, detecção, segmentação e OCR. Usando uma abordagem de rodada, a ÁGUIA começa com o codificador básico CLIP e adiciona um especialista adicional de cada vez, selecionando o especialista que fornece a melhor melhoria em cada rodada.

Enquanto o trabalho da ÁGUIA não é o primeiro a aproveitar vários codificadores de visão em MLLMs, o estudo sistemático leva a várias descobertas-chave sob essa configuração:

• Desbloquear os codificadores de visão durante o treinamento do MLLM é importante. Isso contrasta com modelos como LLaVA e outros que consideram vários codificadores de visão ou professores, onde congelar os codificadores de visão tem sido uma prática comum.
• Algumas estratégias de fusão propostas recentemente não mostram vantagens significativas. Em vez disso, a concatenação direta de canal emerge como uma estratégia de fusão simples, mas competitiva, oferecendo a melhor eficiência e desempenho.
• Incorporar especialistas em visão adicionais leva a ganhos consistentes. Isso torna-se um caminho promissor para melhorar sistematicamente a percepção dos MLLMs, além de escalar os codificadores de visão individuais. A melhoria é particularmente pronunciada quando os codificadores de visão são desbloqueados.
• A etapa de pré-alinhamento é fundamental. A ÁGUIA introduz uma etapa de pré-alinhamento onde os especialistas em visão não alinhados com o texto são individualmente ajustados com um LLM congelado antes de serem treinados juntos. Essa etapa melhora significativamente o desempenho do MLLM sob o design de mistura de codificadores de visão.

ÁGUIA: Metodologia e Arquitetura

Ao contrário de métodos anteriores que se concentram em novos paradigmas de fusão ou arquiteturas entre codificadores de visão, o objetivo da ÁGUIA é identificar um design minimalista para fundir diferentes codificadores de visão, apoiado por ablações detalhadas e remoção de componentes desnecessários. Como mostrado na figura a seguir, a ÁGUIA começa estendendo o codificador básico CLIP para um conjunto de especialistas em visão com diferentes arquiteturas, tarefas de pré-treinamento e resoluções. Com esses especialistas, a ÁGUIA compara diferentes arquiteturas de fusão e métodos e explora como otimizar estratégias de pré-treinamento com vários codificadores.

Finalmente, a ÁGUIA combina todas as descobertas e estende a abordagem para vários especialistas em visão com resoluções e conhecimento de domínio variados. Usando os mesmos dados de pré-treinamento que o LLaVA-1.5, que consiste em 595k pares de imagem e texto, a ÁGUIA passa para a etapa de ajuste fino supervisionado coletando dados de uma série de tarefas e convertendo-os em conversas multimodais, incluindo LLaVA-1.5, Laion-GPT4V, ShareGPT-4V, DocVQA, synDog-EN, ChartQA, DVQA e AI2D, resultando em 934k amostras.

O modelo é pré-treinado com pares de imagem e texto por uma época com um tamanho de lote de 256, onde o modelo inteiro é congelado, e apenas a camada do projetor é atualizada. Na segunda etapa, o modelo é ajustado fino nos dados de ajuste fino supervisionado por uma época com um tamanho de lote de 128. Para essa exploração, a ÁGUIA emprega o Vicuna-7B como o modelo de linguagem subjacente. As taxas de aprendizado são definidas como 1e-3 para a primeira etapa e 2e-5 para a segunda etapa.

Codificador CLIP Mais Forte

A ÁGUIA começa a exploração com o modelo CLIP, pois ele se tornou a escolha principal para muitos MLLMs. Embora os modelos CLIP sejam conhecidos por melhorar tarefas multimodais, suas limitações também foram bem documentadas. Por exemplo, muitos MLLMs existentes tendem a usar as resoluções de pré-treinamento do CLIP (como 224 × 224 ou 336 × 336) como suas resoluções de entrada. Nesses casos, os codificadores frequentemente lutam para capturar detalhes finos importantes para tarefas sensíveis à resolução, como OCR e compreensão de documentos.

Para lidar com a resolução de entrada aumentada, uma abordagem comum é o emparelhamento, onde as imagens de entrada são divididas em patches e codificadas separadamente. Outra abordagem mais simples é escalar a resolução de entrada e interpolar os embeddings de posição do modelo de transformador de visão se necessário. A ÁGUIA compara essas duas abordagens com codificadores de visão congelados e descongelados em diferentes resoluções, com os resultados contidos na tabela acima. As descobertas podem ser resumidas da seguinte forma:

• Descongelar o codificador CLIP leva a uma melhoria significativa ao interpolar para uma resolução de entrada do MLLM mais alta que difere da resolução de pré-treinamento do CLIP, sem degradação de desempenho quando as resoluções permanecem as mesmas.
• Congelar o codificador CLIP e adaptá-lo diretamente a uma resolução de entrada do MLLM mais alta prejudica significativamente o desempenho.
• Entre as estratégias comparadas, interpolar diretamente para 448 × 448 com um codificador CLIP descongelado prova ser eficaz e eficiente em termos de desempenho e custo.
• O melhor codificador CLIP alcança um desempenho próximo ao do InternVL, apesar de ser um modelo muito menor (300M vs. 6B) com menos dados de pré-treinamento.

É importante notar que o CLIP-448 permite que a ÁGUIA corresponda ao cenário com o LLaVA-HR e o InternVL, onde os codificadores CLIP são adaptados para aceitar 448 × 448 de entrada e saída de 1024 tokens de patch. Para investigação adicional, a ÁGUIA segue essa estratégia simples de escalar a resolução de entrada e descongelar o codificador de visão durante o treinamento.

A ÁGUIA observa que as estratégias de fusão existentes, apesar de suas variações de design, podem ser amplamente categorizadas da seguinte forma:

1. Anexar Sequência: Anexar diretamente os tokens visuais de diferentes backbones como uma sequência mais longa.
2. Concatenação de Canal: Concatenar os tokens visuais ao longo da dimensão do canal sem aumentar o comprimento da sequência.
3. LLaVA-HR: Injetar recursos de alta resolução em codificadores de visão de baixa resolução usando um adaptador de mistura de resolução.
4. Mini-Gemini: Usar os tokens CLIP como consultas de baixa resolução para atender a outro codificador de visão de alta resolução em janelas locais co-localizadas.
5. Atenção Deformável: Uma nova linha de base introduzida sobre o Mini-Gemini, onde a atenção de janela padrão é substituída por atenção deformável.

Em vez de treinar um projetor para alinhar simultaneamente vários especialistas em visão como na estratégia de pré-treinamento original do LLaVA, primeiro alinhamos a representação de cada especialista individual com um modelo de linguagem menor (Vicuna-7B na prática) usando supervisão de previsão de token. Como mostrado na figura abaixo, com o pré-alinhamento, o processo de treinamento inteiro consiste em três etapas: 1) treinar cada especialista em visão pré-treinado com seu próprio projetor nos dados SFT, enquanto mantém o modelo de linguagem congelado; 2) combinar todos os especialistas em visão da primeira etapa e treinar apenas o projetor com dados de pares de imagem e texto; 3) treinar o modelo inteiro nos dados SFT.

ÁGUIA: Experimentos e Resultados

Após desenvolver meticulosamente suas estratégias, a ÁGUIA estabeleceu os seguintes princípios para o modelo: (1) integrar mais especialistas em visão com uma receita de treinamento otimizada; (2) combinar vários especialistas em visão por meio de concatenação direta de canal; (3) pré-treinar os especialistas em visão separadamente por meio do pré-alinhamento. Nesta seção, para demonstrar ainda mais as vantagens dos modelos da ÁGUIA, dados de treinamento adicionais são incorporados, e a ÁGUIA é comparada com os atuais MLLMs de ponta em várias tarefas. A ÁGUIA usa o Vicuna-v1.5-7B, Llama3-8B e Vicuna-v1.5-13B como os modelos de linguagem. Para os codificadores de visão, com base nos resultados da Seção 2.6, os modelos da ÁGUIA são denominados ÁGUIA-X4, que inclui quatro codificadores de visão: CLIP, ConvNeXt, Pix2Struct e EVA-02, e ÁGUIA-X5, que inclui um codificador de visão SAM adicional.

Tarefas de Resposta a Perguntas Visuais

A ÁGUIA compara a série de modelos em três benchmarks de Resposta a Perguntas Visuais (VQA), incluindo GQA, VQAv2 e VizWiz. Como mostrado na tabela a seguir, a ÁGUIA-X5 alcança o desempenho de ponta em GQA e VQAv2, destacando as vantagens de incorporar especialistas em visão adicionais.

Tarefas de OCR e Compreensão de Gráficos

Para avaliar as capacidades de OCR, documento e compreensão de gráficos da ÁGUIA, o modelo é benchmarkado em OCRBench, TextVQA e ChartQA. Como mostrado na tabela acima, a ÁGUIA supera significativamente os concorrentes em TextVQA, beneficiando-se de sua arquitetura de alta resolução e integração de diferentes codificadores de visão. Notavelmente, a ÁGUIA mantém um design direto, suportando até 1024 tokens sem exigir decomposição de imagem em patches complexos.

A figura abaixo apresenta exemplos de casos de OCR e compreensão de documentos. Com a adaptação de alta resolução e a inclusão de mais especialistas em visão, a ÁGUIA pode identificar texto pequeno dentro de imagens e extrair informações com precisão com base nas instruções do usuário.

Para melhor entender os benefícios de introduzir especialistas pré-treinados em outras tarefas de visão, a figura a seguir visualiza resultados de um modelo com apenas os codificadores de visão ConvNeXt e CLIP, comparados com os resultados da ÁGUIA-X5. Com o conjunto completo de codificadores de visão, o modelo corrige erros com sucesso, demonstrando que, mesmo quando equipado com codificadores de visão de alta resolução pré-treinados em alinhamento de linguagem e visão, as capacidades da ÁGUIA são ainda mais aprimoradas pela integração de especialistas em visão adicionais pré-treinados em tarefas de visão diversificadas.

Avaliação de Benchmark Multimodal

A ÁGUIA é avaliada em sete benchmarks para MLLMs para demonstrar suas capacidades de diferentes perspectivas, incluindo MME, MMBench, SEED, MathVista, MMMU, ScienceQA e POPE. Especificamente, MME, MMBench e SEED avaliam o desempenho geral em várias tarefas do mundo real que envolvem raciocínio, reconhecimento, conhecimento e OCR. MMMU se concentra em problemas desafiadores de domínios variados que exigem conhecimento de nível universitário. POPE avalia as alucinações visuais dos MLLMs. As métricas usadas nessa avaliação seguem as configurações padrão desses benchmarks. A ÁGUIA relata a pontuação de percepção para MME, a divisão en_dev para MMBench, a divisão de imagem para SEED, a divisão test-mini para MathVista, a divisão val para MMMU, a pontuação F1 para POPE e a pontuação de imagem para ScienceQA, garantindo alinhamento com as pontuações relatadas por outros modelos.

Pensamentos Finais

Neste artigo, discutimos a ÁGUIA, uma análise aprofundada do espaço de projeto para integrar codificadores de visão em modelos de linguagem multimodal grande. Ao contrário de trabalhos anteriores que se concentram em projetar novos paradigmas de fusão ou arquiteturas entre codificadores de visão, a ÁGUIA descobre que escolhas de design sistemáticas importam e descobre uma série de técnicas úteis. Passo a passo, a ÁGUIA otimiza a receita de treinamento de codificadores de visão individuais, identifica um método de fusão eficiente e estendível e combina gradualmente codificadores de visão com diferentes conhecimentos de domínio. Os resultados destacam a importância crítica de considerações básicas do espaço de projeto.