A habilitação da compreensão espacial em modelos de aprendizado de linguagem e visão continua a ser um desafio de pesquisa fundamental. Essa compreensão é base para duas capacidades cruciais: ancoragem e referência. A referência permite que o modelo interprete com precisão a semântica de regiões específicas, enquanto a ancoragem envolve o uso de descrições semânticas para localizar essas regiões.

Os desenvolvedores introduziram o Ferret, um Modelo de Linguagem Multimodal Grande (MLLM), capaz de entender a referência espacial em qualquer granularidade ou forma em uma imagem e ancorar descrições de vocabulário aberto com precisão. O Ferret utiliza uma representação híbrida nova que combina recursos visuais contínuos e coordenadas discretas para representar regiões de imagem. Seu amostrador visual espacialmente consciente lida com a variabilidade de esparsidade em formas, permitindo que ele processe entradas de região diversificadas, como formas livres, caixas delimitadoras e pontos.

A abordagem do Ferret permite que ele se destaque em tarefas clássicas de ancoragem e referência e supere outros MLLMs em comunicação multimodal que exige localização e baseada em regiões. Este artigo explora a arquitetura e a metodologia do Ferret, destacando seu desempenho impressionante em várias tarefas de linguagem multimodal. Vamos explorar isso mais a fundo.

Ferret: Desempenho Superior em Tarefas de Referência e Ancoragem

A referência em um modelo é uma capacidade que permite que o modelo compreenda a semântica de regiões específicas com precisão, enquanto a ancoragem torna essencial para o modelo usar descrições semânticas para localizar essas regiões. Embora possam diferir em suas tarefas, tanto a referência quanto a ancoragem compartilham o mesmo conceito fundamental: alinhamento de semântica e informação espacial. No entanto, apesar de compartilharem o mesmo conceito, os modelos existentes aprendem a ancoragem e a referência individualmente. Embora o método funcione, ele apresenta um obstáculo para alcançar capacidades semelhantes às humanas, pois os humanos podem aprender com uma tarefa e aplicar os conhecimentos a outras tarefas de forma eficiente e integrar facilmente as capacidades de ancoragem/referência com raciocínio e diálogo cotidiano.

O framework do Ferret busca inspiração nessa lacuna nos frameworks de MLLM existentes e estuda três questões principais:

1. Como unificar as capacidades de ancoragem e referência no framework e como sua união se beneficiará mutuamente?
2. Os humanos usam tipos variados de regiões, como caixas, pontos, rabiscos, formas livres, para referência. Como representar essas regiões variadas?
3. Como tornar as instruções de ancoragem e referência seguidas, robustas e de vocabulário aberto, que são críticas para aplicações práticas e em tempo real?

O framework do Ferret é um modelo de linguagem multimodal grande (MLLM) que tenta abordar essas questões. O framework do Ferret escolhe um MLLM como sua base devido às suas notáveis capacidades de visão e compreensão de linguagem globais. Além disso, para unificar as capacidades de ancoragem e referência, o framework do Ferret representa as coordenadas das regiões em forma numérica de linguagem natural.

Ferret: Metodologia e Arquitetura

Representações Híbridas de Regiões

Ponto, caixa e formas livres são os três formatos dominantes que um modelo de linguagem usa ao se referir a regiões específicas. Por um lado, o ponto e o formato de caixa podem ser representados com precisão por coordenadas, mas mapear formas livres é um pouco desafiador, pois as formas livres são versáteis. Como são versáteis, as formas livres podem abranger uma ampla gama de regiões, incluindo máscaras, polígonos e rabiscos.

Usar coordenadas para descrever formas livres é uma tarefa complexa que dificulta a capacidade do modelo de aprender a estabelecer uma correlação entre as regiões e as coordenadas correspondentes. Além disso, o uso de coordenadas para formas livres é computacionalmente caro e obscuro.

Para resolver esse problema e generalizar todos os três formatos, o framework do Ferret propõe uma representação híbrida de regiões que combina recursos visuais contínuos com coordenadas discretas para se referir a uma região específica.

Arquitetura

A arquitetura do modelo do Ferret consiste em três componentes principais:

1. Um codificador de imagem para extrair embeddings de imagem.
2. Um Amostrador Visual Espacialmente Consciente para extrair recursos contínuos regionais.
3. Um Modelo de Linguagem Grande para modelar texto, imagem e recursos de região conjuntamente.

A imagem é primeiro alimentada no codificador visual pré-treinado para extrair os embeddings de imagem. Para entradas de texto, o framework primeiro usa um tokenizador de LLM pré-treinado para tokenizar a sequência de texto e, em seguida, projeta esses tokens em embeddings de texto.

Geração de Dados Visuais Assistida por GPT

Dados de treinamento de instruções de diálogo são de importância crítica para os Modelos de Linguagem Multimodal Grandes, pois não apenas ajudam a converter conjuntos de dados existentes por meio de templates, mas também ajudam o modelo a entender a intenção humana e gerar respostas apropriadas.

Um grande número de MLLMs usa um método de prompt de few-shot para obter dados de treinamento de instruções visuais, onde o modelo fornece descrições textuais de cenas na imagem, juntamente com diálogos humanos anotados como demonstrações de few-shot.

Mineração de Negativos Espaciais

Pesquisas anteriores demonstraram que os modelos de linguagem multimodal grandes têm uma alta probabilidade de alucinar ao responder a perguntas do tipo Sim ou Não.

Para garantir que o modelo do Ferret não alucine em condições semelhantes, o framework emprega a abordagem de Mineração de Negativos Espaciais com Localização de Categoria Condicionada por Imagem e Semântica.

Ferret: Resultados e Experimentação

Para analisar seu desempenho, o framework do Ferret é avaliado em benchmarks de ancoragem e referência convencionais, após o que o framework é avaliado em uma tarefa de bate-papo multimodal mais complexa e testa suas capacidades de referência e ancoragem.

O modelo do Ferret demonstra um desempenho notável em tarefas de diálogo referencial, tornando possível a integração com diferentes tarefas de aprendizado visual, especialmente aquelas com saídas de ancoragem.

Pensamentos Finais

Neste artigo, discutimos o Ferret, um modelo de linguagem multimodal grande que demonstra capacidades notáveis de ancoragem e referência.

O framework do Ferret pode se referir a regiões de imagem independentemente de sua forma e pode estabelecer ancoragem para texto previsto pelo modelo automaticamente.

O framework do Ferret emprega um amostrador visual espacialmente consciente capaz de lidar com a variabilidade de esparsidade exibida por diferentes formas para extrair os recursos contínuos de regiões versáteis.

Como resultado, o framework do Ferret pode processar entradas de região diversificadas, incluindo formas livres, caixas delimitadoras e pontos.