Em frameworks de aprendizado de máquina e inteligência artificial modernos, os transformadores são um dos componentes mais amplamente utilizados em vários domínios, incluindo a série GPT e BERT no Processamento de Linguagem Natural, e Transformadores de Visão em tarefas de visão computacional. Embora a inclusão de transformadores na arquitetura do modelo forneça um impulso significativo no desempenho do modelo, o módulo de atenção nos Transformadores escala com o comprimento da sequência quadraticamente, levando a desafios computacionais significativos. Ao longo dos anos, diferentes modelos exploraram diferentes estratégias para lidar com os desafios computacionais, incluindo métodos como kernelização, compressão de memória de história, limitação de faixa de mistura de tokens e abordagens de baixo ranque. Recentemente, Redes Neurais Recorrentes, como os métodos Mamba e RWKV, têm ganhado atenção significativa devido aos seus resultados promissores em grandes modelos de linguagem.

Mamba, uma família de modelos, tem uma arquitetura com um misturador de tokens de Rede Neural Recorrente de um modelo de espaço de estado, que foi recentemente introduzido para lidar com a complexidade quadrática dos mecanismos de atenção e foi aplicado a tarefas de visão subsequentemente. Pesquisadores já exploraram maneiras de incorporar Mamba e SSM (ou Modelo de Espaço de Estado) em tarefas de reconhecimento visual, e a Visão Mamba, que incorpora Mamba para desenvolver modelos de visão isotrópicos semelhantes ao Transformador de Visão, é um exemplo disso. Por outro lado, o LocalMamba incorpora vieses indutivos locais para melhorar os modelos visuais de Mamba, e o framework VMamba emprega o modelo Mamba base para construir modelos hierárquicos semelhantes ao ResNet e ao AlexNet. No entanto, é o framework Mamba realmente essencial para tarefas de contexto de reconhecimento visual? A pergunta surge porque o desempenho da família de modelos Mamba para tarefas de visão tem sido desanimador até agora, quando comparado a modelos tradicionais baseados em atenção e convolucionais.

MambaOut tenta responder se o Mamba é idealmente adequado para tarefas com características autoregressivas e de longa sequência. O framework MambaOut hipotetiza que o Mamba não é necessário para tarefas de visão, pois a classificação de imagens não se alinha com características autoregressivas ou de longa sequência. Embora as tarefas de segmentação e detecção também não sejam autoregressivas, elas exibem características de longa sequência, levando o framework MambaOut a hipotetizar o potencial do Mamba para essas tarefas. O framework MambaOut é construído empilhando blocos Mamba uns sobre os outros, removendo o modelo de espaço de estado, seu misturador de tokens central. Os resultados experimentais apoiam a hipótese apresentada pelo framework MambaOut, pois ele é capaz de superar todos os modelos visuais Mamba no framework de classificação de imagens ImageNet, indicando que o Mamba não é necessário para tarefas de visão. Por outro lado, para tarefas de detecção e segmentação, o framework MambaOut não consegue replicar o desempenho oferecido pelo modelo Mamba de estado da arte, demonstrando o potencial da família de modelos Mamba para tarefas visuais de longa sequência.

Este artigo visa cobrir o framework MambaOut em profundidade, e exploramos o mecanismo, a metodologia, a arquitetura do framework, juntamente com sua comparação com frameworks de estado da arte. Então, vamos começar.

MambaOut: É Realmente Necessário o Mamba para Visão?

Com o progresso das aplicações e capacidades de aprendizado de máquina, os Transformadores emergiram como a espinha dorsal mainstream para uma variedade de tarefas, alimentando modelos proeminentes, incluindo Transformadores de Visão, série de modelos GPT, BERT e alguns mais. No entanto, o misturador de tokens do transformador incurre uma complexidade quadrática em relação ao comprimento da sequência e apresenta desafios computacionais significativos. Para lidar com esse problema, vários misturadores de tokens com complexidade linear em relação ao comprimento do token, como Linformer, Longformer, Performer, Convolução Dinâmica e Big Bird, foram introduzidos. No entanto, nos últimos tempos, modelos de Redes Neurais Recorrentes, como os métodos Mamba e RWKV, têm ganhado destaque devido à sua capacidade de treinamento paralelizável e desempenho eficiente em sequências mais longas. Orientados pelo desempenho notável oferecido por modelos semelhantes a RNN, os pesquisadores estão tentando introduzir e utilizar a família de modelos Mamba em tarefas de reconhecimento visual, desde que o misturador de tokens dos modelos Mamba é o modelo de espaço de estado estruturado sob o espírito das Redes Neurais Recorrentes. No entanto, os resultados experimentais indicam que os frameworks baseados em modelos de espaço de estado para visão performam de forma desanimadora em tarefas de visão reais quando comparados a modelos baseados em atenção e convolucionais de estado da arte.

MambaOut é uma tentativa de investigar a natureza da família de modelos Mamba e resume que o Mamba é adequado para tarefas que são autoregressivas ou de longa sequência, pois o modelo de espaço de estado tem um mecanismo RNN inerente. No entanto, a maioria das tarefas de visão não apresenta ambas as características, e com base em alguns experimentos, o MambaOut propõe as seguintes duas hipóteses. Primeiro, o modelo de espaço de estado não é necessário para classificação de imagens, pois a tarefa de classificação de imagens não se alinha com características autoregressivas ou de longa sequência. Segundo, os modelos de espaço de estado podem ser benéficos para segmentação de instância e segmentação semântica, juntamente com detecção de objetos, pois seguem as características de longa sequência, embora não sejam autoregressivas. Os resultados experimentais realizados para analisar o mecanismo semelhante a RNN do modelo de espaço de estado concluem que o framework Mamba é adequado para tarefas com características autoregressivas ou de longa sequência e é desnecessário para tarefas de classificação de imagens. Quanto ao próprio framework MambaOut, é uma série de modelos Mamba baseados em blocos de Redes Neurais Convolucionais com Porta sem o modelo de espaço de estado, e os resultados experimentais indicam que o framework MambaOut é capaz de superar os modelos Mamba em tarefas de classificação de imagens, mas não consegue replicar o desempenho em tarefas de detecção e segmentação de imagens.

Para Quais Tarefas o Mamba é Apropriado?

O misturador de tokens do framework Mamba é um modelo de espaço de estado seletivo que define quatro parâmetros dependentes de entrada. A propriedade recorrente do framework distingue os modelos de espaço de estado semelhantes a RNN da atenção causal. O estado oculto pode ser visto como uma memória de tamanho fixo que armazena informações históricas. O tamanho fixo significa que a memória é perda, mas também garante que a complexidade computacional de integrar a memória com a entrada atual permaneça constante. Por outro lado, as camadas de atenção causal armazenam todas as chaves e valores de tokens anteriores e expandem adicionando a chave e o valor do token atual com cada nova entrada, e essa memória é perda zero, teoricamente. No entanto, o tamanho da memória cresce à medida que mais tokens são inseridos, aumentando a complexidade de integrar a memória com a entrada atual. A diferença entre os mecanismos de memória entre a atenção causal e os modelos semelhantes a RNN é ilustrada na figura a seguir.

Como a memória do modelo de espaço de estado é intrinsicamente perda, ela não atinge a memória perda zero da atenção causal, e como resultado, os modelos Mamba não podem demonstrar sua força em lidar com sequências curtas, uma área onde o mecanismo de atenção causal se sai bem com facilidade. No entanto, em cenários que envolvem sequências longas, a abordagem de atenção causal falha devido à complexidade quadrática. Nesse cenário, o framework Mamba demonstra sua eficiência em mesclar a memória com a entrada atual e é capaz de lidar com sequências longas suavemente, indicando que a família de modelos Mamba é bem adequada para processar sequências longas.

Também é importante notar que, por um lado, a natureza recorrente do modelo de espaço de estado permite que os modelos Mamba lidem eficientemente com sequências longas, mas introduz uma certa limitação, pois pode acessar informações apenas do tempo atual e dos tempos anteriores, e esse tipo de mistura de tokens é denominado modo causal, e ilustrado na figura a seguir. Devido à sua natureza causal, esse método é adequado para tarefas de geração autoregressiva.

O modo fully-visible é adequado para tarefas de compreensão, onde o modelo pode acessar todas as entradas de uma vez. Além disso, a atenção está no modo fully-visible por padrão e pode ser convertida em modo causal facilmente aplicando máscaras causais aos mapas de atenção, e os modelos semelhantes a RNN operam intrinsicamente no modo causal devido às suas propriedades recorrentes. Para resumir, o framework Mamba é adequado para tarefas que envolvem processamento de sequências longas ou tarefas que requerem modo de mistura de tokens causal.

Tarefas de Reconhecimento Visual, Código de Mistura de Tokens Causal e Sequências Muito Grandes

Como discutido anteriormente, o modo de mistura de tokens fully-visible permite uma faixa de mistura ilimitada, enquanto o modo causal limita o token atual a acessar apenas as informações dos tokens anteriores. Além disso, o reconhecimento visual é categorizado como uma tarefa de compreensão, onde o modelo pode ver a imagem inteira de uma vez, e isso elimina a necessidade de restrições na mistura de tokens, e impor restrições adicionais na mistura de tokens pode potencialmente degradar o desempenho do modelo. Geralmente, o modo fully-visible é apropriado para tarefas de compreensão, enquanto o modo causal é mais adequado para tarefas autoregressivas. Além disso, essa afirmação é apoiada pelo fato de que os modelos BeRT e ViT são usados mais para tarefas de compreensão do que os modelos GPT.

Verificação Experimental e Resultados

O próximo passo é verificar as hipóteses propostas pelo framework MambaOut experimentalmente. Como demonstrado na imagem a seguir, o bloco Mamba é baseado no bloco de Rede Neural Convolucional com Porta, e a meta-arquitetura dos blocos Mamba e Gated CNN pode ser tratada como uma integração simplificada do misturador de tokens do framework MetaFormer e uma MLP.

O bloco Mamba estende a Rede Neural Convolucional com Porta com um modelo de espaço de estado adicional, e a presença de um SSm é o que distingue o Gated CNN e o bloco Mamba. Além disso, para melhorar a velocidade prática, o framework MambaOut realiza apenas a conversão de profundidade em canais parciais, e como demonstrado no algoritmo a seguir, a implementação do bloco Gated CNN é simples, mas eficaz e elegante.

Tarefa de Classificação de Imagens

O ImageNet serve como o benchmark para tarefas de classificação de imagens, pois consiste em mais de mil classes comuns, mais de 1,3 milhão de imagens de treinamento e mais de 50.000 imagens de validação. A ampliação de dados usada para o experimento consiste em recorte aleatório de tamanho, Mixup, alteração de cor, Apagamento Aleatório, CutMix e Rand Augment. A tabela a seguir resume o desempenho da família de modelos Mamba, do modelo MambaOut e de outros modelos baseados em atenção e convolucionais no conjunto de dados ImageNet. Como pode ser visto, o framework MambaOut sem o modelo de espaço de estado supera consistentemente os modelos visuais Mamba com SSm em todos os tamanhos de modelo.

Por exemplo, o modelo MambaOut-Small retorna uma pontuação de precisão top-1 de mais de 84%, 0,4% maior do que seu concorrente Mamba mais próximo. Esse resultado apoia fortemente a primeira hipótese de que afirma que introduzir um modelo de espaço de estado para tarefas de classificação de imagens não é necessário.

Tarefas de Detecção de Objetos e Segmentação de Instâncias

O COCO serve como o benchmark para tarefas de detecção de objetos e segmentação de instâncias. Embora o framework MambaOut seja capaz de superar o desempenho de alguns modelos visuais Mamba, ele ainda não consegue igualar o desempenho dos modelos visuais Mamba de estado da arte, incluindo LocalVMamba e VMamba. A disparidade no desempenho do MambaOut em relação aos modelos visuais de estado da arte enfatiza os benefícios de integrar a família de modelos Mamba em tarefas visuais de longa sequência. No entanto, é importante notar que uma lacuna significativa de desempenho ainda existe entre os modelos híbridos de atenção-convolucional de estado da arte e os modelos visuais Mamba.

Pensamentos Finais

A família de modelos Mamba parece ser adequada para tarefas que envolvem características autoregressivas e de longa sequência. O framework MambaOut hipotetiza que o Mamba não é necessário para tarefas de visão, pois a classificação de imagens não se alinha com características autoregressivas ou de longa sequência. Embora as tarefas de segmentação e detecção também não sejam autoregressivas, elas exibem características de longa sequência, levando o framework MambaOut a hipotetizar o potencial do Mamba para essas tarefas. O framework MambaOut é construído empilhando blocos Mamba uns sobre os outros, removendo o modelo de espaço de estado, seu misturador de tokens central. Os resultados experimentais apoiam a hipótese apresentada pelo framework MambaOut, pois ele é capaz de superar todos os modelos visuais Mamba no framework de classificação de imagens ImageNet, indicando que o Mamba não é necessário para tarefas de visão. Por outro lado, para tarefas de detecção e segmentação, o framework MambaOut não consegue replicar o desempenho oferecido pelo modelo Mamba de estado da arte, demonstrando o potencial da família de modelos Mamba para tarefas visuais de longa sequência.