H Company lança NeoMME, uma família de codificadores multimodais de código aberto

Pesquisadores da H Company lançaram o NeoMME em 3 de setembro de 2026, uma família de codificadores multimodais e multilíngues de 260 M e 800 M de parâmetros, treinados do zero e publicados sob a licença Apache 2.0. Variantes de recuperação ajustadas finamente posicionam‑se na fronteira de Pareto de tamanho de modelo do benchmark ViDoRe v3 de recuperação de documentos visuais, relatou a equipe.

De acordo com o post de lançamento, muitos recuperadores recentes de documentos visuais são adaptados a partir de modelos generativos pré‑treinados de visão‑linguagem, nos quais um codificador de visão pré‑treinado separadamente produz recursos visuais que um projetor mapeia para o espaço de entrada de um modelo de linguagem causal. Recuperação, classificação e rotulagem de tokens não geram texto de forma autoregressiva, escrevem os autores, de modo que essas tarefas não exigem um decodificador causal nem seu custo de parâmetros e computação. O NeoMME, por sua vez, processa tokens de texto e blocos de imagem bruta através de um único Transformer bidirecional compartilhado e não se baseia em nenhuma torre de visão, codificador de texto ou decodificador de texto pré‑treinado existente.

O post posiciona o design em relação a dois esforços anteriores de codificadores: ModernBERT, que trouxe melhorias de eficiência para codificadores de texto bidirecionais, e ModernVBERT, que aplicou um codificador de texto estilo ModernBERT à recuperação de documentos visuais enquanto mantinha uma torre de visão SigLIP2 pré‑treinada separada. Os autores escrevem que desejavam eliminar a sobrecarga de transportar os componentes de um modelo visão‑linguagem para um codificador.

Arquitetura e Pré‑treinamento do Zero

Ambos os tamanhos do NeoMME compartilham a mesma arquitetura. Entradas de texto utilizam embeddings de token fatorizados, enquanto as imagens são divididas em uma grade de blocos não sobrepostos de 32 × 32 e projetadas por meio de um pequeno perceptron multilayer; ambos então entram no mesmo codificador Transformer. As imagens mantêm sua proporção e tamanho, permitindo que o modelo dedique mais tokens a uma página de documento de alta resolução e densidade informacional do que a uma imagem menor. O comprimento de contexto é de 16 384 tokens, suficiente para até duas imagens padrão 3840 × 2160 4K UHD. A maioria das camadas usa atenção de janela deslizante simétrica, enquanto a cada sexta camada e a camada final utilizam atenção global. A pilha também inclui atenção agrupada por consulta (grouped‑query attention), normalização de consulta‑chave, atenção com portas (gated attention), embeddings posicionais rotativos 2D e MLPs squared‑ReLU. Para texto, a equipe treinou um tokenizador BPE com vocabulário de 131 072 tokens do zero em texto multilíngue, código, matemática e transcrições de imagens produzidas por máquina.

O NeoMME é pré‑treinado do zero como um denoiser de texto de difusão mascarada discreta. Para exemplos apenas de texto, uma taxa de corrupção é amostrada uniformemente entre 0 e 1, e cada token de texto elegível é mascarado independentemente nessa taxa. Exemplos multimodais utilizam taxas de corrupção entre 0,3 e 1, mantendo os blocos de imagem visíveis enquanto o modelo reconstrói o texto mascarado; os autores escrevem que mascaramento intenso obriga o modelo a aprender descrições fundamentadas em imagens ao invés de depender de atalhos apenas linguísticos. O pré‑treinamento mistura texto multilíngue, código, matemática, imagens naturais e imagens de documentos, e cada modelo processa cerca de 524 bilhões de tokens de entrada compactados, incluindo 290 bilhões provenientes de exemplos apenas de texto. Observando que esse orçamento de texto é pequeno em comparação aos 2 trilhões de tokens de treinamento do ModernBERT, os autores afirmam que escolheram o otimizador NorMuon para melhorar a eficiência dos dados.

Ajuste Fino de Recuperação e Resultados de Benchmark

Para avaliar a espinha dorsal em uma tarefa subsequente, a equipe realizou ajuste fino para recuperação de documentos visuais usando a metodologia de página‑imagem introduzida pelo ColPali. Em vez de recuperar trechos de texto extraídos, o NeoMME‑Retriever classifica capturas de tela de páginas de documentos, contornando o pré‑processamento OCR e preservando layout, gráficos, tabelas e tipografia. O recuperador adiciona duas cabeças treinadas conjuntamente à espinha dorsal: uma cabeça densa que faz mean‑pool dos estados ocultos em um vetor normalizado, e uma cabeça de interação tardia que projeta cada token de texto ou bloco de imagem para um vetor normalizado de 128 dimensões, preservando correspondências granulares entre tokens de consulta e regiões da imagem. Uma passagem forward devolve ambas as representações. Os autores recomendam embeddings de interação tardia em geral, e um pipeline de recuperação densa seguido de re‑ranking de interação tardia para corpora muito grandes.

No benchmark ViDoRe v3, o post relata um nDCG@10 de 0,523 para o NeoMME‑Retriever‑260M, a maior pontuação entre os modelos avaliados com menos de 800 M de parâmetros e dentro de 0,002 do ColQwen2.5, usando cerca de 14 vezes menos parâmetros. O NeoMME‑Retriever‑800M atinge 0,556, a 0,009 do Vultron Retriever Flash de tamanho semelhante, e ambos os modelos situam‑se na fronteira de Pareto de tamanho de modelo do benchmark. A tabela de comparação do post indica as pontuações dos concorrentes como provenientes do MTEB e as pontuações do NeoMME como avaliações próprias da equipe. Nos benchmarks mais antigos ViDoRe v1 e v2, que utilizam nDCG@5, o post relata que o modelo de 260 M supera o ColModernVBERT e o ColSmol‑500M, que tem o dobro de tamanho, enquanto o modelo de 800 M supera o ColPali v1.3 com 3,6 vezes menos parâmetros.

O model card para NeoMME‑260M‑Retriever lista 263 M de parâmetros, tamanho oculto de 1 024, pesos BF16 e embeddings densos de 1 024 dimensões com pontos de truncamento Matryoshka em 128, 256, 512 e 1 024 dimensões, além da saída multi‑vetor de 128 dimensões. O card também relata resultados de recuperação de texto no BEIR‑15, onde o recuperador de 260 M obtém 0,4881 nDCG@10 com interação tardia e o modelo de 800 M obtém 0,5126.

Compressão, Taxa de Indexação e Disponibilidade

Como o armazenamento de interação tardia escala linearmente com o número de vetores de embedding, páginas de alta resolução são caras de indexar: uma página 2048 × 2048 gera 4 200 vetores com o NeoMME‑Retriever, cerca de 2,1 MB em float32, e o post relata uma média medida de aproximadamente 1,5 MB por documento no ViDoRe v3. A equipe combinou pooling hierárquico de tokens, que agrupa vetores de documentos semelhantes e armazena a média de cada cluster, com quantização assimétrica, que armazena embeddings de documentos em int8 ou precisão binária enquanto mantém embeddings de consulta em tempo real em precisão maior. No ViDoRe v3, o post relata que um fator de pooling de 10 com consultas e documentos int8 reduziu o armazenamento para 39 kB por página, uma redução de 39×, mantendo mais de 99 % do nDCG@10 de referência. Uma configuração mais agressiva, fator de pooling 8 com consultas int8 e documentos binários, usa 6 kB por página, 255 vezes menor, e mantém mais de 95 % da qualidade de recuperação.

A equipe também mediu a taxa de codificação usando tensores de imagem pré‑processados, com tamanhos de lote calibrados separadamente para cada modelo e tamanho de imagem. Com uma entrada de 2048 × 2048 em uma GPU NVIDIA L40S, o NeoMME‑Retriever‑260M codifica cerca de 51 páginas por segundo, quase o dobro das 26 páginas por segundo do ColModernVBERT, e o post relata que ambos os tamanhos do NeoMME‑Retriever são mais rápidos que os demais modelos comparados em resoluções de entrada menores.

Todos os checkpoints do NeoMME são lançados sob a licença Apache 2.0 com uma implementação day‑zero no Hugging Face Transformers, e uma demonstração de geração aumentada por recuperação visual está disponível como um Hugging Face Space. Para ajuste fino, a equipe fornece checkpoints densos e de interação tardia separados, compatíveis com Sentence Transformers v6, que atualmente suporta uma cabeça de recuperação por modelo; treinar ambas as cabeças simultaneamente requer a classe NeoMMEForRetrieval com um Trainer personalizado.

O relatório técnico, de Aurélien Lac e Tony Wu, foi submetido ao arXiv em 31 de agosto de 2026, na categoria de recuperação de informação. Nas agradecimentos do post, os autores descrevem o NeoMME como um projeto paralelo desenvolvido com tempo e recursos computacionais limitados, e agradecem à H Company por apoiar o trabalho e fornecer o poder de computação usado para treiná‑lo.