H Company lance NeoMME, une famille d’encodeurs multimodaux open source

Les chercheurs de H Company ont publié NeoMME le 3 septembre 2026, une famille d’encodeurs multimodaux et multilingues de 260 M et 800 M de paramètres, entraînés de zéro et publiés sous licence Apache 2.0. Les variantes de récupération affinées se situent sur le front de Pareto de la taille du modèle du benchmark de récupération de documents visuels ViDoRe v3, a indiqué l’équipe.

Selon le billet de sortie, de nombreux récupérateurs de documents visuels récents sont adaptés à partir de modèles génératifs vision‑langage pré‑entraînés, dans lesquels un encodeur vision pré‑entraîné séparément produit des caractéristiques visuelles qu’un projecteur projette dans l’espace d’entrée d’un modèle de langage causal. Les auteurs indiquent que la récupération, la classification et l’étiquetage de tokens ne génèrent pas de texte de manière autorégressive, de sorte que ces tâches ne nécessitent pas de décodeur causal ni son coût en paramètres et en calcul. NeoMME, quant à lui, fait passer les tokens de texte et les patchs d’image bruts à travers un même Transformeur bidirectionnel partagé et ne repose sur aucune tour vision, encodeur texte ou décodeur texte pré‑entraîné existant.

Le billet oppose la conception à deux travaux d’encodeurs antérieurs : ModernBERT, qui a apporté des améliorations d’efficacité aux encodeurs texte bidirectionnels, et ModernVBERT, qui a appliqué un encodeur texte de type ModernBERT à la récupération de documents visuels tout en conservant une tour vision SigLIP2 pré‑entraînée distincte. Les auteurs déclarent qu’ils souhaitaient éliminer le surcoût lié au transport des composants d’un modèle vision‑langage dans un encodeur.

Architecture et pré‑entraînement à partir de zéro

Les deux tailles de NeoMME partagent la même architecture. Les entrées texte utilisent des embeddings de tokens factorisés, tandis que les images sont découpées en une grille de patchs non chevauchants de 32 × 32 et projetées à l’aide d’un petit perceptron multicouche ; les deux sont ensuite introduits dans le même encodeur Transformeur. Les images conservent leur ratio d’aspect et leur taille, ce qui permet au modèle d’allouer davantage de tokens à une page de document à haute résolution et riche en informations qu’à une image plus petite. La longueur de contexte est de 16 384 tokens, suffisante pour jusqu’à deux images 4K UHD standard de 3840 × 2160. La plupart des couches utilisent une attention à fenêtre glissante symétrique, tandis que chaque sixième couche et la couche finale utilisent une attention globale. La pile comprend également une attention à requêtes groupées, une normalisation requête‑clé, une attention à portes, des embeddings de position rotatifs 2D et des MLP à ReLU carrée. Pour le texte, l’équipe a entraîné un tokenizer BPE avec un vocabulaire de 131 072 tokens, construit de zéro sur du texte multilingue, du code, des mathématiques et des transcriptions d’images générées par machine.

NeoMME est pré‑entraîné de zéro comme débruiteur de texte à diffusion masquée discrète. Pour les exemples uniquement texte, un taux de corruption est échantillonné uniformément entre 0 et 1, et chaque token texte éligible est masqué indépendamment à ce taux. Les exemples multimodaux utilisent des taux de corruption compris entre 0,3 et 1, les patchs d’image restant visibles tandis que le modèle reconstruit le texte masqué ; les auteurs indiquent qu’un masquage intensif contraint le modèle à apprendre des descriptions ancrées dans l’image plutôt que de s’appuyer sur des raccourcis purement linguistiques. Le pré‑entraînement mélange du texte multilingue, du code, des mathématiques, des images naturelles et des images de documents, chaque modèle traitant environ 524 milliards de tokens d’entrée empaquetés, dont 290 milliards provenant d’exemples uniquement texte. Notant que ce budget texte est faible comparé aux 2 trillions de tokens d’entraînement de ModernBERT, les auteurs précisent avoir choisi l’optimiseur NorMuon pour améliorer l’efficacité des données.

Affinage pour la récupération et résultats des benchmarks

Pour évaluer la colonne vertébrale sur une tâche en aval, l’équipe l’a affinée pour la récupération de documents visuels en utilisant la méthodologie page‑image introduite par ColPali. Au lieu de récupérer des fragments de texte extraits, NeoMME‑Retriever classe des captures d’écran de pages de documents, contournant le pré‑traitement OCR et préservant la mise en page, les graphiques, les tableaux et la typographie. Le récupérateur ajoute deux têtes entraînées conjointement à la colonne vertébrale : une tête dense qui moyenne les états cachés en un vecteur normalisé, et une tête d’interaction tardive qui projette chaque token texte ou patch d’image en un vecteur normalisé de 128 dimensions, conservant des correspondances fines entre les tokens de requête et les régions d’image. Un passage avant renvoie les deux représentations. Les auteurs recommandent les embeddings d’interaction tardive en général, ainsi qu’une chaîne de récupération dense suivie d’un re‑ranking par interaction tardive pour des corpus très volumineux.

Sur le benchmark ViDoRe v3, le billet indique un nDCG@10 de 0,523 pour NeoMME‑Retriever‑260M, le meilleur score parmi les modèles évalués strictement inférieurs à 800 M de paramètres et à 0,002 du ColQwen2.5 tout en utilisant environ 14 fois moins de paramètres. NeoMME‑Retriever‑800M atteint 0,556, à 0,009 du Vultron Retriever Flash de taille similaire, et les deux modèles se situent sur le front de Pareto taille‑modèle du benchmark. Le tableau comparatif du billet indique que les scores des concurrents proviennent de MTEB et que les scores de NeoMME sont les évaluations propres de l’équipe. Sur les benchmarks plus anciens ViDoRe v1 et v2, qui utilisent le nDCG@5, le billet rapporte que le modèle 260 M surpasse le ColModernVBERT et le ColSmol‑500M, deux fois plus grand, tandis que le modèle 800 M surpasse le ColPali v1.3 avec 3,6 fois moins de paramètres.

La fiche modèle de NeoMME‑260M‑Retriever indique 263 M de paramètres, une taille cachée de 1 024, des poids BF16 et des embeddings denses de 1 024 dimensions avec des points de troncature Matryoshka à 128, 256, 512 et 1 024 dimensions, ainsi que la sortie multi‑vecteur de 128 dimensions. La fiche rapporte également les résultats de récupération de texte sur BEIR‑15, où le récupérateur 260 M obtient un nDCG@10 de 0,4881 avec interaction tardive et le modèle 800 M obtient 0,5126.

Compression, débit d’indexation et disponibilité

Comme le stockage d’interaction tardive augmente linéairement avec le nombre de vecteurs d’embedding, les pages haute résolution sont coûteuses à indexer : une page de 2048 × 2048 génère 4 200 vecteurs avec NeoMME‑Retriever, soit environ 2,1 Mo en float32, et le billet indique une moyenne mesurée d’environ 1,5 Mo par document sur ViDoRe v3. L’équipe a combiné le regroupement hiérarchique de tokens, qui regroupe des vecteurs de documents similaires et stocke la moyenne de chaque groupe, avec une quantification asymétrique, qui stocke les embeddings de documents en int8 ou en précision binaire tout en conservant les embeddings de requête en temps réel à une précision supérieure. Sur ViDoRe v3, le billet rapporte qu’un facteur de regroupement de 10 avec des requêtes et documents int8 réduit le stockage à 39 kB par page, soit une réduction de 39 ×, tout en conservant plus de 99 % du nDCG@10 de référence. Un réglage plus agressif, facteur de regroupement 8 avec des requêtes int8 et des documents binaires, utilise 6 kB par page, 255 fois moins, et conserve plus de 95 % de la qualité de récupération.

L’équipe a également mesuré le débit d’encodage à l’aide de tenseurs d’image pré‑traités, avec des tailles de lot calibrées séparément pour chaque modèle et chaque taille d’image. Avec une entrée de 2048 × 2048 sur un GPU NVIDIA L40S, NeoMME‑Retriever‑260M encode environ 51 pages par seconde, soit presque le double des 26 pages par seconde de ColModernVBERT, et le billet indique que les deux tailles de NeoMME‑Retriever sont plus rapides que les autres modèles comparés à des résolutions d’entrée plus petites.

Tous les points de contrôle NeoMME sont publiés sous licence Apache 2.0 avec une implémentation jour‑zéro dans Hugging Face Transformers, et une démonstration de génération augmentée par récupération visuelle est disponible en tant que Hugging Face Space. Pour l’affinage, l’équipe fournit des points de contrôle séparés dense et d’interaction tardive compatibles avec Sentence Transformers v6, qui prend actuellement en charge une tête de récupération par modèle ; entraîner les deux têtes simultanément nécessite la classe NeoMMEForRetrieval avec un entraîneur personnalisé.

Le rapport technique accompagnant, rédigé par Aurélien Lac et Tony Wu, a été soumis à arXiv le 31 août 2026, dans la catégorie récupération d’information. Dans les remerciements du billet, les auteurs décrivent NeoMME comme un projet annexe réalisé avec un temps et des ressources de calcul limités, et remercient H Company pour avoir soutenu le travail et fourni la puissance de calcul utilisée pour l’entraîner.