H Company udgiver NeoMME, en open source multimodal enkodfamilie

Forskere fra H Company udgav NeoMME den 3. september 2026, en familie af multimodale og flersprogede enkodere med 260 M‑ og 800 M‑parametre, trænet fra bunden og udgivet under Apache 2.0‑licensen. Finjusterede genvindingsvarianter ligger på modelstørrelsens Pareto‑front for ViDoRe v3 benchmark for visuel dokumentgenfinding, rapporterede teamet.

Ifølge udgivelsesindlægget er mange nyere visuelle dokumentgenfindere tilpasset fra forudtrænede generative vision‑sprog‑modeller, hvor en separat forudtrænet vision‑enkoder producerer visuelle funktioner, som en projektor mapper ind i en kausal sprogmodells inputrum. Genfinding, klassificering og token‑mærkning genererer ikke tekst autoregressivt, skriver forfatterne, så disse opgaver ikke kræver en kausal dekoder eller dens parameter‑ og beregningsomkostninger. NeoMME kører i stedet tekst‑tokens og rå billed‑patches gennem én fælles bidirektionel Transformer og er ikke baseret på nogen eksisterende forudtrænet vision‑tårn, tekst‑enkoder eller tekst‑dekoder.

Indlægget stiller designet i kontrast til to tidligere enkodere: ModernBERT, som indførte effektivitetsforbedringer i bidirektionale tekst‑enkodere, og ModernVBERT, som anvendte en ModernBERT‑lignende tekst‑enkoder til visuel dokumentgenfinding, mens den beholdt et separat forudtrænet SigLIP2‑vision‑tårn. Forfatterne skriver, at de ønskede at fjerne den ekstra byrde ved at overføre komponenterne fra en vision‑sprog‑model ind i en enkoder.

Arkitektur og træning fra bunden

Begge NeoMME‑størrelser deler den samme arkitektur. Tekstinput bruger faktoriserede token‑indlejringer, mens billeder opdeles i et gitter af ikke‑overlappende 32 × 32‑patches, som projiceres med et lille flerlagsperspektivnetværk; begge går derefter ind i den samme Transformer‑enkoder. Billeder bevarer deres billedformat og størrelse, så modellen kan bruge flere tokens på en høj‑opløsnings, informations‑tæt dokumentside end på et mindre billede. Kontekstlængden er 16 384 tokens, nok til op til to standard 3840 × 2160 4K‑UHD‑billeder. De fleste lag bruger symmetrisk sliding‑window‑opmærksomhed, mens hvert sjette lag og det sidste lag anvender global opmærksomhed. Stakken inkluderer også grouped‑query‑attention, query‑key‑normalisering, gated‑attention, 2D‑roterende positionsindlejringer og squared‑ReLU‑MLP’er. For tekst trænede teamet en BPE‑tokenizer med et 131 072‑token ordforråd fra bunden på flersproget tekst, kode, matematik og maskin‑producerede billed‑transkriptioner.

NeoMME fortrænes fra bunden som en diskret masked‑diffusion tekst‑denoiser. For kun‑tekst‑eksempler udtages en korruptionsrate uniformt mellem 0 og 1, og hvert berettiget tekst‑token maskeres uafhængigt med den rate. Multimodale eksempler bruger korruptionsrater mellem 0,3 og 1, hvor billed‑patches forbliver synlige, mens modellen rekonstruerer maskeret tekst; forfatterne skriver, at tung maskering tvinger modellen til at lære billed‑baserede beskrivelser i stedet for kun at stole på sprog‑kortveje. Fortræning blander flersproget tekst, kode, matematik, naturlige billeder og dokumentbilleder, og hver model behandler omkring 524 milliarder pakkede input‑tokens, inklusive 290 milliarder fra kun‑tekst‑eksempler. Da dette tekstbudget er lille i forhold til ModernBERT’s 2 billioner træningstokens, skriver forfatterne, at de valgte NorMuon‑optimereren for at forbedre dataeffektiviteten.

Finjustering af genfinding og benchmark‑resultater

For at evaluere grundmodellen på en efterfølgende opgave finjusterede teamet den til visuel dokumentgenfinding ved hjælp af side‑billed‑metoden introduceret af ColPali. I stedet for at hente udtrukne tekst‑stykker rangerer NeoMME‑Retriever skærmbilleder af dokumentsider, hvilket omgår OCR‑forbehandling og bevarer layout, diagrammer, tabeller og typografi. Retrieveren tilføjer to fælles‑trænede hoveder til grundmodellen: et tæt hoved, der gennemsnitligt pooler skjulte tilstande til en normaliseret vektor, og et sen‑interaktions‑hoved, der projicerer hvert tekst‑token eller billed‑patch til en 128‑dimensional normaliseret vektor, hvilket bevarer fin‑granulerede match mellem forespørgsels‑tokens og billedregioner. Et fremadrettet pass returnerer begge repræsentationer. Forfatterne anbefaler generelt sen‑interaktions‑indlejringer samt en pipeline med tæt genfinding efterfulgt af sen‑interaktions‑omrangering for meget store korpora.

På ViDoRe v3‑benchmarken rapporterer indlægget en nDCG@10 på 0,523 for NeoMME‑Retriever‑260M, den højeste score blandt evaluerede modeller med færre end 800 M‑parametre og inden for 0,002 af ColQwen2.5, mens den bruger omkring 14‑gange færre parametre. NeoMME‑Retriever‑800M når 0,556, inden for 0,009 af den tilsvarende store Vultron Retriever Flash, og begge modeller ligger på benchmarkens modelstørrelses‑Pareto‑front. Indlæggets sammenligningstabel markerer konkurrenternes scores som hentet fra MTEB og NeoMME‑scores som teamets egne evalueringer. På de ældre ViDoRe v1‑ og v2‑benchmarks, som bruger nDCG@5, rapporterer indlægget, at 260M‑modellen overgår ColModernVBERT og den dobbelt så store ColSmol‑500M, mens 800M‑modellen overgår ColPali v1.3 med 3,6‑gange færre parametre.

Den modelkort for NeoMME-260M-Retriever oplyser 263 M parametre, en skjult størrelse på 1 024, BF16‑vægte og 1 024‑dimensionelle tætte indlejringer med Matryoshka‑afkortningspunkter ved 128, 256, 512 og 1 024 dimensioner, sammen med den 128‑dimensionelle multi‑vektor‑output. Kortet rapporterer også tekst‑genfindingsresultater på BEIR‑15, hvor 260M‑retrieveren opnår 0,4881 nDCG@10 med sen interaktion og 800M‑modellen opnår 0,5126.

Kompression, indekseringsgennemløb og tilgængelighed

Da sen‑interaktions‑lagring skalerer lineært med antallet af indlejringsvektorer, er sider med høj opløsning dyre at indeksere: en 2048 × 2048‑side producerer 4 200 vektorer med NeoMME‑Retriever, omkring 2,1 MB i float32, og indlægget rapporterer et målt gennemsnit på omkring 1,5 MB pr. dokument på tværs af ViDoRe v3. Teamet kombinerede hierarkisk token‑pooling, som grupperer lignende dokumentvektorer og gemmer hver clusters gennemsnit, med asymmetrisk kvantisering, som gemmer dokumentindlejringer som int8 eller binær præcision, mens forespørgsels‑indlejringer holdes i højere præcision i realtid. På ViDoRe v3 rapporterer indlægget, at en pool‑faktor på 10 med int8‑forespørgsler og dokumenter reducerer lagringen til 39 kB pr. side, en 39‑gange reduktion, mens mere end 99 % af baseline‑nDCG@10 bevares. En mere aggressiv indstilling, pool‑faktor 8 med int8‑forespørgsler og binære dokumenter, bruger 6 kB pr. side, 255‑gange mindre, og bevarer mere end 95 % af genfindingskvaliteten.

Teamet målte også kodningsgennemløbet ved brug af forbehandlede billed‑tensorer, med batch‑størrelser kalibreret separat for hver model og billedstørrelse. Ved en matchende 2048 × 2048‑input på én NVIDIA L40S‑GPU koder NeoMME‑Retriever‑260M omkring 51 sider pr. sekund, næsten dobbelt så hurtigt som ColModernVBERT’s 26 sider pr. sekund, og indlægget rapporterer, at begge NeoMME‑Retriever‑størrelser er hurtigere end de andre sammenlignede modeller ved mindre input‑opløsninger.

Alle NeoMME‑checkpoint‑filer udgives under Apache 2.0 med en dag‑nul‑implementering i Hugging Face Transformers, og en demo for visuel genfinding‑forstærket generering er tilgængelig som en Hugging Face Space. Til finjustering leverer teamet separate tætte og sen‑interaktions‑checkpoint‑filer, kompatible med Sentence Transformers v6, som i øjeblikket understøtter ét genfindings‑hoved pr. model; træning af begge hoveder samtidigt kræver NeoMMEForRetrieval‑klassen med en tilpasset Trainer.

Den tekniske rapport, af Aurélien Lac og Tony Wu, blev indsendt til arXiv den 31. august 2026 i kategorien information retrieval. I indlæggets anerkendelser beskriver forfatterne NeoMME som et sideprojekt bygget med begrænset tid og beregningsressourcer, og takker H Company for at støtte arbejdet og levere de beregninger, der blev brugt til at træne det.