H Company julkaisee NeoMME:n, avoimen lähdekoodin monimodaalisen enkooderiperheen

H Companyn tutkijat julkaisevat NeoMME:n 3. syyskuuta 2026, 260 M‑ ja 800 M‑parametrisen monimodaalisen ja monikielisen enkooderiperheen, joka on koulutettu alusta alkaen ja julkaistu Apache 2.0 -lisenssin alaisena. Hienosäädetyt hakuvaihtoehdot sijoittuvat mallikoon Pareto‑rajapinnalle ViDoRe v3 -visuaalisen dokumentin hakukilpailussa, tiimi kertoi.

Julkaisupostauksen mukaan monet viimeaikaiset visuaalisen dokumentin hakukoneet on sovitettu esikoulutetusta generatiivisesta näkö‑kielimallista, jossa erikseen esikoulutettu näköenkooderi tuottaa visuaalisia piirteitä, jotka projektori kartoittaa kausaalisen kielimallin syöteavaruuteen. Haku, luokittelu ja tokenien merkintä eivät tuota tekstiä autoregressiivisesti, kirjoittajat toteavat, joten nämä tehtävät eivät vaadi kausaalista dekooderia tai sen parametrien ja laskennan ylikuormaa. NeoMME sen sijaan käsittelee tekstitokeneita ja raakoja kuvaruutuja yhden jaetun kaksisuuntaisen Transformerin kautta, eikä perustu mihinkään olemassa olevaan esikoulutettuun näkötorniin, tekstienkooderiin tai tekstidekooderiin.

Postaus asettaa suunnittelun kahden aikaisemman enkooderihankkeen vastapainoksi: ModernBERT, joka toi tehokkuusparannuksia kaksisuuntaisiin tekstienkoodereihin, ja ModernVBERT, joka sovelsi ModernBERT‑tyylistä tekstienkooderia visuaalisen dokumentin hakuun säilyttäen erillisen esikoulutetun SigLIP2‑näkötorni. Kirjoittajat kertovat haluavansa poistaa näkö‑kielimallin komponenttien kantamisen enkooderiin aiheuttaman ylikuorman.

Arkkitehtuuri ja alusta alkaen tapahtuva esikoulutus

Molemmat NeoMME‑koot jakavat saman arkkitehtuurin. Tekstisyötteet käyttävät faktoroituja token‑embeddauksia, kun taas kuvat jaetaan ruudukkoon, jossa on ei‑päällekkäisiä 32 × 32‑ruutuja, ja ne projisoidaan pienellä monikerroksisella perceptronilla; molemmat syötetään sitten samaan Transformer‑enkooderiin. Kuvat säilyttävät kuvasuhteensa ja -kokonsa, jolloin malli voi käyttää enemmän tokeneita korkean resoluution, informaatiotiheän dokumenttisivun käsittelyyn kuin pienemmän kuvan. Kontekstin pituus on 16 384 tokenia, riittäen jopa kahteen tavalliseen 3840 × 2160 4K‑UHD‑kuvaan. Useimmat kerrokset käyttävät symmetristä liukuvan ikkunan huomiointia, kun taas jokainen kuudes kerros ja viimeinen kerros käyttävät globaalia huomiointia. Pinossa on myös ryhmitelty kyselyhuomio, kysely‑avaimen normalisointi, porttihallittu huomio, 2D‑pyörivä paikannus‑embeddaukset ja neliö‑ReLU‑MLP:t. Tekstiä varten tiimi koulutti alusta alkaen BPE‑tokenisoijan, jossa on 131 072‑tokenin sanasto, monikieliselle tekstille, koodille, matematiikalle ja koneellisesti tuotetuille kuvatiedostoille.

NeoMME on esikoulutettu alusta alkaen diskreettinä maskattuna diffuusio‑tekstin kohinanpoistajana. Tekstipureissa esimerkeissä korruptioprosentti otetaan tasaisesti välillä 0–1, ja jokainen kelvollinen tekstitoken maskataan itsenäisesti kyseisellä prosentilla. Monimodaalisissa esimerkeissä korruptioprosentti vaihtelee 0,3–1 välillä, ja kuvaruutuja pidetään näkyvinä samalla kun malli rekonstruoi maskattua tekstiä; kirjoittajat toteavat, että voimakas maskaus pakottaa mallin oppimaan kuvaan perustuvia kuvauksia sen sijaan, että se turvautuisi pelkästään kielen oikoteihin. Esikoulutus yhdistää monikielistä tekstiä, koodia, matematiikkaa, luonnollisia kuvia ja dokumenttikuvia, ja jokainen malli käsittelee noin 524 miljardia pakattua syötetokenia, joista 290 miljardia on tekstipureista. Huomaten, että tämä tekstibudjetti on pieni verrattuna ModernBERTin 2 triljoonaan koulutustokenia, kirjoittajat kertovat valinneensa NorMuon‑optimoinnin parantaakseen datan tehokkuutta.

Haku‑hienosäätö ja mittaustulokset

Arvioidakseen perusrakennetta alitehtävässä tiimi hienosäätää sen visuaalisen dokumentin hakuun käyttäen ColPali:n esittelemää sivu‑kuva‑menetelmää. Sen sijaan, että haettaisiin purettuja tekstikatkoja, NeoMME‑Retriever järjestelee dokumenttisivujen kuvakaappauksia, ohittaen OCR‑esikäsittelyn ja säilyttäen asettelun, kaaviot, taulukot ja typografian. Retriever lisää perusrakenteeseen kaksi yhteisesti koulutettua päätä: tiheä pää, joka keskiarvoistaa piilotilat normalisoituun vektoriin, ja myöhäisen vuorovaikutuksen pää, joka projisoi jokaisen tekstitokenin tai kuvaruutun 128‑dimensioonormalisoituun vektoriin, säilyttäen hienojakoiset vastaavuudet kyselytokenien ja kuva‑alueiden välillä. Yksi eteenpäin suoritettava kulku palauttaa molemmat esitykset. Kirjoittajat suosittelevat yleisesti myöhäisen vuorovaikutuksen upotuksia sekä tiheän haun ja sen jälkeen myöhäisen vuorovaikutuksen uudelleenjärjestelyn putkea erittäin suurille korpuksille.

ViDoRe v3 -mittarilla postaus raportoituu nDCG@10‑arvoksi 0,523 NeoMME‑Retriever‑260M:lle, mikä on korkein tulos arvioiduista malleista, jotka ovat selvästi alle 800 M‑parametrin, ja se on 0,002:n päässä ColQwen2.5:stä käyttäen noin 14‑kertaista vähemmän parametreja. NeoMME‑Retriever‑800M saavuttaa 0,556, mikä on 0,009:n sisällä samankokoisen Vultron Retriever Flash -mallin kanssa, ja molemmat mallit sijoittuvat mittarin mallikoon Pareto‑rajapinnalle. Postauksen vertailutaulukko merkitsee kilpailijoiden pisteet MTEB‑lähteestä ja NeoMME‑pisteet tiimin omiksi arvioiksi. Vanhemmilla ViDoRe v1‑ ja v2‑mittareilla, jotka käyttävät nDCG@5‑arvoa, postaus kertoo, että 260 M‑malli ylittää ColModernVBERT:n ja kaksinkertaisesti suuremman ColSmol‑500M:n, kun taas 800 M‑malli ylittää ColPali v1.3:n 3,6‑kerta vähemmän parametreja käyttäen.

NeoMME‑260M‑Retriever‑mallikortti luettelee 263 M‑parametria, piilotetun koon 1 024, BF16‑painot ja 1 024‑dimensioiset tiheät upotukset Matryoshka‑lyhennyskohtailla 128, 256, 512 ja 1 024 dimensiossa, sekä 128‑dimensioisen monivektoriulostulon. Kortti raportoikin tekstihakutulokset BEIR‑15:ssä, jossa 260 M‑retriever saavuttaa 0,4881 nDCG@10 myöhäisellä vuorovaikutuksella ja 800 M‑malli 0,5126.

Pakkaus, indeksointinopeus ja saatavuus

Koska myöhäisen vuorovaikutuksen tallennus kasvaa lineaarisesti upotusvektoreiden määrän kanssa, korkean resoluution sivut ovat kalliita indeksoida: 2048 × 2048‑sivu tuottaa 4 200 vektoria NeoMME‑Retrieverilla, noin 2,1 MB float32‑muodossa, ja postaus raportoikin mitatun keskiarvon noin 1,5 MB per asiakirja ViDoRe v3:n osalta. Tiimi yhdisti hierarkkisen token‑ryhmittelyn, joka klusteroi samankaltaiset dokumenttivektorit ja tallentaa kunkin klusterin keskiarvon, epäsymmetristä kvantisointia, joka tallentaa dokumenttiupotukset int8‑tai binaariseen tarkkuuteen samalla kun kyselyupotukset pidetään korkeammassa tarkkuudessa. ViDoRe v3:ssa postaus kertoo, että ryhmittelykerroin 10 int8‑kyselyillä ja -dokumenteilla vähentää tallennustilan 39 kB per sivu, 39‑kertaiseksi, säilyttäen yli 99 % perus‑nDCG@10‑arvosta. Aggressiivisempi asetus, ryhmittelykerroin 8 int8‑kyselyillä ja binaarisilla dokumenteilla, käyttää 6 kB per sivu, 255‑kertaisesti pienempi, ja säilyttää yli 95 % haun laadusta.

Tiimi mittasi myös koodausläpäisykykyä käyttäen esikäsiteltyjä kuvatensoreita, jolloin eräkokoonnit kalibroitiin erikseen jokaiselle mallille ja kuvan koolle. Yhdellä NVIDIA L40S -GPU:lla, jossa on 2048 × 2048‑syöte, NeoMME‑Retriever‑260M koodaa noin 51 sivua sekunnissa, lähes kaksinkertaisesti ColModernVBERT:n 26 sivua sekunnissa, ja postaus kertoo, että molemmat NeoMME‑Retriever‑koot ovat nopeampia kuin muut vertailumallit pienemmillä syöteresoluutioilla.

Kaikki NeoMME‑tarkistuspisteet on julkaistu Apache 2.0 -lisenssin alla, ja niiden day-zero‑toteutus on saatavilla Hugging Face Transformers -kirjastossa, lisäksi visuaalinen haku‑lisätty generointademo on saatavilla Hugging Face Space -palvelussa. Hienosäätöä varten tiimi tarjoaa erilliset tiheät ja myöhäisen vuorovaikutuksen tarkistuspisteet, jotka ovat yhteensopivia Sentence Transformers v6:n kanssa, mikä tällä hetkellä tukee yhtä hakupäätä per malli; molempien pääten kouluttaminen samanaikaisesti vaatii NeoMMEForRetrieval‑luokan mukautetulla Trainer‑luokalla.

Liitteinen tekninen raportti, jonka ovat kirjoittaneet Aurélien Lac ja Tony Wu, on lähetetty arXiviin 31. elokuuta 2026 tiedonhaku‑kategoriaan. Postauksen kiitoksissa kirjoittajat kuvaavat NeoMME:n sivuprojektiksi, joka on rakennettu rajallisella ajalla ja laskentateholla, ja kiittävät H Companyä työn tukemisesta sekä laskentatehon tarjoamisesta, jota sen kouluttamiseen käytettiin.

Alkuperäisen artikkelin lähteet: huggingface.co [1] · huggingface.co [2] · arxiv.org [3]