H Company、オープンソースのマルチモーダルエンコーダーファミリー「NeoMME」をリリース

H Companyの研究者は2026年9月3日にNeoMMEをリリースしました。これは、260Mおよび800Mパラメータのマルチモーダル・マルチリンガルエンコーダーのファミリーで、スクラッチから学習され、Apache 2.0ライセンスの下で公開されています。チームは、ファインチューニングされた検索バリアントがViDoRe v3ビジュアルドキュメント検索ベンチマークのモデルサイズパレートフロンティア上に位置すると報告しています。

リリース投稿によると、最近の多くのビジュアルドキュメント検索システムは、事前学習された生成的ビジョン・言語モデルから適応されており、別途事前学習されたビジョンエンコーダが視覚特徴を生成し、プロジェクタがそれらを因果言語モデルの入力空間にマッピングしています。著者らは、検索、分類、トークンラベリングはテキストを自己回帰的に生成しないため、因果デコーダやそのパラメータ・計算コストは不要だと述べています。NeoMMEは、テキストトークンと生画像パッチを単一の共有双方向Transformerで処理し、既存の事前学習ビジョンタワー、テキストエンコーダ、テキストデコーダのいずれにも基づいていません。

この投稿では、設計を以前の2つのエンコーダー取り組み、すなわち双方向テキストエンコーダの効率性を向上させたModernBERTと、ModernBERTスタイルのテキストエンコーダをビジュアルドキュメント検索に適用しつつ、別個の事前学習済みSigLIP2ビジョンタワーを保持したModernVBERTと比較しています。著者らは、ビジョン・言語モデルのコンポーネントをエンコーダに持ち込む際のオーバーヘッドを排除したいと述べています。

アーキテクチャとスクラッチからの事前学習

NeoMMEの両サイズは同一のアーキテクチャを共有しています。テキスト入力は因子化トークン埋め込みを使用し、画像は重ならない32×32パッチのグリッドに分割され、小さな多層パーセプトロンで射影されます。これらは同じTransformerエンコーダに入力されます。画像はアスペクト比とサイズを保持するため、モデルは小さな画像よりも高解像度で情報密度の高い文書ページにより多くのトークンを割り当てることができます。コンテキスト長は16,384トークンで、標準的な3840×2160の4K UHD画像2枚分に相当します。ほとんどの層は対称スライディングウィンドウアテンションを使用し、6層ごとと最終層はグローバルアテンションを採用しています。スタックにはグループ化クエリアテンション、クエリ‑キー正規化、ゲート付きアテンション、2次元回転位置埋め込み、二乗ReLU MLPも含まれます。テキストについては、チームは多言語テキスト、コード、数学、機械生成画像文字起こしを対象に、131,072トークンの語彙を持つBPEトークナイザをスクラッチで学習させました。

NeoMMEは、離散的マスク拡散テキストデノイザーとしてスクラッチから事前学習されます。テキストのみの例では、0から1までの一様分布で汚染率がサンプリングされ、対象となるテキストトークンはその率で独立にマスクされます。マルチモーダル例では汚染率を0.3から1の範囲で設定し、画像パッチは可視のままにしてモデルがマスクされたテキストを再構成します。著者らは、強いマスクがモデルに画像に根ざした記述を学習させ、言語のみのショートカットに依存しないようにすると述べています。事前学習は多言語テキスト、コード、数学、自然画像、文書画像を混合し、各モデルは約5240億個のパック入力トークン（うちテキストのみの例からは2900億）を処理します。このテキスト予算はModernBERTの2兆トークンに比べて小さいことに留意し、データ効率を向上させるためにNorMuonオプティマイザを選択したと著者は述べています。

検索のファインチューニングとベンチマーク結果

バックボーンを下流タスクで評価するため、チームはColPaliが提案したページ画像手法を用いてビジュアルドキュメント検索向けにファインチューニングしました。抽出されたテキストチャンクを検索する代わりに、NeoMME‑Retrieverは文書ページのスクリーンショットをランク付けし、OCR前処理を省略してレイアウト、チャート、テーブル、タイポグラフィを保持します。検索器はバックボーンに2つの共同訓練ヘッドを追加します。1つは隠れ状態を平均プールして正規化ベクトルに変換するデンスヘッド、もう1つは各テキストトークンまたは画像パッチを128次元の正規化ベクトルに射影し、クエリトークンと画像領域間の細粒度マッチを保持するレイトインタラクションヘッドです。1回のフォワードパスで両方の表現が得られます。著者は、一般的にレイトインタラクション埋め込みを推奨し、非常に大規模なコーパスではデンス検索の後にレイトインタラクションによる再ランク付けを行うパイプラインを勧めています。

ViDoRe v3ベンチマークにおいて、投稿はNeoMME‑Retriever‑260MのnDCG@10が0.523であると報告しています。これは、800M未満のパラメータ数の評価モデルの中で最高スコアであり、パラメータ数を約14倍削減しながらColQwen2.5との差は0.002です。NeoMME‑Retriever‑800Mは0.556に達し、同規模のVultron Retriever Flashとの差は0.009で、両モデルともベンチマークのモデルサイズパレートフロンティア上に位置します。比較表では競合スコアはMTEBから取得したもの、NeoMMEのスコアはチーム独自の評価と示されています。nDCG@5を使用する旧バージョンのViDoRe v1およびv2ベンチマークでは、260MモデルがColModernVBERTと2倍大きいColSmol‑500Mを上回り、800Mモデルはパラメータ数を3.6倍削減した上でColPali v1.3を上回ると報告されています。

NeoMME-260M-Retriever のモデルカードには、263Mパラメータ、隠れサイズ1,024、BF16ウェイト、1,024次元のデンス埋め込みがあり、Matryoshkaの切り捨てポイントは128、256、512、1,024次元となっていること、さらに128次元のマルチベクトル出力があると記載されています。また、カードはBEIR‑15でのテキスト検索結果も報告しており、260MリトリーバーはレイトインタラクションでnDCG@10が0.4881、800Mモデルは0.5126です。

圧縮、インデックス作成スループット、利用可能性

レイトインタラクションのストレージは埋め込みベクトル数に比例して増加するため、高解像度ページのインデックス作成はコストがかかります。2048×2048のページはNeoMME‑Retrieverで4,200ベクトル（float32で約2.1 MB）を生成し、投稿ではViDoRe v3全体で文書あたり平均約1.5 MBと測定されています。チームは階層的トークンプーリング（類似文書ベクトルをクラスタ化し各クラスタの平均を保存）と非対称量子化（文書埋め込みをint8またはバイナリ精度で保存し、クエリ埋め込みは高精度のまま保持）を組み合わせました。ViDoRe v3では、プーリング係数10でint8クエリと文書を使用すると、ページあたりのストレージが39 kBに削減され、ベースラインnDCG@10の99%以上を維持したと報告されています。より積極的な設定として、プーリング係数8でint8クエリとバイナリ文書を使用すると、ページあたり6 kB、255倍の縮小でありながら検索品質の95%以上を保持します。

チームは、事前処理された画像テンソルを用いてエンコードスループットも測定しました。バッチサイズはモデルと画像サイズごとに個別に調整しています。1台のNVIDIA L40S GPUで2048×2048入力を使用した場合、NeoMME‑Retriever‑260Mは約51ページ/秒をエンコードし、ColModernVBERTの26ページ/秒のほぼ2倍です。また、投稿では両方のNeoMME‑Retrieverサイズが、入力解像度が小さい他の比較モデルよりも高速であると報告されています。

すべてのNeoMMEチェックポイントはApache 2.0の下で公開されており、Hugging Face Transformersでのデイゼロ実装が提供されています。また、ビジュアル検索拡張生成デモがHugging Face Spaceとして利用可能です。ファインチューニング用に、チームはSentence Transformers v6と互換性のあるデンスとレイトインタラクションの別々のチェックポイントを提供しています。現在、同バージョンはモデルあたり1つの検索ヘッドをサポートしており、両ヘッドを同時に訓練するにはカスタムTrainerを備えたNeoMMEForRetrievalクラスが必要です。

技術報告書（著者：Aurélien Lac と Tony Wu）は、2026年8月31日に情報検索カテゴリでarXivに提出されました。投稿の謝辞では、著者らはNeoMMEを限られた時間と計算資源で構築したサイドプロジェクトと説明し、H Companyに本研究の支援と訓練に使用された計算資源の提供に感謝しています。