H Company ra mắt NeoMME, một họ mã hoá đa phương tiện mã nguồn mở

Các nhà nghiên cứu của H Company đã phát hành NeoMME vào ngày 3 tháng 9 năm 2026, một họ bộ mã hoá đa phương tiện và đa ngôn ngữ với 260M và 800M tham số, được huấn luyện từ đầu và được công bố dưới giấy phép Apache 2.0.

Theo bài đăng phát hành, nhiều bộ truy xuất tài liệu hình ảnh gần đây được điều chỉnh từ các mô hình ngôn ngữ thị giác sinh ra trước, trong đó một bộ mã hoá thị giác được huấn luyện riêng biệt tạo ra các đặc trưng hình ảnh mà một bộ chiếu (projector) ánh xạ vào không gian đầu vào của mô hình ngôn ngữ nhân quả. Các nhiệm vụ truy xuất, phân loại và gán nhãn token không tạo ra văn bản một cách tự hồi quy, các tác giả viết, vì vậy những nhiệm vụ này không cần bộ giải mã nhân quả hay chi phí tham số và tính toán của nó. NeoMME thay vào đó chạy các token văn bản và các mảnh ảnh thô qua một Transformer hai chiều chia sẻ và không dựa trên bất kỳ tháp thị giác, bộ mã hoá văn bản hoặc bộ giải mã văn bản đã được huấn luyện trước nào.

Bài đăng đặt thiết kế này so sánh với hai nỗ lực mã hoá trước đây: ModernBERT, đã mang lại cải tiến hiệu suất cho các bộ mã hoá văn bản hai chiều, và ModernVBERT, áp dụng bộ mã hoá văn bản kiểu ModernBERT cho việc truy xuất tài liệu hình ảnh trong khi vẫn giữ lại một tháp thị giác SigLIP2 đã được huấn luyện trước. Các tác giả viết rằng họ muốn loại bỏ gánh nặng của việc mang các thành phần của mô hình thị giác-ngôn ngữ vào trong một bộ mã hoá.

Kiến trúc và Huấn luyện Từ Đầu

Cả hai kích thước NeoMME đều chia sẻ cùng một kiến trúc. Đầu vào văn bản sử dụng các embedding token được phân tách, trong khi hình ảnh được chia thành lưới các mảnh 32×32 không chồng lên nhau và được chiếu qua một mạng perceptron đa lớp nhỏ; cả hai sau đó đi vào cùng một bộ mã hoá Transformer. Hình ảnh giữ tỷ lệ và kích thước gốc, vì vậy mô hình có thể dành nhiều token hơn cho một trang tài liệu độ phân giải cao, chứa nhiều thông tin, so với một hình ảnh nhỏ hơn. Độ dài ngữ cảnh là 16.384 token, đủ cho tới hai hình ảnh tiêu chuẩn 3840×2160 4K UHD. Hầu hết các lớp sử dụng cơ chế chú ý cửa sổ trượt đối xứng, trong khi mỗi lớp thứ sáu và lớp cuối cùng sử dụng chú ý toàn cục. Ngăn xếp còn bao gồm chú ý truy vấn nhóm, chuẩn hoá khóa‑truy vấn, chú ý có cổng, embedding vị trí quay 2D, và MLP kiểu squared‑ReLU. Đối với văn bản, nhóm đã huấn luyện một tokenizer BPE với từ điển 131.072 token từ đầu trên văn bản đa ngôn ngữ, mã nguồn, toán học và các bản sao chép hình ảnh do máy tạo ra.

NeoMME được huấn luyện từ đầu như một bộ khử nhiễu văn bản dựa trên khuếch tán có mặt nạ rời rạc. Đối với các ví dụ chỉ có văn bản, tỷ lệ nhiễu được lấy mẫu đồng đều trong khoảng 0 đến 1, và mỗi token văn bản đủ điều kiện được áp dụng mặt nạ một cách độc lập theo tỷ lệ đó. Các ví dụ đa phương tiện sử dụng tỷ lệ nhiễu từ 0,3 đến 1, trong đó các mảnh ảnh vẫn hiển thị trong khi mô hình tái tạo văn bản đã bị mặt nạ; các tác giả viết rằng việc áp dụng mặt nạ mạnh buộc mô hình học mô tả dựa trên hình ảnh thay vì dựa vào các lối tắt chỉ ngôn ngữ. Quá trình huấn luyện kết hợp văn bản đa ngôn ngữ, mã nguồn, toán học, hình ảnh tự nhiên và hình ảnh tài liệu, và mỗi mô hình xử lý khoảng 524 tỷ token đầu vào đã được đóng gói, trong đó có 290 tỷ token từ các ví dụ chỉ có văn bản. Khi nhận thấy ngân sách văn bản này là nhỏ so với 2 nghìn tỷ token huấn luyện của ModernBERT, các tác giả cho biết họ đã chọn bộ tối ưu NorMuon để nâng cao hiệu quả dữ liệu.

Tinh Chỉnh Truy Xuất và Kết Quả Đánh Giá

Để đánh giá khung nền trên một nhiệm vụ hạ lưu, nhóm đã tinh chỉnh nó cho việc truy xuất tài liệu hình ảnh bằng phương pháp trang‑hình ảnh được giới thiệu bởi ColPali. Thay vì truy xuất các đoạn văn bản đã trích xuất, NeoMME‑Retriever xếp hạng các ảnh chụp màn hình của các trang tài liệu, bỏ qua bước tiền xử lý OCR và giữ nguyên bố cục, biểu đồ, bảng và kiểu chữ. Trình truy xuất bổ sung hai đầu (head) được huấn luyện chung vào khung nền: một đầu dày đặc (dense) thực hiện trung bình các trạng thái ẩn thành một vectơ chuẩn hoá, và một đầu tương tác trễ (late‑interaction) chiếu mỗi token văn bản hoặc mảnh ảnh thành một vectơ chuẩn hoá 128‑chiều, bảo tồn các khớp chi tiết giữa các token truy vấn và các vùng ảnh. Một lần truyền tiến trả về cả hai biểu diễn. Các tác giả đề xuất sử dụng embedding tương tác trễ nói chung, và một quy trình truy xuất dày đặc sau đó là sắp xếp lại bằng tương tác trễ cho các tập dữ liệu rất lớn.

Trên bộ chuẩn ViDoRe v3, bài đăng báo cáo nDCG@10 đạt 0,523 cho NeoMME‑Retriever‑260M, là điểm cao nhất trong số các mô hình được đánh giá có số tham số dưới 800M và chỉ cách ColQwen2.5 0,002 trong khi sử dụng khoảng 14 lần ít tham số hơn. NeoMME‑Retriever‑800M đạt 0,556, cách Vultron Retriever Flash cùng kích thước 0,009, và cả hai mô hình đều nằm trên rìa Pareto về kích thước mô hình của bộ chuẩn. Bảng so sánh trong bài đánh dấu điểm số của các đối thủ được lấy từ MTEB và điểm số NeoMME là kết quả đánh giá nội bộ của nhóm. Trên các bộ chuẩn cũ hơn ViDoRe v1 và v2, sử dụng nDCG@5, bài đăng cho biết mô hình 260M vượt trội hơn ColModernVBERT và ColSmol‑500M gấp đôi kích thước, trong khi mô hình 800M vượt qua ColPali v1.3 với 3,6 lần ít tham số hơn.

Thẻ mô hình cho NeoMME‑260M‑Retriever liệt kê 263M tham số, kích thước ẩn 1.024, trọng số BF16, và embedding dày đặc 1.024 chiều với các điểm cắt Matryoshka ở 128, 256, 512 và 1.024 chiều, cùng với đầu ra đa vectơ 128 chiều. Thẻ cũng báo cáo kết quả truy xuất văn bản trên BEIR‑15, trong đó trình truy xuất 260M đạt 0,4881 nDCG@10 với tương tác trễ và mô hình 800M đạt 0,5126.

Nén, Tốc Độ Lập Chỉ Mục và Khả Năng Sẵn Có

Vì bộ nhớ lưu trữ tương tác trễ tăng tuyến tính với số vectơ embedding, các trang độ phân giải cao tốn kém khi lập chỉ mục: một trang 2048×2048 tạo ra 4.200 vectơ với NeoMME‑Retriever, khoảng 2,1 MB ở dạng float32, và bài đăng báo cáo mức trung bình đo được khoảng 1,5 MB mỗi tài liệu trên ViDoRe v3. Nhóm đã kết hợp pooling token phân cấp, nhóm các vectơ tài liệu tương tự và lưu trữ trung bình của mỗi cụm, với lượng tử hóa bất đối xứng, lưu trữ embedding tài liệu ở độ chính xác int8 hoặc nhị phân trong khi giữ embedding truy vấn thời gian thực ở độ chính xác cao hơn. Trên ViDoRe v3, bài đăng cho biết một hệ số pooling 10 với truy vấn và tài liệu int8 giảm dung lượng lưu trữ xuống 39 kB mỗi trang, giảm 39‑lần, trong khi vẫn duy trì hơn 99 % nDCG@10 gốc. Cấu hình mạnh hơn, hệ số pooling 8 với truy vấn int8 và tài liệu nhị phân, sử dụng 6 kB mỗi trang, nhỏ hơn 255‑lần, và vẫn giữ hơn 95 % chất lượng truy xuất.

Nhóm cũng đo tốc độ mã hoá bằng cách sử dụng các tensor ảnh đã tiền xử lý, với kích thước batch được hiệu chỉnh riêng cho mỗi mô hình và kích thước ảnh. Khi đầu vào 2048×2048 trên một GPU NVIDIA L40S, NeoMME‑Retriever‑260M mã hoá khoảng 51 trang mỗi giây, gần gấp đôi ColModernVBERT với 26 trang mỗi giây, và bài đăng cho biết cả hai kích thước NeoMME‑Retriever đều nhanh hơn các mô hình so sánh khác ở độ phân giải đầu vào nhỏ hơn.

Tất cả các checkpoint của NeoMME được phát hành dưới giấy phép Apache 2.0 cùng với triển khai ngay từ ngày đầu trong Hugging Face Transformers, và một bản demo tạo nội dung tăng cường truy xuất hình ảnh có sẵn dưới dạng Hugging Face Space. Đối với việc tinh chỉnh, nhóm cung cấp các checkpoint dày đặc và tương tác trễ riêng biệt, tương thích với Sentence Transformers v6, hiện hỗ trợ một đầu truy xuất cho mỗi mô hình; việc huấn luyện cả hai đầu đồng thời yêu cầu lớp NeoMMEForRetrieval với một Trainer tùy chỉnh.

Báo cáo kỹ thuật kèm theo, của Aurélien Lac và Tony Wu, đã được gửi lên arXiv vào ngày 31 tháng 8 năm 2026, trong danh mục truy xuất thông tin. Trong lời cảm ơn của bài đăng, các tác giả mô tả NeoMME như một dự án phụ được xây dựng với thời gian và tài nguyên tính toán hạn chế, và cảm ơn H Company đã hỗ trợ công việc và cung cấp tài nguyên tính toán dùng để huấn luyện nó.