Faiss 1.16.0 của Meta bổ sung E-Means, giúp phân cụm quy mô lớn nhanh hơn

Nhóm duy trì Faiss của Meta đã phát hành phiên bản 1.16.0 vào ngày 10 tháng 11 năm 2026, tích hợp thuật toán phân cụm e-means của FAIR tại Meta cùng các bản triển khai trên CPU, GPU và hệ thống phân tán. Các nhà nghiên cứu cho biết thuật toán này đạt mức hàm mất mát tốt hơn k-means của Lloyd sau 1,4 đến 2,6 epoch, thay vì 25 epoch, với tốc độ xử lý theo thời gian thực trên GPU nhanh hơn 10–45 lần so với các bản triển khai được đem ra so sánh.

Bản phát hành phần mềm được công bố sau khi bản tiền ấn phẩm nghiên cứu được gửi lên arXiv vào ngày 6 tháng 11 năm 2026, chứ không phải là lần đầu tiên thuật toán được công bố rộng rãi. Công trình do các nhà nghiên cứu tại FAIR của Meta và École Nationale des Ponts et Chaussées thực hiện.

Phiên bản 1.16.0 bổ sung các bản triển khai e-means tham chiếu, phương thức huấn luyện phân tán và phân mảnh centroid, các back-end gán cụm Triton và CuTe, phương thức gán cụm với độ chính xác thấp hơn, cùng các phép đo chuẩn để tái hiện kết quả nghiên cứu. Bản phát hành cũng có các bản minh họa DINO cho phép giữ dữ liệu trong bộ nhớ hoặc truyền dữ liệu từ ổ SSD.

Cách E-Means cập nhật centroid

K-means tìm các centroid giúp giảm thiểu khoảng cách bình phương trung bình giữa các vector và centroid gần nhất của chúng, qua đó hỗ trợ truy xuất, lượng tử hóa và tuyển chọn dữ liệu. Thuật toán Lloyd gán từng điểm dữ liệu cho centroid gần nhất, rồi tính lại tổng và số lượng điểm của từng cụm từ toàn bộ tập dữ liệu. Thay vào đó, e-means cập nhật tổng và số lượng điểm với mức suy giảm theo hàm mũ dựa trên các mini-batch, nhờ vậy ảnh hưởng của những lần gán trước đó giảm dần; mỗi centroid vẫn bằng tỷ số giữa tổng vector đang tích lũy và số lượng điểm đang tích lũy. Nếu dùng toàn bộ tập dữ liệu làm một batch với bước cập nhật bằng 1, kết quả sẽ tương đương một vòng lặp của Lloyd.

Hai quy luật tỷ lệ được khớp để suy ra kích thước batch và kích thước bước ban đầu từ quy mô tập dữ liệu, số lượng cụm và ngân sách epoch, loại bỏ nhu cầu quét riêng các siêu tham số như trong những phương pháp mini-batch trước đây. Lịch cosine giảm kích thước bước xuống còn một phần mười giá trị ban đầu. Lớp được phát hành mặc định chạy qua dữ liệu huấn luyện năm lượt và chấp nhận số lượt lẻ.

Các tác giả khớp các quy luật này bằng 75.000 lượt tối ưu hóa trên những cấu hình DEEP. Họ báo cáo mức sai số tăng thêm trung vị trên tập dữ liệu giữ lại — tức phần sai số vượt quá so với thiết lập tốt nhất trong lưới tham số — là 0,07% đối với quy luật về kích thước bước và 0,19% đối với quy luật mặc định về kích thước batch. Phương pháp này cũng khôi phục các cụm ít được sử dụng bằng cách tách một cụm khác để bổ sung, sau đó kết thúc bằng cách tính trung bình chính xác các điểm được gán cho từng cụm trong epoch cuối cùng. Một phương thức hoàn tất riêng, dùng trung bình trượt có tốc độ thay đổi chậm, thay vào đó hướng đến giảm sai số ngoài mẫu.

Các phép đo chuẩn mở rộng đến mười tỷ vector

Bài báo đầy đủ mô tả quá trình xác thực trên các tập dữ liệu embedding và dữ liệu tổng hợp; các phép so sánh GPU chính được thực hiện trên GPU H100 80GB, còn thí nghiệm CPU dùng Xeon Platinum 8462Y+ 64 lõi. Trong 11 phép thử embedding VIBE, các tác giả báo cáo e-means cần 1,6 đến 2,6 epoch để đạt mức sai số của Lloyd sau 25 epoch. So với Flash-KMeans trên một GPU H100, phương pháp này nhanh hơn 8,0 đến 22,8 lần; so với Faiss trên CPU 64 lõi, nhanh hơn 9,0 đến 15,0 lần. Mỗi phép thử sử dụng 20 giá trị seed.

Ở quy mô lớn nhất, các tác giả báo cáo đã phân chia DINO10B — gồm 10 tỷ embedding vá DINO có 1.024 chiều — thành khoảng 16,7 triệu cụm trong 2,5 epoch bằng phương thức gán chính xác, đạt sai số kiểm thử thấp hơn đôi chút so với mốc chuẩn Lloyd chạy 25 epoch. Lượt chạy đó sử dụng 779 giờ GPU trên 32 máy. Trong một lượt chạy riêng, phương thức tìm kiếm centroid gần nhất xấp xỉ thông qua chỉ mục tệp đảo ngược (IVF) vượt mốc chuẩn sau ba epoch, với 23,2 giờ GPU trên một máy có tám GPU. Phương pháp IVF tìm kiếm trong các nhóm centroid được chọn thay vì so sánh từng điểm dữ liệu với mọi centroid.

Bài báo cho biết ở quy mô mười tỷ vector, phép gán bằng IVF có chi phí thấp hơn 34 lần so với phép gán chính xác, nhưng không mang lại lợi ích ở quy mô 100 triệu vector. Sự khác biệt này cho thấy chỉ riêng số epoch không quyết định được yêu cầu về hạ tầng: cách triển khai và phương pháp gán sẽ quyết định một lượt chạy cần bao nhiêu phần cứng.

Khả năng cung cấp và các giới hạn được nêu rõ

hướng dẫn sử dụng chính thức cung cấp NumpyEmeans cho dữ liệu NumPy và Emeans cho tensor PyTorch. Chỉ riêng Faiss hỗ trợ chạy trên CPU; chạy trên GPU cần PyTorch hỗ trợ CUDA. Các kernel CuTe có thể dùng trên H100 và H200, còn Triton dùng được trên những GPU NVIDIA đời mới khác được hỗ trợ. Trên GPU, chỉ phép gán centroid gần nhất sử dụng độ chính xác thấp hơn; centroid, tổng đang tích lũy và khoảng cách trả về vẫn ở định dạng FP32. Các lớp dùng centroid nhân bản và centroid phân mảnh hỗ trợ huấn luyện trên nhiều GPU; bài báo lưu ý rằng tổng FP32 của 16 triệu centroid chiếm 64 GiB, khiến việc phân mảnh trở nên cần thiết ở quy mô đó.

Các quy luật tỷ lệ được tinh chỉnh cho dữ liệu có số chiều tương đối cao, nên không tối ưu với các tập dữ liệu có số chiều rất thấp hoặc quy mô rất nhỏ. Vì vậy, các giá trị mặc định được phát hành sẽ chọn quy luật batch ưu tiên chất lượng khi số chiều từ 16 trở xuống và tắt cơ chế khôi phục cụm khi số chiều từ hai trở xuống. Hướng dẫn cũng cảnh báo rằng nhãn huấn luyện trả về được tạo từ lượt chạy cuối cùng và không nhất thiết tương ứng với các phép gán cho centroid cuối cùng; ngoài ra, quy trình trên GPU không kiểm tra xem đầu vào có chứa giá trị NaN hoặc vô cực hay không.

Đối với các quy trình AI phân cụm những tập hợp embedding lớn, bản phát hành này cho thấy rõ sự đánh đổi: thư viện được duy trì thường xuyên nay cho phép giảm số lượt chạy qua dữ liệu huấn luyện, trong khi mức giảm tiêu thụ GPU lớn nhất còn tùy thuộc vào quy mô, phần cứng và việc phương thức gán xấp xỉ có phù hợp với khối lượng công việc hay không.