Faiss 1.16.0 dari Meta Menambahkan E-Means untuk Pengelompokan Skala Besar yang Lebih Cepat

Pengelola Faiss di Meta merilis versi 1.16.0 pada 10 November 2026, yang mengemas algoritme pengelompokan e-means dari FAIR at Meta beserta implementasi untuk CPU, GPU, dan sistem terdistribusi. Para peneliti melaporkan bahwa algoritme ini mengungguli nilai loss k-means Lloyd setelah 25 epoch hanya dalam 1,4 hingga 2,6 epoch, dengan percepatan waktu proses GPU sebesar 10–45× dibandingkan implementasi yang diuji.

Rilis perangkat lunak ini menyusul pengajuan prapublikasi penelitian ke arXiv pada 6 November 2026, bukan menjadi pengungkapan publik pertama algoritme tersebut. Penelitian ini dilakukan oleh para peneliti dari FAIR at Meta dan École Nationale des Ponts et Chaussées.

Versi 1.16.0 menambahkan implementasi e-means rujukan, pelatihan terdistribusi dan dengan centroid yang dipecah ke beberapa shard, backend penugasan Triton dan CuTe, penugasan dengan presisi lebih rendah, serta tolok ukur untuk mereproduksi hasil penelitian. Rilis ini juga menyertakan demonstrasi DINO yang mempertahankan data di memori atau mengalirkannya dari SSD.

Cara E-Means Memperbarui Centroid

K-means mencari centroid yang meminimalkan rata-rata kuadrat jarak antara vektor dan centroid terdekatnya, sehingga mendukung pencarian, kuantisasi, dan kurasi data. Algoritme Lloyd menugaskan setiap titik ke centroid terdekat, lalu menghitung ulang jumlah dan banyaknya anggota setiap klaster dari seluruh dataset. Sebaliknya, e-means memperbarui jumlah dan hitungan yang peluruhannya berlangsung secara eksponensial berdasarkan minibatch, sehingga pengaruh penugasan yang lebih lama berangsur berkurang; setiap centroid tetap merupakan hasil pembagian jumlah vektor berjalan dengan hitungan berjalannya. Penggunaan seluruh dataset sebagai satu batch dengan langkah sebesar 1 menghasilkan satu iterasi Lloyd.

Dua hukum penskalaan yang diperoleh melalui pencocokan menentukan ukuran batch dan ukuran langkah awal berdasarkan ukuran dataset, jumlah klaster, dan anggaran epoch, sehingga tidak diperlukan lagi penyapuan hiperparameter terpisah seperti pada pendekatan minibatch sebelumnya. Jadwal kosinus mengurangi langkah hingga sepersepuluh dari nilai awalnya. Secara bawaan, kelas yang dirilis menjalankan lima lintasan pelatihan dan menerima jumlah lintasan pecahan.

Para penulis mencocokkan hukum tersebut menggunakan 75.000 proses optimisasi pada konfigurasi DEEP. Mereka melaporkan regret median pada dataset yang disisihkan—yakni kelebihan galat dibandingkan pengaturan terbaik dalam grid—sebesar 0,07% untuk hukum ukuran langkah dan 0,19% untuk hukum ukuran batch bawaan. Metode ini juga menghidupkan kembali klaster yang kurang terpakai dengan membagi klaster donor, lalu mengakhiri proses dengan menghitung rata-rata eksak setiap klaster berdasarkan penugasan pada epoch terakhir. Sebagai alternatif, finalisasi dengan rata-rata bergerak lambat ditujukan untuk mengoptimalkan galat di luar sampel.

Tolok Ukur Diperluas hingga Sepuluh Miliar Vektor

Makalah lengkap ini menjelaskan validasi pada dataset embedding dan sintetis, dengan perbandingan utama GPU menggunakan GPU H100 80GB dan eksperimen CPU pada Xeon Platinum 8462Y+ 64 inti. Dalam 11 pengujian embedding VIBE, para penulis melaporkan bahwa e-means memerlukan 1,6 hingga 2,6 epoch untuk mencapai galat Lloyd pada epoch ke-25. Percepatannya mencapai 8,0× hingga 22,8× dibandingkan Flash-KMeans pada satu H100 dan 9,0× hingga 15,0× dibandingkan Faiss pada CPU 64 inti, dengan menggunakan 20 seed untuk setiap pengujian.

Pada skala terbesar, para penulis melaporkan bahwa mereka membagi DINO10B, yang berisi 10 miliar embedding patch DINO berdimensi 1.024, ke dalam sekitar 16,7 juta klaster dalam 2,5 epoch dengan penugasan eksak, dan memperoleh galat pengujian yang sedikit lebih rendah daripada tolok ukur Lloyd 25 epoch. Proses tersebut menggunakan 779 jam-GPU di 32 mesin. Dalam proses terpisah yang menggunakan pencarian centroid terdekat aproksimatif melalui indeks berkas terbalik (IVF), tolok ukur terlampaui setelah tiga epoch dengan penggunaan 23,2 jam-GPU pada satu mesin dengan delapan GPU. Pendekatan IVF menelusuri kelompok centroid yang dipilih, alih-alih membandingkan setiap titik dengan setiap centroid.

Makalah tersebut melaporkan bahwa pada skala sepuluh miliar vektor, penugasan IVF 34× lebih murah daripada penugasan eksak, tetapi tidak memberikan keuntungan pada 100 juta vektor. Perbedaan ini menunjukkan bahwa jumlah epoch saja tidak menentukan kebutuhan infrastruktur: implementasi dan metode penugasanlah yang menentukan besarnya kebutuhan perangkat keras suatu proses.

Ketersediaan dan Batasan yang Didokumentasikan

Panduan pengguna resmi menyediakan NumpyEmeans untuk data NumPy dan Emeans untuk tensor PyTorch. Faiss saja mendukung eksekusi CPU; eksekusi GPU menggunakan PyTorch berkemampuan CUDA, dengan kernel CuTe tersedia pada H100 dan H200 serta Triton pada GPU NVIDIA terbaru lain yang didukung. Hanya penugasan centroid terdekat yang menggunakan presisi lebih rendah pada GPU, sedangkan centroid, jumlah berjalan, dan jarak yang dikembalikan tetap berformat FP32. Kelas centroid tereplikasi dan centroid yang dipecah ke beberapa shard mendukung pelatihan multigpu; makalah tersebut mencatat bahwa jumlah FP32 untuk 16 juta centroid memerlukan ruang 64 GiB, sehingga pemecahan ke beberapa shard menjadi penting pada skala itu.

Hukum penskalaan ini disesuaikan untuk data berdimensi relatif tinggi dan tidak optimal untuk dataset berdimensi sangat rendah atau berukuran sangat kecil. Karena itu, pengaturan bawaan yang dirilis memilih hukum ukuran batch yang mengutamakan kualitas pada data berdimensi 16 atau kurang, serta menonaktifkan pengaktifan kembali klaster pada data berdimensi 2 atau kurang. Panduan tersebut juga mengingatkan bahwa label pelatihan yang dikembalikan berasal dari lintasan terakhir dan belum tentu merupakan penugasan ke centroid akhir, serta jalur GPU tidak memeriksa apakah masukan mengandung nilai NaN atau tak terhingga.

Untuk alur kerja AI yang mengelompokkan koleksi embedding berukuran besar, rilis ini memperjelas komprominya: jumlah lintasan pelatihan yang lebih sedikit kini tersedia dalam pustaka yang terpelihara, sedangkan pengurangan konsumsi GPU terbesar bergantung pada skala, perangkat keras, dan kecocokan penugasan aproksimatif dengan beban kerja.