Το Faiss 1.16.0 της Meta προσθέτει το E-Means για ταχύτερη ομαδοποίηση μεγάλης κλίμακας

Οι συντηρητές του Faiss της Meta κυκλοφόρησαν την έκδοση 1.16.0 στις 10 Νοεμβρίου 2026, ενσωματώνοντας τον αλγόριθμο ομαδοποίησης e-means της FAIR στη Meta, με υλοποιήσεις για CPU, GPU και κατανεμημένα συστήματα. Οι ερευνητές αναφέρουν ότι το e-means ξεπερνά την επίδοση της συνάρτησης απώλειας του Lloyd k-means έπειτα από 25 εποχές εκπαίδευσης μέσα σε 1,4 έως 2,6 εποχές, με επιταχύνσεις 10–45× στον χρόνο εκτέλεσης σε GPU, σε σύγκριση με τις υλοποιήσεις που εξετάστηκαν.

Η κυκλοφορία του λογισμικού ακολούθησε την υποβολή της ερευνητικής προδημοσίευσης στο arXiv στις 6 Νοεμβρίου 2026 και δεν αποτελεί την πρώτη δημόσια παρουσίαση του αλγορίθμου. Την εργασία εκπόνησαν ερευνητές της FAIR στη Meta και της École Nationale des Ponts et Chaussées.

Η έκδοση 1.16.0 προσθέτει υλοποιήσεις αναφοράς του e-means, κατανεμημένη εκπαίδευση και εκπαίδευση με διαμοιρασμό των κεντροειδών, υποστηρικτικά συστήματα ανάθεσης Triton και CuTe, ανάθεση με μειωμένη ακρίβεια και σημεία αναφοράς για την αναπαραγωγή των ερευνητικών αποτελεσμάτων. Περιλαμβάνει επίσης επιδείξεις με DINO, στις οποίες τα δεδομένα παραμένουν στη μνήμη ή μεταδίδονται από SSD.

Πώς ενημερώνει το E-Means τα κεντροειδή

Ο αλγόριθμος K-means αναζητά κεντροειδή που ελαχιστοποιούν τη μέση τετραγωνική απόσταση μεταξύ των διανυσμάτων και του πλησιέστερου κεντροειδούς τους, υποστηρίζοντας την ανάκτηση, την κβαντοποίηση και την επιμέλεια δεδομένων. Ο αλγόριθμος του Lloyd αντιστοιχίζει κάθε σημείο στο πλησιέστερο κεντροειδές και υπολογίζει ξανά το άθροισμα και το πλήθος κάθε συστάδας χρησιμοποιώντας ολόκληρο το σύνολο δεδομένων. Αντίθετα, το e-means ενημερώνει εκθετικά αποσβεννυόμενα αθροίσματα και πλήθη βάσει μικρών παρτίδων δεδομένων, ώστε οι παλαιότερες αναθέσεις να χάνουν σταδιακά την επιρροή τους· κάθε κεντροειδές εξακολουθεί να ισούται με το πηλίκο του τρέχοντος αθροίσματος διανυσμάτων προς το τρέχον πλήθος. Η χρήση ολόκληρου του συνόλου δεδομένων ως μίας παρτίδας, με βήμα ίσο με 1, αναπαράγει μία επανάληψη του Lloyd.

Δύο προσαρμοσμένοι νόμοι κλιμάκωσης υπολογίζουν το μέγεθος της παρτίδας και το αρχικό μέγεθος βήματος με βάση το μέγεθος του συνόλου δεδομένων, τον αριθμό των συστάδων και τον διαθέσιμο προϋπολογισμό εποχών, καταργώντας την ανάγκη για τη χωριστή σάρωση υπερπαραμέτρων που απαιτούσαν παλαιότερες προσεγγίσεις μικρών παρτίδων. Ένα συνημιτονικό πρόγραμμα μειώνει το βήμα στο ένα δέκατο της αρχικής τιμής του. Η κλάση που κυκλοφόρησε ορίζει ως προεπιλογή πέντε περάσματα εκπαίδευσης και δέχεται και κλασματικό αριθμό περασμάτων.

Οι συγγραφείς προσάρμοσαν τους νόμους με 75.000 εκτελέσεις βελτιστοποίησης σε διαμορφώσεις DEEP. Αναφέρουν διάμεση απόκλιση σε δεδομένα που δεν χρησιμοποιήθηκαν στην εκπαίδευση —δηλαδή υπερβάλλον σφάλμα σε σχέση με την καλύτερη ρύθμιση στο πλέγμα— 0,07% για τον νόμο του βήματος και 0,19% για τον προεπιλεγμένο νόμο της παρτίδας. Η μέθοδος επαναφέρει επίσης τις υποχρησιμοποιούμενες συστάδες, διασπώντας μια συστάδα-δότη, και στη συνέχεια ολοκληρώνεται με τον ακριβή μέσο όρο κάθε συστάδας βάσει των αναθέσεων της τελευταίας εποχής. Μια ξεχωριστή διαδικασία οριστικοποίησης με αργό κινούμενο μέσο όρο στοχεύει, αντίθετα, στο σφάλμα εκτός δείγματος.

Τα σημεία αναφοράς επεκτείνονται σε δέκα δισεκατομμύρια διανύσματα

Η πλήρης εργασία περιγράφει την επικύρωση σε σύνολα δεδομένων ενσωματώσεων και συνθετικά σύνολα δεδομένων, με τις κύριες συγκρίσεις σε GPU να εκτελούνται σε H100 80GB και τα πειράματα σε CPU σε Xeon Platinum 8462Y+ με 64 πυρήνες. Σε 11 δοκιμές ενσωματώσεων VIBE, οι συγγραφείς αναφέρουν ότι το e-means χρειάστηκε 1,6 έως 2,6 εποχές για να φτάσει στο σφάλμα του Lloyd μετά από 25 εποχές, με επιταχύνσεις 8,0× έως 22,8× σε σύγκριση με το Flash-KMeans σε μία H100 και 9,0× έως 15,0× σε σύγκριση με το Faiss σε CPU 64 πυρήνων, χρησιμοποιώντας 20 τυχαίους σπόρους ανά δοκιμή.

Στη μεγαλύτερη κλίμακα, οι συγγραφείς αναφέρουν ότι κατένειμαν το DINO10B, το οποίο περιέχει 10 δισεκατομμύρια ενσωματώσεις τμημάτων DINO διαστάσεων 1.024, σε περίπου 16,7 εκατομμύρια συστάδες μέσα σε 2,5 εποχές, με ακριβή ανάθεση, επιτυγχάνοντας ελαφρώς χαμηλότερο σφάλμα δοκιμής από τη γραμμή βάσης του Lloyd στις 25 εποχές. Η εκτέλεση αυτή χρησιμοποίησε 779 ώρες GPU σε 32 μηχανήματα. Σε ξεχωριστή εκτέλεση, με κατά προσέγγιση αναζήτηση του πλησιέστερου κεντροειδούς μέσω ευρετηρίου ανεστραμμένων αρχείων (IVF), ξεπεράστηκε η γραμμή βάσης έπειτα από τρεις εποχές, με χρήση 23,2 ωρών GPU σε ένα μηχάνημα με οκτώ GPU. Η προσέγγιση IVF αναζητά επιλεγμένους κάδους κεντροειδών, αντί να συγκρίνει κάθε σημείο με κάθε κεντροειδές.

Η εργασία αναφέρει ότι, στην κλίμακα των δέκα δισεκατομμυρίων διανυσμάτων, η ανάθεση IVF έχει 34× χαμηλότερο κόστος από την ακριβή ανάθεση, αλλά δεν προσφέρει όφελος στα 100 εκατομμύρια διανύσματα. Αυτή η διαφορά δείχνει γιατί ο αριθμός των εποχών από μόνος του δεν καθορίζει τις απαιτήσεις σε υποδομές: η υλοποίηση και η μέθοδος ανάθεσης καθορίζουν πόσο υλικό απαιτείται για μια εκτέλεση.

Διαθεσιμότητα και τεκμηριωμένοι περιορισμοί

Ο επίσημος οδηγός χρήσης παρέχει NumpyEmeans για δεδομένα NumPy και Emeans για τανυστές PyTorch. Το Faiss από μόνο του υποστηρίζει εκτέλεση σε CPU· η εκτέλεση σε GPU χρησιμοποιεί PyTorch με υποστήριξη CUDA, με πυρήνες CuTe διαθέσιμους σε H100 και H200 και Triton σε άλλες πρόσφατες GPU της NVIDIA που υποστηρίζονται. Μόνο η ανάθεση στο πλησιέστερο κεντροειδές χρησιμοποιεί μειωμένη ακρίβεια σε GPU, ενώ τα κεντροειδή, τα τρέχοντα αθροίσματα και οι αποστάσεις που επιστρέφονται παραμένουν σε FP32. Οι κλάσεις με αναπαραγόμενα και με διαμοιρασμένα κεντροειδή υποστηρίζουν εκπαίδευση σε πολλές GPU· η εργασία σημειώνει ότι τα αθροίσματα FP32 για 16 εκατομμύρια κεντροειδή καταλαμβάνουν 64 GiB, γεγονός που καθιστά αναγκαίο τον διαμοιρασμό σε αυτή την κλίμακα.

Οι νόμοι κλιμάκωσης προσαρμόστηκαν για δεδομένα σχετικά υψηλών διαστάσεων και δεν είναι βέλτιστοι για σύνολα δεδομένων πολύ χαμηλών διαστάσεων ή πολύ μικρού μεγέθους. Κατά συνέπεια, οι προεπιλεγμένες ρυθμίσεις της έκδοσης επιλέγουν τον νόμο παρτίδας που ευνοεί την ποιότητα για δεδομένα με 16 διαστάσεις ή λιγότερες και απενεργοποιούν την επαναφορά συστάδων για δεδομένα με δύο διαστάσεις ή λιγότερες. Ο οδηγός προειδοποιεί επίσης ότι οι ετικέτες εκπαίδευσης που επιστρέφονται προέρχονται από το τελευταίο πέρασμα και δεν αντιστοιχούν κατ’ ανάγκη στα τελικά κεντροειδή, καθώς και ότι η διαδρομή εκτέλεσης σε GPU δεν ελέγχει αν οι είσοδοι περιέχουν τιμές NaN ή άπειρες τιμές.

Για τις ροές εργασίας τεχνητής νοημοσύνης που ομαδοποιούν μεγάλες συλλογές ενσωματώσεων, η κυκλοφορία καθιστά σαφή τον συμβιβασμό: διατίθενται λιγότερα περάσματα εκπαίδευσης μέσα από μια συντηρούμενη βιβλιοθήκη, ενώ οι μεγαλύτερες μειώσεις στην κατανάλωση GPU εξαρτώνται από την κλίμακα, το υλικό και το κατά πόσο η κατά προσέγγιση ανάθεση είναι κατάλληλη για το εκάστοτε φορτίο εργασίας.