एआई मॉडल और प्लेटफ़ॉर्म
Meta का Faiss 1.16.0 बड़े पैमाने पर तेज़ क्लस्टरिंग के लिए E-Means जोड़ता है
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
Meta के Faiss अनुरक्षकों ने 10 नवंबर, 2026 को संस्करण 1.16.0 जारी किया, जिसमें Meta के FAIR का e-means क्लस्टरिंग एल्गोरिदम CPU, GPU और वितरित कार्यान्वयनों के साथ शामिल है। शोधकर्ताओं के अनुसार, यह 1.4 से 2.6 epoch में 25 epoch के बाद Lloyd k-means की त्रुटि से बेहतर परिणाम देता है और तुलना किए गए कार्यान्वयनों की तुलना में GPU पर वास्तविक निष्पादन समय में 10–45 गुना तेज़ है।
सॉफ़्टवेयर का यह रिलीज़ 6 नवंबर, 2026 को शोध-प्रीप्रिंट को arXiv पर जमा किए जाने के बाद आया है; यह एल्गोरिदम का पहली बार सार्वजनिक रूप से सामने आना नहीं है। यह काम Meta के FAIR और École Nationale des Ponts et Chaussées के शोधकर्ताओं ने किया है।
संस्करण 1.16.0 में e-means के संदर्भ कार्यान्वयन, वितरित और सेंट्रॉइड-शार्डेड प्रशिक्षण, Triton और CuTe असाइनमेंट बैकएंड, कम-परिशुद्धता वाला असाइनमेंट और शोध के परिणामों को दोहराने के लिए बेंचमार्क शामिल हैं। इसमें DINO के ऐसे प्रदर्शन भी हैं जिनमें डेटा को मेमोरी में रखा जाता है या SSD से स्ट्रीम किया जाता है।
E-Means सेंट्रॉइड को कैसे अपडेट करता है
K-means ऐसे सेंट्रॉइड खोजता है जो वेक्टरों और उनके निकटतम सेंट्रॉइड के बीच औसत वर्ग दूरी को न्यूनतम करें; इससे सूचना पुनर्प्राप्ति, क्वांटाइज़ेशन और डेटा क्यूरेशन में मदद मिलती है। Lloyd का एल्गोरिदम हर बिंदु को उसके निकटतम सेंट्रॉइड को सौंपता है और पूरे डेटासेट से प्रत्येक क्लस्टर का योग तथा गिनती फिर से तैयार करता है। इसके बजाय e-means मिनी-बैच से तेजी से घटते भार वाले योग और गिनतियाँ अपडेट करता है, जिससे पुराने असाइनमेंट का प्रभाव धीरे-धीरे कम होता जाता है; हर सेंट्रॉइड अपने चालू वेक्टर-योग और चालू गिनती का अनुपात बना रहता है। पूरे डेटासेट को एक बैच मानकर और 1 का स्टेप इस्तेमाल करने पर Lloyd का एक iteration दोहराया जाता है।
पहले के मिनी-बैच तरीकों में आवश्यक अलग हाइपरपैरामीटर खोज को हटाते हुए, दो फिट किए गए स्केलिंग नियम डेटासेट के आकार, क्लस्टरों की संख्या और epoch बजट के आधार पर बैच का आकार तथा शुरुआती स्टेप साइज़ तय करते हैं। कोसाइन शेड्यूल स्टेप को उसके शुरुआती मान के दसवें हिस्से तक घटा देता है। जारी की गई क्लास में डिफ़ॉल्ट रूप से पाँच प्रशिक्षण चक्र होते हैं और यह आंशिक चक्रों को भी स्वीकार करती है।
लेखकों ने DEEP कॉन्फ़िगरेशन पर 75,000 ऑप्टिमाइज़ेशन रन का उपयोग करके इन नियमों को फिट किया। उनके अनुसार, प्रशिक्षण में इस्तेमाल न किए गए डेटासेट पर माध्यिका रिग्रेट—यानी ग्रिड की सर्वश्रेष्ठ सेटिंग की तुलना में अतिरिक्त त्रुटि—स्टेप नियम के लिए 0.07% और डिफ़ॉल्ट बैच नियम के लिए 0.19% था। यह विधि कम उपयोग किए जा रहे क्लस्टरों को एक दाता क्लस्टर बाँटकर फिर सक्रिय भी करती है, और फिर अंतिम epoch के असाइनमेंट के आधार पर हर क्लस्टर का सटीक माध्य निकालकर प्रक्रिया पूरी करती है। इसके बजाय, धीमे गति से बदलने वाले औसत पर आधारित एक अलग अंतिम चरण का लक्ष्य नमूने से बाहर की त्रुटि को कम करना है।
बेंचमार्क दस अरब वेक्टरों तक
पूरा शोधपत्र एम्बेडिंग और सिंथेटिक डेटासेट पर किए गए सत्यापन का वर्णन करता है। इसमें मुख्य GPU तुलनाएँ 80GB H100 GPU पर और CPU प्रयोग 64-कोर Xeon Platinum 8462Y+ पर किए गए। 11 VIBE एम्बेडिंग परीक्षणों में, लेखकों के अनुसार, e-means ने Lloyd की 25-epoch त्रुटि तक पहुँचने के लिए 1.6 से 2.6 epoch लिए। एक H100 पर Flash-KMeans की तुलना में इसकी गति 8.0× से 22.8× और 64 CPU कोर पर Faiss की तुलना में 9.0× से 15.0× थी; हर परीक्षण में 20 सीड इस्तेमाल किए गए।
सबसे बड़े पैमाने पर, लेखकों के अनुसार, 10 अरब 1,024-आयामी DINO पैच एम्बेडिंग वाले DINO10B को सटीक असाइनमेंट के साथ 2.5 epoch में लगभग 16.7 मिलियन क्लस्टरों में विभाजित किया गया। इससे 25-epoch वाले Lloyd आधार-मानक की तुलना में परीक्षण त्रुटि थोड़ी कम रही। इस रन में 32 मशीनों पर कुल 779 GPU-घंटे लगे। एक अलग रन में इनवर्टेड-फ़ाइल (IVF) इंडेक्स के ज़रिए निकटतम सेंट्रॉइड की लगभग सटीक खोज का इस्तेमाल किया गया; इसने एक आठ-GPU मशीन पर 23.2 GPU-घंटे खर्च करके तीन epoch के बाद आधार-मानक को पार कर लिया। IVF तरीका हर बिंदु की हर सेंट्रॉइड से तुलना करने के बजाय चुने हुए सेंट्रॉइड बकेट में खोज करता है।
शोधपत्र के अनुसार, दस अरब वेक्टरों के पैमाने पर IVF असाइनमेंट, सटीक असाइनमेंट से 34 गुना कम खर्चीला है, लेकिन 100 मिलियन वेक्टरों पर इससे कोई लाभ नहीं होता। यह अंतर दिखाता है कि केवल epoch की संख्या से बुनियादी ढाँचे की ज़रूरत तय नहीं होती: कार्यान्वयन और असाइनमेंट का तरीका निर्धारित करते हैं कि किसी रन के लिए कितने हार्डवेयर की आवश्यकता होगी।
उपलब्धता और दस्तावेज़ित सीमाएँ
आधिकारिक उपयोगकर्ता मार्गदर्शिका उपलब्ध कराती है NumpyEmeans NumPy डेटा के लिए और Emeans PyTorch टेंसरों के लिए। केवल Faiss CPU पर चलता है; GPU पर चलाने के लिए CUDA-सक्षम PyTorch का उपयोग होता है। H100 और H200 पर CuTe कर्नल उपलब्ध हैं, जबकि अन्य समर्थित नए NVIDIA GPU पर Triton उपलब्ध है। GPU पर केवल निकटतम-सेंट्रॉइड असाइनमेंट में कम परिशुद्धता का उपयोग होता है; सेंट्रॉइड, चालू योग और लौटाई गई दूरियाँ FP32 में ही रहती हैं। प्रतिकृत और शार्ड किए गए सेंट्रॉइड वाली क्लासें मल्टी-GPU प्रशिक्षण का समर्थन करती हैं; शोधपत्र में बताया गया है कि 16 मिलियन सेंट्रॉइड के FP32 योग 64 GiB जगह लेते हैं, इसलिए इस पैमाने पर शार्डिंग की आवश्यकता पड़ती है।
स्केलिंग नियम अपेक्षाकृत उच्च-आयामी डेटा के लिए समायोजित किए गए थे और बहुत कम आयाम वाले या बहुत छोटे डेटासेट के लिए उपयुक्त नहीं हैं। इसलिए, जारी किए गए डिफ़ॉल्ट 16 या उससे कम आयामों पर गुणवत्ता वाला बैच नियम चुनते हैं और दो या उससे कम आयामों पर क्लस्टर पुनर्सक्रियण बंद कर देते हैं। मार्गदर्शिका यह चेतावनी भी देती है कि लौटाए गए प्रशिक्षण लेबल अंतिम पास से आते हैं और ज़रूरी नहीं कि वे अंतिम सेंट्रॉइड को दिए गए असाइनमेंट हों; साथ ही, GPU वाला तरीका NaN या अनंत मानों के लिए इनपुट की जाँच नहीं करता।
बड़े एम्बेडिंग संग्रहों का क्लस्टरिंग करने वाली AI पाइपलाइनों के लिए, यह रिलीज़ समझौते को स्पष्ट करता है: अब कम प्रशिक्षण चक्र एक अनुरक्षित लाइब्रेरी में उपलब्ध हैं, जबकि GPU उपयोग में सबसे बड़ी कटौती पैमाने, हार्डवेयर और इस बात पर निर्भर करती है कि लगभग सटीक असाइनमेंट कार्यभार के अनुकूल है या नहीं।
