के-मीन्स क्लस्टरिंग क्या है?

के-मीन्स क्लस्टरिंग एक अनुप्रविष्ट शिक्षण एल्गोरिथ्म है, और सभी अनुप्रविष्ट शिक्षण एल्गोरिथ्मों में से, के-मीन्स क्लस्टरिंग शायद सबसे व्यापक रूप से उपयोग किया जाता है, इसकी शक्ति और सरलता के कारण। के-मीन्स क्लस्टरिंग वास्तव में कैसे काम करता है?

इसका संक्षिप्त उत्तर यह है कि के-मीन्स क्लस्टरिंग एक वांछित संख्या में वर्गों के लिए एक संदर्भ बिंदु (एक केंद्र) बनाकर काम करता है, और फिर वर्ग क्लस्टर में डेटा बिंदुओं को सौंपा जाता है जो संदर्भ बिंदु के करीब होता है। जबकि यह के-मीन्स क्लस्टरिंग के लिए एक त्वरित परिभाषा है, आइए के-मीन्स क्लस्टरिंग में गहराई से जाने और इसके काम करने के तरीके को बेहतर ढंग से समझने के लिए कुछ समय लें।

क्लस्टरिंग की परिभाषा

के-मीन्स क्लस्टरिंग को करने के लिए उपयोग किए जाने वाले सटीक एल्गोरिथ्मों की जांच करने से पहले, आइए क्लस्टरिंग को सामान्य रूप से परिभाषित करने के लिए कुछ समय लें।
क्लस्टर बस आइटमों के समूह हैं, और क्लस्टरिंग बस आइटमों को उन समूहों में रखना है। डेटा विज्ञान के अर्थ में, क्लस्टरिंग एल्गोरिथ्म दो चीजें करने का लक्ष्य रखते हैं:

• सुनिश्चित करें कि एक क्लस्टर में सभी डेटा बिंदु एक दूसरे के लिए यथासंभव समान हैं।
• सुनिश्चित करें कि विभिन्न क्लस्टरों में सभी डेटा बिंदु एक दूसरे के लिए यथासंभव भिन्न हैं।

क्लस्टरिंग एल्गोरिथ्म समानता के कुछ मापदंड के आधार पर आइटमों को समूहों में विभाजित करते हैं। यह अक्सर विभिन्न समूहों के केंद्र को खोजकर किया जाता है, हालांकि विशेष रूप से नहीं। विभिन्न प्रकार के क्लस्टरिंग एल्गोरिथ्म हैं, लेकिन सभी क्लस्टरिंग एल्गोरिथ्म का लक्ष्य एक ही है, डेटासेट में निहित समूहों का निर्धारण करना।

के-मीन्स क्लस्टरिंग

के-मीन्स क्लस्टरिंग क्लस्टरिंग एल्गोरिथ्म के सबसे पुराने और सबसे अधिक उपयोग किए जाने वाले प्रकारों में से एक है, और यह वेक्टर क्वांटाइजेशन पर आधारित है। एक बिंदु को अंतरिक्ष में एक मूल के रूप में चुना जाता है, और फिर मूल से डेटासेट में सभी डेटा बिंदुओं तक वेक्टर खींचे जाते हैं।
सामान्य तौर पर, के-मीन्स क्लस्टरिंग को पांच अलग-अलग चरणों में तोड़ा जा सकता है:

• सभी उदाहरणों को उपसेट में रखें, जहां उपसेट की संख्या के बराबर है।
• नव सृजित क्लस्टर भागों के माध्य बिंदु/केंद्र का पता लगाएं।
• इन केंद्रों के आधार पर, प्रत्येक बिंदु को एक विशिष्ट क्लस्टर में सौंपें।
• प्रत्येक बिंदु से केंद्रों की दूरी की गणना करें, और बिंदुओं को उन क्लस्टरों में सौंपें जहां केंद्र से दूरी न्यूनतम है।
• बिंदुओं को क्लस्टर में सौंप दिए जाने के बाद, क्लस्टर के नए केंद्र का पता लगाएं।

उपरोक्त चरण प्रशिक्षण प्रक्रिया पूरी होने तक दोहराए जाते हैं।

प्रारंभिक चरण में, केंद्र डेटा बिंदुओं के बीच कहीं रखे जाते हैं।
फोटो: वेस्टन.पेस विकिमीडिया कॉमन्स के माध्यम से, जीएनयू फ्री डॉक्यूमेंटेशन लाइसेंस (https://commons.wikimedia.org/wiki/File:K_Means_Example_Step_1.svg)

वैकल्पिक रूप से, केंद्रों को रखे जाने के बाद, हम के-मीन्स क्लस्टरिंग को दो अलग-अलग चरणों के बीच आगे-पीछे होने के रूप में सोच सकते हैं: डेटा बिंदुओं को लेबल करना और केंद्रों को अपडेट करना।

दूसरे चरण में, एक दूरी मीट्रिक जैसे यूक्लिडियन दूरी का उपयोग यह निर्धारित करने के लिए किया जाता है कि एक दिए गए बिंदु किस केंद्र के करीब है, और फिर बिंदुओं को उस केंद्र के वर्ग में सौंपा जाता है। फोटो: वेस्टन.पेस विकिमीडिया कॉमन्स के माध्यम से, जीएनयू डॉक लाइसेंस (https://commons.wikimedia.org/wiki/File:K_Means_Example_Step_2.svg)

डेटा बिंदु लेबलिंग चरण में, प्रत्येक डेटा बिंदु को एक लेबल सौंपा जाता है जो इसे निकटतम केंद्र से संबंधित क्लस्टर में रखता है। निकटतम केंद्र आमतौर पर यूक्लिडियन दूरी के वर्ग का उपयोग करके निर्धारित किया जाता है, हालांकि अन्य दूरी मीट्रिक जैसे मैनहट्टन दूरी, कोसाइन और जैकार्ड दूरी का उपयोग डेटा के प्रकार के आधार पर किया जा सकता है जो क्लस्टरिंग एल्गोरिथ्म में खिलाया जाता है।

तीसरे चरण में, केंद्र को सभी डेटा बिंदुओं के औसत पर ले जाया जाता है। फिर वर्गों को फिर से सौंपा जाता है। फोटो: वेस्टन.पेस विकिमीडिया कॉमन्स के माध्यम से, सीसी एसए 3.0 (https://commons.wikimedia.org/wiki/File:K_Means_Example_Step_3.svg)

केंद्र अपडेट चरण में, केंद्र की गणना वर्तमान में एक क्लस्टर में निहित सभी डेटा बिंदुओं के बीच की दूरी को खोजकर की जाती है।

“के” के लिए सही मान चुनने के लिए कैसे

यह देखते हुए कि के-मीन्स क्लस्टरिंग एक अनुप्रविष्ट एल्गोरिथ्म है और वर्गों की संख्या पहले से ज्ञात नहीं है, आप “के” के लिए सही संख्या का निर्धारण कैसे करते हैं?

“के” के लिए सही के-मूल्य चुनने के लिए एक तकनीक “कोहनी तकनीक” कहलाती है।” कोहनी तकनीक में विभिन्न के-मूल्यों के लिए के-मीन्स क्लस्टरिंग एल्गोरिथ्म चलाना शामिल है और सटीकता मीट्रिक का उपयोग करके यह निर्धारित करने के लिए कि कौन से के-मूल्य सबसे अच्छे परिणाम देते हैं, आमतौर पर योग सquared त्रुटि। योग सquared त्रुटि का निर्धारण एक क्लस्टर में केंद्र और उस क्लस्टर में डेटा बिंदुओं के बीच की दूरी को खोजकर किया जाता है।

“कोहनी तकनीक” शब्द इस तथ्य से आता है कि जब आप विभिन्न के-मूल्यों के साथ एसएसई की साजिश करते हैं, तो परिणामी रेखा अक्सर एक “कोहनी” आकार की होती है, जहां एसएसई पहले कुछ के-मूल्यों के लिए तेजी से घटता है, लेकिन फिर इस मूल्य के बाद तेजी से घटता है। ऐसी स्थितियों में, कोहनी पर स्थित के-मूल्य सबसे अच्छा के-मूल्य है, क्योंकि इसके बाद से तेजी से लाभ कम हो जाता है।

मिनी-बैच के-मीन्स क्लस्टरिंग

जैसे-जैसे डेटासेट बड़े होते जाते हैं, गणना समय भी बढ़ता जाता है। बुनियादी के-मीन्स क्लस्टरिंग बड़े डेटासेट पर चलाने में बहुत लंबा समय ले सकता है, और परिणामस्वरूप, के-मीन्स क्लस्टरिंग को एल्गोरिथ्म के स्थानिक और समय लागत को कम करने में सक्षम बनाने के लिए संशोधित किया गया है।

मिनी-बैच के-मीन्स क्लस्टरिंग के-मीन्स क्लस्टरिंग का एक संस्करण है जहां विचार किए जा रहे डेटासेट का आकार सीमित है। सामान्य के-मीन्स क्लस्टरिंग एक बार में पूरे डेटासेट/बैच पर काम करती है, जबकि मिनी-बैच के-मीन्स क्लस्टरिंग डेटासेट को उपसेट में तोड़ देती है। मिनी-बैच यादृच्छिक रूप से पूरे डेटासेट से नमूना लिया जाता है और प्रत्येक नए पुनरावृत्ति के लिए एक नया यादृच्छिक नमूना चुना जाता है और केंद्रों की स्थिति को अपडेट करने के लिए उपयोग किया जाता है।

मिनी-बैच के-मीन्स क्लस्टरिंग में, क्लस्टर मिनी-बैच मानों और एक शिक्षण दर के संयोजन के साथ अपडेट किए जाते हैं। शिक्षण दर पुनरावृत्तियों के साथ घट जाती है, और यह एक विशिष्ट क्लस्टर में रखे गए डेटा बिंदुओं की संख्या का व्युत्क्रम है। शिक्षण दर को कम करने का प्रभाव यह है कि नए डेटा का प्रभाव कम हो जाता है और तब समाप्ति प्राप्त होती है जब, कई पुनरावृत्तियों के बाद, क्लस्टर में कोई परिवर्तन नहीं होता है।

मिनी-बैच के-मीन्स क्लस्टरिंग की प्रभावशीलता पर अध्ययन के परिणाम सुझाव देते हैं कि यह क्लस्टर गुणवत्ता में थोड़ा सा समझौता करते हुए गणना समय को सफलतापूर्वक कम कर सकता है।

के-मीन्स क्लस्टरिंग के अनुप्रयोग

के-मीन्स क्लस्टरिंग का उपयोग किसी भी स्थिति में सुरक्षित रूप से किया जा सकता है जहां डेटा बिंदुओं को विभिन्न समूहों/वर्गों में विभाजित किया जा सकता है। के-मीन्स क्लस्टरिंग के कुछ सामान्य उपयोग के मामले यहां दिए गए हैं:

के-मीन्स क्लस्टरिंग का उपयोग डॉक्यूमेंट वर्गीकरण में किया जा सकता है, जैसे कि विषय, टैग, शब्द उपयोग, मेटाडेटा और अन्य डॉक्यूमेंट सुविधाओं के आधार पर डॉक्यूमेंट को समूहित करना। यह बॉट या गैर-बॉट के रूप में उपयोगकर्ताओं को वर्गीकृत करने के लिए पोस्ट और टिप्पणियों जैसी गतिविधि पैटर्न के आधार पर भी उपयोग किया जा सकता है। के-मीन्स क्लस्टरिंग का उपयोग स्वास्थ्य की निगरानी करते समय लोगों को चिंता के स्तर के आधार पर समूहों में विभाजित करने के लिए किया जा सकता है, जैसे कि सह-रोग, आयु, रोगी का इतिहास, आदि।

के-मीन्स क्लस्टरिंग का उपयोग अधिक खुले अंत वाले कार्यों जैसे कि सिफारिश प्रणाली बनाने के लिए भी किया जा सकता है। नेटफ्लिक्स जैसी प्रणाली के उपयोगकर्ताओं को देखने के पैटर्न के आधार पर एक साथ समूहित किया जा सकता है और समान सामग्री की सिफारिश की जा सकती है। के-मीन्स क्लस्टरिंग का उपयोग असामान्यता का पता लगाने के कार्यों के लिए किया जा सकता है, संभावित धोखाधड़ी या दोषपूर्ण आइटम के उदाहरणों को उजागर करता है।