हमारे गंदे डेटा को साफ करना: कैसे एआई गेम बदल रहा है

हम डेटा में डूब रहे हैं। हर प्लेटफ़ॉर्म, स्मार्टवॉच, और स्मार्टफ़ोन हमारे जीवन को क्वांटिफ़िएबल टुकड़ों में तोड़ देता है, लेकिन अधिकांश डेटा अभी भी असंगठित और अनुपयोगी है।

कंपनियां जानती हैं कि यह सच है, जो कि टेक दिग्गज मेटा ने पिछली गर्मियों में 14 अरब अमेरिकी डॉलर का निवेश किया डेटा-लेबलिंग स्टार्टअप स्केल एआई में 49% हिस्सेदारी हासिल करने के लिए, अपने एआई मॉडल के लिए उच्च-गुणवत्ता वाले प्रशिक्षण डेटा सुनिश्चित करने के लिए एक गणनात्मक और रणनीतिक कदम।

बड़े भाषा मॉडल की विश्वसनीयता पूरी तरह से उन डेटा की गुणवत्ता पर निर्भर करती है जो उन्हें खिलाया जाता है – संक्षेप में, “कचरा इन, कचरा आउट।” आज, हालांकि, कंपनियों का सामना करने वाली वास्तविक चुनौती कच्ची जानकारी की बाढ़ को कार्रवाई योग्य डेटा में बदलना है।

समाधान स्पष्ट रूप से दिखाई दे सकता है: एआई स्वयं मदद कर सकता है जटिल डेटासेट को लेबल करने या अंतहीन स्प्रेडशीट के माध्यम से जाने के कठिन कार्य को बायपास करने के लिए रणनीतियों को उत्पन्न करके, अराजकता को मानव बुद्धिमत्ता में परिवर्तित कर सकता है।

जब डेटा गंदा हो जाता है: कंपनियों के लिए छिपे हुए लागत

गार्टनर रिसर्च के अनुसार, 2020 सेगार्टनर रिसर्चके अनुसार, खराब डेटा गुणवत्ता संगठनों को कम से कम 12.9 मिलियन अमेरिकी डॉलर का नुकसान पहुंचाती है, जो उत्पादकता को प्रभावित करती है और गलत निर्णय लेने और असटीक रिपोर्टिंग की ओर ले जाती है।

गंदे डेटा के परिणाम स्वास्थ्य सेवा जैसे क्षेत्रों में और भी स्पष्ट हैं। अधूरे स्वास्थ्य रिकॉर्ड, बिलिंग विवरण, और प्रणालियों में मेल नहीं खाने वाले डेटा के कारण गलत निदान, उपचार त्रुटियां, और संसाधनों का अकुशल आवंटन हो सकता है। दीर्घकालिक रूप से, यह लागत बढ़ाता है और इन प्रणालियों में विश्वास को कम करता है।

इस बीच, लॉजिस्टिक्स में, आपूर्तिकर्ताओं और वितरकों के बीच मेल नहीं खाने वाले डेटा के परिणामस्वरूप देरी या इन्वेंट्री की कमी हो सकती है। एक गलत डिलीवरी पता या पुराना स्टॉक रिकॉर्ड पूरे आपूर्ति श्रृंखला में एक प्रभाव डाल सकता है, जिससे समय सीमा चूक जाती है और ग्राहक असंतुष्ट हो जाते हैं।

“मार्ग के साथ क्या हो सकता है – पिछले डेटा के संयोजन के आधार पर – इसकी भविष्यवाणी या समझने से आप वास्तव में इन अकुशलताओं को कम कर सकते हैं,”असपरुह कोएव, लॉजिस्टिक्स एआई कंपनीट्रांसमेट्रिक्सके सीईओ नेयूनाइट एआईके साथ बातचीत के दौरान कहा।

व्यावहारिक रूप से, गंदा डेटा महंगा है। 1-10-100 नियम इसे दर्शाता है: यह डेटा की जांच करने के लिए $1 खर्च होता है जब यह दर्ज किया जाता है, $10 साफ करने के लिए बाद में, और $100 यदि कुछ नहीं किया जाता है।

एआई-संचालित प्लेटफ़ॉर्म क्या लाते हैं

व्यवसाय गंदे डेटा के बढ़ते ढेर से जूझ रहे हैं, वे समाधान के लिए एआई की ओर मुड़ रहे हैं। उभरते एआई-संचालित प्लेटफ़ॉर्म अब डेटा साफ़ करने की प्रक्रिया को स्वचालित करते हैं, लागत प्रभावशीलता सुनिश्चित करते हैं और सटीकता में सुधार करते हैं।

रॉबर्ट जियार्डिना, क्लैरिटीपे के संस्थापक, एक ऐसे प्लेटफ़ॉर्म के रूप में,क्लैरिटीपेने एआई की प्रक्रिया को समझाया:

“यह डेटा को एक सामान्य प्रारूप में परिवर्तित करता है: प्रक्रिया का एक हिस्सा यह है कि प्रत्येक डेटा को एक मानक प्रारूप में परिवर्तित किया जाए जो व्यवसाय के लिए उपयुक्त हो।”

क्लैरिटीपे का एआई सिर्फ़ मानकीकरण से आगे बढ़ता है। प्लेटफ़ॉर्म की पर्यवेक्षित मरम्मत संगठनों को पूरे व्यवसाय में फैले प्रश्नों के उत्तर खोजने के लिए सिस्टम सीमाओं को पार करने में मदद करती है, सिलोस को तोड़ती है।

“प्रणालियां जो पहले अलग रखी गई थीं, उनमें से प्रत्येक में पूरे व्यवसाय के लिए प्रश्नों का एक हिस्सा है,” जियार्डिना नेयूनाइट एआईको बताया।

उदाहरण के लिए, यदि एक प्रमुख आपूर्तिकर्ता को एक शिपिंग देरी का सामना करना पड़ता है, तो केवल आपूर्तिकर्ताओं को ऑर्डर और ग्राहक इतिहास से जोड़कर ही कंपनी यह निर्धारित कर सकती है कि देरी के बारे में किन शीर्ष ग्राहकों को पहले सूचित किया जाना चाहिए।

“हमारा अंतिम लक्ष्य यह जुड़ाव को विस्तारित करना है ताकि पूरे उद्यम में डेटा के हर टुकड़े को एकजुट किया जा सके, ताकि हम हर प्रश्न का उत्तर आसान और तुरंत दे सकें,” जियार्डिना ने कहा।

इस तरह की जुड़ाव सोच व्यापक मानसिकता परिवर्तन का प्रतिनिधित्व करती है जो आज कंपनियों में हो रही है, क्योंकि वेअद हॉकडेटा साफ़ करने से सिस्टमेटिक डेटा शासन में स्थानांतरित हो रही हैं। डेटा गुणवत्ता को एक बार के फ़िक्स के रूप में नहीं मानते हुए, संगठन अपनी सभी प्रणालियों में निरंतरता और विश्वसनीयता सुनिश्चित करने के लिए संरचित प्रक्रियाओं का विकास कर रहे हैं।

डेटा शासन अब एक मूल्यवान व्यवसाय प्रक्रिया माना जाता है, न कि सिर्फ़ एक आईटी कार्य। अपनी समग्र रणनीतियों में डेटा प्रबंधन को एकीकृत करके, फर्म बेहतर निर्णय ले सकती हैं और अपने डेटा से अधिक अर्थपूर्ण अंतर्दृष्टि प्राप्त कर सकती हैं।

एआई डेटा को कैसे साफ़ करता है और यह किन चुनौतियों का सामना करता है

एआई पर अत्यधिक निर्भर रहना खतरनाक हो सकता है। जियार्डिना के लिए, “चिंताजनक स्वचालित डेटा रूपांतरण वे हैं जो मानकीकरण से आगे बढ़कर अनुमान लगाने में जाते हैं।”

उदाहरण के लिए, कुछ संक्षिप्त नाम आसानी से गलत व्याख्या की जा सकती है। “इंटरनेशनल बिजनेस मशीन्स, इंक.” या “आई.बी.एम.,” आमतौर पर “आईबीएम” में परिवर्तित हो जाएगा, लेकिन यदि रूपांतरण स्वचालित होता और “आई.बी.” गलती से “आईबीएम” में परिवर्तित हो जाता, तो यह दोनों कंपनियों के लिए महत्वपूर्ण समस्याएं पैदा कर सकता है।

गुम और असटीक डेटा दो सबसे सामान्य समस्याएं हैं, और केवल एआई पर निर्भर रहने से अंतराल को भरने के लिए संदर्भ के अनुसार आसानी से गलती हो सकती है। जैसा कि जियार्डिना बताते हैं, “जब प्रभाव किसी भी तरह से महत्वपूर्ण होते हैं, तो हमें प्रत्येक अनुमान के लिए मानव अनुमोदन की आवश्यकता होती है।”

स्वचालन के साथ मानव अंतर्दृष्टि का संतुलन

गंदा डेटा जानकारी को संभालने में संगठनों की गहरी खामियों को उजागर करता है। आगे बढ़ने और निर्णय लेने में सुधार करने के लिए, व्यवसायों को डेटा को केवल एक तकनीकी मुद्दे के रूप में देखना बंद करना होगा और मानव विशेषज्ञता, नैतिक जागरूकता और दीर्घकालिक रणनीतिक दृष्टि को जोड़ने वाले शासन मॉडल की ओर बढ़ना होगा।

साफ़ डेटा अधिक प्रभावी एआई बनाता है, जो बदले में डेटा गुणवत्ता में सुधार करता है; यह परस्पर पूरक चक्र आशाजनक है, लेकिन यह याद दिलाता है कि स्वचालन अकेले हमारी गंदे डेटा समस्या का समाधान नहीं करेगा। यह क्षमता केवल तब ही साकार की जा सकती है जब अल्गोरिदमिक सटीकता को मानव निर्णय और पारदर्शिता के साथ जोड़ा जाए, जो हम जो प्रणाली बनाते हैं उनमें अधिक विश्वास पैदा करता है।

अलेक्स सांडोवाल, निर्माण बुद्धिमत्ता एआई फर्मऑली एआईके सीईओ ने भी जोर देकर कहा कि जनरेटिव एआई कोपिलॉट केवल अल्गोरिदम पर नहीं चलते हैं, बल्कि कारखाने की तर्कसंगतता में मानव प्रवीणता पर निर्भर करते हैं।

“आज के सबसे सफल तैनाती केवल मॉडल को विशाल प्रोग्रामेबल लॉजिक कंट्रोलर (पीएलसी) डेटा, ऑपरेटर नोट्स और अनुपालन प्रोटोकॉल के साथ खिलाने के बारे में नहीं हैं,” उन्होंने निष्कर्ष निकाला।