हमारे गंदे डेटा को साफ करना: कैसे एआई गेम को बदल रहा है

हम डेटा में डूब रहे हैं। हर प्लेटफ़ॉर्म, स्मार्टवॉच और स्मार्टफ़ोन हमारे जीवन को मापne योग्य टुकड़ों में तोड़ देता है, लेकिन अधिकांश यह असंगत और अनुपयोगी रहता है।

कंपनियां जानती हैं कि यह क्यों है, जो कि टेक दिग्गज मेटा ने पिछली गर्मियों में $14 बिलियन USD का निवेश किया डेटा-लेबलिंग स्टार्टअप स्केल एआई में 49% हिस्सेदारी हासिल करने के लिए, अपने एआई मॉडल के लिए उच्च-गुणवत्ता वाले प्रशिक्षण डेटा को सुरक्षित करने के लिए एक गणनात्मक और रणनीतिक कदम।

बड़े भाषा मॉडल की विश्वसनीयता पूरी तरह से डेटा की गुणवत्ता पर निर्भर करती है जो उन्हें खिलाया जाता है – संक्षेप में, “कचरा में, कचरा बाहर।” आज, हालांकि, कंपनियों का सामना करने वाली वास्तविक चुनौती कच्ची जानकारी की बाढ़ को कार्रवाई योग्य डेटा में बदलना है।

समाधान छिपा हो सकता है सादगी में: एआई खुद मदद कर सकता है जेनरेटिंग रणनीतियों द्वारा बड़े डेटासेट को लेबल करने या अंतहीन स्प्रेडशीट के माध्यम से जाने के कठिन कार्य को बायपास करने, अराजकता को मानव बुद्धिमत्ता में बदलने में।

जब डेटा गंदा हो जाता है: कंपनियों के लिए छिपे हुए लागत

गार्टनर रिसर्च के अनुसार 2020 से, खराब डेटा गुणवत्ता संगठनों को कम से कम $12.9 मिलियन USD प्रति वर्ष की लागत से प्रभावित करती है, उत्पादकता को प्रभावित करती है और गलत सूचित निर्णयों और असटीक रिपोर्टिंग की ओर ले जाती है।

गंदे डेटा के परिणाम स्वास्थ्य सेवा जैसे क्षेत्रों में और भी स्पष्ट हैं। अधूरे स्वास्थ्य रिकॉर्ड, बिलिंग विवरण और प्रणालियों में मेल नहीं खाने वाले डेटा के कारण गलत निदान, उपचार त्रुटियां और संसाधनों का अकुशल आवंटन हो सकता है। दीर्घकालिक रूप से, यह लागत को बढ़ाता है और इन प्रणालियों में विश्वास को कम करता है।

इस बीच, लॉजिस्टिक्स में, आपूर्तिकर्ताओं और वितरकों के बीच मेल नहीं खाने वाले डेटा के परिणामस्वरूप देरी या इन्वेंट्री की कमी हो सकती है। एक गलत डिलीवरी पता या पुराना स्टॉक रिकॉर्ड पूरे आपूर्ति श्रृंखला में एक प्रभाव डाल सकता है, जिससे समय सीमा चूक जाती है और ग्राहक असंतुष्ट हो जाते हैं।

“हम वास्तव में इन अकुशलताओं को काट सकते हैं – मार्ग के साथ क्या हो सकता है इसकी भविष्यवाणी करने या समझने में सक्षम होने के नाते – संयुक्त, पिछले डेटा के आधार पर,” असपरुह कोएव, लॉजिस्टिक्स एआई कंपनी ट्रांसमेट्रिक्स के सीईओ ने Unite AI के साथ बातचीत में उल्लेख किया।

व्यावहारिक रूप से, गंदा डेटा महंगा है। 1-10-100 नियम इसे दर्शाता है: यह डेटा को दर्ज किए जाने पर जांचने के लिए $1 खर्च करता है, बाद में इसे साफ करने के लिए $10, और यदि कुछ नहीं किया जाता है तो $100।

एआई-संचालित प्लेटफ़ॉर्म क्या लाते हैं

कंपनियां बढ़ती मात्रा में गंदे डेटा के साथ जूझ रही हैं, वे समाधान के लिए एआई की ओर मुड़ रही हैं। उभरते एआई-संचालित प्लेटफ़ॉर्म अब डेटा क्लीनिंग प्रक्रिया को स्वचालित करते हैं, लागत प्रभावशीलता सुनिश्चित करते हैं और सटीकता में सुधार करते हैं।

रॉबर्ट जियार्डिना, क्लैरिटीप जैसे प्लेटफ़ॉर्म के संस्थापक ने एआई की प्रक्रिया की व्याख्या की:

“यह डेटा को एक सामान्य प्रारूप में मिलाता है: प्रक्रिया का एक हिस्सा प्रत्येक डेटा को व्यवसाय के लिए उपयुक्त एक मानक प्रारूप में परिवर्तित करना है।”

क्लैरिटीप का एआई केवल मानकीकरण से परे जाता है। प्लेटफ़ॉर्म की पर्यवेक्षित मरम्मत संगठनों को पूरे व्यवसाय में फैले अपने सबसे जरूरी प्रश्नों के उत्तर खोजने के लिए सिस्टम सीमाओं को पार करने में सक्षम बनाती है, सिलोस को तोड़ती है।

“प्रणालियाँ जो पहले अलग रखी जाती थीं, उनमें से प्रत्येक अपने प्रश्नों के उत्तर का एक हिस्सा रखता है जो पूरे व्यवसाय में फैला हुआ है,” जियार्डिना ने Unite AI को बताया।

यदि एक प्रमुख आपूर्तिकर्ता को एक शिपिंग देरी से प्रभावित किया जाता है, तो केवल आपूर्तिकर्ताओं को ऑर्डर और ग्राहक इतिहास से जोड़कर एक कंपनी यह निर्धारित कर सकती है कि देरी के बारे में कौन से अपने शीर्ष ग्राहकों को पहले सूचित किया जाना चाहिए।

“हमारा अंतिम लक्ष्य इस इंटरकनेक्टेड सोच को विस्तारित करना है ताकि उद्यम में हर टुकड़े को एकजुट किया जा सके ताकि हम हर प्रश्न को आसान और तुरंत उत्तर दे सकें,” जियार्डिना ने कहा।

इस तरह की इंटरकनेक्टेड सोच कंपनियों में आज हो रहे व्यापक बदलाव का प्रतिनिधित्व करती है, क्योंकि वे एड हॉक डेटा क्लीनिंग से सिस्टमेटिक डेटा गवर्नेंस में संक्रमण करती हैं। डेटा गुणवत्ता को एक बार के फिक्स के रूप में नहीं मानते हुए, संगठन अपने सभी सिस्टम में संगति और विश्वसनीयता सुनिश्चित करने के लिए संरचित प्रक्रियाओं का विकास कर रहे हैं।

डेटा गवर्नेंस अब एक मूल्यवान व्यवसाय प्रक्रिया माना जाता है, न कि केवल एक आईटी कार्य। अपनी समग्र रणनीतियों में डेटा प्रबंधन को एकीकृत करके, फर्म बेहतर निर्णय ले सकते हैं और अपने डेटा से अधिक अर्थपूर्ण अंतर्दृष्टि प्राप्त कर सकते हैं।

एआई डेटा को कैसे साफ करता है और इसका सामना करने वाली चुनौतियाँ

एआई पर अत्यधिक निर्भर रहना खतरनाक हो सकता है। जियार्डिना के लिए, “चिंताजनक स्वचालित डेटा रूपांतरण वे हैं जो मानकीकरण से परे अनुमान लगाने में जाते हैं।”

उदाहरण के लिए, कुछ संक्षिप्त नाम आसानी से गलत व्याख्या की जा सकती है। “इंटरनेशनल बिजनेस मशीन्स, इंक.” या “आई.बी.एम.,” आमतौर पर “आईबीएम” में परिवर्तित हो जाएगा, लेकिन यदि रूपांतरण स्वचालित हो और “आई.बी.” को गलती से “आईबीएम” में परिवर्तित किया जाए, तो दोनों कंपनियों के लिए महत्वपूर्ण समस्याएं हो सकती हैं।

गुम और असटीक डेटा सबसे आम समस्याएं हैं, और केवल एआई पर निर्भर रहना जो संदर्भ के अनुसार अंतराल को भरता है, आसानी से गलत साबित हो सकता है। जियार्डिना के अनुसार, “जब प्रभाव किसी भी तरह से महत्वपूर्ण होते हैं, तो हमें प्रत्येक अनुमान को मानव द्वारा अनुमोदित करने की आवश्यकता होती है।”

स्वचालन के साथ मानव अंतर्दृष्टि का संतुलन

गंदा डेटा जानकारी को संभालने में संगठनों की गहरी खामियों को उजागर करता है। निर्णय लेने में सुधार करने और आगे बढ़ने के लिए, व्यवसायों को डेटा को केवल एक तकनीकी मुद्दे के रूप में देखना बंद करना होगा और मानव विशेषज्ञता, नैतिक जागरूकता और दीर्घकालिक रणनीतिक दृष्टि को जोड़ने वाले शासन मॉडल की ओर बढ़ना होगा।

साफ डेटा अधिक प्रभावी एआई बनाता है, जो बदले में डेटा गुणवत्ता में सुधार करने में मदद करता है; यह परस्पर प्रबल चक्र आशाजनक है, लेकिन यह याद दिलाता है कि स्वचालन अकेले हमारी गंदे डेटा समस्या का समाधान नहीं करेगा। यह संभावना केवल तब ही साकार हो सकती है जब एल्गोरिदमिक सटीकता को मानव निर्णय और पूर्वाग्रहों के प्रति जागरूकता के साथ जोड़ा जाए, जो पारदर्शिता और हमारे द्वारा निर्मित प्रणालियों में अधिक विश्वास सुनिश्चित करता है।

एलेक्स सांडोवाल, निर्माण बुद्धिमत्ता एआई फर्म, अली एआई के सीईओ ने भी जोर देकर कहा कि जनरेटिव एआई कोपायलट केवल एल्गोरिदम पर नहीं चलते हैं, बल्कि कारखाने की तर्कसंगतता में मानव कुशलता पर निर्भर करते हैं।

“आज के सबसे सफल तैनाती नहीं हैं जो केवल विशाल प्रोग्रामेबल लॉजिक कंट्रोलर (पीएलसी) डेटा, ऑपरेटर नोट्स और अनुपालन प्रोटोकॉल के साथ मॉडल को खिलाने के बारे में हैं। वे एक नए प्रकार के फ्रंटलाइन कार्यकर्ता पर निर्भर करते हैं: जो मशीन व्यवहार और डिजिटल अंतर्ज्ञान के बीच अनुवाद कर सकता है,” उन्होंने निष्कर्ष निकाला।