सिंथेटिक डेटा कैसे एआई हॉलुसिनेशन को प्रभावित करता है?

हालांकि सिंथेटिक डेटा एक शक्तिशाली उपकरण है, यह केवल विशिष्ट परिस्थितियों में ही कृत्रिम बुद्धिमत्ता हॉलुसिनेशन को कम कर सकता है। लगभग हर अन्य मामले में, यह उन्हें बढ़ा देगा। ऐसा क्यों है? यह घटना उन लोगों के लिए क्या意味 रखती है जिन्होंने इसमें निवेश किया है?

सिंथेटिक डेटा वास्तविक डेटा से कैसे अलग है?

सिंथेटिक डेटा वह जानकारी है जो एआई द्वारा उत्पन्न की जाती है। यह वास्तविक दुनिया की घटनाओं या अवलोकनों से एकत्रित नहीं किया जाता है, बल्कि यह कृत्रिम रूप से उत्पन्न किया जाता है। हालांकि, यह मूल की तरह पर्याप्त है ताकि सटीक, प्रासंगिक आउटपुट उत्पन्न किया जा सके। यह विचार है, कम से कम।

एक कृत्रिम डेटासेट बनाने के लिए, एआई इंजीनियर एक वास्तविक संबंधपरक डेटाबेस पर एक उत्पन्नक अल्गोरिथ्म को प्रशिक्षित करते हैं। जब प्रेरित किया जाता है, तो यह एक दूसरे सेट का उत्पादन करता है जो पहले की तरह दिखता है लेकिन इसमें कोई वास्तविक जानकारी नहीं होती है। जबकि सामान्य रुझान और गणितीय गुण अभी भी बरकरार रहते हैं, वहां पर्याप्त शोर होता है जो मूल संबंधों को छुपा देता है।

एक एआई-उत्पन्न डेटासेट डीइडेंटिफिकेशन से परे जाता है, क्षेत्रों के बीच संबंधों के मूल तर्क को प्रतिकृति करता है, न कि केवल समान विकल्पों के साथ क्षेत्रों को प्रतिस्थापित करता है। चूंकि इसमें कोई पहचानने योग्य विवरण नहीं है, कंपनियां इसका उपयोग गोपनीयता और कॉपीराइट नियमों से बचने के लिए कर सकती हैं। अधिक महत्वपूर्ण बात यह है कि वे इसे स्वतंत्र रूप से साझा या वितरित कर सकते हैं बिना किसी उल्लंघन के डर के।

हालांकि, नकली जानकारी का अधिक सामान्य उपयोग पूरक है। व्यवसाय इसका उपयोग नमूना आकार को बढ़ाने के लिए कर सकते हैं जो बहुत छोटे हैं, उन्हें इतना बड़ा बना दें कि एआई प्रणालियों को प्रभावी ढंग से प्रशिक्षित किया जा सके।

क्या सिंथेटिक डेटा एआई हॉलुसिनेशन को कम करता है?

कभी-कभी, अल्गोरिथ्म अस्तित्वहीन घटनाओं को संदर्भित करते हैं या तार्किक रूप से असंभव सुझाव देते हैं। ये हॉलुसिनेशन अक्सर अर्थहीन, भ्रामक या गलत होते हैं। उदाहरण के लिए, एक बड़ा भाषा मॉडल एक लेख लिख सकता है कि शेरों को पालतू बनाने या 6 साल की उम्र में डॉक्टर बनने के बारे में। हालांकि, वे सभी इतने चरम नहीं होते हैं, जो उन्हें पहचानना मुश्किल बना देता है।

यदि उपयुक्त रूप से क्यूरेट किया जाए, तो कृत्रिम डेटा इन घटनाओं को कम कर सकता है। एक प्रासंगिक, वास्तविक प्रशिक्षण डेटाबेस किसी भी मॉडल के लिए आधार है, इसलिए यह तर्कसंगत है कि जितनी अधिक जानकारी किसी के पास होगी, उतना ही सटीक उनके मॉडल का आउटपुट होगा। एक पूरक डेटासेट स्केलेबिलिटी को सक्षम बनाता है, यहां तक कि सीमित सार्वजनिक जानकारी वाले निचे अनुप्रयोगों के लिए भी।

डीबायसिंग एक और तरीका है जिससे एक सिंथेटिक डेटाबेस एआई हॉलुसिनेशन को कम कर सकता है। एमआईटी स्लोन स्कूल ऑफ मैनेजमेंट के अनुसार, यह पूर्वाग्रह को संबोधित करने में मदद कर सकता है क्योंकि यह मूल नमूना आकार तक सीमित नहीं है। पेशेवर वास्तविक विवरण का उपयोग करके अंतराल भर सकते हैं जहां चयनित उप-संस्कृतियां कम या अधिक प्रतिनिधित्व कर रही हैं।

कैसे कृत्रिम डेटा हॉलुसिनेशन को बदतर बनाता है

चूंकि बुद्धिमान अल्गोरिथ्म जानकारी को तर्कसंगत या संदर्भिक नहीं कर सकते, वे हॉलुसिनेशन के लिए प्रवण होते हैं। उत्पन्नक मॉडल — विशेष रूप से प्री-प्रशिक्षित बड़े भाषा मॉडल — विशेष रूप से कमजोर होते हैं। कुछ मायनों में, कृत्रिम तथ्य समस्या को बढ़ाते हैं।

पूर्वाग्रह वृद्धि

मानवों की तरह, एआई पूर्वाग्रह सीख सकता है और पुन: उत्पन्न कर सकता है। यदि एक कृत्रिम डेटाबेस कुछ समूहों को अधिक महत्व देता है जबकि अन्य को कम प्रतिनिधित्व करता है — जो चिंताजनक रूप से आसानी से हो सकता है — इसका निर्णय लेने वाला तर्क तिरछा हो जाएगा, जिससे आउटपुट सटीकता प्रभावित होगी।

एक समान समस्या तब उत्पन्न हो सकती है जब कंपनियां वास्तविक दुनिया के पूर्वाग्रहों को दूर करने के लिए नकली डेटा का उपयोग करती हैं क्योंकि यह अब वास्तविकता को प्रतिबिंबित नहीं कर सकता है। उदाहरण के लिए, चूंकि 99% से अधिक स्तन कैंसर महिलाओं में होता है, प्रतिनिधित्व को संतुलित करने के लिए पूरक जानकारी का उपयोग करने से निदान में तिरछा हो सकता है।

इंटरसेक्शनल हॉलुसिनेशन

इंटरसेक्शनलिटी एक सामाजिक संरचना है जो यह वर्णन करती है कि जनसांख्यिकी जैसे आयु, लिंग, जाति, व्यवसाय और वर्ग कैसे ओवरलैप होते हैं। यह विश्लेषण करता है कि समूहों की सामाजिक पहचान कैसे अद्वितीय संयोजनों में भेदभाव और विशेषाधिकार का परिणाम होता है।

जब एक उत्पन्नक मॉडल को अपने प्रशिक्षण डेटा पर आधारित कृत्रिम विवरण उत्पन्न करने के लिए कहा जाता है, तो यह ऐसे संयोजन उत्पन्न कर सकता है जो मूल में मौजूद नहीं थे या तार्किक रूप से असंभव हैं।

लिंकोपिंग विश्वविद्यालय में लिंग और समाज की प्रोफेसर एरिका जॉनसन ने एक मशीन लर्निंग वैज्ञानिक के साथ मिलकर इस घटना को प्रदर्शित करने के लिए काम किया। उन्होंने 1990 के संयुक्त राज्य अमेरिका की जनगणना आंकड़ों के सिंथेटिक संस्करण उत्पन्न करने के लिए एक उत्पन्नक प्रतिद्वंद्वी नेटवर्क का उपयोग किया।

तुरंत, उन्होंने एक चौंकाने वाली समस्या देखी। कृत्रिम संस्करण में “पत्नी और एकल” और “कभी विवाहित नहीं होने वाले पति” जैसे श्रेणियां थीं, जो दोनों इंटरसेक्शनल हॉलुसिनेशन थीं।

उपयुक्त क्यूरेशन के बिना, प्रतिकृति डेटाबेस हमेशा डेटासेट में प्रमुख उप-संस्कृतियों को अधिक प्रतिनिधित्व करेगा, जबकि कम प्रतिनिधित्व किए गए समूहों को कम प्रतिनिधित्व करेगा या उन्हें पूरी तरह से छोड़ देगा। एज केस और आउटलियर्स को पूरी तरह से अनदेखा किया जा सकता है प्रमुख रुझानों के पक्ष में।

मॉडल कोलैप्स

कृत्रिम पैटर्न और रुझानों पर अत्यधिक निर्भरता मॉडल कोलैप्स की ओर ले जाती है — जहां एक अल्गोरिथ्म का प्रदर्शन वास्तविक दुनिया के अवलोकनों और घटनाओं के प्रति अपनी अनुकूलन क्षमता में तेजी से गिरावट आती है।

यह घटना विशेष रूप से अगली पीढ़ी के उत्पन्नक एआई में स्पष्ट है। उन्हें बार-बार एक कृत्रिम संस्करण का उपयोग करके प्रशिक्षित करने से एक स्व-उपभोग लूप बन जाता है। एक अध्ययन में पाया गया कि उनकी गुणवत्ता और रिकॉल प्रगतिशील रूप से गिर जाती है बिना पर्याप्त हाल के, वास्तविक आंकड़ों के प्रत्येक पीढ़ी में।

ओवरफिटिंग

ओवरफिटिंग प्रशिक्षण डेटा पर अत्यधिक निर्भरता है। अल्गोरिथ्म शुरू में अच्छा प्रदर्शन करता है लेकिन नए डेटा बिंदुओं के साथ हॉलुसिनेट होगा। कृत्रिम जानकारी इस समस्या को बढ़ा सकती है यदि यह वास्तविकता को सटीक रूप से प्रतिबिंबित नहीं करती है।

सिंथेटिक डेटा के निरंतर उपयोग के परिणाम

सिंथेटिक डेटा बाजार बढ़ रहा है। इस निचे उद्योग में कंपनियां 2022 में लगभग 328 मिलियन डॉलर जुटाई, 2020 में 53 मिलियन डॉलर से ऊपर, केवल 18 महीनों में 518% की वृद्धि। यह ध्यान देने योग्य है कि यह केवल सार्वजनिक रूप से ज्ञात निधि है, जिसका अर्थ है कि वास्तविक आंकड़ा और भी अधिक हो सकता है। यह कहना सुरक्षित है कि कंपनियां इस समाधान में बहुत निवेश कर रही हैं।

यदि कंपनियां उपयुक्त क्यूरेशन और डीबायसिंग के बिना एक कृत्रिम डेटाबेस का उपयोग जारी रखती हैं, तो उनके मॉडल का प्रदर्शन प्रगतिशील रूप से गिरेगा, जिससे उनके एआई निवेश खराब हो जाएंगे। परिणाम अधिक गंभीर हो सकते हैं, यह इस्तेमाल के मामले पर निर्भर करता है। उदाहरण के लिए, स्वास्थ्य सेवा में, हॉलुसिनेशन में वृद्धि गलत निदान या अनुचित उपचार योजनाओं का परिणाम हो सकती है, जिससे मरीजों के परिणाम खराब हो सकते हैं।

समाधान वास्तविक डेटा में वापस लौटने के बारे में नहीं होगा

एआई प्रणालियों को प्रशिक्षित करने के लिए लाखों या अरबों छवियों, पाठ और वीडियो की आवश्यकता होती है, जिनमें से अधिकांश सार्वजनिक वेबसाइटों से स्क्रैप की जाती हैं और बड़े खुले डेटासेट में संकलित की जाती हैं। दुर्भाग्य से, अल्गोरिथ्म इस जानकारी को तेजी से उपभोग करते हैं जितनी तेजी से मानव इसे उत्पन्न कर सकते हैं। जब वे सब कुछ सीख लेते हैं तो क्या होता है?

व्यवसायी नेता डेटा दीवार — उस बिंदु पर चिंतित हैं जहां इंटरनेट पर सभी सार्वजनिक जानकारी समाप्त हो जाती है। यह उनकी अपेक्षा से अधिक तेजी से आ रहा हो सकता है।

हालांकि औसत सामान्य क्रॉल वेबपेज पर प्लेनटेक्स्ट की मात्रा और इंटरनेट उपयोगकर्ताओं की संख्या वार्षिक रूप से 2% से 4% तक बढ़ रही है, अल्गोरिथ्म उच्च गुणवत्ता वाले डेटा से बाहर हो रहे हैं। केवल 10% से 40% का उपयोग प्रशिक्षण के लिए किया जा सकता है बिना प्रदर्शन को खतरे में डाले। यदि रुझान जारी रहते हैं, तो मानव-उत्पन्न सार्वजनिक जानकारी का स्टॉक 2026 तक समाप्त हो सकता है।

संभवतः, एआई क्षेत्र डेटा दीवार को और भी जल्दी मार सकता है। पिछले कुछ वर्षों में उत्पन्नक एआई का उभार जानकारी के स्वामित्व और कॉपीराइट उल्लंघन पर तनाव बढ़ा रहा है। अधिक वेबसाइट मालिक रोबोट्स एक्सक्लूजन प्रोटोकॉल — एक मानक का उपयोग कर रहे हैं जो एक रोबोट्स.टेक्सट फ़ाइल का उपयोग वेब क्रॉलर को ब्लॉक करने के लिए करता है — या यह स्पष्ट कर रहे हैं कि उनकी साइट ऑफ-लिमिट है।

2024 में एक एमआईटी-नेतृत्व वाले शोध समूह द्वारा प्रकाशित एक अध्ययन से पता चला कि कोलोसल क्लीन्ड कॉमन क्रॉल (सी4) डेटासेट — एक बड़े पैमाने पर वेब क्रॉल कॉर्पस — प्रतिबंध बढ़ रहे हैं। सी4 के सबसे सक्रिय, महत्वपूर्ण स्रोतों में से 28% पूरी तरह से प्रतिबंधित थे। इसके अलावा, सी4 का 45% अब सेवा की शर्तों द्वारा ऑफ-लिमिट निर्धारित किया गया है।

यदि कंपनियां इन प्रतिबंधों का सम्मान करती हैं, तो वास्तविक दुनिया के सार्वजनिक तथ्यों की ताजगी, प्रासंगिकता और सटीकता घट जाएगी, जिससे उन्हें कृत्रिम डेटाबेस पर निर्भर करने के लिए मजबूर होना पड़ेगा। वे इसके अलावा बहुत कुछ नहीं कर सकते हैं यदि अदालतें निर्णय लेती हैं कि कोई विकल्प कॉपीराइट उल्लंघन है।

सिंथेटिक डेटा और एआई हॉलुसिनेशन का भविष्य

कॉपीराइट कानूनों के आधुनिकीकरण और अधिक वेबसाइट मालिकों द्वारा वेब क्रॉलर से अपनी सामग्री को छिपाने के साथ, कृत्रिम डेटासेट उत्पादन अधिक लोकप्रिय हो जाएगा। संगठनों को हॉलुसिनेशन के खतरे का सामना करने के लिए तैयार रहना होगा।