मॉडल विकास को स्वचालित करने के लिए महत्वपूर्ण मार्ग

एआई अनुसंधान के लिए अगला महत्वपूर्ण मील का पत्थर मॉडल विकास को स्वचालित करना है। तर्क, भाषा और धारणा में हर प्रगति कुछ हद तक उस लक्ष्य की ओर एक कदम है। हालांकि, मॉडल स्वचालन के मार्ग में कुछ मूलभूत चुनौतियाँ हैं जिन्हें पहले हल करना होगा।

उस लक्ष्य तक पहुँचने का पुल सीधे मशीन लर्निंग (एमएल) इंजीनियरिंग के माध्यम से जाता है। एक सामान्य गलत धारणा यह है कि एमएल आधुनिक एआई की पूर्ववर्ती प्रौद्योगिकी है और फाउंडेशन मॉडल ने इसे बदल दिया है। यह संबंध को गलत समझता है। एक अकादमिक अनुशासन के रूप में, एमएल मॉडल प्रशिक्षण के सभी पहलुओं को शामिल करता है, जिसमें वर्तमान एआई क्षण के केंद्र में फाउंडेशन मॉडल का प्रशिक्षण भी शामिल है। हालांकि, पैमाने और डेटा जटिलता में एक अर्थपूर्ण अंतर है।

पारंपरिक एमएल मॉडल आमतौर पर सावधानी से क्यूरेटेड, डोमेन-विशिष्ट डेटासेट पर प्रशिक्षित होते हैं जिनमें हजारों या लाखों उदाहरण होते हैं। फाउंडेशन मॉडल, इसके विपरीत, एक ही समय में हजारों डेटासेट पर प्रशिक्षित होते हैं, जो विभिन्न स्रोतों से लिए जाते हैं जिनमें असंगत प्रारूप, प्रोवेनेंस और गुणवत्ता होती है। डेटा के पैमाने और विविधता में यह अंतर मॉडल के विकास को स्वचालित करने में एक मूलभूत कारण है कि डेटा प्रबंधन क्यों महत्वपूर्ण हो जाता है।

यह डेटा समझ को मॉडल विकास को स्वचालित करने में एक केंद्रीय बोतलनेक बनाता है। एक एआई सिस्टम जो विविध डेटा की व्याख्या कर सकता है और इसके आसपास बने पाइपलाइनों में सुधार कर सकता है, सिद्धांत रूप में अपनी खुद की प्रशिक्षण प्रक्रिया में सुधार कर सकता है और बेहतर मॉडल बनाने में मदद कर सकता है। एक बार एआई अपनी प्रशिक्षण प्रक्रिया में सुधार कर सकता है, सुधार हर डोमेन में कैस्केड डाउनस्ट्रीम होता है जहां एआई लागू किया जाता है।

रास्ते में खड़ी तीन बाधाएं

पहली बाधा संदर्भ खंडित है। लगभग हर संगठन में, किसी भी दिए गए मॉडलिंग समस्या से संबंधित संकेत, प्रयोग, विशेषता परिभाषाएं और संस्थागत ज्ञान डेटा वेयरहाउस, नोटबुक और पाइपलाइनों में बिखरे हुए हैं जो एक दूसरे के साथ संवाद करने के लिए डिज़ाइन नहीं किए गए हैं। एक स्वास्थ्य देखभाल प्रणाली को सेप्सिस का पता लगाने के लिए एक मॉडल बनाने की कल्पना करें। उस समस्या से संबंधित नैदानिक मानदंड, जैसे कि महत्वपूर्ण सीमाएं, प्रयोगशाला मूल्य और दस्तावेजीकरण मानक, एक इलेक्ट्रॉनिक स्वास्थ्य रिकॉर्ड प्रणाली के पूरी तरह से अलग मॉड्यूल में रह सकते हैं।

दूसरी बाधा सेमेंटिक अस्पष्टता है। अर्थ डेटा में निहित नहीं है, बल्कि यह संदर्भ और संगठनात्मक है। दो अलग-अलग डेटाबेस में एक ही फील्ड नाम अलग-अलग चीजों को संदर्भित कर सकता है। राजस्व, सक्रिय उपयोगकर्ता और चूर्ण जैसी अवधारणाएं अक्सर एक ही कंपनी के भीतर कई वैध परिभाषाएं होती हैं। यहां तक कि “राजस्व” जैसी अवधारणा भी समस्याएं पैदा कर सकती है। एक बिक्री टीम राजस्व को इस तिमाही में हस्ताक्षरित अनुबंधों के कुल मूल्य के रूप में परिभाषित कर सकती है, जबकि वित्त टीम इसे वास्तव में प्राप्त की गई नकदी के रूप में परिभाषित करती है। उत्पाद टीम की अपनी एक अलग समझ है, क्योंकि यह शब्द को सदस्यता अवधि में फैले हुए मान्यता प्राप्त राजस्व के रूप में परिभाषित करती है। तीनों अपने-अपने सिस्टम में “राजस्व” नाम के फील्ड से डेटा ले रहे हैं, लेकिन एक क्रॉस-टीम रिपोर्ट जो उन्हें मिलाती है, तीन असंगत संख्याओं को चुपचाप मिला देगी।

तीसरी और सबसे प्रणालीगत बाधा यह है कि संस्थागत स्मृति का अभाव है। इतने सारे स्रोतों में प्रोवेनेंस को ट्रैक करना, असंगतताओं को हल करना और गुणवत्ता संकेतों को बनाए रखना मानव टीमों के लिए भी एक हल न हुई समस्या है। बिना संस्थागत स्मृति के कि क्या कोशिश की गई और कैसे उन दृष्टिकोणों ने काम किया, कोई भी मॉडल स्वचालन तंत्र उन्हीं मृत अंतों को फिर से खोजता रहेगा, समय और संसाधनों को बर्बाद करता रहेगा।

एक खुदरा कंपनी में एक डेटा विज्ञान टीम को एक मांग अनुमान मॉडल बनाने की कल्पना करें जो तीन साल में एक दर्जन विश्लेषकों ने स्वतंत्र रूप से यह खोज की है कि कच्चे मौसम डेटा छुट्टी के सप्ताह के दौरान मॉडल के प्रदर्शन को खराब करता है, एक विशिष्ट आपूर्तिकर्ता की इन्वेंट्री फीड में एक व्यवस्थित देरी है, और प्रमोशनल इवेंट्स को संभालने के लिए मानक दृष्टिकोण लक्ष्य रिसाव का कारण बनता है। जब मूल विश्लेषक अन्य टीमों में चले गए या कंपनी छोड़ दी, तो ज्ञान उनके साथ चला गया। संस्थागत रिकॉर्ड के बिना जो कोशिश की गई, जो विफल रही और क्यों इसके बिना, एक मॉडल स्वचालन तंत्र जमा अनुभव पर नहीं बना सकता। यह बस शून्य से शुरू होता है, बार-बार, समय को अनावश्यक रूप से बर्बाद करता है।

वास्तविक समाधान की आवश्यकता क्या है

एमएल स्वचालन का इतिहास आंशिक समाधानों का इतिहास है। ऑटोमेल ने संकीर्ण समस्या को हाइपरपैरामीटर ट्यूनिंग को संबोधित किया लेकिन उद्देश्य असंगतता या संगठनात्मक इरादे के बारे में तर्क नहीं कर सका। एमएलओप्स ने उत्पादन पाइपलाइनों को अधिक मजबूत और निगरानी करने में आसान बना दिया, लेकिन एमएलओप्स टूल एक रणनीति को निष्पादित करते हैं, इसे परिभाषित नहीं करते हैं। अधिक हाल के कोडिंग एजेंट वास्तविक प्रगति का प्रतिनिधित्व करते हैं, लेकिन उन्होंने उसी अंधे धब्बे को विरासत में मिला है। वे अच्छी तरह से कोड उत्पन्न करते हैं जबकि संगठनात्मक संदर्भ या संस्थागत स्मृति के बिना काम करते हैं।

वास्तविक स्वायत्त एमएल इंजीनियरिंग के लिए सक्षम एक प्रणाली को मौजूदा किसी भी उपकरण द्वारा प्रदान की जाने वाली क्षमताओं की आवश्यकता होगी। यह व्यवसायिक लक्ष्यों को मॉडल उद्देश्यों में मैप करने की आवश्यकता होगी, जो डेटा से ही अनुमानित नहीं की जा सकती। यह विभिन्न स्रोतों से डेटा की खोज करने की आवश्यकता होगी, जिसमें असंगत स्कीमा, प्रोवेनेंस और गुणवत्ता होती है, जबकि स्वचालित रूप से अनुपालन, शासन और सुरक्षा प्रतिबंधों का पालन करना होगा, न कि मानवों को एक अलग प्रक्रिया के रूप में प्रबंधित करने की आवश्यकता होगी। यह संस्थागत स्मृति की आवश्यकता होगी ताकि मौजूदा काम को सतह पर लाया जा सके, समझा जा सके कि पिछले प्रयोग क्यों छोड़ दिए गए और सहकर्मियों को पहले से क्या पता है।

प्रोवेनेंस को डेटा संस्करणों, विशेषता परिभाषाओं और कोड कमिट्स के माध्यम से ट्रैक करने वाले कठोर ऑडिट ट्रेल्स को एक मूल तंत्र के रूप में आवश्यक होगा जो प्रणाली को वास्तव में क्या हुआ है में आधारित करता है। और ऐसी कोई भी प्रणाली को मानव-इन-द-लूप डिज़ाइन की आवश्यकता होगी। पूर्ण स्वचालन और पूर्ण मैनुअल नियंत्रण के बीच एक द्विआधारी विकल्प नहीं, बल्कि कार्य, दांव और प्रणाली के प्रत्येक निर्णय बिंदु पर आत्मविश्वास के स्तर के आधार पर बातचीत के विभिन्न स्तरों का समर्थन करना। महत्वपूर्ण क्षणों पर मानव निर्णय को दरकिनार करने वाला स्वचालन अच्छी तरह से डिज़ाइन किए गए एआई की एक विशेषता नहीं है; बल्कि, यह एक विफलता मोड है।

कोई भी प्रयोगशाला अभी तक यह नहीं हल कर पाई है कि संगठनात्मक डेटा की एक सेमेंटिक समझ कैसे बनाई जाए जो एक विशिष्ट संस्थागत संदर्भ में डेटा का क्या अर्थ है। एमसीपी कनेक्टिविटी समस्या का समाधान करता है। यह अभी तक अर्थ समस्या का समाधान नहीं करता है। यह खुला अनुसंधान मोर्चा बना हुआ है।

संभावनाएं क्या हैं

इन समस्याओं को हल करने के आर्थिक निहितार्थ महत्वपूर्ण हैं। आजकल कस्टम एमएल विकास के लिए विशेषज्ञ पрак्टिशनर और कई हफ्तों की पुनरावृत्ति की आवश्यकता होती है, यहां तक कि अच्छी तरह से परिभाषित समस्याओं के लिए भी। एक प्रणाली जो समस्या परिभाषा से लेकर डेटा खोज, मॉडल विकास और मॉडल मूल्यांकन तक पूरे कार्यप्रवाह को स्वचालित रूप से नेविगेट कर सकती है, वह समीकरण को नाटकीय रूप से बदल देगी, समयसीमा को संकुचित करेगी और वर्तमान में संसाधन-गहन होने के कारण जिन उच्च-मूल्य वाले उपयोग के मामलों का पीछा नहीं किया जा सकता है, उन्हें खोलेगी। जिन परियोजनाओं के लिए पहले गहरे एमएल विशेषज्ञता वाली टीमों को कई हफ्तों तक काम करने की आवश्यकता होती थी, वे अब एमएल विशेषज्ञों के समय का इतना उपयोग किए बिना कुछ दिनों में पूरी की जा सकती हैं।

संदर्भ खंडितकरण, सेमेंटिक अस्पष्टता और संस्थागत स्मृति की अनुपस्थिति की चुनौतियां केवल उद्यम एमएल तक ही सीमित नहीं हैं। वे फाउंडेशन मॉडल प्रशिक्षण पाइपलाइनों के निर्माण में अलग-अलग प्रतिबंधों के तहत प्रकट होते हैं, जहां हजारों विविध डेटासेट को एकत्रित, फ़िल्टर और पुनरावृत्ति रूप से परिष्कृत किया जाना चाहिए। जबकि दो सेटिंग्स संरचना और उद्देश्य में भिन्न हैं, दोनों एक ही अंतर्निहित बोतलनेक से सीमित हैं: प्रोवेनेंस को ट्रैक करने और पुनरावृत्तियों के माध्यम से पिछले काम पर निर्माण करने में सक्षम प्रणालियों की अनुपस्थिति। इसलिए, उद्यम में मॉडल विकास को स्वचालित करना स्वयं को सुधारने में सक्षम एआई प्रणालियों की ओर अग्रसर एक महत्वपूर्ण कदम है।