विचार नेता

मॉडल विकास के स्वचालन की महत्वपूर्ण राह

Doris Xin Moustafa AbdelBaky
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
A stylized digital landscape showing illuminated lines connecting data structures. A cluster representing
मुख्य बिंदुसंगठनात्मक डेटा के अर्थ में शब्दार्थ अस्पष्टता को पहले हल करके ही मॉडल विकास को…
और देखें
  • संगठनात्मक डेटा के अर्थ में शब्दार्थ अस्पष्टता को पहले हल करके ही मॉडल विकास को स्वचालित किया जा सकता है।
  • फाउंडेशन मॉडल अत्यधिक विषम और जटिल प्रशिक्षण स्रोतों के कारण डेटा प्रबंधन की चुनौतियों को और बढ़ा देते हैं।
  • वास्तविक एमएल स्वचालन के लिए संस्थागत स्मृति आवश्यक है, ताकि पिछली विफलताओं और अंतर्दृष्टियों को बार-बार दोहराया न जाए।

एआई अनुसंधान के लिए अगला महत्वपूर्ण मील का पत्थर मॉडल विकास को स्वचालित करना है। तर्क, भाषा और धारणा में हर प्रगति कुछ हद तक उस लक्ष्य की ओर एक कदम है। हालांकि, मॉडल स्वचालन के मार्ग में कुछ मूलभूत चुनौतियाँ हैं जिन्हें पहले हल करना होगा।

उस लक्ष्य तक पहुँचने का पुल सीधे मशीन लर्निंग (एमएल) इंजीनियरिंग के माध्यम से जाता है। एक सामान्य गलत धारणा यह है कि एमएल आधुनिक एआई की पूर्ववर्ती प्रौद्योगिकी है और फाउंडेशन मॉडल ने इसे बदल दिया है। यह संबंध को गलत समझता है। एक अकादमिक अनुशासन के रूप में, एमएल मॉडल प्रशिक्षण के सभी पहलुओं को शामिल करता है, जिसमें वर्तमान एआई क्षण के केंद्र में फाउंडेशन मॉडल का प्रशिक्षण भी शामिल है। हालांकि, पैमाने और डेटा जटिलता में एक अर्थपूर्ण अंतर है।

पारंपरिक एमएल मॉडल आमतौर पर सावधानी से क्यूरेटेड, डोमेन-विशिष्ट डेटासेट पर प्रशिक्षित होते हैं जिनमें हजारों या लाखों उदाहरण होते हैं। फाउंडेशन मॉडल, इसके विपरीत, एक ही समय में हजारों डेटासेट पर प्रशिक्षित होते हैं, जो विभिन्न स्रोतों से लिए जाते हैं जिनमें असंगत प्रारूप, प्रोवेनेंस और गुणवत्ता होती है। डेटा के पैमाने और विविधता का यह अंतर एक बुनियादी कारण है कि मॉडल अधिक शक्तिशाली होने के साथ डेटा प्रबंधन कहीं अधिक कठिन और महत्वपूर्ण हो जाता है।

यह डेटा समझ को मॉडल विकास को स्वचालित करने में एक केंद्रीय बोतलनेक बनाता है। एक एआई सिस्टम जो विविध डेटा की व्याख्या कर सकता है और इसके आसपास बने पाइपलाइनों में सुधार कर सकता है, सिद्धांत रूप में अपनी खुद की प्रशिक्षण प्रक्रिया में सुधार कर सकता है और बेहतर मॉडल बनाने में मदद कर सकता है। एक बार एआई अपनी प्रशिक्षण प्रक्रिया में सुधार कर सकता है, सुधार हर डोमेन में कैस्केड डाउनस्ट्रीम होता है जहां एआई लागू किया जाता है।

रास्ते में खड़ी तीन बाधाएं

पहली बाधा संदर्भ का विखंडन है। लगभग हर संगठन में, किसी भी दिए गए मॉडलिंग समस्या से संबंधित संकेत, प्रयोग, विशेषता परिभाषाएं और संस्थागत ज्ञान डेटा वेयरहाउस, नोटबुक और पाइपलाइनों में बिखरे हुए हैं जो एक दूसरे के साथ संवाद करने के लिए डिज़ाइन नहीं किए गए हैं। एक स्वास्थ्य देखभाल प्रणाली को सेप्सिस का पता लगाने के लिए एक मॉडल बनाने की कल्पना करें। उस समस्या से संबंधित नैदानिक मानदंड, जैसे कि जीवन-चिह्नों की सीमाएं, प्रयोगशाला मूल्य और दस्तावेजीकरण मानक, एक इलेक्ट्रॉनिक स्वास्थ्य रिकॉर्ड प्रणाली के पूरी तरह से अलग मॉड्यूल में रह सकते हैं।

दूसरी बाधा सेमेंटिक अस्पष्टता है। अर्थ डेटा में निहित नहीं है, बल्कि यह संदर्भ और संगठनात्मक है। दो अलग-अलग डेटाबेस में एक ही फील्ड नाम अलग-अलग चीजों को संदर्भित कर सकता है। राजस्व, सक्रिय उपयोगकर्ता और ग्राहक छोड़ने की दर जैसी अवधारणाएं अक्सर एक ही कंपनी के भीतर कई वैध परिभाषाएं होती हैं। यहां तक कि “राजस्व” जैसी अवधारणा भी समस्याएं पैदा कर सकती है। एक बिक्री टीम राजस्व को इस तिमाही में हस्ताक्षरित अनुबंधों के कुल मूल्य के रूप में परिभाषित कर सकती है, जबकि वित्त टीम इसे वास्तव में प्राप्त की गई नकदी के रूप में परिभाषित करती है। उत्पाद टीम की अपनी एक अलग समझ है, क्योंकि यह शब्द को सदस्यता अवधि में फैले हुए मान्यता प्राप्त राजस्व के रूप में परिभाषित करती है। तीनों अपने-अपने सिस्टम में “राजस्व” नाम के फील्ड से डेटा ले रहे हैं, लेकिन एक क्रॉस-टीम रिपोर्ट जो उन्हें मिलाती है, तीन असंगत संख्याओं को चुपचाप मिला देगी।

तीसरी और सबसे प्रणालीगत बाधा यह है कि दस्तावेज़ीकृत संस्थागत स्मृति का अभाव है। इतने सारे स्रोतों में प्रोवेनेंस को ट्रैक करना, असंगतताओं को हल करना और गुणवत्ता संकेतों को बनाए रखना मानव टीमों के लिए भी एक हल न हुई समस्या है। बिना संस्थागत स्मृति के कि क्या कोशिश की गई और कैसे उन दृष्टिकोणों ने काम किया, कोई भी मॉडल स्वचालन तंत्र उन्हीं बंद रास्तों को फिर से खोजता रहेगा, समय और संसाधनों को बर्बाद करता रहेगा।

एक खुदरा कंपनी में एक डेटा विज्ञान टीम को एक मांग अनुमान मॉडल बनाने की कल्पना करें जो तीन साल में एक दर्जन विश्लेषकों ने स्वतंत्र रूप से यह खोज की है कि कच्चे मौसम डेटा छुट्टी के सप्ताह के दौरान मॉडल के प्रदर्शन को खराब करता है, एक विशिष्ट आपूर्तिकर्ता की इन्वेंट्री फीड में एक व्यवस्थित देरी है, और प्रमोशनल इवेंट्स को संभालने के लिए मानक दृष्टिकोण लक्ष्य रिसाव का कारण बनता है। जब मूल विश्लेषक अन्य टीमों में चले गए या कंपनी छोड़ दी, तो ज्ञान उनके साथ चला गया। संस्थागत रिकॉर्ड के बिना जो कोशिश की गई, जो विफल रही और क्यों इसके बिना, एक मॉडल स्वचालन तंत्र जमा अनुभव पर नहीं बना सकता। यह बस शून्य से शुरू होता है, बार-बार, समय को अनावश्यक रूप से बर्बाद करता है।

वास्तविक समाधान की आवश्यकता क्या है

एमएल स्वचालन का इतिहास आंशिक समाधानों का इतिहास है। ऑटोमेल ने संकीर्ण समस्या को हाइपरपैरामीटर ट्यूनिंग को संबोधित किया लेकिन उद्देश्य असंगतता या संगठनात्मक इरादे के बारे में तर्क नहीं कर सका। एमएलओप्स ने उत्पादन पाइपलाइनों को अधिक मजबूत और निगरानी करने में आसान बना दिया, लेकिन एमएलओप्स टूल एक रणनीति को निष्पादित करते हैं, इसे परिभाषित नहीं करते हैं। अधिक हाल के कोडिंग एजेंट वास्तविक प्रगति का प्रतिनिधित्व करते हैं, लेकिन उन्होंने उसी अंधे धब्बे को विरासत में मिला है। वे अच्छी तरह से कोड उत्पन्न करते हैं जबकि संगठनात्मक संदर्भ या संस्थागत स्मृति के बिना काम करते हैं।

वास्तविक स्वायत्त एमएल इंजीनियरिंग के लिए सक्षम एक प्रणाली को ऐसी क्षमताओं के संयोजन की आवश्यकता होगी जो कोई मौजूदा उपकरण उपलब्ध नहीं कराता। यह व्यवसायिक लक्ष्यों को मॉडल उद्देश्यों में मैप करने की आवश्यकता होगी, जो डेटा से ही अनुमानित नहीं की जा सकती। यह विभिन्न स्रोतों से डेटा की खोज करने की आवश्यकता होगी, जिसमें असंगत स्कीमा, प्रोवेनेंस और गुणवत्ता होती है, जबकि स्वचालित रूप से अनुपालन, शासन और सुरक्षा प्रतिबंधों का पालन करना होगा, न कि मनुष्यों से इन प्रतिबंधों का एक अलग प्रक्रिया के रूप में प्रबंधन करने की अपेक्षा होगी। यह संस्थागत स्मृति की आवश्यकता होगी ताकि मौजूदा काम को सतह पर लाया जा सके, समझा जा सके कि पिछले प्रयोग क्यों छोड़ दिए गए और सहकर्मियों के मौजूदा ज्ञान पर आगे काम किया जा सके।

प्रोवेनेंस को डेटा संस्करणों, विशेषता परिभाषाओं और कोड कमिट्स के माध्यम से ट्रैक करने वाले कठोर ऑडिट ट्रेल्स को एक मूल तंत्र के रूप में आवश्यक होगा जो प्रणाली को वास्तव में क्या हुआ है में आधारित करता है। और ऐसी कोई भी प्रणाली को मानव-इन-द-लूप डिज़ाइन की आवश्यकता होगी। पूर्ण स्वचालन और पूर्ण मैनुअल नियंत्रण के बीच एक द्विआधारी विकल्प नहीं, बल्कि कार्य, दांव और प्रणाली के प्रत्येक निर्णय बिंदु पर आत्मविश्वास के स्तर के आधार पर बातचीत के विभिन्न स्तरों का समर्थन करना। महत्वपूर्ण क्षणों पर मानव निर्णय को दरकिनार करने वाला स्वचालन अच्छी तरह से डिज़ाइन किए गए एआई की एक विशेषता नहीं है; बल्कि, यह एक विफलता मोड है।

कोई भी प्रयोगशाला अभी तक यह नहीं हल कर पाई है कि संगठनात्मक डेटा की एक सेमेंटिक समझ कैसे बनाई जाए जो एक विशिष्ट संस्थागत संदर्भ में डेटा का क्या अर्थ है। एमसीपी कनेक्टिविटी समस्या का समाधान करता है। यह अभी तक अर्थ समस्या का समाधान नहीं करता है। यह खुला अनुसंधान मोर्चा बना हुआ है।

संभावनाएं क्या हैं

इन समस्याओं को हल करने के आर्थिक निहितार्थ महत्वपूर्ण हैं। आजकल कस्टम एमएल विकास के लिए विशेषज्ञ व्यावसायिक विशेषज्ञ और कई हफ्तों की पुनरावृत्ति की आवश्यकता होती है, यहां तक कि अच्छी तरह से परिभाषित समस्याओं के लिए भी। एक प्रणाली जो समस्या परिभाषा से लेकर डेटा खोज, मॉडल विकास और मॉडल मूल्यांकन तक पूरे कार्यप्रवाह को स्वचालित रूप से नेविगेट कर सकती है, वह समीकरण को नाटकीय रूप से बदल देगी, समयसीमा को संकुचित करेगी और वर्तमान में संसाधन-गहन होने के कारण जिन उच्च-मूल्य वाले उपयोग के मामलों का पीछा नहीं किया जा सकता है, उन्हें खोलेगी। जिन परियोजनाओं के लिए पहले गहरे एमएल विशेषज्ञता वाली टीमों को कई हफ्तों तक काम करने की आवश्यकता होती थी, वे अब एमएल विशेषज्ञों के समय का इतना उपयोग किए बिना कुछ दिनों में पूरी की जा सकती हैं।

संदर्भ खंडितकरण, सेमेंटिक अस्पष्टता और संस्थागत स्मृति की अनुपस्थिति की चुनौतियां केवल उद्यम एमएल तक ही सीमित नहीं हैं। वे फाउंडेशन मॉडल प्रशिक्षण पाइपलाइनों के निर्माण में अलग-अलग प्रतिबंधों के तहत प्रकट होते हैं, जहां हजारों विविध डेटासेट को एकत्रित, फ़िल्टर और पुनरावृत्ति रूप से परिष्कृत किया जाना चाहिए। जबकि दो सेटिंग्स संरचना और उद्देश्य में भिन्न हैं, दोनों एक ही अंतर्निहित बोतलनेक से सीमित हैं: संदर्भ को विश्वसनीय ढंग से पुनः प्राप्त करने, प्रोवेनेंस को ट्रैक करने और पुनरावृत्तियों के माध्यम से पिछले काम पर निर्माण करने में सक्षम प्रणालियों की अनुपस्थिति। इसलिए, उद्यम में मॉडल विकास को स्वचालित करना स्वयं को सुधारने में सक्षम एआई प्रणालियों की ओर अग्रसर एक महत्वपूर्ण कदम है।

डोरिस जिन डिसएरे के सीईओ और सह-संस्थापक हैं। एक यूसी बर्कले रिसलैब पीएचडी और एनएसएफ ग्रेजुएट रिसर्च फेलो के रूप में, और बाद में लिंक्डइन में एक शुरुआती एमएल इंजीनियर के रूप में, डोरिस ने मशीन लर्निंग में अपनी विशेषज्ञता को विकसित किया।

मुस्तफा अब्देलबाकी डिसएरे के सीटीओ और सह-संस्थापक हैं। वह तीन बार आईबीएम पीएचडी फेलो हैं, जिनके पास लगभग दो दशकों का शोध है, जो स्वायत्त ऑर्केस्ट्रेशन, वितरित प्रणालियों, एज एमएल और नासा के स्वायत्त विमानन और अंतरिक्ष मिशनों के लिए वास्तविक समय एआई को शामिल करता है।