डेटा टीमें मर चुकी हैं, लंबे समय तक डेटा टीमें जीवित रहें

हाँ, शीर्षक आकर्षक और उत्तेजक है, लेकिन एक सीटीओ के रूप में जिसने डेटा में कई वर्ष बिताए हैं, मैंने एक परिवर्तन को देखा है जो नाटक को सही ठहराता है। पारंपरिक “डेटा टीम” – पीछे के कार्यालय के कर्मचारी जो रिपोर्ट और डैशबोर्ड को कुचलने वाले – वास्तव में मृत है। इसके स्थान पर, एक नए प्रकार की डेटा टीम उभर रही है: एक एआई-पहले, उत्पाद-निर्देशित शक्तिशाली टीम जो सीधे राजस्व प्रभाव डालती है। वे अब एक लागत केंद्र नहीं हैं, बल्कि एक लाभ-उत्पादक समूह हैं।

व्यवसायिक बुद्धिमत्ता से मशीन लर्निंग तक का सफर

कुछ समय पहले, डेटा टीमें व्यवसायिक बुद्धिमत्ता (बीआई) के साथ पर्यायवाची थीं। हम कंपनी के डेटा के इतिहासकार थे, एसक्यूएल और स्प्रेडशीट में रहते थे, और पिछली तिमाही में क्या हुआ था, इसका जवाब देने के लिए कार्यभारित थे। बड़े डेटा प्रौद्योगिकियों जैसे हडूप के उदय और “डेटा वैज्ञानिक” शब्द के नए सेक्सी नौकरी बनने के साथ, डेटा टीमें विकसित हुईं। 2010 के मध्य में, हम केवल रिपोर्टिंग नहीं कर रहे थे; हम डेटा दृश्यीकरण और इंटरैक्टिव विश्लेषण में गए, जिसमें प्रत्येक विभाग के लिए गतिशील डैशबोर्ड का उत्पादन किया गया। काम डेटा प्रबंधन, विभिन्न स्रोतों और आकारों से डेटासेट मिलाने और डोमेन ज्ञान को समझने के बारे में था।

फिर 2010 के अंत में मशीन लर्निंग युग आया। डेटा टीमें डेटा वैज्ञानिकों को नियुक्त करने लगीं ताकि वे भविष्यवाणी मॉडल बना सकें और विशाल डेटासेट में अंतर्दृष्टि प्राप्त कर सकें। हम अतीत का वर्णन करने से भविष्य की भविष्यवाणी करने की ओर बढ़े। लेकिन तब भी, हमारे आउटपुट स्लाइड डेक और अंतर्दृष्टि थे, न कि लाइव उत्पाद। हम एक आंतरिक सेवा ब्यूरो के रूप में कार्य करते थे, जो विश्लेषण के माध्यम से व्यवसाय को सलाह देते थे। दूसरे शब्दों में, हम लागत केंद्र थे – मूल्यवान, हाँ, लेकिन मुख्य उत्पाद और राजस्व से एक कदम दूर।

जेनएआई: समर्थन कार्य से लाभ केंद्र

फिर जेनएआई आया और सब कुछ बदल गया। जीपीटी परिवार जैसे शक्तिशाली बड़े भाषा मॉडल और लामा जैसे ओपन-सोर्स वेरिएंट की रिलीज़ ने लगभग रातोंरात परिदृश्य को बदल दिया। अचानक, डेटा टीमें न केवल व्यवसाय का विश्लेषण कर रही थीं, बल्कि एआई उत्पादों और अनुभवों के निर्माण में एकीकृत हो गई थीं। जब आप एक ग्राहक-सामने वाले अनुप्रयोग या आंतरिक कार्य प्रवाह में एक एलएलएम को सफलतापूर्वक एकीकृत करते हैं, तो आप अब व्यवसाय को सूचित नहीं कर रहे हैं; आप इसे चला रहे हैं। एक अच्छी तरह से लागू किया गया जेनएआई सिस्टम ग्राहक सहायता को स्वचालित कर सकता है, विपणन सामग्री उत्पन्न कर सकता है, उपयोगकर्ता अनुभवों को व्यक्तिगत कर सकता है, या यहां तक कि उभरते एजेंटिक एआई सिस्टम को सूचित और प्रशिक्षित करने के लिए आवश्यक डेटा प्रदान कर सकता है। ये क्षमताएं सीधे राजस्व धाराओं को प्रभावित करती हैं। प्रभाव में, डेटा टीम का कार्य उत्पाद पॉवरपॉइंट स्लाइड से लाइव एआई-संचालित अनुप्रयोगों में बदल गया है।

जेनएआई टीमें नवाचार समूहों के साथ शुरू हुईं, जिन्होंने “वाह” कारक को उत्पन्न करने वाले प्रमाण के概念 प्रस्तुत किए। और जल्द ही, हर कोई एक एआई इंजीनियर था, संगठनों में छाया आईटी फैला रहा था।

डेटा टीमें जल्द ही एक नए प्रश्न का सामना करने लगीं: “आप कब एक लाभ केंद्र बन जाएंगे?” जैसे ही एआई इंजीनियर अद्भुत उपकरण बनाने लगे, यह स्पष्ट हो गया कि समय आ गया था कि दो टीमों को मिलाया जाए: जो डेटा को नियंत्रित करते थे और जो अनुप्रयोगों का निर्माण करते थे।

एक खुदरा कंपनी के बारे में सोचें जो बिक्री पूछताछ के लिए जेनएआई चैटबॉट को तैनात करती है, या एक बैंक जो एक एआई-संचालित, व्यक्तिगत निवेश सलाहकार लॉन्च करता है। ये पारंपरिक आईटी साइड प्रोजेक्ट नहीं हैं – वे डिजिटल उत्पाद हैं जो ग्राहक मूल्य बनाते हैं और राजस्व उत्पन्न करते हैं। हालांकि, साथ ही, इन प्रणालियों को बड़े पैमाने पर बनाने के लिए, एआई इंजीनियरिंग टीमों को पारंपरिक टीमों द्वारा तैयार किए गए डेटा तक पहुंच और संचालित करने में सक्षम होने की आवश्यकता है।

कार्यकारी अधिकारियों ने इसे नोटिस किया है। डेटा टीमों की अपेक्षाएं अब आसमान छू रही हैं, जिसमें बोर्ड और सीईओ हमसे अगले एआई-ईंधन वाले विकास वेक्टर को वितरित करने की उम्मीद करते हैं। हम पीछे के दृश्य विश्लेषकों से आगे के नवाचारों में बदल गए हैं। यह एक रोमांचक स्थिति है, लेकिन यह परिणामों को बड़े पैमाने पर वितरित करने के लिए तीव्र दबाव के साथ आता है।

अन्वेषण से उत्पाद – एकतरफा दरवाजा

एआई-संचालित उत्पादों में अन्वेषणात्मक विश्लेषण से बदलाव गहरा और अविवर्त है। अविवर्त क्यों? क्योंकि जेनएआई का व्यवसाय पर प्रभाव साबित हो रहा है कि इसे फिर से एक आरएंडडी खिलौने में वापस ले जाने के लिए बहुत बड़ा है। एक हालिया वैश्विक सर्वेक्षण के अनुसार, 96% आईटी नेताओं ने अब अपनी मुख्य प्रक्रियाओं में एआई को एकीकृत किया है – केवल एक वर्ष पूर्व 88% से। दूसरे शब्दों में, लगभग हर उद्यम प्रयोग से एआई को मिशन-महत्वपूर्ण कार्य प्रवाह में एम्बेड करने के लिए चला गया है। एक बार जब आप उस सीमा को पार कर लेते हैं जहां एआई उत्पादन में मूल्य दे रहा है, तो वहां से पीछे मुड़ना नहीं है।

यह नया एआई-संचालित फोकस डेटा टीमों के लिए ताल और मानसिकता को बदलता है। अतीत में, हमारे पास लंबे समय तक खोज परियोजनाओं और खुले अंत वाले विश्लेषण का विलासिता था। आज, यदि हम एक एआई सुविधा बना रहे हैं, तो यह उत्पादन-तैयार, अनुपालन और विश्वसनीय होने की आवश्यकता है – जैसे कि किसी भी ग्राहक-सामने वाले उत्पाद के लिए। हमने डेटा विज्ञान के “स्वायत्त युग” में प्रवेश किया है। हमारे काम का मार्गदर्शन करने वाला प्रश्न अब “कौन सी अंतर्दृष्टि हम खोज सकते हैं?” नहीं है, बल्कि “कौन सी बुद्धिमान प्रणाली हम वास्तविक समय में अंतर्दृष्टि पर कार्य करने के लिए बना सकते हैं?” है।

जेनएआई सिस्टम केवल प्रश्नों का उत्तर नहीं दे रहे हैं; वे निर्णय लेने की शुरुआत कर रहे हैं। यह एकतरफा दरवाजा है: एक बार जब आप इस तरह की स्वायत्तता और प्रभाव का अनुभव कर लेते हैं, तो कंपनियां स्थिर रिपोर्ट और मैनुअल निर्णय लेने के लिए बस नहीं बैठेंगी। अब और पहले की तरह, डेटा टीमों को हितधारक और उत्पाद-उन्मुख होने की आवश्यकता है।

कठिन सच: ज्यादातर जेनएआई पहल क्यों विफल होती हैं

उत्साह के बीच, एक शांत वास्तविकता है: ज्यादातर जेनएआई पहल विफल होती हैं। यह पता चलता है कि जेनएआई को सफलतापूर्वक तैनात करना बेहद चुनौतीपूर्ण है। एक हालिया एमआईटी अध्ययन में पाया गया कि एक आश्चर्यजनक 95% एंटरप्राइज जेनएआई पायलट परियोजनाएं कोई मापनीय आरओआई वितरित नहीं करती हैं। केवल लगभग 5% एआई पायलट वास्तविक व्यावसायिक प्रभाव या तेजी से राजस्व लाभ प्राप्त करते हैं। यह एआई की कमी के कारण नहीं है – यह एआई को सही तरीके से करने की जटिलता के कारण है।

विफलता के कारणों में गहराई से, एमआईटी शोध एक स्पष्ट चित्र प्रस्तुत करता है। कई परियोजनाएं “हYPE ओवर हार्ड वर्क” – टीमें चमकदार डेमो उपयोग मामलों के पीछे भागने के बजाय एकीकरण, सत्यापन और निगरानी के बोरिंग मूलभूत सिद्धांतों में निवेश करने के बजाय विफल हो जाती हैं। अन्य विफल हो जाते हैं क्योंकि ” गार्बेज इन, गार्बेज आउट” सिंड्रोम – खराब डेटा गुणवत्ता और सिलोed डेटा पाइपलाइनें परियोजना को एआई के काम करने से पहले ही बर्बाद कर देती हैं। अक्सर, एआई मॉडल में खामी नहीं है, यह आसपास का वातावरण है। जैसा कि शोधकर्ताओं ने कहा, जेनएआई प्रयोगशाला में विफल नहीं होता है; यह उद्यम में विफल होता है जब यह अस्पष्ट लक्ष्यों, खराब डेटा और संगठनात्मक जड़ता से टकराता है। व्यवहार में, अधिकांश एआई पायलट प्रूफ-ऑफ-概念 चरण में अटक जाते हैं और पूर्ण उत्पादन तैनाती में स्नातक नहीं होते हैं।

यह वास्तविकता जांच एक मूल्यवान सबक है। यह हमें बताता है कि हालांकि डेटा टीमें अब स्पॉटलाइट में हैं, लेकिन अधिकांश अपनी बढ़ी हुई अपेक्षाओं को पूरा करने के लिए संघर्ष कर रहे हैं। जेनएआई को बड़े पैमाने पर सफल होने के लिए, हमें पुराने बीआई दिनों की तुलना में काफी उच्च बार पार करना होगा।

चतुर प्रॉम्प्ट्स से परे: डेटा, शासन और बुनियादी ढांचा महत्वपूर्ण हैं

5% एआई परियोजनाएं जो फलदायी हैं उन्हें 95% जो असफल होती हैं से क्या अलग करता है? मेरे अनुभव में (और शोध की पुष्टि करता है), विजेता मूलभूत क्षमताओं पर ध्यान केंद्रित करते हैं – डेटा, शासन और बुनियादी ढांचा। जेनएआई जादू नहीं है; यह डेटा पर बनाया गया है। उच्च गुणवत्ता वाले डेटा पाइपलाइनों के बिना जो आपके मॉडल को खिलाते हैं, यहां तक कि सबसे अच्छा एआई भी अनियमित परिणाम उत्पन्न करेगा। समिट पार्टनर्स ने हाल ही में एक विश्लेषण में अच्छी तरह से कहा है: “किसी भी प्रणाली या प्रक्रिया में एआई की सफलता डेटा की गुणवत्ता, संरचना और पहुंच पर निर्भर करती है जो इसे ईंधन देती है।”

व्यावहारिक शब्दों में, इसका मतलब है कि संगठनों को जेनएआई को अपनाने के रूप में डेटा वास्तुकला और शासन पर दोगुना ध्यान देना होगा। क्या आपके पास एकीकृत, सुलभ डेटा स्टोर हैं जिन पर आपका एआई आकर्षित कर सकता है (और मैं सभी डेटा स्टोर का मतलब है, जिसमें डेटा केंद्र, हाइपरस्केलर और तीसरे पक्ष के सास सिस्टम शामिल हैं)? क्या यह डेटा साफ, क्यूरेटेड और नियमों के अनुसार है? क्या डेटा लाइनेज और ऑडिटेबिलिटी स्पष्ट है (ताकि आप एआई आउटपुट पर भरोसा कर सकें और जान सकें कि वे कैसे बने)? ये प्रश्न अब अग्रभाग में हैं।

जेनएआई कंपनियों को अपने डेटा घर को व्यवस्थित करने के लिए मजबूर कर रहा है

शासन ने भी नई महत्ता हासिल की है। जब एक एआई मॉडल गलत या अपमानजनक उत्तर दे सकता है, तो मजबूत शासन वैकल्पिक नहीं है – यह अनिवार्य है। संस्करण, पूर्वाग्रह जांच, मानव-इन-द-लूप समीक्षा, और संवेदनशील डेटा इनपुट के चारों ओर सख्त सुरक्षा उपाय जैसे नियंत्रण आवश्यक हैं। उचित शासन और स्पष्ट रूप से परिभाषित लक्ष्यों के बिना, यहां तक कि एक मजबूत एआई टूल भी व्यवसाय में गति प्राप्त करने के लिए संघर्ष करेगा।

और आइए बुनियादी ढांचे को न भूलें। जेनएआई को बड़े पैमाने पर तैनात करने के लिए महत्वपूर्ण कंप्यूटिंग शक्ति और कठोर इंजीनियरिंग की आवश्यकता होती है। मॉडलों को वास्तविक समय में परोसा जाना चाहिए, संभावित रूप से लाखों क्वेरी के साथ कम विलंबता के साथ। उन्हें जीपीयू या विशेष हार्डवेयर की आवश्यकता हो सकती है, साथ ही निगरानी, रिटेनिंग और लाइफसाइकल प्रबंधन की निरंतर आवश्यकता होती है। संक्षेप में, आपको सुरक्षित, स्केलेबल और लचीला औद्योगिक-ग्रेड एआई बुनियादी ढांचा चाहिए। यह वह जगह है जहां प्राइवेट एआई की अवधारणा आती है, जो बुनियादी ढांचे के साथ डेटा और शासन को एकजुट करने वाला फ्रेमवर्क है। प्राइवेट एआई नियंत्रित और सुरक्षित वातावरण में एआई के विकास को संदर्भित करता है, जो डेटा सुरक्षा और अनुपालन सुनिश्चित करता है।

नीचे की पंक्ति यह है कि जेनएआई की सफलता तीन स्तंभों के सामंजस्य पर निर्भर करती है: डेटा, शासन, और बुनियादी ढांचा। इनमें से किसी एक के बिना, आप 95% परियोजनाओं में शामिल होने का जोखिम उठाते हैं जो डेमो चरण से परे नहीं जाती हैं।

एआई इंजीनियर अकेले नहीं कर सकते

इन आवश्यकताओं को देखते हुए, यह स्पष्ट है कि कुछ प्रतिभाशाली एआई इंजीनियरों को नियुक्त करना ही चाँदी की गोली नहीं है। हमने पिछले कई वर्षों में डेटा उद्योग में इस सबक को सीखा है। डेटा विज्ञान के शुरुआती दिनों में, कंपनियों ने “एकोर्न” डेटा वैज्ञानिकों को खोजने की कोशिश की जो सब कुछ कर सकते थे – मॉडल बना सकते थे, कोड लिख सकते थे, डेटा और तैनाती को संभाल सकते थे। यह मिथक तब से खारिज कर दिया गया है। जैसा कि एक अनुभवी डेटा वैज्ञानिक ने कहा, “एक मॉडल जो एक नोटबुक में बैठा है वास्तव में व्यवसाय के लिए कुछ नहीं करता है।” आपको उस मॉडल को एक अनुप्रयोग या प्रक्रिया में एम्बेड करने की आवश्यकता है ताकि यह मूल्य बना सके। और ऐसा करने के लिए एक टीम प्रयास की आवश्यकता होती है जो कई कौशल सेटों को कवर करता है।

2010 के अंत में, हमने डेटा टीमों को विभिन्न भूमिकाओं में विभाजित देखा: डेटा इंजीनियरों ने मजबूत पाइपलाइनों का निर्माण किया, मशीन लर्निंग इंजीनियरों ने मॉडलों को उत्पादन में लाने पर ध्यान केंद्रित किया, विश्लेषणात्मक इंजीनियरों ने विश्लेषणात्मक परत का प्रबंधन किया, और इसी तरह।

आज, जेनएआई ने बार को और भी ऊंचा उठा दिया है। हाँ, आपको एआई विशेषज्ञों (प्रॉम्प्ट इंजीनियर, एलएलएम फाइन-ट्यूनर, आदि) की आवश्यकता है, लेकिन वे विशेषज्ञ तब तक दीवार से टकराएंगे जब तक उन्हें परिपक्व डेटा पाइपलाइन, शासन ढांचे और सुरक्षित प्लेटफार्मों के साथ काम नहीं करना पड़ता। एक एआई इंजीनियर सैंडबॉक्स में एक महान भाषा मॉडल का प्रोटोटाइप बना सकता है, लेकिन उसे उत्पाद में बदलने के लिए जो हजारों या लाखों लोगों द्वारा उपयोग किया जाएगा, सुरक्षा टीमों, अनुपालन अधिकारियों, डेटा आर्किटेक्ट, साइट रिलायबिलिटी इंजीनियरों और अधिक के साथ सहयोग की आवश्यकता है।

एआई एक टीम खेल है। यह सोचना आकर्षक है कि आप एक राज्य-ऑफ-द-आर्ट मॉडल को अपने व्यवसाय में ड्रॉप कर सकते हैं और अचानक एक एआई-संचालित उद्यम हो जाएंगे। एआई के साथ सफल होने वाली कंपनियां वे हैं जिन्होंने क्रॉस-फंक्शनल टीमें बनाई हैं, या “एआई फैक्ट्री,” जो इन सभी टुकड़ों को एक साथ लाती हैं। उनकी डेटा टीमें प्रभावी रूप से फुल-स्टैक एआई उत्पाद टीमों में विकसित हुई हैं, जो डेटा, मॉडलिंग, इंजीनियरिंग और ऑपरेशन्स विशेषज्ञता को मिलाती हैं। वे अपने उपकरणों का निर्माण और तैनाती डेटा-संचालित, उत्पाद-नेतृत्व वाले तरीके से कर रहे हैं, जिसमें मूल्य पीढ़ी हर केपीआई में निहित है।

डेटा टीमों की अगली पीढ़ी

तो आगे क्या है नए “डेटा टीम” के लिए? यहाँ क्या आ रहा है इसकी एक झलक है:

• मैनुअल ईटीएल/ईएलटी कम: थकाऊ डेटा प्रबंधन कम हो जाएगा। अधिक स्वचालित डेटा पाइपलाइनों और एआई-सहायता प्राप्त एकीकरण के साथ, टीमें अपना आधा समय डेटा की सफाई और हेरफेर में नहीं बिताएंगी। डेटा तैयारी का श्रमसाध्य कार्य तेजी से बुद्धिमान प्रणालियों द्वारा संभाला जाएगा, जिससे मानवों को उच्च-स्तरीय डिजाइन और गुणवत्ता नियंत्रण पर ध्यान केंद्रित करने की अनुमति मिलेगी।
• कम डैशबोर्ड: डैशबोर्ड फिल्टर को अनंत रूप से ट्वीक करने का युग समाप्त हो रहा है। एआई प्राकृतिक भाषा प्रश्नों और गतिशील अंतर्दृष्टि वितरण को सक्षम करेगा। प्रत्येक प्रश्न के लिए पूर्व-निर्मित डैशबोर्ड के बजाय, उपयोगकर्ता एआई से उत्तर प्राप्त करेंगे (स्रोत डेटा के साथ)। डेटा टीमें स्थिर रिपोर्ट विकसित करने के लिए कम समय बिताएंगी और एआई को अंतर्दृष्टि उत्पन्न करने के लिए प्रशिक्षित करने के लिए अधिक समय बिताएंगी।
• एआई-मूल उत्पाद विकास अधिक: डेटा टीमें उत्पाद नवाचार के दिल में होंगी। चाहे वह एक नए ग्राहक-सामने वाले एआई सुविधा का विकास हो या एक आंतरिक एआई टूल जो संचालन को अनुकूलित करता है, ये टीमें उत्पाद टीमों के रूप में कार्य करेंगी। वे सॉफ्टवेयर विकास प्रथाओं, तेजी से प्रोटोटाइप, ए/बी परीक्षण और उपयोगकर्ता अनुभव डिजाइन का उपयोग करेंगे – केवल डेटा विश्लेषण नहीं। प्रत्येक डेटा टीम प्रभावी रूप से एआई उत्पाद टीम बन जाएगी जो सीधे व्यावसायिक मूल्य प्रदान करती है।
• स्वायत्त एजेंटों का उदय: निकट भविष्य में, डेटा टीमें स्वायत्त एआई एजेंटों को तैनात करेंगी जो नियमित निर्णय और कार्यों को संभालेंगे। न केवल भविष्यवाणी करने के लिए, बल्कि ये एजेंट कुछ कार्यों को करने के लिए अधिकृत किए जाएंगे (निरीक्षण के साथ)। कल्पना कीजिए कि एक एआई ऑप्स एजेंट जो एक असामान्यता का पता लगा सकता है और स्वचालित रूप से एक उपचार टिकट खोल सकता है, या एक बिक्री एआई एजेंट जो वास्तविक समय में ई-कॉमर्स मूल्य निर्धारण को समायोजित कर सकता है। डेटा टीमें इन एजेंटों का निर्माण और प्रबंधन के लिए जिम्मेदार होंगी, जो स्वचालन की सीमाओं को आगे बढ़ाएंगी।

इन परिवर्तनों के प्रकाश में, कोई वास्तव में कह सकता है कि “डेटा टीमें जैसा हम जानते थे वे मर चुकी हैं।” स्प्रेडशीट जॉकी और डैशबोर्ड प्लम्बर्स को कुछ नए के द्वारा प्रतिस्थापित किया गया है: एआई-पहले टीमें जो डेटा, कोड और व्यवसाय रणनीति में कुशल हैं। लेकिन यह एक शोक नहीं है; यह एक जश्न है। नई पीढ़ी की डेटा टीमें अभी शुरू हो रही हैं, और वे पहले से कहीं अधिक मूल्यवान हैं।

तो, याद रखें, डेटा इंजीनियर मर चुका है, लंबे समय तक डेटा इंजीनियर जीवित रहे! डेटा टीमें जैसा हम जानते थे वे चली गई हैं, लेकिन नई डेटा टीमों को लंबे समय तक जीने दो – उन्हें इस एआई-संचालित दुनिया में अंतर्दृष्टि, जिम्मेदारी और साहस के साथ शासन करने दें।