डेटा टीमें मृत हैं, लंबे समय तक डेटा टीमें जीवित रहें

हाँ, शीर्षक क्लिकबेटी और विवादास्पद है, लेकिन एक सीटीओ के रूप में जिन्होंने डेटा में कई वर्ष बिताए हैं, मैंने एक परिवर्तन को देखा है जो नाटक को सही ठहराता है। पारंपरिक “डेटा टीम” – बैक-ऑफिस क्रू रिपोर्ट और डैशबोर्ड को कुचलने वाला – प्रभावी रूप से मृत है। इसके स्थान पर, एक नए प्रकार की डेटा टीम उभर रही है: एक एआई-फर्स्ट, उत्पाद-निर्देशित शक्तिशाली जिसमें सीधा राजस्व प्रभाव है। वे अब एक लागत केंद्र नहीं हैं, बल्कि एक लाभ-उत्पादक समूह हैं।

व्यवसायिक बुद्धिमत्ता से मशीन लर्निंग तक की यात्रा

कुछ समय पहले, डेटा टीमें व्यवसायिक बुद्धिमत्ता (बीआई) के साथ पर्यायवाची थीं। हम कंपनी डेटा के इतिहासकार थे, एसक्यूएल और स्प्रेडशीट में रहते थे, जो “पिछली तिमाही में क्या हुआ?” जैसे प्रश्नों का उत्तर देने के लिए कार्य करते थे। जैसे ही बड़े डेटा प्रौद्योगिकियों जैसे हडूप उभरे और “डेटा वैज्ञानिक” शब्द नई नौकरी बन गई, डेटा टीमें विकसित हुईं। 2010 के मध्य तक, हम केवल रिपोर्टिंग नहीं कर रहे थे; हम डेटा दृश्यीकरण और इंटरएक्टिव विश्लेषण में गए, जिसमें प्रत्येक विभाग के लिए गतिशील डैशबोर्ड तैयार किए गए थे। काम डेटा को संभालने, विभिन्न स्रोतों और आकारों के डेटासेट को मिलाने और डोमेन ज्ञान को समझने के बारे में था।

फिर 2010 के अंत में मशीन लर्निंग युग आया। डेटा टीमें डेटा वैज्ञानिकों को नियुक्त करने लगीं ताकि वे भविष्यवाणी मॉडल बना सकें और विशाल डेटासेट में अंतर्दृष्टि प्राप्त कर सकें। हम अतीत का वर्णन करने से भविष्यवाणी करने की ओर बढ़ गए: चर्न मॉडल, अनुशंसा इंजन, मांग पूर्वानुमान – आप नाम दें। लेकिन तब भी, हमारे आउटपुट स्लाइड डेक और अंतर्दृष्टि थे, न कि लाइव उत्पाद। हम एक आंतरिक सेवा ब्यूरो के रूप में कार्य करते थे, जो विश्लेषण के माध्यम से व्यवसाय को सलाह देते थे। दूसरे शब्दों में, हम लागत केंद्र थे – मूल्यवान, हाँ, लेकिन मुख्य उत्पाद और राजस्व से एक कदम दूर।

सर्वोत्तम मामलों में, मशीन लर्निंग टीमें अलग-अलग इकाइयों में वितरित की गईं या उत्पाद समूहों के भीतर एम्बेड की गईं, ताकि उनके मॉडल और अनुमान पूरी तरह से प्लेटफार्मों में एकीकृत हो सकें। महान विभाजन ने कई असफल परियोजनाओं, डूबे हुए निवेश और खोए हुए अवसरों को जन्म दिया।

जेनएआई: समर्थन कार्य से लाभ केंद्र तक

फिर जेनएआई आया और सब कुछ बदल गया। जीपीटी परिवार और लामा जैसे खुले स्रोत वेरिएंट जैसे शक्तिशाली बड़े भाषा मॉडल की रिलीज़ ने लगभग रातोंरात परिदृश्य को बदल दिया। अचानक, डेटा टीमें व्यवसाय का विश्लेषण नहीं कर रही थीं, बल्कि एआई उत्पादों और अनुभवों के निर्माण में एकीकृत हो गईं। जब आप एक ग्राहक-सामने वाले अनुप्रयोग या आंतरिक कार्य प्रवाह में एक एलएलएम को सफलतापूर्वक एकीकृत करते हैं, तो आप व्यवसाय को सूचित नहीं कर रहे हैं; आप इसे चला रहे हैं। एक अच्छी तरह से लागू किया गया जेनएआई सिस्टम ग्राहक सहायता को स्वचालित कर सकता है, विपणन सामग्री उत्पन्न कर सकता है, उपयोगकर्ता अनुभवों को व्यक्तिगत कर सकता है, या यहां तक कि उभरते एजेंटिक एआई सिस्टम को सूचित और प्रशिक्षित करने के लिए आवश्यक डेटा प्रदान कर सकता है। ये क्षमताएं सीधे राजस्व धाराओं को प्रभावित करती हैं। प्रभाव में, डेटा टीम का कार्य उत्पाद पावरपॉइंट स्लाइड से लाइव एआई-संचालित अनुप्रयोगों में बदल गया है।

जेनएआई टीमें नवाचार समूहों के साथ शुरू हुईं, जो “वाह” कारक के साथ प्रोटोटाइप वितरित करती थीं। और जल्द ही, हर कोई एक एआई इंजीनियर था, संगठनों में शैडो आईटी फैला रहा था।

डेटा टीमें जल्द ही एक नए प्रश्न का सामना करने लगीं: “आप कब लाभ केंद्र बन जाएंगे?” जैसे ही एआई इंजीनियर अद्भुत उपकरण बनाने लगे, यह स्पष्ट था कि समय दो टीमों को विलय करने का था: जो डेटा को नियंत्रित करते थे और जो अनुप्रयोगों का निर्माण करते थे।

एक खुदरा कंपनी के बारे में विचार करें जो बिक्री पूछताछ के लिए जेनएआई चैटबॉट तैनात करती है, या एक बैंक जो एक एआई-संचालित, व्यक्तिगत निवेश सलाहकार लॉन्च करता है। ये पारंपरिक आईटी साइड प्रोजेक्ट नहीं हैं – वे डिजिटल उत्पाद हैं जो ग्राहक मूल्य बनाते हैं और राजस्व उत्पन्न करते हैं। हालांकि, साथ ही, इन प्रणालियों को बड़े पैमाने पर बनाने के लिए, एआई इंजीनियरिंग टीमों को पारंपरिक टीमों द्वारा तैयार किए गए डेटा तक पहुंच और संचालित करने में सक्षम होने की आवश्यकता है।

कार्यकारी अधिकारियों ने ध्यान दिया है। डेटा टीमों की अपेक्षाएं अब आसमान हैं, जिसमें बोर्ड और सीईओ हमसे अगले एआई-ईंधन वाले विकास वेक्टर को वितरित करने की उम्मीद करते हैं। हम पीछे के दृश्य विश्लेषकों से आगे के नवप्रवर्तनकारी बन गए हैं। यह एक रोमांचक स्थिति है, लेकिन इसके साथ बड़े पैमाने पर परिणाम देने के लिए तीव्र दबाव आता है।

अन्वेषण से उत्पाद तक – एकतरफा दरवाजा

एआई केंद्रित उत्पाद की ओर अन्वेषणात्मक विश्लेषण का परिवर्तन गहरा और अविवर्त है। अविवर्त क्यों? क्योंकि जेनएआई का व्यवसाय पर प्रभाव साबित हो रहा है कि इसे फिर से एक आरएंडडी खिलौने में वापस ले जाना बहुत बड़ा है। एक हालिया वैश्विक सर्वेक्षण के अनुसार, 96% आईटी नेताओं ने अब अपनी मुख्य प्रक्रियाओं में एआई को एकीकृत किया है – केवल एक वर्ष पूर्व 88% से ऊपर। दूसरे शब्दों में, लगभग हर उद्यम ने एआई के साथ प्रयोग करने से मिशन-क्रिटिकल कार्य प्रवाह में इसे एम्बेड करने की ओर बढ़ गया है। एक बार जब आप उस सीमा को पार कर लेते हैं जहां एआई उत्पादन में मूल्य दे रहा है, तो वहां से पीछे मुड़ने का कोई रास्ता नहीं है।

यह नया एआई-संचालित फोकस डेटा टीमों के लय और मानसिकता को बदलता है। अतीत में, हमारे पास लंबे खोज परियोजनाओं और खुले अंत वाले विश्लेषण का विलास था। आज, यदि हम एक एआई सुविधा बना रहे हैं, तो यह उत्पादन तैयार, अनुपालन और विश्वसनीय होने की आवश्यकता है – जैसे कि किसी भी ग्राहक-सामने वाले उत्पाद के लिए। हमने डेटा विज्ञान के “स्वायत्त युग” में प्रवेश किया है। हमारे काम को निर्देशित करने वाला प्रश्न अब “हम कौन सी अंतर्दृष्टि प्राप्त कर सकते हैं?” नहीं है, बल्कि “हम कौन सी बुद्धिमान प्रणाली बना सकते हैं जो वास्तविक समय में अंतर्दृष्टि पर कार्य करती है?”

जेनएआई सिस्टम केवल प्रश्नों का उत्तर नहीं दे रहे हैं; वे निर्णय लेना शुरू कर रहे हैं। यह एक एकतरफा दरवाजा है: एक बार जब आप इस तरह की स्वायत्तता और प्रभाव का अनुभव कर लेते हैं, तो कंपनियां स्थिर रिपोर्ट और मैनुअल निर्णय लेने के लिए बसने के लिए तैयार नहीं होंगी। अब और पहले की तरह, डेटा टीमों को हितधारक और उत्पाद-उन्मुख होने की आवश्यकता है।

कठिन सच्चाई: जेनएआई पहल क्यों विफल होती हैं

उत्साह के बीच, एक शांत वास्तविकता है: अधिकांश जेनएआई पहल विफल होती हैं। यह पता चलता है कि जेनएआई को सफलतापूर्वक तैनात करना बहुत चुनौतीपूर्ण है। एक हालिया एमआईटी अध्ययन में पाया गया कि एक आश्चर्यजनक 95% उद्यम जेनएआई पायलट परियोजनाएं मापने योग्य आरओआई वितरित नहीं करती हैं। केवल लगभग 5% एआई पायलट वास्तव में तेजी से राजस्व लाभ या महत्वपूर्ण व्यवसायिक प्रभाव प्राप्त करते हैं। यह संभावना की कमी के कारण नहीं है – यह सही एआई करने की जटिलता के कारण है।

विफलता के कारणों में गहराई से, एमआईटी शोध एक स्पष्ट चित्र प्रस्तुत करता है। कई परियोजनाएं इसलिए लड़खड़ाती हैं क्योंकि “हाइप ओवर हार्ड वर्क” – टीमें फ्लैशी डेमो उपयोग के मामलों का पीछा करती हैं बजाय बोरिंग मूलभूत बातों जैसे एकीकरण, सत्यापन और निगरानी में निवेश करने के। अन्य “गार्बेज इन, गार्बेज आउट” सिंड्रोम से विफल हो जाते हैं – खराब डेटा गुणवत्ता और सिलोed डेटा पाइपलाइनें परियोजना को शुरू होने से पहले ही बर्बाद कर देती हैं। अक्सर, यह एआई मॉडल नहीं है जो दोषपूर्ण है, यह आसपास का वातावरण है। जैसा कि शोधकर्ताओं ने कहा, जेनएआई प्रयोगशाला में विफल नहीं होता है; यह उद्यम में विफल होता है जब यह अस्पष्ट लक्ष्यों, खराब डेटा और संगठनात्मक जड़ता से टकराता है। अभ्यास में, अधिकांश एआई पायलट प्रूफ-ऑफ-кон्सेप्ट चरण में अटक जाते हैं और पूर्ण उत्पादन तैनाती में स्नातक नहीं होते हैं।

यह वास्तविकता जांच एक मूल्यवान सबक है। यह हमें बताता है कि हालांकि डेटा टीमें अब स्पॉटलाइट में हैं, अधिकांश बढ़ी हुई अपेक्षाओं को पूरा करने के लिए संघर्ष कर रहे हैं। जेनएआई को बड़े पैमाने पर सफल होने के लिए, हमें पुराने बीआई दिनों की तुलना में एक काफी उच्च बार पार करना होगा।

चतुर प्रॉम्प्ट्स से परे: डेटा, शासन और बुनियादी ढांचे का महत्व

5% एआई परियोजनाएं जो फलदायी होती हैं उन्हें 95% जो असफल होती हैं से क्या अलग करता है? मेरे अनुभव में (और शोध की पुष्टि के रूप में), विजेता मूलभूत क्षमताओं पर ध्यान केंद्रित करते हैं – डेटा, शासन और बुनियादी ढांचा। जेनएआई जादू नहीं है; यह डेटा पर बनाया गया है। अपने मॉडलों को खिलाने वाली उच्च गुणवत्ता वाली, अच्छी तरह से शासित डेटा पाइपलाइनों के बिना, यहां तक कि सबसे अच्छा एआई भी अनियमित परिणाम उत्पन्न करेगा। समिट पार्टनर्स ने हाल के विश्लेषण में इसे अच्छी तरह से कहा है: “किसी भी प्रणाली या प्रक्रिया में एआई की सफलता डेटा की गुणवत्ता, संरचना और पहुंच पर निर्भर करती है जो इसे ईंधन देती है।”

व्यावहारिक शब्दों में, इसका अर्थ है कि जेनएआई को अपनाते समय संगठनों को डेटा वास्तुकला और शासन पर दोगुना ध्यान देना होगा। क्या आपके पास एकीकृत, सुलभ डेटा स्टोर हैं जिस पर आपका एआई आकर्षित कर सकता है (और मेरा मतलब है कि सभी डेटा स्टोर, जिसमें डेटा केंद्र, हाइपरस्केलर और तीसरे पक्ष के सास सिस्टम शामिल हैं)? क्या वह डेटा साफ, क्यूरेटेड और नियमों के अनुरूप है? क्या डेटा वंशावली और लेखा परीक्षा योग्यता स्पष्ट है (ताकि आप एआई आउटपुट पर भरोसा कर सकें और जानें कि वे कैसे बने)? ये प्रश्न अब अग्रभाग में हैं।

जेनएआई कंपनियों को अंततः अपने डेटा घर को व्यवस्थित करने के लिए मजबूर कर रहा है।

शासन ने भी नए महत्व प्राप्त किया है। जब एक एआई मॉडल गलत उत्तर (या अपमानजनक) उत्पन्न कर सकता है, तो मजबूत शासन वैकल्पिक नहीं है – यह अनिवार्य है। नियंत्रण जैसे संस्करण, पूर्वाग्रह जांच, मानव-इन-द-लूप समीक्षा, और संवेदनशील डेटा इनपुट के आसपास सख्त सुरक्षा उपाय आवश्यक हैं। उचित शासन, प्रशिक्षण और स्पष्ट रूप से परिभाषित लक्ष्यों के बिना, यहां तक कि एक मजबूत एआई टूल भी व्यवसाय में गति प्राप्त करने के लिए संघर्ष करेगा।

और बुनियादी ढांचे को मत भूलिए। जेनएआई को बड़े पैमाने पर तैनात करने के लिए महत्वपूर्ण कंप्यूटिंग शक्ति और कठोर इंजीनियरिंग की आवश्यकता होती है। मॉडलों को वास्तविक समय में परोसा जाना चाहिए, शायद लाखों क्वेरी के साथ कम विलंबता के साथ। उन्हें जीपीयू या विशेष हार्डवेयर, साथ ही निरंतर निगरानी, रिटेनिंग और लाइफसाइकल प्रबंधन की आवश्यकता हो सकती है। संक्षेप में, आपको सुरक्षित, स्केलेबल और लचीला औद्योगिक-ग्रेड एआई बुनियादी ढांचे की आवश्यकता है। यह वह जगह है जहां प्राइवेट एआई की अवधारणा आती है, जो बुनियादी ढांचे के साथ डेटा और शासन को एकजुट करती है। प्राइवेट एआई एक नियंत्रित और सुरक्षित वातावरण के भीतर एआई के विकास को संदर्भित करता है, जो डेटा सुरक्षा और अनुपालन सुनिश्चित करता है।

नीचे की पंक्ति यह है कि जेनएआई की सफलता तीन स्तंभों के सामंजस्य पर निर्भर करती है: डेटा, शासन, और बुनियादी ढांचा। इनमें से किसी एक के बिना, आप 95% परियोजनाओं में शामिल हो जाएंगे जो डेमो चरण से परे कभी भी स्केल नहीं करते हैं।

एआई इंजीनियर अकेले नहीं कर सकते

इन आवश्यकताओं को देखते हुए, यह स्पष्ट है कि कुछ प्रतिभाशाली एआई इंजीनियरों को नियुक्त करना ही एक रास्ता नहीं है। हमने डेटा उद्योग में पिछले कुछ वर्षों में यह सबक सीखा है। डेटा विज्ञान के शुरुआती दिनों में, कंपनियों ने “यूनिकॉर्न” डेटा वैज्ञानिकों को खोजने की कोशिश की जो सब कुछ कर सकते थे – मॉडल बना सकते थे, कोड लिख सकते थे, डेटा और तैनाती संभाल सकते थे। यह मिथक तब से खंडित हो गया है। जैसा कि एक अनुभवी डेटा वैज्ञानिक ने कहा, “एक मॉडल जो एक नोटबुक में बैठा है वास्तव में व्यवसाय के लिए कुछ नहीं करता है।” आपको उस मॉडल को एक अनुप्रयोग या प्रक्रिया में एम्बेड करने की आवश्यकता है ताकि यह मूल्य बना सके। और ऐसा करने के लिए एक टीम प्रयास की आवश्यकता होती है जो कई कौशल सेटों को कवर करता है।

2010 के अंत में, हमने डेटा टीमों को विभिन्न भूमिकाओं में विविधता लाई: डेटा इंजीनियरों ने मजबूत पाइपलाइनों का निर्माण किया, मशीन लर्निंग इंजीनियरों ने उत्पादन में मॉडल पर ध्यान केंद्रित किया, विश्लेषणात्मक इंजीनियरों ने विश्लेषण परत का प्रबंधन किया, और इसी तरह।

आज, जेनएआई इसे और भी उच्च स्तर पर ले जाता है। हाँ, आपको एआई विशेषज्ञों (प्रॉम्प्ट इंजीनियर, एलएलएम फाइन-ट्यूनर, आदि) की आवश्यकता है, लेकिन वे विशेषज्ञों को एक दीवार मारेंगे यदि उन्हें परिपक्व डेटा पाइपलाइन, शासन ढांचे और सुरक्षित प्लेटफ़ॉर्म नहीं मिलेंगे जिनके साथ काम करना है। एक एआई इंजीनियर सैंडबॉक्स में एक महान भाषा मॉडल का प्रोटोटाइप बना सकता है, लेकिन इसे उत्पाद में बदलने के लिए जो हज़ारों या लाखों लोगों द्वारा उपयोग किया जाता है, सुरक्षा टीमों, अनुपालन अधिकारियों, डेटा वास्तुकारों, साइट विश्वसनीयता इंजीनियरों और अधिक के साथ सहयोग की आवश्यकता होती है।

एआई एक टीम खेल है। यह सोचना आकर्षक है कि आप एक राज्य-оф-द-आर्ट मॉडल को अपने व्यवसाय में ड्रॉप कर सकते हैं और अचानक एक एआई-संचालित उद्यम है। जेनएआई के साथ सफल होने वाली कंपनियां वे हैं जिन्होंने क्रॉस-फ़ंक्शनल टीमें बनाई हैं, या “एआई फ़ैक्ट्री” जो इन सभी टुकड़ों को एक साथ लाती हैं। उनकी डेटा टीमें प्रभावी रूप से फुल-स्टैक एआई उत्पाद टीमों में विकसित हुई हैं, जो डेटा, मॉडलिंग, इंजीनियरिंग और ऑपरेशनल विशेषज्ञता को मिलाती हैं। वे डेटा-संचालित, उत्पाद-नेतृत्व वाले तरीके से अपने उपकरण बना और तैनात कर रहे हैं, जिसमें प्रत्येक केपीआई में मूल्य पीढ़ी एम्बेडेड है।

अगली पीढ़ी की डेटा टीमें

तो आगे क्या है नए “डेटा टीम” के लिए? यहाँ क्या आ रहा है इन टीमों के लिए अगले कुछ वर्षों में:

• कम मैनुअल ईटीएल/ईएलटी: थकाऊ डेटा जोड़-तोड़ कम हो जाएगा। अधिक स्वचालित डेटा पाइपलाइनों और एआई-सहायता प्राप्त एकीकरण के साथ, टीमें अपना आधा समय डेटा की सफाई और हेरफेर में नहीं बिताएंगी। डेटा तैयारी का कठिन काम बढ़ते हुए बुद्धिमान प्रणालियों द्वारा संभाला जाएगा, जिससे मानवों को उच्च-स्तरीय डिज़ाइन और गुणवत्ता नियंत्रण पर ध्यान केंद्रित करने की अनुमति मिलेगी।
• कम डैशबोर्ड: डैशबोर्ड फिल्टर को अनंत रूप से ट्वीक करने का युग समाप्त हो रहा है। एआई प्राकृतिक भाषा प्रश्न और गतिशील अंतर्दृष्टि वितरण को सक्षम करेगा। डैशबोर्ड के बजाय, उपयोगकर्ता एआई से संवादात्मक उत्तर प्राप्त करेंगे (स्रोत डेटा के साथ)। डेटा टीमें स्थिर रिपोर्ट विकसित करने के लिए कम समय बिताएंगी और एआई को अंतर्दृष्टि प्रदान करने पर अधिक समय बिताएंगी।
• एआई-मूल उत्पाद विकास: डेटा टीमें उत्पाद नवाचार के दिल में होंगी। चाहे वह एक नए ग्राहक-सामने वाले एआई सुविधा का विकास हो या एक आंतरिक एआई उपकरण जो संचालन को अनुकूलित करता है, ये टीमें उत्पाद टीमों के रूप में कार्य करेंगी। वे सॉफ़्टवेयर विकास अभ्यास, तेज़ प्रोटोटाइपिंग, ए/बी परीक्षण और उपयोगकर्ता अनुभव डिज़ाइन का उपयोग करेंगे – केवल डेटा विश्लेषण नहीं। प्रत्येक डेटा टीम, प्रभावी रूप से, एक एआई उत्पाद टीम होगी जो सीधे व्यवसायिक मूल्य प्रदान करती है।
• स्वायत्त एजेंटों का उदय: निकट भविष्य में, डेटा टीमें स्वायत्त एआई एजेंटों को तैनात करेंगी जो दिनचर्या निर्णय और कार्यों को संभालेंगे। इसके बजाय कि केवल परिणामों की भविष्यवाणी करें, ये एजेंट (निरीक्षण के साथ) कुछ कार्यों को करने के लिए अधिकृत किए जाएंगे। एक एआई ऑप्स एजेंट की कल्पना करें जो एक असामान्यता का पता लगा सकता है और स्वचालित रूप से एक उपचार टिकट खोल सकता है, या एक बिक्री एआई एजेंट जो वास्तविक समय में ई-कॉमर्स मूल्य निर्धारण को समायोजित कर सकता है। डेटा टीमें इन एजेंटों का निर्माण और प्रबंधन करेंगी, जो स्वचालन की सीमाओं को आगे बढ़ाएंगी।

इन परिवर्तनों के प्रकाश में, यह कहा जा सकता है कि “डेटा टीमें जैसा हम जानते थे वे मृत हैं।” स्प्रेडशीट जॉकी और डैशबोर्ड प्लम्बर्स को कुछ नए के द्वारा प्रतिस्थापित किया गया है: एआई-फर्स्ट टीमें जो डेटा, कोड और व्यवसायिक रणनीति में धाराप्रवाह हैं। लेकिन यह एक शोक नहीं है; यह एक उत्सव है। नई पीढ़ी की डेटा टीमें अभी शुरू हो रही हैं, और वे पहले से कहीं अधिक मूल्यवान हैं।

तो याद रखें, डेटा इंजीनियर मृत है, लंबे समय तक डेटा इंजीनियर जीवित रहें! डेटा टीमें जैसा हम जानते थे वे चली गई हैं, लेकिन नई डेटा टीमें – उन्हें इस एआई-संचालित दुनिया में अंतर्दृष्टि, जिम्मेदारी और साहस के साथ शासन करने दें।