जेफ चैंपेन, फील्ड सीटीओ tại क्रिबल – साक्षात्कार श्रृंखला

जेफ चैंपेन, क्रिबल में फील्ड सीटीओ, ऑब्जर्वेबिलिटी, एंटरप्राइज डेटा, उत्पाद रणनीति और तकनीकी वास्तुकला में गहरा अनुभव लाता है। क्रिबल में शामिल होने से पहले, उन्होंने डेटाब्रिक्स में उत्पाद प्रबंधन के निदेशक के रूप में कार्य किया और स्प्लंक में सात से अधिक वर्षों तक वरिष्ठ क्षेत्र उत्पाद, वास्तुकला और वैश्विक प्रणाली इंजीनियरिंग भूमिकाओं में काम किया। उनकी पृष्ठभूमि में बीएनवाई कन्वर्जएक्स में सिस्टम वास्तुकला नेतृत्व, प्रीमियर टेक्नोलॉजी सॉल्यूशंस में वरिष्ठ इंजीनियरिंग कार्य और असिस्ट-2-सेल में प्रारंभिक इंजीनियरिंग नेतृत्व शामिल है, जिससे उन्हें यह समझने में मदद मिली कि उद्यम कैसे संचालन डेटा को बड़े पैमाने पर इकट्ठा करते हैं, प्रबंधित करते हैं, विश्लेषण करते हैं और कार्य करते हैं।

क्रिबल एक उद्यम टेलीमेट्री कंपनी है जो आईटी, सुरक्षा, एसआरई और डेवओप्स टीमों को ऑब्जर्वेबिलिटी और सुरक्षा डेटा को इकट्ठा करने, प्रसंस्करण करने, मार्ग करने, संग्रहीत करने और विश्लेषण करने में मदद करने के लिए केंद्रित है, बिना किसी एकल विक्रेता में तालमेल बैठाए। कंपनी खुद को “टेलीमेट्री के लिए एआई प्लेटफ़ॉर्म” के रूप में स्थिति देती है, जिसमें उत्पाद जैसे क्रिबल स्ट्रीम वास्तविक समय टेलीमेट्री संग्रह, कमी, समृद्धि और मार्ग; क्रिबल एज विक्रेता-तटस्थ एंडपॉइंट टेलीमेट्री संग्रह; क्रिबल सर्च डेटा को स्थान पर खोज करने के लिए; और क्रिबल झील संग्रहण के लिए। इसका व्यापक मिशन उद्यमों को अधिक नियंत्रण, लचीलापन और दक्षता देना है क्योंकि टेलीमेट्री की मात्रा बढ़ती है और एआई-संचालित संचालन के लिए स्वच्छ, अधिक सुलभ डेटा की आवश्यकता होती है।

आपने स्प्लंक, डेटाब्रिक्स और अब क्रिबल में काम किया है, जो आपको उद्यम डेटा, ऑब्जर्वेबिलिटी और बुनियादी ढांचे पर कई प्रौद्योगिकी चक्रों में एक दुर्लभ दृष्टिकोण प्रदान करता है। उस दृष्टिकोण से, एजेंटिक एआई द्वारा बनाई गई ऑब्जर्वेबिलिटी चुनौती के बारे में क्या वास्तव में अलग लगता है?

एप्लिकेशन ऑब्जर्वेबिलिटी में, हमने हमेशा जटिल, शाखाओं वाले निष्पादन पथों से निपटा है, माइक्रोसेवाओं के माध्यम से अनुरोधों को ट्रेस करना और वितरित प्रणालियों में लॉग को संबंधित करना। सुरक्षा संचालन में, हमने उच्च-मात्रा वाले विविध डेटा स्रोतों को संभाला है जो प्रणालियों में खतरों का पता लगाने के लिए हैं जो अभी भी बड़े पैमाने पर भविष्यवाणी योग्य तरीके से व्यवहार करते हैं। एजेंटिक एआई न तो उन समस्याओं को फिर से बनाता है और न ही उन्हें विस्फोट करता है।

एजेंट निर्णयों को श्रृंखला में, बाहरी उपकरणों को आमंत्रित करते हैं और गतिविधियों को गतिशील रूप से उत्पन्न करते हैं जो लेखन समय पर निर्धारित नहीं होते हैं। निष्पादन ग्राफ़ न केवल जटिल है, बल्कि यह हर बार बहुत अलग हो सकता है, और आवश्यक टेलीमेट्री की मात्रा जो वास्तव में क्या हुआ था का पुनर्निर्माण करने के लिए आवश्यक है, प्रत्येक कूद के साथ घातांकी रूप से बढ़ती है। एजेंटिक प्रणालियों को दृश्यमान बनाने के लिए आवश्यक टेलीमेट्री को इकट्ठा करना आसान होना चाहिए और पैमाने पर संचालित करने के लिए लागत प्रभावी होना चाहिए। अन्यथा, उद्यम वही व्यापार करेंगे जो वे हमेशा से करते आए हैं और लागतों को नियंत्रित करने के लिए दृश्यता को कम करेंगे – बिल्कुल गलत समय पर अंधे हो जाने के लिए।

उद्यम एजेंटों को वर्कफ़्लो में एम्बेड करते समय, एजेंट को क्या करने के लिए कहा जाता है और वास्तव में क्या होता है, इसके बीच सबसे बड़ा दृश्यता अंतर कहां है?

एजेंट वर्कफ़्लो पूरा करते हैं जो सतह पर सफल दिखते हैं जबकि शांति से खराब उपकरण कॉल करते हैं, पैरामीटर को हॉलुसिनेट करते हैं या मूल लक्ष्य से विचलित हो जाते हैं। परिणाम अक्सर बाद में किसी अन्य प्रणाली में सतह पर आते हैं।

विचलन आमतौर पर व्याख्या से शुरू होता है: मूल निर्देश में थोड़ी अस्पष्टता को एजेंट द्वारा प्राप्त की गई स्मृति के आधार पर, उस समय उपलब्ध उपकरणों के आधार पर, या पिछले चरण में संदर्भ के आधार पर अलग-अलग तरीकों से हल किया जाता है। आपको एजेंट पर निर्भर डाउनस्ट्रीम प्रणालियों को भी इंस्ट्रूमेंट करना होगा, क्योंकि एक एजेंट एक पूरी तरह से संरचित डेटाबेस कॉल बना सकता है और फिर भी गलत उत्तर लौटा सकता है यदि अंतर्निहित तालिका कभी भी अपडेट नहीं की गई थी क्योंकि एक ईटीएल नौकरी चुपचाप अपस्ट्रीम विफल हो गई थी।

एजेंट ने ठीक वैसा ही किया जैसा उसे बताया गया था; उस पर विश्वास किया गया डेटा बस पुराना था।

पारंपरिक ऑब्जर्वेबिलिटी टूल्स अक्सर एजेंटिक एआई प्रणालियों की निगरानी के लिए पर्याप्त क्यों हैं?

पहले, वे जड़, प्रोप्राइटरी स्कीमा और भविष्यवाणी योग्य डेटा आकार के आसपास बनाए गए थे। एजेंटिक ट्रेस उन अपेक्षाओं के अनुरूप नहीं होते हैं – वे बड़े पैमाने पर, संरचना में अत्यधिक परिवर्तनशील होते हैं और पूर्ण प्रॉम्प्ट पाठ, मॉडल तर्क श्रृंखला और टूल कॉल पेलोड जैसे डेटा प्रकार शामिल होते हैं जो विरासत उपकरणों को बिना महत्वपूर्ण परिवर्तन कार्य के पचाने के लिए डिज़ाइन नहीं किए गए थे। ओपनटेलीमेट्री के जेनएआई सेमेंटिक सम्मेलन जैसे ओपन स्टैंडर्ड उभर रहे हैं जो इसे संबोधित करने के लिए, लेकिन कई विरासत प्लेटफ़ॉर्म उन्हें लाभ उठाने के लिए नहीं बनाए गए थे।

दूसरा, पैमाने और लागत का समीकरण जल्दी से टूट जाता है। उत्पादन कार्यभार को संभालने वाला एक एजेंट एक घंटे में अधिक टेलीमेट्री उत्पन्न कर सकता है जितना एक पूरी एप्लिकेशन स्टैक ने एक दिन में उत्पादित किया है, और अधिकांश पारंपरिक प्लेटफ़ॉर्म स्वागत और संग्रहीत डेटा की मात्रा से शुल्क लेते हैं। इससे एक असंभव व्यापार होता है – या तो सब कुछ इंस्ट्रूमेंट करें और भागने वाली लागत का सामना करें, या जहां आपको सबसे ज्यादा जरूरत है वहां दृश्यता कम करें।

जब एक एआई एजेंट विफल हो जाता है, तो संगठन यह निर्धारित करने के लिए कैसे पता लगा सकते हैं कि मूल कारण मॉडल, पुनर्प्राप्ति परत, एक एपीआई निर्भरता, एक अनुमति समस्या या एक डाउनस्ट्रीम बुनियादी ढांचे की समस्या थी?

एजेंटिक विफलता में मूल कारण को अलग करना उन सभी परतों में से एक प्रक्रिया है। यह केवल तभी काम करता है जब आपकी टेलीमेट्री उन सभी को लगातार ढकती है। मॉडल स्पैन पर देरी और त्रुटि संकेत मॉडल स्पैन पर इंगित करते हैं; पुनर्प्राप्ति स्पैन बताते हैं कि संदर्भ प्रासंगिक या पुराना था या नहीं। टूल कॉल स्पैन विफल एपीआई निर्भरता या अनुमति त्रुटियों को उजागर करते हैं।

जैसा कि उल्लेख किया गया है, आपको एजेंट पर निर्भर डाउनस्ट्रीम प्रणालियों से टेलीमेट्री की भी आवश्यकता है, क्योंकि एक एजेंट एक पूरी तरह से संरचित कॉल बना सकता है और फिर भी गलत उत्तर लौटा सकता है यदि डेटा जिस पर उसने विश्वास किया था कभी भी ताज़ा नहीं किया गया था। कोई एक संकेत पूरी कहानी नहीं बताता है, जो टीमों को अलग करता है जो एजेंटिक विफलताओं को जल्दी से डीबग कर सकते हैं जो अभी भी अनुमान लगा रहे हैं।

एजेंटिक प्रणालियों को समझने के लिए एजेंट व्यवहार को बड़े पैमाने पर देखने के लिए किस प्रकार के टेलीमेट्री डेटा सबसे महत्वपूर्ण हो जाते हैं?

आधार अभी भी मेल्ट – मेट्रिक्स, इवेंट, लॉग और ट्रेस – है, लेकिन एजेंटिक प्रणालियों में जाने पर यह काफी हद तक बदल जाता है। मेट्रिक्स आपको बताते हैं कि कुछ गलत है और लॉग आपको बताते हैं कि वास्तव में क्या हुआ, लेकिन न तो एजेंट एक गलत उत्तर पर पहुंचने के लिए जिस तर्क श्रृंखला का पालन किया जा सकता है। यही कारण है कि ट्रेस सबसे महत्वपूर्ण संकेत बन जाते हैं।

एक पारंपरिक वितरित प्रणाली में, एक ट्रेस आपको दिखाता है कि एक अनुरोध सेवाओं के माध्यम से कैसे चला गया। एक एजेंटिक प्रणाली में, यह दिखाता है कि एक मॉडल ने एक समस्या के माध्यम से कैसे तर्क दिया, जिन उपकरणों को उसने बुलाया, जो संदर्भ उसने पुनर्प्राप्त किया, जहां उसने शाखा ली और प्रत्येक चरण में क्या निर्णय लिया। उस ट्रेस के बिना, आप एक आउटपुट देख रहे हैं जिसके लिए आप वहां कैसे पहुंचे इसका कोई स्पष्टीकरण नहीं है।

अन्य मेल्ट संकेत नहीं जाते हैं; टोकन उपयोग और देरी पर मेट्रिक्स लागत और प्रदर्शन के लिए महत्वपूर्ण हैं, और डाउनस्ट्रीम प्रणालियों से लॉग अभी भी आवश्यक हैं। लेकिन ट्रेस वे हैं जो एजेंट व्यवहार को बड़े पैमाने पर पठनीय बनाते हैं।

अधिकांश एआई चर्चाएं अभी भी बहुत भ्रम के बारे में केंद्रित हैं। क्या उद्यम संचालन में विफलताओं जैसे खराब पुनर्प्राप्ति, टूटे हुए एकीकरण, देरी के उतार-चढ़ाव या गायब संदर्भ को कम आंक रहे हैं?

उत्पादन में अधिकांश भ्रम मॉडल विफलता नहीं हैं; वे संचालन में विफलता हैं। खराब पुनर्प्राप्ति पुराने या अपूर्ण संदर्भ लौटाती है, और मॉडल उस अंतर को कुछ विश्वसनीय ध्वनि वाली चीज़ से भर देता है। एक टूटा हुआ एकीकरण का अर्थ है कि एजेंट ने कभी भी सही तर्क करने के लिए आवश्यक डेटा प्राप्त नहीं किया। एक विफल ईटीएल नौकरी से गायब संदर्भ एक भ्रम जैसा दिखता है लेकिन वास्तव में एक बुनियादी ढांचे की समस्या है।

जब टीमें अंतर को देख नहीं पाती हैं, तो वे उस चीज़ पर नियंत्रण करने के लिए डिफ़ॉल्ट करती हैं जो वे नियंत्रित कर सकते हैं, जो आमतौर पर मॉडल खुद है। वे सिस्टम प्रॉम्प्ट पर इटरेट करते हैं, गार्डरेल जोड़ते हैं और मूल्यांकन ढांचे को परिष्कृत करते हैं, और जबकि इन तकनीकों में वास्तविक मूल्य है, वे लक्षण का इलाज कर रहे हैं, न कि कारण का। मेरे अनुभव में, उच्चतम-लाभ निवेश लगभग हमेशा पुनर्प्राप्ति परत में डेटा गुणवत्ता और ताजगी में है। एक अच्छी तरह से आधारित एजेंट जो स्वच्छ, वर्तमान डेटा के साथ काम करता है, एक पुराने या अपूर्ण संदर्भ से काम करने वाले एक भारी प्रॉम्प्ट-इंजीनियर्ड एजेंट की तुलना में बेहतर प्रदर्शन करेगा।

जैसे ही एजेंट अधिक स्वायत्त हो जाते हैं, उद्यम टीमों को दृश्यता बनाए रखने के लिए क्या लॉग, ट्रेस या निगरानी करनी चाहिए, खुद को शोर से अभिभूत किए बिना?

आधार अभी भी मेल्ट है, लेकिन एजेंटिक प्रणालियों के लिए जवाबदेही के लिए पारंपरिक टेलीमेट्री पर एक मूल्यांकन ढांचे की परत की आवश्यकता है। मेट्रिक्स, इवेंट और लॉग बुनियादी ढांचे की विफलताओं और टूटे हुए एकीकरण को उजागर करते हैं जो एजेंट व्यवहार को भ्रष्ट कर सकते हैं; ट्रेस आपको बताते हैं कि एजेंट ने एक विशिष्ट उत्तर पर क्यों पहुंचा। लेकिन न तो यह बताता है कि उत्तर वास्तव में सही था या नहीं, और यही वह जगह है जहां एलएलएम-जज मूल्यांकन अंतराल को भरता है। एजेंटों को शक्ति प्रदान करने वाली समान एआई क्षमताएं उन्हें मूल्यांकन करने के लिए भी उपयोग की जा सकती हैं, स्कोरिंग आउटपुट के लिए सटीकता, आधार और कार्य पूर्णता के लिए एक मानव समीक्षा प्रक्रिया को पार करने के लिए मेल खाता है।

प्रोडक्शन से पहले, यह एक गुणवत्ता गेट के रूप में कार्य करता है, प्रोडक्शन से पहले ही रिग्रेशन को पकड़ता है। उत्पादन में, यह एक निरंतर मॉनिटर बन जाता है, लाइव ट्रैफिक का नमूना लेता है और स्वीकार्य सीमा से बाहर उत्तरों को झंडा दिखाता है। शोर से बचने का मुख्य तरीका यह है कि एजेंट वर्कफ़्लो में जोखिम को मान्यता देना है जो एक जैसा नहीं है, जो उद्योग को मानव-ऑन-द-लूप शासन की ओर ले जा रहा है। आप आगे की ओर व्यवहार के बेसलाइन और विश्वास अंतराल परिभाषित करते हैं, एजेंटों को उन्हें संचालित करने देते हैं और मानव हस्तक्षेप को अपवादों के लिए आरक्षित रखते हैं।

एजेंट व्यवहार को साझा दृष्टिकोण से देखने में सुरक्षा, एसआरई, डेटा और एआई टीमों की मदद करने के लिए टेलीमेट्री पाइपलाइनें क्या भूमिका निभा सकती हैं?

सुरक्षा टीमें, एसआरई, डेटा इंजीनियर और एआई टीमें सभी एक ही समस्या के विभिन्न स्लाइस देख रहे हैं लेकिन विभिन्न उपकरणों के माध्यम से; उनमें से किसी के पास भी पूरी तस्वीर नहीं है। टेलीमेट्री पाइपलाइनें आधुनिक उद्यम डेटा वास्तुकला का एक मानक हिस्सा बन गई हैं क्योंकि वे ठीक इसी समस्या का समाधान करती हैं: आपके सभी उपकरणों के ऊपर एक अच्छी तरह से शासित पाइपलाइन सुनिश्चित करती है कि प्रत्येक टीम उसी सामान्य, समृद्ध डेटा से काम करे जिसके लिए विशिष्ट एजेंट और संग्रहकर्ता विभिन्न टीमों के लिए तैनात किए जाते हैं।

यह लचीलापन दो स्तरों पर महत्वपूर्ण है। पहला डेटा टियरिंग है। एक अच्छी तरह से डिज़ाइन की गई टेलीमेट्री पाइपलाइन आपको डेटा को सही भंडारण और विश्लेषण रणनीति से मिलाने देती है ताकि आप विश्लेषण-टियर मूल्य के लिए डेटा के लिए लंबी अवधि की अनुपालन प्रतिधारण के लिए भुगतान न करें। दूसरा विकल्प है क्योंकि एआई टूलिंग लैंडस्केप तेजी से विकसित हो रहा है। जो उद्यम अपनी ऑब्जर्वेबिलिटी रणनीति को एक विक्रेता के पारिस्थितिकी तंत्र के चारों ओर बनाते हैं, उन्हें हर बार जब एक बेहतर उपकरण उभरता है तो महंगे प्रवासन परियोजनाओं का सामना करना पड़ेगा।

आप एजेंटिक एआई तैनाती पर मौजूदा निगरानी प्रथाओं को रेट्रोफिट करने की कोशिश करते समय उद्यमों को कौन सी गलतियां देख रहे हैं?

मैं जो सबसे आम गलती देखता हूं वह यह है कि एजेंट ट्रेस एकत्र करने के लिए मौजूदा प्रीमियम ऑब्जर्वेबिलिटी प्लेटफ़ॉर्म की ओर बढ़ना, लागत के निहितार्थों पर विचार किए बिना। एजेंटिक ट्रेस बड़े, परिवर्तनशील और मात्रा में होते हैं जो पारंपरिक अनुप्रयोग टेलीमेट्री नहीं होते हैं; अधिकांश प्रीमियम प्लेटफ़ॉर्म स्वागत और भंडारण पर मूल्य निर्धारित करते हैं। बिल जल्दी से एक गंभीर समस्या बन सकता है इससे पहले कि टीमें यह महसूस भी करें कि क्या हो रहा है, और आम तौर पर प्रतिक्रिया यह है कि वे जो इकट्ठा करते हैं उसे कम करें। परिणाम सबसे बुरा है – उच्च लागत और अधूरी दृश्यता।

दूसरी गलती यह है कि एजेंटिक प्रणालियों के लिए निगरानी क्या होनी चाहिए, इसके लिए गलत मानसिक मॉडल लागू करना। पारंपरिक बुनियादी ढांचे की निगरानी पूछती है “क्या प्रणाली चालू है?” और जब यह नहीं होती है तो अलर्ट उठाती है। यह प्रश्न आवश्यक है लेकिन एजेंटिक प्रणालियों के लिए लगभग पर्याप्त नहीं है, जहां बुनियादी ढांचा पूरी तरह से स्वस्थ हो सकता है जबकि एजेंट शांति से खराब निर्णय ले रहा है, पुराने डेटा को पुनर्प्राप्त कर रहा है या अपने मूल लक्ष्य से विचलित हो रहा है। टीमें जो मौजूदा डैशबोर्ड और अलर्ट थ्रेशोल्ड को एजेंट वर्कफ़्लो पर रेट्रोफिट करती हैं, अक्सर खुद को यह विश्वास दिलाती हैं कि उनके पास कवरेज है जब वे वास्तव में केवल प्लंबिंग देख रहे हैं।

तीसरी गलती यह है कि साधनों को एक बाद के विचार के रूप में मानना। जो उद्यम तेजी से एजेंटों को पायलट करते हैं और बिना निगरानी के उत्पादन में जाते हैं, वे महंगे उपचार चक्र में समाप्त होते हैं, उत्पादन विफलता के बाद डेटा संग्रह वास्तुकला का पुनर्निर्माण करते हैं। जो टीमें एजेंट तैनाती को सबसे अच्छी तरह से स्केल करती हैं, वे जल्दी से इंस्ट्रूमेंट करती हैं, जब यातायात कम होता है और व्यवहार भविष्यवाणी योग्य होता है, तो बेसलाइन स्थापित करती हैं और मूल्यांकन ढांचे का निर्माण करती हैं जिसे उन्हें जरूरत होने से पहले नहीं बनाती हैं।

आगे देखते हुए, क्या बुनियादी ढांचे की दृश्यता बड़े पैमाने पर क्लाउड प्रवासन के लिए क्लाउड ऑब्जर्वेबिलिटी की तरह उद्यम एआई अपनाने के लिए एक पूर्वापेक्षा बन जाएगी?

क्लाउड के साथ समानांतर बहुत ही समान है। मैं जो ग्राहकों को बताता हूं जब वे बुनियादी ढांचे को क्लाउड में स्थानांतरित करते हैं वह यह है कि वे लिफ्ट और शिफ्ट नहीं कर रहे हैं। वे एक पूरी नई वास्तुकला तैनात कर रहे हैं जिसमें नई क्षमताएं हैं। सभी को नए तरीके से साधना और निगरानी की आवश्यकता है जिसके लिए पिछले उपकरण संभवतः सेट नहीं किए गए थे। ऑब्जर्वेबिलिटी क्लाउड को स्केल करने के लिए विश्वास का आधार बन गया है, और वही पैटर्न अब एजेंटिक एआई के साथ खेल रहा है, तेजी से और उच्च दांव पर।

एजेंटों को इस प्रकार की देखरेख की आवश्यकता का प्राथमिक कारण यह है कि वे डिज़ाइन द्वारा गैर-निर्धारक हैं, उनका व्यवहार रनटाइम पर उभरता है, और उनकी प्रभावी क्षमता बढ़ जाती है जब भी आप एक नया उपकरण जोड़ते हैं। स्थिर पूर्व-तैनाती प्रमाणन एक प्रणाली को कवर नहीं कर सकता है जिसका कार्य सतह हर एकीकरण के साथ बदलती है। एजेंट परिभाषित विश्वास की सीमाओं के भीतर काम करेंगे, और वे सीमाएं समय के साथ ऑब्जर्वेबिलिटी, नीति और मूल्यांकन बुनियादी ढांचे की परिपक्वता के साथ विस्तारित होंगी। सीमाएं खुद कभी भी गायब नहीं होंगी, और यह एक विफलता राज्य नहीं है। यह दुनिया में हर महत्वपूर्ण स्वायत्त प्रणाली के लिए कैसे काम करता है।

साक्षात्कार के लिए धन्यवाद, पाठक जो और जानना चाहते हैं उन्हें क्रिबल पर जाना चाहिए।