शाहर अज़ुले, ग्राउंडकवर के सीईओ और सह-संस्थापक

शाहर अज़ुले, ग्राउंडकवर के सीईओ और सह-संस्थापक एक श्रृंखला अनुसंधान और विकास नेता हैं। शाहर साइबर सुरक्षा और मशीन लर्निंग की दुनिया में अनुभव लाते हैं, जिसमें उन्होंने एप्पल, डेटू और साइमोटिव टेक्नोलॉजीज जैसी कंपनियों में नेतृत्व किया है। शाहर ने इज़राइली प्रधान मंत्री कार्यालय के साइबर विभाग में कई वर्षों तक काम किया और तकनीक इज़राइल इंस्टीट्यूट ऑफ टेक्नोलॉजी और तेल अवीव विश्वविद्यालय से भौतिकी, इलेक्ट्रिकल इंजीनियरिंग और कंप्यूटर विज्ञान में तीन डिग्री रखते हैं। शाहर इस समृद्ध पृष्ठभूमि से तकनीकी ज्ञान का उपयोग करने का प्रयास करते हैं और इसे आज के क्लाउड-मूल बैटलफील्ड में सबसे तेज़ और सबसे नवाचारी रूप में लाने का प्रयास करते हैं ताकि डेव की दुनिया को बेहतर बनाया जा सके।

ग्राउंडकवर एक क्लाउड-मूल अवलोकनीयता प्लेटफ़ॉर्म है जो इंजीनियरिंग टीमों को उनके सिस्टम में पूर्ण, वास्तविक समय की दृश्यता प्रदान करने के लिए डिज़ाइन किया गया है, बिना पारंपरिक निगरानी उपकरणों की जटिलता या लागत के। ईबीपीएफ प्रौद्योगिकी पर निर्मित, यह क्लाउड-मूल और कुबेरनेट्स वातावरण में लॉग, मेट्रिक्स, ट्रेस और घटनाओं को इकट्ठा करता है और संबंधित करता है, बिना कोड परिवर्तन के, जो तेजी से मूल कारण विश्लेषण और स्पष्ट प्रणाली अंतर्दृष्टि को सक्षम बनाता है। प्लेटफ़ॉर्म में पूर्वानुमानित मूल्य निर्धारण, लचीला तैनाती पर जोर दिया जाता है जो डेटा को ग्राहक के क्लाउड में रखता है, और बुनियादी ढांचे, अनुप्रयोगों और आधुनिक एआई-संचालित कार्यभार को शामिल करने वाली अंत-से-अंत अवलोकनीयता पर जोर दिया जाता है।

अपनी यात्रा पर वापस देखें, साइबर आरएंडडी टीमों का नेतृत्व करने से लेकर एमएल पहलों का प्रबंधन करने तक एप्पल में – कौन से अनुभव अंततः आपको ग्राउंडकवर की स्थापना की ओर ले जाने के लिए प्रेरित किया, और जब आपने आधुनिक एआई प्रणालियों के लिए अवलोकनीयता में अंतर को पहली बार पहचाना?

ग्राउंडकवर की स्थापना के लिए प्रेरणा मेरे समय से आई थी एप्पल और डेटू में। यहां तक कि बड़े बजट के साथ, हमें यह चुनना पड़ा कि हम सब कुछ लॉग करने के लिए एक भाग्य का भुगतान करें या नमूना लें और अंधे हो जाएं। उस समय, हम एक प्रौद्योगिकी की तलाश में थे जो उस समस्या का समाधान करेगी। एक बार जब हम एक्सटेंडेड बर्कले पैकेट फिल्टर (ईबीपीएफ) में चले गए, तो यह स्पष्ट था कि यह सब कुछ बदल देगा। ईबीपीएफ हमें कERNEL में होने वाली हर चीज़ को देखने की अनुमति देता है बिना एप्लिकेशन परिवर्तनों पर निर्भर हुए। मुझे यह समझ नहीं आया कि अवलोकनीयता उपकरण उस लाभ का लाभ क्यों नहीं उठा रहे थे। एआई अंतराल बाद में स्पष्ट हो गया। एक बार जब हमारा कुबेरनेट्स प्लेटफ़ॉर्म परिपक्व हो गया, तो हमने ग्राहकों को जेनएआई तैनाती में भाग लेते हुए देखा, जबकि एलएलएम को ब्लैक बॉक्स की तरह मानते हुए। वे जानते थे कि मॉडल प्रतिक्रिया देता है, लेकिन यह नहीं जानता कि यह क्यों अस्थिर रूप से व्यवहार करता है या लागत क्यों बढ़ रही है। हमने महसूस किया कि एजेंटिक कार्यभार जटिल, गैर-निर्धारित माइक्रोसेवाएं हैं जिन्हें हमने पहले से ही ज़ीरो-टच दृश्यता का निर्माण किया है।

साइबर सुरक्षा, एम्बेडेड सिस्टम और मशीन लर्निंग अनुसंधान और विकास में आपकी पृष्ठभूमि ने ग्राउंडकवर के पीछे दृष्टि को कैसे प्रभावित किया, और एलएलएम-संचालित और एजेंटिक अनुप्रयोगों के लिए अवलोकनीयता पर केंद्रित एक कंपनी बनाने के शुरुआती चुनौतियों का सामना कैसे किया?

मेरी साइबर पृष्ठभूमि ने कंपनी के डीएनए को आकार दिया। खुफिया दुनिया में, आप मानते हैं कि आप अनुप्रयोग पर नियंत्रण नहीं रखते हैं। यह दृष्टिकोण है कि ग्राउंडकवर को उपकरण की आवश्यकता नहीं है। मुझे अपने अनुभव से पता है कि डेवलपर्स से कोड बदलने के लिए कहना अपनाने को ब्लॉक करने का सबसे तेज़ तरीका है। एलएलएम निगरानी में सबसे कठिन शुरुआती चुनौती गोपनीयता थी। एआई के लिए अवलोकनीयता प्रॉम्प्ट्स को पकड़ सकती है जो संवेदनशील पीआईआई या आईपी हो सकती है। मेरी पृष्ठभूमि ने यह स्पष्ट कर दिया कि उद्यम नहीं चाहेंगे कि यह डेटा उनके पर्यावरण से बाहर जाए। यही कारण है कि हमने अपनी इन-क्लाउड आर्किटेक्ट्चर का निर्माण किया, जिससे हम एजेंट व्यवहार में गहरी दृश्यता प्रदान कर सकते हैं जबकि सभी डेटा ग्राहक के स्वयं के पर्यावरण के भीतर रहता है।

एलएलएम अवलोकनीयता को आप कैसे परिभाषित करते हैं, और यह पारंपरिक निगरानी या एमएल निगरानी से कैसे अलग है?

एलएलएम अवलोकनीयता उत्पादन प्रणालियों को साधने और निगरानी करने की प्रथा है जो बड़े भाषा मॉडल का उपयोग करती हैं ताकि आप प्रत्येक अनुमान के पूर्ण संदर्भ को पकड़ सकें: प्रॉम्प्ट, संदर्भ, पूर्णता, टोकन उपयोग, देरी, त्रुटियां, मॉडल मेटाडेटा और आदर्श रूप से डाउनस्ट्रीम फीडबैक या गुणवत्ता संकेत। इसके बजाय “क्या सेवा चालू है और तेज़ है?” या “क्या इस अनुरोध में त्रुटि हुई?” पूछने के बजाय, एलएलएम अवलोकनीयता आपको ऐसे प्रश्नों के उत्तर देने में मदद करती है जैसे “यह विशिष्ट अनुरोध क्यों सफल या विफल हुआ?”, “इस मल्टी-स्टेप वर्कफ़्लो में वास्तव में क्या हुआ?”, और “प्रॉम्प्ट्स, संदर्भ, या मॉडल संस्करणों में परिवर्तन लेटेंसी, लागत और आउटपुट गुणवत्ता को कैसे प्रभावित कर रहे हैं?” यह पारंपरिक निगरानी या यहां तक कि शास्त्रीय एमएल निगरानी से बहुत अलग है। विरासत दृष्टिकोण निर्धारित प्रणालियों, बुनियादी ढांचे मेट्रिक्स और स्थिर सीमा के लिए अनुकूलित हैं। एलएलएम अनुप्रयोग गैर-निर्धारित, खुले और अत्यधिक संदर्भ-निर्भर हैं। सफलता अक्सर सेमेंटिक और विषयगत होती है, न कि केवल 200 बनाम 500 स्थिति कोड। इसका मतलब है कि आपको इनपुट और आउटपुट को ट्रेस करना होगा, टूल कॉल और पुनर्प्राप्ति चरणों को समझना होगा, प्रतिक्रियाओं का मूल्यांकन करना होगा जैसे कि भ्रम या नीति उल्लंघन, और टोकन-स्तर की लागत और देरी को आसपास के अनुप्रयोग और बुनियादी ढांचे से जोड़ना होगा।

एलएलएम-संचालित अनुप्रयोग पारंपरिक अवलोकनीयता उपकरणों की कमियों को उजागर करने वाली कौन सी चुनौतियां पेश करते हैं?

एलएलएम-संचालित प्रणालियों में कई चुनौतियां हैं जो पारंपरिक उपकरणों की सीमाओं को उजागर करती हैं:

• जटिल, मल्टी-स्टेप वर्कफ़्लो – हम सरल “मॉडल को कॉल करें, प्रतिक्रिया प्राप्त करें” प्रवाह से मल्टी-टर्न एजेंटों, मल्टी-स्टेप पाइपलाइनों, पुनर्प्राप्ति से बढ़ाए गए पीढ़ी और टूल के उपयोग में चले गए हैं। इन चरणों में से किसी एक में एक मौन विफलता, जैसे पुनर्प्राप्ति, समृद्धि, एम्बेडिंग, टूल कॉल या मॉडल कॉल, पूरे अनुभव को तोड़ सकती है। पारंपरिक निगरानी आमतौर पर प्रॉम्प्ट्स और प्रतिक्रियाओं के साथ इन श्रृंखलाओं का एक पूर्ण, ट्रेस-स्तर का दृश्य प्रदान नहीं करती है।
• तेजी से विकसित हो रहे एआई स्टैक – टीमें नए मॉडल, टूल और विक्रेताओं को एक ऐसी गति से जोड़ रही हैं जिसे उन्होंने पहले कभी नहीं देखा है। कई कंपनियों में, कोई भी यह नहीं बता सकता कि कौन से मॉडल किसी दिए गए समय में उत्पादन में हैं। क्लासिक अवलोकनीयता आमतौर पर यह मान लेती है कि आपके पास एसडीके को उपकरण करने, पुनः तैनात करने और ध्यान से क्या मापा जाए, इसे देखने के लिए समय है। एआई को अपनाने की गति के साथ यह बस नहीं रखता है।
• टोकन-आधारित अर्थव्यवस्था और कोटा – मूल्य निर्धारण और दर सीमाएं टोकन और संदर्भ लंबाई से जुड़ी हुई हैं, जो अक्सर विकासकर्ताओं, प्रॉम्प्ट्स या उपयोगकर्ता व्यवहार द्वारा नियंत्रित होती हैं, न कि केंद्रीय ऑप्स द्वारा। पारंपरिक उपकरण टोकन का उपयोग मॉडल, वर्कफ़्लो और सेवा के साथ कैसे दिखाने के लिए नहीं बनाए गए हैं।
• सेमेंटिक सहीपन के बजाय बाइनरी सफलता – एक एलएलएम 200 के साथ प्रतिक्रिया दे सकता है और फिर भी भ्रमित कर सकता है, अपने प्रॉम्प्ट से दूर जा सकता है या नीति का उल्लंघन कर सकता है। पारंपरिक उपकरण इसे सफलता के रूप में देखते हैं। आपको अवलोकनीयता की आवश्यकता है जो प्रॉम्प्ट्स और प्रतिक्रियाओं को सतह पर ला सकती है और आपको व्यवहार की जांच करने और समय के साथ स्वचालित गुणवत्ता जांच में प्लग करने के लिए पर्याप्त संदर्भ प्रदान कर सकती है।
• तृतीय-पक्ष मॉडल प्रदाताओं में संवेदनशील इनपुट डेटा प्रवाह – एलएलएम उपयोगकर्ताओं को चैट-शैली के इंटरफेस के माध्यम से बहुत संवेदनशील जानकारी साझा करने के लिए आमंत्रित करते हैं। अब आप उस डेटा के लिए जिम्मेदार हैं जो आप एकत्र करते हैं, जहां यह संग्रहीत किया जाता है और कौन से विक्रेता इसे देखते हैं। यह जीडीपीआर, डेटा निवास और ग्राहक विश्वास के लिए महत्वपूर्ण परिणाम है।

इसका मतलब यह है कि एलएलएम सिस्टम को अवलोकन क्षमता की आवश्यकता होती है जो एआई से अवगत हो, संदर्भ-समृद्ध हो, और आज अधिकांश टीमों द्वारा उपयोग किए जाने वाले टूल की तुलना में मैन्युअल इंस्ट्रूमेंटेशन पर बहुत कम निर्भर हो।

विलंबता, टोकन उपयोग और त्वरित/प्रतिक्रिया व्यवहार सहित एलएलएम सिस्टम के प्रदर्शन और गुणवत्ता को समझने के लिए कौन से सिग्नल या मेट्रिक्स सबसे महत्वपूर्ण हैं?

संकेतों की कुछ श्रेणियां हैं जो व्यवहार में बहुत मायने रखती हैं:

विलंबता और थ्रूपुट

टोकन उपयोग और लागत ड्राइवर

शीघ्र और प्रतिक्रिया व्यवहार

विश्वसनीयता और त्रुटियाँ

क्लासिक इन्फ्रा संदर्भ

जब आप यह सब एक ही स्थान पर देख सकते हैं, तो एलएलएम अवलोकन “मुझे पता है कि कुछ धीमा या महंगा है” से “मुझे पता है कि वास्तव में कौन सा मॉडल, त्वरित पैटर्न और सेवा जिम्मेदार हैं और क्यों” हो जाती है।

अवलोकनशीलता टीमों को त्वरित बहाव, मतिभ्रम, या आउटपुट गुणवत्ता में क्रमिक गिरावट जैसी मूक विफलताओं का पता लगाने में कैसे मदद कर सकती है?

एलएलएम प्रणालियों में मौन विफलताएं आमतौर पर तब होती हैं जब बुनियादी ढांचे के स्तर पर सब कुछ “हरा” दिखता है, लेकिन वास्तविक व्यवहार में बदलाव आ रहा है।अवलोकनशीलता कुछ तरीकों से मदद करती है:

क्योंकि अवलोकन परत के पास एआई-विशिष्ट सिग्नल और क्लासिक लॉग, मेट्रिक्स और ट्रेस दोनों तक पहुंच है, यह उन मुद्दों को पकड़ने के लिए एक प्राकृतिक स्थान बन जाता है जो अन्यथा चुपचाप उपयोगकर्ता अनुभव को खराब कर देंगे।

ग्राउंडकवर का दृष्टिकोण मल्टी-स्टेप एजेंट वर्कफ़्लो और टूल कॉल के भीतर अप्रत्याशित विलंबता या अप्रत्याशित व्यवहार का निदान करने में कैसे सहायता करता है?

ग्राउंडकवर आधुनिक एआई सिस्टम के लिए डिज़ाइन किया गया दृष्टिकोण अपनाता है।हम बिना किसी कोड परिवर्तन या पुन: तैनाती के माइक्रोसर्विसेज़ पर ट्रैफ़िक का निरीक्षण करने के लिए कर्नेल स्तर पर एक ईबीपीएफ-आधारित सेंसर का उपयोग करते हैं।जैसे ही आप एलएलएम वर्कफ़्लो पेश करते हैं, हम उन कॉलों को स्वचालित रूप से खोज सकते हैं।यदि आप कल एंथ्रोपिक, ओपनएआई, या बेडरॉक जैसे नए मॉडल का उपयोग करना शुरू करते हैं, तो ग्राउंडकवर उस ट्रैफ़िक को स्वचालित रूप से कैप्चर कर लेता है। इससे आपको मिलता है:

क्योंकि सब कुछ ईबीपीएफ द्वारा किनारे पर एकत्र किया जाता है और आपके अपने क्लाउड में संग्रहीत किया जाता है, आपको प्रत्येक एजेंट या टूल कॉल के अंदर इंस्ट्रूमेंटेशन जोड़े बिना यह उच्च-ग्रैन्युलैरिटी दृश्य मिलता है।

आप एलएलएम परिनियोजन में कौन से डेटा-सुरक्षा और अनुपालन जोखिम उभरते हुए देखते हैं, और अवलोकन उन जोखिमों को कम करने में कैसे मदद कर सकता है?

एलएलएम परिनियोजन कुछ अद्वितीय डेटा जोखिम लाते हैं:

ग्राउंडकवर का आर्किटेक्चर बिल्कुल उन्हीं चिंताओं को दूर करने के लिए डिज़ाइन किया गया है:

दूसरे शब्दों में, अवलोकन न केवल विश्वसनीयता और लागत उपकरण बन जाता है, बल्कि गोपनीयता, डेटा निवास और अनुपालन के लिए एक प्रमुख नियंत्रण बिंदु भी बन जाता है।

जैसे-जैसे संगठन एक एलएलएम एकीकरण से लेकर कई एआई-संचालित सेवाओं तक बढ़ते हैं, दृश्यता, विश्वसनीयता और लागत के आसपास कौन सी परिचालन संबंधी चुनौतियाँ सामने आती हैं?

पहला एकीकरण आमतौर पर एकल वर्कफ़्लो में एकल मॉडल होता है।उस स्तर पर, चीजें प्रबंधनीय लगती हैं।जैसे ही टीमें मूल्य देखती हैं, उपयोग बढ़ जाता है और कई चुनौतियाँ सामने आती हैं:

ग्राउंडकवर एआई ट्रैफ़िक की स्वतः खोज करके और फिर आपको यह बताकर इनका समाधान करता है:

इससे नियंत्रण खोए बिना “एक शानदार एआई सुविधा” से “एआई दर्जनों महत्वपूर्ण सेवाओं में बुना हुआ है” तक स्केल करना बहुत आसान हो जाता है।

आगे देखते हुए, आप कैसे उम्मीद करते हैं कि अगले पांच वर्षों में एलएलएम अवलोकन क्षमता विकसित होगी क्योंकि एजेंटिक एआई, मल्टी-मॉडल ऑर्केस्ट्रेशन और नियामक दबाव में तेजी आएगी?

हम अभी शुरुआती दिनों में हैं. अगले पाँच वर्षों में, मुझे कुछ बड़े बदलावों की उम्मीद है:

संक्षेप में, एलएलएम अवलोकनशीलता “एआई के लिए डैशबोर्ड होना अच्छा” से केंद्रीय तंत्रिका तंत्र में विकसित होगी जो विश्वसनीयता, लागत नियंत्रण, डेटा प्रशासन और उत्पाद की गुणवत्ता को एआई के साथ एक संगठन द्वारा किए जाने वाले हर काम से जोड़ती है।

बेहतरीन साक्षात्कार के लिए धन्यवाद, जो पाठक अधिक जानना चाहते हैं, उन्हें अवश्य आना चाहिए groundcover.