शाहर अज़ुले, ग्राउंडकवर के सीईओ और सह-संस्थापक

शाहर अज़ुले, ग्राउंडकवर के सीईओ और सह-संस्थापक एक श्रृंखला अनुसंधान और विकास नेता हैं। शाहर साइबर सुरक्षा और मशीन लर्निंग की दुनिया में अनुभव लाते हैं, जिसमें उन्होंने एप्पल, डेटू और साइमोटिव टेक्नोलॉजीज जैसी कंपनियों में नेतृत्व किया है। शाहर ने इज़राइली प्रधान मंत्री कार्यालय के साइबर विभाग में कई वर्षों तक काम किया और तकनीक इज़राइल इंस्टीट्यूट ऑफ टेक्नोलॉजी और तेल अवीव विश्वविद्यालय से भौतिकी, इलेक्ट्रिकल इंजीनियरिंग और कंप्यूटर विज्ञान में तीन डिग्री रखते हैं। शाहर इस समृद्ध पृष्ठभूमि से तकनीकी ज्ञान का उपयोग करने का प्रयास करते हैं और इसे आज के क्लाउड-मूल बैटलफील्ड में सबसे तेज़ और सबसे नवाचारी रूप में लाने का प्रयास करते हैं ताकि डेव की दुनिया को बेहतर बनाया जा सके।

ग्राउंडकवर एक क्लाउड-मूल अवलोकनीयता प्लेटफ़ॉर्म है जो इंजीनियरिंग टीमों को उनके सिस्टम में पूर्ण, वास्तविक समय की दृश्यता प्रदान करने के लिए डिज़ाइन किया गया है, बिना पारंपरिक निगरानी उपकरणों की जटिलता या लागत के। ईबीपीएफ प्रौद्योगिकी पर निर्मित, यह क्लाउड-मूल और कुबेरनेट्स वातावरण में लॉग, मेट्रिक्स, ट्रेस और घटनाओं को इकट्ठा करता है और संबंधित करता है, बिना कोड परिवर्तन के, जो तेजी से मूल कारण विश्लेषण और स्पष्ट प्रणाली अंतर्दृष्टि को सक्षम बनाता है। प्लेटफ़ॉर्म में पूर्वानुमानित मूल्य निर्धारण, लचीला तैनाती पर जोर दिया जाता है जो डेटा को ग्राहक के क्लाउड में रखता है, और बुनियादी ढांचे, अनुप्रयोगों और आधुनिक एआई-संचालित कार्यभार को शामिल करने वाली अंत-से-अंत अवलोकनीयता पर जोर दिया जाता है।

अपनी यात्रा पर वापस देखें, साइबर आरएंडडी टीमों का नेतृत्व करने से लेकर एमएल पहलों का प्रबंधन करने तक एप्पल में – कौन से अनुभव अंततः आपको ग्राउंडकवर की स्थापना की ओर ले जाने के लिए प्रेरित किया, और जब आपने आधुनिक एआई प्रणालियों के लिए अवलोकनीयता में अंतर को पहली बार पहचाना?

ग्राउंडकवर की स्थापना के लिए प्रेरणा मेरे समय से आई थी एप्पल और डेटू में। यहां तक कि बड़े बजट के साथ, हमें यह चुनना पड़ा कि हम सब कुछ लॉग करने के लिए एक भाग्य का भुगतान करें या नमूना लें और अंधे हो जाएं। उस समय, हम एक प्रौद्योगिकी की तलाश में थे जो उस समस्या का समाधान करेगी। एक बार जब हम एक्सटेंडेड बर्कले पैकेट फिल्टर (ईबीपीएफ) में चले गए, तो यह स्पष्ट था कि यह सब कुछ बदल देगा। ईबीपीएफ हमें कERNEL में होने वाली हर चीज़ को देखने की अनुमति देता है बिना एप्लिकेशन परिवर्तनों पर निर्भर हुए। मुझे यह समझ नहीं आया कि अवलोकनीयता उपकरण उस लाभ का लाभ क्यों नहीं उठा रहे थे। एआई अंतराल बाद में स्पष्ट हो गया। एक बार जब हमारा कुबेरनेट्स प्लेटफ़ॉर्म परिपक्व हो गया, तो हमने ग्राहकों को जेनएआई तैनाती में भाग लेते हुए देखा, जबकि एलएलएम को ब्लैक बॉक्स की तरह मानते हुए। वे जानते थे कि मॉडल प्रतिक्रिया देता है, लेकिन यह नहीं जानता कि यह क्यों अस्थिर रूप से व्यवहार करता है या लागत क्यों बढ़ रही है। हमने महसूस किया कि एजेंटिक कार्यभार जटिल, गैर-निर्धारित माइक्रोसेवाएं हैं जिन्हें हमने पहले से ही ज़ीरो-टच दृश्यता का निर्माण किया है।

साइबर सुरक्षा, एम्बेडेड सिस्टम और मशीन लर्निंग अनुसंधान और विकास में आपकी पृष्ठभूमि ने ग्राउंडकवर के पीछे दृष्टि को कैसे प्रभावित किया, और एलएलएम-संचालित और एजेंटिक अनुप्रयोगों के लिए अवलोकनीयता पर केंद्रित एक कंपनी बनाने के शुरुआती चुनौतियों का सामना कैसे किया?

मेरी साइबर पृष्ठभूमि ने कंपनी के डीएनए को आकार दिया। खुफिया दुनिया में, आप मानते हैं कि आप अनुप्रयोग पर नियंत्रण नहीं रखते हैं। यह दृष्टिकोण है कि ग्राउंडकवर को उपकरण की आवश्यकता नहीं है। मुझे अपने अनुभव से पता है कि डेवलपर्स से कोड बदलने के लिए कहना अपनाने को ब्लॉक करने का सबसे तेज़ तरीका है। एलएलएम निगरानी में सबसे कठिन शुरुआती चुनौती गोपनीयता थी। एआई के लिए अवलोकनीयता प्रॉम्प्ट्स को पकड़ सकती है जो संवेदनशील पीआईआई या आईपी हो सकती है। मेरी पृष्ठभूमि ने यह स्पष्ट कर दिया कि उद्यम नहीं चाहेंगे कि यह डेटा उनके पर्यावरण से बाहर जाए। यही कारण है कि हमने अपनी इन-क्लाउड आर्किटेक्ट्चर का निर्माण किया, जिससे हम एजेंट व्यवहार में गहरी दृश्यता प्रदान कर सकते हैं जबकि सभी डेटा ग्राहक के स्वयं के पर्यावरण के भीतर रहता है।

एलएलएम अवलोकनीयता को आप कैसे परिभाषित करते हैं, और यह पारंपरिक निगरानी या एमएल निगरानी से कैसे अलग है?

एलएलएम अवलोकनीयता उत्पादन प्रणालियों को साधने और निगरानी करने की प्रथा है जो बड़े भाषा मॉडल का उपयोग करती हैं ताकि आप प्रत्येक अनुमान के पूर्ण संदर्भ को पकड़ सकें: प्रॉम्प्ट, संदर्भ, पूर्णता, टोकन उपयोग, देरी, त्रुटियां, मॉडल मेटाडेटा और आदर्श रूप से डाउनस्ट्रीम फीडबैक या गुणवत्ता संकेत। इसके बजाय “क्या सेवा चालू है और तेज़ है?” या “क्या इस अनुरोध में त्रुटि हुई?” पूछने के बजाय, एलएलएम अवलोकनीयता आपको ऐसे प्रश्नों के उत्तर देने में मदद करती है जैसे “यह विशिष्ट अनुरोध क्यों सफल या विफल हुआ?”, “इस मल्टी-स्टेप वर्कफ़्लो में वास्तव में क्या हुआ?”, और “प्रॉम्प्ट्स, संदर्भ, या मॉडल संस्करणों में परिवर्तन लेटेंसी, लागत और आउटपुट गुणवत्ता को कैसे प्रभावित कर रहे हैं?” यह पारंपरिक निगरानी या यहां तक कि शास्त्रीय एमएल निगरानी से बहुत अलग है। विरासत दृष्टिकोण निर्धारित प्रणालियों, बुनियादी ढांचे मेट्रिक्स और स्थिर सीमा के लिए अनुकूलित हैं। एलएलएम अनुप्रयोग गैर-निर्धारित, खुले और अत्यधिक संदर्भ-निर्भर हैं। सफलता अक्सर सेमेंटिक और विषयगत होती है, न कि केवल 200 बनाम 500 स्थिति कोड। इसका मतलब है कि आपको इनपुट और आउटपुट को ट्रेस करना होगा, टूल कॉल और पुनर्प्राप्ति चरणों को समझना होगा, प्रतिक्रियाओं का मूल्यांकन करना होगा जैसे कि भ्रम या नीति उल्लंघन, और टोकन-स्तर की लागत और देरी को आसपास के अनुप्रयोग और बुनियादी ढांचे से जोड़ना होगा।

एलएलएम-संचालित अनुप्रयोग पारंपरिक अवलोकनीयता उपकरणों की कमियों को उजागर करने वाली कौन सी चुनौतियां पेश करते हैं?

एलएलएम-संचालित प्रणालियों में कई चुनौतियां हैं जो पारंपरिक उपकरणों की सीमाओं को उजागर करती हैं:

• जटिल, मल्टी-स्टेप वर्कफ़्लो – हम सरल “मॉडल को कॉल करें, प्रतिक्रिया प्राप्त करें” प्रवाह से मल्टी-टर्न एजेंटों, मल्टी-स्टेप पाइपलाइनों, पुनर्प्राप्ति से बढ़ाए गए पीढ़ी और टूल के उपयोग में चले गए हैं। इन चरणों में से किसी एक में एक मौन विफलता, जैसे पुनर्प्राप्ति, समृद्धि, एम्बेडिंग, टूल कॉल या मॉडल कॉल, पूरे अनुभव को तोड़ सकती है। पारंपरिक निगरानी आमतौर पर प्रॉम्प्ट्स और प्रतिक्रियाओं के साथ इन श्रृंखलाओं का एक पूर्ण, ट्रेस-स्तर का दृश्य प्रदान नहीं करती है।
• तेजी से विकसित हो रहे एआई स्टैक – टीमें नए मॉडल, टूल और विक्रेताओं को एक ऐसी गति से जोड़ रही हैं जिसे उन्होंने पहले कभी नहीं देखा है। कई कंपनियों में, कोई भी यह नहीं बता सकता कि कौन से मॉडल किसी दिए गए समय में उत्पादन में हैं। क्लासिक अवलोकनीयता आमतौर पर यह मान लेती है कि आपके पास एसडीके को उपकरण करने, पुनः तैनात करने और ध्यान से क्या मापा जाए, इसे देखने के लिए समय है। एआई को अपनाने की गति के साथ यह बस नहीं रखता है।
• टोकन-आधारित अर्थव्यवस्था और कोटा – मूल्य निर्धारण और दर सीमाएं टोकन और संदर्भ लंबाई से जुड़ी हुई हैं, जो अक्सर विकासकर्ताओं, प्रॉम्प्ट्स या उपयोगकर्ता व्यवहार द्वारा नियंत्रित होती हैं, न कि केंद्रीय ऑप्स द्वारा। पारंपरिक उपकरण टोकन का उपयोग मॉडल, वर्कफ़्लो और सेवा के साथ कैसे दिखाने के लिए नहीं बनाए गए हैं।
• सेमेंटिक सहीपन के बजाय बाइनरी सफलता – एक एलएलएम 200 के साथ प्रतिक्रिया दे सकता है और फिर भी भ्रमित कर सकता है, अपने प्रॉम्प्ट से दूर जा सकता है या नीति का उल्लंघन कर सकता है। पारंपरिक उपकरण इसे सफलता के रूप में देखते हैं। आपको अवलोकनीयता की आवश्यकता है जो प्रॉम्प्ट्स और प्रतिक्रियाओं को सतह पर ला सकती है और आपको व्यवहार की जांच करने और समय के साथ स्वचालित गुणवत्ता जांच में प्लग करने के लिए पर्याप्त संदर्भ प्रदान कर सकती है।
• तृतीय-पक्ष मॉडल प्रदाताओं में संवेदनशील इनपुट डेटा प्रवाह – एलएलएम उपयोगकर्ताओं को चैट-शैली के इंटरफेस के माध्यम से बहुत संवेदनशील जानकारी साझा करने के लिए आमंत्रित करते हैं। अब आप उस डेटा के लिए जिम्मेदार हैं जो आप एकत्र करते हैं, जहां यह संग्रहीत किया जाता है और कौन से विक्रेता इसे देखते हैं। यह जीडीपीआर, डेटा निवास और ग्राहक विश्वास के लिए महत्वपूर्ण परिणाम है।

यह सब बताता है कि एलएलएम प्रणालियों को अवलोकनीयता की आवश्यकता है जो एआई के प्रति जागरूक, संदर्भ-समृद्ध और आज उपयोग किए जाने वाले अधिकांश उपकरणों की तुलना में मैनुअल उपकरण के लिए बहुत कम निर्भर है।