निकुंज बाजाज, ट्रूफाउंड्री के सह-संस्थापक और सीईओ – साक्षात्कार श्रृंखला

आप मशीन लर्निंग अनुसंधान, उत्पादन एआई में फेसबुक, और बड़े पैमाने पर सिफारिश प्रणालियों में काम कर चुके हैं – क्या अनुभव आपको सबसे अधिक एंटरप्राइज़ एआई बुनियादी ढांचा कंपनी बनाने की ओर ले जाता है, और उस समय क्या दर्द नहीं था जो संबोधित नहीं किया गया था?

मेटा में, हमने मशीन लर्निंग को सॉफ़्टवेयर का एक विशेष मामला माना, और जेनएआई को मशीन लर्निंग का एक विशेष मामला माना, जिसके परिणामस्वरूप एक ऊर्ध्वाधर स्टैक था जिसमें सॉफ़्टवेयर नीचे था, मशीन लर्निंग मध्य में था, और जेनएआई ऊपर था। इस सेटअप में, यदि मैं एक मशीन लर्निंग डेवलपर हूं, तो मैं जो मॉडल बनाता हूं वे उसी तैनाती पैटर्न का पालन करते हैं जो सॉफ़्टवेयर के लिए है।

हालांकि, अधिकांश उद्यमों ने समानांतर स्टैक तैनात किए, जिसका अर्थ है कि उनके पास सॉफ़्टवेयर, मशीन लर्निंग, और जेनएआई के लिए अलग-अलग स्टैक थे। जैसे ही आप इन समानांतर स्टैक को देखते हैं, स्केलिंग अधिक जटिल हो जाती है क्योंकि मशीन लर्निंग और सॉफ़्टवेयर दुनिया के बीच हैंडओवर की आवश्यकता होती है।

हमारी टीम ने हमेशा मशीन लर्निंग मॉडल और मशीन लर्निंग बुनियादी ढांचे के निर्माण के बीच के giao क्षेत्र में काम किया है, इसलिए हमारे पास एक अनोखा दृष्टिकोण था जिसे हम उद्यमों में ला सकते थे और उन्हें उनकी विशिष्ट आवश्यकताओं के लिए अनुकूलित कर सकते थे। हमारे पास 2021 के अंत में एक परिकल्पना थी कि मशीन लर्निंग एक परिवर्तन बिंदु की ओर बढ़ रही थी, और जब यह होगा, तो अधिक कंपनियों को इन प्रणालियों को प्रभावी ढंग से तैनात और स्केल करने के लिए एक ऊर्ध्वाधर एकीकृत स्टैक की आवश्यकता होगी। यही बात हमें ट्रूफाउंड्री की स्थापना करने के लिए प्रेरित करती है, और हमारी परिकल्पना सही थी। चैटजीपीटी के 2022 के अंत में लॉन्च होने के बाद एआई अपनाने में तेजी आई।

जैसे ही एआई प्रणालियां प्रयोग से दैनिक संचालन में जाती हैं, विश्वसनीयता और विफलता के बारे में सोचने का तरीका क्या बदल गया है?

जेन एआई के साथ दांव पर लगे हुए बहुत अधिक हैं, जो पारंपरिक मशीन लर्निंग प्रणालियों की तुलना में बहुत अधिक हैं। जैसे ही ये प्रणालियां उत्पादन में जाती हैं, संगठनों को बहुत अधिक अस्पष्टता और गैर-निर्धारकता के साथ निपटना पड़ता है क्योंकि एलएलएम स्वाभाविक रूप से स्टोकास्टिक होते हैं। एलएलएम के ऊपर बनाए गए एजेंटिक सिस्टम अतिरिक्त अस्पष्टता जोड़ते हैं।

इसके अलावा, विफलताएं अब द्विआधारी नहीं हैं। इसके बजाय प्रणालियों के विफल होने या न होने के, कई मुद्दे आंशिक विफलताओं या मौन अपक्षय के रूप में प्रकट होते हैं। प्रणालियां उच्च विलंबता, खराब गुणवत्ता या समय के साथ गलत व्यवहार के साथ प्रतिक्रिया कर सकती हैं। कई मामलों में, ये अपक्षय अधिक कठिन हो सकते हैं और कभी-कभी एक कठोर आउटेज से भी अधिक हानिकारक हो सकते हैं।

संगठनों को विश्वसनीयता के बारे में नहीं सोचना चाहिए, केवल अपटाइम के रूप में, बल्कि प्रदर्शन में गिरावट के बारे में भी सोचना चाहिए।

ट्रूफेलोवर को एक उच्च-प्रोफ़ाइल क्लाउड और एआई सेवा व्यवधानों की लहर के बीच लॉन्च किया गया था – हाल की कौन सी घटनाएं एआई विश्वसनीयता को एक “नाइस-टू-हैव” से एक मूल आर्किटेक्चरल आवश्यकता में बदलने की ओर ले जाती हैं?

हमारे एक स्वास्थ्य सेवा ग्राहक, जो नुस्खे से संबंधित वास्तविक समय, समय-संवेदनशील रोगी अनुरोधों को संसाधित करता है, एक मॉडल विफलता के कारण हुए एक आउटेज से प्रभावित हुआ था। उनके कार्य प्रवाह प्रति सेकंड हजारों डॉलर का राजस्व उत्पन्न करते हैं, और आउटेज ने इन महत्वपूर्ण कार्य प्रवाहों में से कुछ को बाधित किया। एक शुरुआती ट्रूफेलोवर ग्राहक के रूप में, हम त्वरित वसूली में मदद करने में सक्षम थे, और प्रभाव सीमित था।

इस तरह की घटनाएं एक महत्वपूर्ण प्रश्न उठाती हैं। जैसे ही जेन एआई प्रणालियों के दांव बढ़ते हैं, क्यों विफलता प्रक्रियाएं अभी भी बड़े पैमाने पर मैनुअल हैं? यह विचार को मजबूत करता है कि प्रणालियों को इस धारणा के साथ डिज़ाइन किया जाना चाहिए कि विफलताएं होंगी, और उन्हें स्वचालित रूप से स्वयं को सुधारने में सक्षम होना चाहिए। विश्वसनीयता को भी एआई स्टैक में ही निर्मित किया जाना चाहिए, एआई गेटवे के उपयोग के माध्यम से, जो केंद्रीकृत मार्गदर्शन, निगरानी, गार्डरेल और बुद्धिमान मॉडल स्विचिंग प्रदान कर सकते हैं।

एआई आउटेज को अक्सर तकनीकी हिचकिचाहट के रूप में प्रस्तुत किया जाता है – आप एआई प्रणालियों के नीचे आने पर आर्थिक और मानवीय लागतें कहां देखते हैं?

उद्यम एआई ने उस बिंदु तक विकसित किया है जहां ये हिचकिचाहट अब केवल आंतरिक कार्य प्रवाहों को प्रभावित नहीं करती हैं। आज, आउटेज और अपक्षय सीधे और तुरंत लाभ और सार्वजनिक धारणा को प्रभावित करते हैं, क्योंकि उत्पादन उपयोग मामले अब ग्राहक-सामना करने वाले हैं। यह आंतरिक परीक्षण से उच्च दांव वाले सार्वजनिक-सामना करने वाले अनुप्रयोगों में परिवर्तन के कारण हम कार्यकारी ध्यान और पर्यवेक्षण की बढ़ती मांग देख रहे हैं।

एआई प्रणालियां अब ऑपरेशनल कार्य प्रवाहों में गहराई से जुड़ी हुई हैं, आउटेज अब केवल तकनीकी मुद्दे नहीं हैं। वे व्यावसायिक, ग्राहक और प्रतिष्ठा परिणामों को बढ़ते रूप से प्रभावित करते हैं।

मिशन-क्रिटिकल वातावरण जैसे फार्मेसियों, स्वास्थ्य सेवा संचालन, या ग्राहक सहायता में, एआई डाउनटाइम कितनी जल्दी से ऑपरेशनल या प्रतिष्ठा जोखिम में वृद्धि कर सकता है?

मिशन-क्रिटिकल वातावरण में, वृद्धि लगभग तुरंत होती है क्योंकि ये प्रणालियां वास्तविक समय, समय-संवेदनशील कार्य प्रवाहों का समर्थन करती हैं। यहां तक कि एक छोटी व्यवधान भी महत्वपूर्ण प्रक्रियाओं को रोक सकता है, सेवा वितरण में देरी कर सकता है, या निर्भर प्रणालियों में प्रभाव डाल सकता है, जो संगठन भर में कैस्केडिंग ऑपरेशनल प्रभाव पैदा कर सकता है।

स्वास्थ्य सेवा जैसे क्षेत्रों में, प्रभाव ग्राहक अनुभव और सेवा परिणामों से परे हो जाता है। यदि एक रोगी अपनी नुस्खे को समय पर पूरा नहीं कर पाता है, तो वास्तविक परिणाम हो सकते हैं। यह न केवल रोगी के लिए एक मुद्दा है, बल्कि यह एक फार्मेसी या स्वास्थ्य सेवा प्रदाता की प्रतिष्ठा को भी नुकसान पहुंचा सकता है। मिशन-क्रिटिकल वातावरण में जहां विश्वास एक कारक है, यह महत्वपूर्ण है कि प्रणालियां ऑनलाइन रहें। यही कारण है कि संगठनों को बढ़ते रूप से यह पहचान रहा है कि एआई प्रणालियों को इस धारणा के साथ डिज़ाइन किया जाना चाहिए कि विफलताएं होंगी और वसूली तंत्र को स्वचालित रूप से जोखिम को कम करने के लिए सक्रिय होना चाहिए।

आपका मानना है कि कई टीमें क्षमता के लिए आर्किटेक्ट करती हैं, न कि निरंतरता के लिए – आप सोचते हैं कि एआई प्रणाली डिज़ाइन में लचीलापन ऐतिहासिक रूप से क्यों कम प्राथमिकता दी गई है?

यह मुख्य रूप से संगठनों के भीतर प्रोत्साहनों के कारण है। नई क्षमताएं दिखाई देती हैं और रोमांचक होती हैं। वे डेमो, सुविधाओं और उत्पाद संभावनाओं को अनलॉक करती हैं जिन्हें नेतृत्व तुरंत देख सकता है।

निरंतरता, परिभाषा के अनुसार, तब अदृश्य होती है जब चीजें अच्छी तरह से काम कर रही होती हैं। इसके कारण, पुरस्कार प्रणालियां नए सुविधाओं को जहाज करने की तुलना में निरंतरता इंजीनियरिंग में निवेश की ओर झुकी हुई हैं।

जैसे ही उद्यम बाहरी मॉडल और एपीआई पर बढ़ते रूप से निर्भर होते हैं, एआई स्टैक में कौन सी नई कमजोरियां पेश की जा रही हैं जिनकी नेताओं को अभी तक पूरी तरह से सराहना नहीं है?

एलएलएम मूल रूप से साझा संसाधन हैं, और उद्यम उन्हें पारंपरिक बुनियादी ढांचे की तरह स्वामित्व नहीं रखते हैं। इसके अलावा, महत्वपूर्ण व्यावसायिक-महत्वपूर्ण प्रणालियां उद्यमों के साथ बाहरी प्रणालियों पर चल रही हैं जो पूरी तरह से समय-परीक्षण नहीं की गई हैं। एलएलएम स्वयं तेजी से विकसित हो रहे हैं, जिसका अर्थ है कि एक मॉडल प्रदाता विलंबता या मॉडल प्रदर्शन में थोड़ी गिरावट जैसी चीजों के लिए जिम्मेदार नहीं रखा जा सकता है, क्योंकि वे अपने शोध पर बहुत तेजी से पुनरावृत्ति कर रहे हैं।

एलएलएम साझा संसाधन होने के कारण, विलंबता बढ़ सकती है क्योंकि इन एलएलएम का उपभोग करने वाला कोई अन्य विशिष्ट कार्रवाई करता है। एलएलएम के मूल स्वरूप के कारण कई विफलता बिंदु पेश किए जाते हैं, और उद्यम इस नए दुनिया में पूर्ण नियंत्रण नहीं रखते हैं। पूर्ण नियंत्रण के बिना, एक उद्यम सबसे अच्छी बात यह कर सकता है कि वह एक लचीली प्रणाली को डिज़ाइन करने के लिए पर्याप्त सिस्टम लचीलापन बनाए।

विशिष्ट उत्पादों पर ध्यान केंद्रित किए बिना, संगठनों को विफलता को मानने के बजाय दुर्लभ किनारे के मामलों के रूप में आउटेज के बारे में कैसे सोचना चाहिए?

संगठनों को वितरित प्रणाली डिज़ाइन के पहले सिद्धांतों पर लौट जाना चाहिए। सॉफ़्टवेयर प्रणालियों को इस धारणा के साथ बनाया गया था कि नेटवर्क घटक और मशीनें विफल हो जाएंगी, और एक पूरा क्षेत्र नीचे जा सकता है।

एआई प्रणालियां कोई अलग नहीं होनी चाहिए। हमें यह मानना चाहिए कि मॉडल प्रदाता विलंबता मुद्दों, अपक्षय या आउटेज का अनुभव करेंगे, और प्रेषण के विभिन्न विफलता परिदृश्यों में अनुप्रयोगों को लचीला बनाने के लिए लचीलापन शामिल करना चाहिए।

क्या आप उम्मीद करते हैं कि एआई लचीलापन मंच और विक्रेता चयन में एक निर्णायक कारक बन जाएगा, जैसे कि अपटाइम और लचीलापन ने क्लाउड बुनियादी ढांचे के निर्णयों को आकार दिया है?

जैसे ही अधिक एआई प्रणालियां उत्पादन में जाती हैं, लचीलापन टेबल स्टेक्स बन जाएगा। यदि एक विक्रेता अपने ग्राफ और मेट्रिक्स को अपटाइम और समग्र लचीलापन पर प्रदर्शित नहीं कर सकता है, तो वे विचाराधीन नहीं होंगे। एक बार लचीलापन विक्रेताओं में एक आधारभूत अपेक्षा बन जाए, तो निर्णायक कारक उपयोगकर्ता अनुभव, प्रदर्शन अनुकूलन, निगरानी, और उच्च-स्तरीय उत्पाद क्षमताओं की ओर स्थानांतरित हो जाएंगे। समय के साथ, घटक जैसे कि एक एआई गेटवे और स्वचालित फेलओवर क्षमताएं एआई बुनियादी ढांचे के मूलभूत तत्व बन जाएंगी।

आगे देखते हुए, एआई को निरंतर उपलब्ध होने की अपेक्षा की जाने वाली दुनिया में “उत्पादन तैयार” एआई वास्तव में क्या मतलब है?

उत्पादन तैयार एआई प्रणालियों को दृश्य, नियंत्रित और पुनर्प्राप्त करने योग्य होना चाहिए। इन तीनों बक्सों को चेक किया जाना चाहिए।

उत्पादन एआई के लिए दृश्य होने के लिए, टीमों को मॉडल व्यवहार, विलंबता, त्रुटि दर, टोकन उपयोग, ड्रिफ्ट और विफलता पैटर्न में गहरी दृश्यता की आवश्यकता है। मजबूत दृश्यता के बिना, यह बहुत मुश्किल हो जाता है कि उपयोगकर्ता ध्यान देने से पहले ही अपक्षय का पता लगाया जा सके।

प्रणालियों को नियंत्रित करने के लिए, इसमें ट्रैफिक शेपिंग, दर सीमा, गार्डरेल, नीति प्रवर्तन और मॉडल और प्रदाताओं के पार स्मार्ट राउटिंग शामिल है। यह वह जगह है जहां एक एआई गेटवे मूलभूत हो जाता है, एक केंद्रीकृत नियंत्रण विमान के रूप में कार्य करता है जो गार्डरेल को लागू करता है, सुसंगत शासन प्रदान करता है, और प्रदर्शन या विश्वसनीयता में गिरावट के समय गतिशील मॉडल स्विचिंग को सक्षम बनाता है।

और अंत में, जब यह पुनर्प्राप्त करने की बात आती है, तो प्रणालियों को इस धारणा के साथ डिज़ाइन किया जाना चाहिए कि घटक आंशिक रूप से या पूरी तरह से टूटे हो सकते हैं, चाहे वह प्रदाता आउटेज, खराब मॉडल गुणवत्ता, दर सीमा या दुर्भाग्यपूर्ण अभिनेताओं से अप्रत्याशित इनपुट के कारण हो। स्वचालित फेलओवर और स्व-चिकित्सा तंत्र वास्तुकला में स्वदेशी होने चाहिए, न कि मैनुअल प्लेबुक जो कुछ गलत होने के बाद ट्रिगर की जाती हैं।

यह दिशा है जिस पर हम ट्रूफाउंड्री में काम कर रहे हैं। विक्रेता जो उत्पादन तैयारता को इस तरह परिभाषित करते हैं, दृश्यता, केंद्रीकृत नियंत्रण और स्वचालित पुनर्प्राप्ति को जोड़ते हुए, लंबी अवधि के ग्राहक विश्वास हासिल करेंगे और जैसे ही वे उत्पन्न होते हैं नई समस्याओं का समाधान करने में सक्षम होंगे।

महान साक्षात्कार के लिए धन्यवाद, पाठक जो अधिक जानना चाहते हैं उन्हें ट्रूफाउंड्री पर जाना चाहिए।