नीतू पाठक, स्काइमेल के सह-संस्थापक और सीईओ – साक्षात्कार श्रृंखला

नीतू पाठक, स्काइमेल के सह-संस्थापक और सीईओ, कंपनी को एआई अनुमान के क्षेत्र में क्रांति लाने के लिए अपनी नवाचारी न्यूरोस्प्लिट™ तकनीक के साथ आगे बढ़ा रहे हैं। सीटीओ सुशांत त्रिपाठी के साथ, वह स्काइमेल के मिशन को एआई अनुप्रयोगों के प्रदर्शन को बढ़ाने और गणनात्मक लागतों को कम करने के लिए आगे बढ़ा रही है।

न्यूरोस्प्लिट™ एक अनुकूली अनुमान तकनीक है जो गतिशील रूप से एआई कार्यभार को अंत-उपयोगकर्ता उपकरणों और क्लाउड सर्वर के बीच वितरित करती है। यह दृष्टिकोण उपयोगकर्ता उपकरणों पर खाली गणना संसाधनों का लाभ उठाता है, क्लाउड बुनियादी ढांचे की लागत को 60% तक कम करता है, अनुमान गति को तेज करता है, डेटा गोपनीयता सुनिश्चित करता है, और निर्बाध रूप से स्केलेबिलिटी को सक्षम बनाता है।

स्थानीय कंप्यूटिंग शक्ति को अनुकूलित करके, न्यूरोस्प्लिट™ एआई अनुप्रयोगों को पुराने जीपीयू पर भी कुशलता से चलने की अनुमति देता है, जिससे लागत में काफी कमी आती है और उपयोगकर्ता अनुभव में सुधार होता है।

आपको स्काइमेल की सह-स्थापना करने के लिए क्या प्रेरित किया, और न्यूरोस्प्लिट के साथ आप एआई बुनियादी ढांचे में किन प्रमुख चुनौतियों का समाधान करना चाहते थे?

स्काइमेल की प्रेरणा हमारे पूरक अनुभवों के संयोजन से मिली। जब मेरे सह-संस्थापक, सुशांत त्रिपाठी, गूगल में थे, तो उन्होंने अरबों एंड्रॉइड डिवाइसों पर भाषा-आधारित एआई मॉडल तैनात किए। उन्होंने पाया कि अंत-उपयोगकर्ता उपकरणों पर एक बड़ी मात्रा में खाली गणना शक्ति उपलब्ध थी, लेकिन अधिकांश कंपनियां उपयोगकर्ता अनुभव को समझौता किए बिना इन संसाधनों का प्रभावी ढंग से उपयोग नहीं कर पा रही थीं।

इस बीच, मेरा अनुभव रेडिस में उद्यमों और स्टार्टअप्स के साथ काम करने से मुझे यह समझ में आया कि व्यवसायों के लिए विलंबता कितनी महत्वपूर्ण हो रही थी। जैसे ही एआई अनुप्रयोग अधिक प्रचलित हो गए, यह स्पष्ट हो गया कि हमें प्रसंस्करण को डेटा बनाने के स्थान के करीब ले जाने की आवश्यकता है, न कि लगातार डेटा को डेटा केंद्रों में आगे और पीछे भेजने की।

यह तब था जब सुशांत और मैंने महसूस किया कि भविष्य स्थानीय या क्लाउड प्रसंस्करण के बीच चयन करने के बारे में नहीं था – यह एक बुद्धिमान प्रौद्योगिकी बनाने के बारे में था जो प्रत्येक विशिष्ट अनुमान अनुरोध के आधार पर स्थानीय, क्लाउड या हाइब्रिड प्रसंस्करण के बीच सहजता से अनुकूलित हो सके। यह अंतर्दृष्टि हमें स्काइमेल की स्थापना करने और न्यूरोस्प्लिट विकसित करने के लिए प्रेरित की, जो पारंपरिक बुनियादी ढांचे की सीमाओं से परे जा रहा था जो एआई नवाचार को रोक रहा था।

क्या आप बता सकते हैं कि न्यूरोस्प्लिट कैसे गणना संसाधनों को गतिशील रूप से अनुकूलित करता है, जबकि उपयोगकर्ता गोपनीयता और प्रदर्शन को बनाए रखता है?

स्थानीय एआई अनुमान में एक प्रमुख जाल में इसकी स्थिर गणना आवश्यकताएं शामिल हैं – पारंपरिक रूप से, एक एआई मॉडल चलाने के लिए समान गणनात्मक संसाधनों की मांग की जाती है, चाहे डिवाइस की स्थिति या उपयोगकर्ता व्यवहार कुछ भी हो। यह एक-आकार-फिट-सभी दृष्टिकोण वास्तविकता की अनदेखी करता है कि डिवाइसों में विभिन्न हार्डवेयर क्षमताएं होती हैं, विभिन्न नेटवर्क बैंडविथ होते हैं, और उपयोगकर्ताओं के पास विभिन्न व्यवहार पैटर्न होते हैं।

न्यूरोस्प्लिट विभिन्न डिवाइस तелемेट्री – हार्डवेयर क्षमताओं से लेकर वर्तमान संसाधन उपयोग, बैटरी स्थिति और नेटवर्क स्थितियों तक – लगातार निगरानी करता है। हम उपयोगकर्ता व्यवहार पैटर्न को भी कारक बनाते हैं, जैसे कि कितने अन्य अनुप्रयोग चल रहे हैं और विशिष्ट डिवाइस उपयोग पैटर्न। यह व्यापक निगरानी न्यूरोस्प्लिट को गतिशील रूप से निर्धारित करने की अनुमति देती है कि कितना अनुमान कंप्यूटे सुरक्षित रूप से अंत-उपयोगकर्ता डिवाइस पर चलाया जा सकता है, जबकि विकासकर्ताओं के प्रमुख प्रदर्शन संकेतकों के लिए अनुकूलन करता है।

जब डेटा गोपनीयता सर्वोपरि होती है, तो न्यूरोस्प्लिट सुनिश्चित करता है कि कच्चा डेटा डिवाइस से कभी बाहर नहीं निकलता है, संवेदनशील जानकारी को स्थानीय रूप से संसाधित करता है, जबकि अभी भी ऑप्टिमल प्रदर्शन बनाए रखता है। हमारी एआई मॉडल को स्मार्ट रूप से विभाजित, ट्रिम या डिकपल करने की क्षमता हमें एक ही क्वांटाइज्ड मॉडल की मेमोरी स्पेस में 50-100 एआई स्टब मॉडल फिट करने की अनुमति देती है। व्यावहारिक रूप से, इसका अर्थ है कि उपयोगकर्ता पारंपरिक स्थिर गणना दृष्टिकोण की तुलना में स्थानीय रूप से संवेदनशील डेटा को संसाधित करते हुए एक ही समय में काफी अधिक एआई-संचालित अनुप्रयोग चला सकते हैं।

न्यूरोस्प्लिट के अनुकूली अनुमान के लिए एआई कंपनियों के लिए मुख्य लाभ क्या हैं, विशेष रूप से उन लोगों के लिए जो पुरानी जीपीयू प्रौद्योगिकी के साथ काम कर रहे हैं?

न्यूरोस्प्लिट एआई कंपनियों के लिए तीन परिवर्तनकारी लाभ प्रदान करता है। पहला, यह बुनियादी ढांचे की लागत को नाटकीय रूप से कम करता है – कंपनियां सस्ते, पुराने जीपीयू का प्रभावी ढंग से उपयोग कर सकती हैं, और हमारी विशिष्ट क्षमता दोनों पूर्ण और स्टब मॉडल को क्लाउड जीपीयू पर फिट करने की अनुमति देती है, जो काफी उच्च जीपीयू उपयोग दरों को सक्षम बनाती है। उदाहरण के लिए, एक अनुप्रयोग जिसे आमतौर पर कई एनवीडिया ए100 की आवश्यकता होती है, जो प्रति घंटे $2.74 की लागत से आते हैं, अब एक ही ए100 या कई वी100 पर चल सकता है, जो केवल 83 सेंट प्रति घंटे की लागत से आते हैं।

दूसरा, हम प्रदर्शन में काफी सुधार करते हैं – हम उपयोगकर्ता उपकरणों पर सीधे प्रारंभिक कच्चे डेटा को संसाधित करके ऐसा करते हैं। इसका अर्थ है कि अंततः क्लाउड में यात्रा करने वाला डेटा आकार में बहुत छोटा है, नेटवर्क विलंबता को काफी कम करता है जबकि सटीकता को बनाए रखता है। यह हाइब्रिड दृष्टिकोण कंपनियों को दोनों दुनिया का सर्वश्रेष्ठ प्रदान करता है – स्थानीय प्रसंस्करण की गति और क्लाउड कंप्यूटिंग की शक्ति।

तीसरा, हम कंपनियों को संवेदनशील प्रारंभिक डेटा प्रसंस्करण को अंत-उपयोगकर्ता डिवाइस पर संसाधित करके मजबूत उपयोगकर्ता गोपनीयता सुरक्षा बनाए रखने में मदद करते हैं। यह तेजी से महत्वपूर्ण हो रहा है क्योंकि गोपनीयता नियम सख्त हो रहे हैं और उपयोगकर्ता अधिक गोपनीयता-conscious हो रहे हैं।

स्काइमेल का समाधान एआई अनुमान के लिए लागत को कैसे कम करता है बिना मॉडल जटिलता या सटीकता से समझौता किए?

पहले, हम व्यक्तिगत एआई मॉडल को विभाजित करके गणना को उपयोगकर्ता उपकरणों और क्लाउड के बीच वितरित करते हैं। पहला भाग उपयोगकर्ता के डिवाइस पर चलता है, जो कुल गणना के 5% से 100% तक संभालता है, उपलब्ध डिवाइस संसाधनों पर निर्भर करता है। केवल शेष गणना को क्लाउड जीपीयू पर संसाधित करने की आवश्यकता है।

इस विभाजन का अर्थ है कि क्लाउड जीपीयू एक कम गणनात्मक भार संभालते हैं – यदि एक मॉडल मूल रूप से एक पूर्ण ए100 जीपीयू की आवश्यकता थी, तो विभाजन के बाद, उसी कार्यभार को केवल जीपीयू की 30-40% क्षमता की आवश्यकता हो सकती है। यह कंपनियों को अधिक लागत-प्रभावी जीपीयू उदाहरणों जैसे वी100 का उपयोग करने की अनुमति देता है।

स्काइमेल के हाइब्रिड (स्थानीय + क्लाउड) दृष्टिकोण को बाजार में अन्य एआई बुनियादी ढांचे समाधानों से क्या अलग बनाता है?

एआई परिदृश्य एक आकर्षक बिंदु पर है। जबकि आज का फोकस क्लाउड में सामान्य बड़े भाषा मॉडल को स्केल करने पर है, अगले पांच वर्ष एआई को गहराई से व्यक्तिगत और संदर्भ-जागरूक होते देखेंगे। यह केवल फाइन-ट्यूनिंग के बारे में नहीं है – यह वास्तविक समय में विशिष्ट उपयोगकर्ताओं, उपकरणों और स्थितियों के अनुसार अनुकूलन करने वाले एआई के बारे में है।

स्काइमेल में, हम बुनियादी ढांचे का निर्माण कर रहे हैं जो विशेष रूप से इन चुनौतियों का समाधान करता है। हमारी तकनीक एआई को चलाने की अनुमति देती है जहां यह सबसे ज्यादा समझ में आता है – चाहे वह डेटा बनाने के स्थान पर डिवाइस हो, क्लाउड में अधिक कंप्यूटे उपलब्ध हो, या दोनों के बीच बुद्धिमानी से विभाजित हो। अधिक महत्वपूर्ण बात, यह निर्णय वास्तविक समय में बदलती स्थितियों और आवश्यकताओं के आधार पर अनुकूलित होते हैं।

ऑर्केस्ट्रेटर एजेंट न्यूरोस्प्लिट के साथ कैसे पूरक है, और यह एआई तैनाती रणनीतियों को बदलने में क्या भूमिका निभाता है?

ऑर्केस्ट्रेटर एजेंट (ओए) और न्यूरोस्प्लिट एक स्व-ऑप्टिमाइज़िंग एआई तैनाती प्रणाली बनाने के लिए मिलकर काम करते हैं:

1. डेवलपर्स सीमाएं निर्धारित करते हैं:

• प्रतिबंध: अनुमत मॉडल, संस्करण, क्लाउड प्रदाता, क्षेत्र, अनुपालन नियम
• लक्ष्य: लक्ष्य विलंबता, लागत सीमा, प्रदर्शन आवश्यकताएं, गोपनीयता आवश्यकताएं

2. ओए इन सीमाओं के भीतर लक्ष्यों को प्राप्त करने के लिए काम करता है:

• यह तय करता है कि प्रत्येक अनुरोध के लिए कौन से मॉडल/एपीआई का उपयोग करना है
• वास्तविक दुनिया के प्रदर्शन के आधार पर तैनाती रणनीतियों को अनुकूलित करता है
• निर्दिष्ट लक्ष्यों के लिए अनुकूलन करने के लिए व्यापार बंद करता है
• तत्काल आवश्यकताओं में बदलाव के रूप में पुनः कॉन्फ़िगर किया जा सकता है

3. न्यूरोस्प्लिट ओए के निर्णयों को निष्पादित करता है:

• वास्तविक समय डिवाइस टेलीमेट्री का उपयोग करके निष्पादन को अनुकूलित करता है
• लाभकारी होने पर डिवाइस और क्लाउड के बीच प्रसंस्करण को विभाजित करता है
• यह सुनिश्चित करता है कि प्रत्येक अनुमान वर्तमान स्थितियों को देखते हुए ऑप्टिमल रूप से चलता है

यह एक एआई प्रणाली की तरह है जो स्वचालित रूप से अपने आप को आपके द्वारा परिभाषित नियमों और लक्ष्यों के भीतर अनुकूलित करती है, न कि प्रत्येक परिदृश्य के लिए मैनुअल अनुकूलन की आवश्यकता होती है।

आपके विचार में, ऑर्केस्ट्रेटर एजेंट एआई की तैनाती को उद्योगों में कैसे फिर से परिभाषित करेगा?

यह तीन महत्वपूर्ण चुनौतियों का समाधान करता है जो एआई अपनाने और नवाचार को रोक रही हैं।

पहले, यह कंपनियों को नवीनतम एआई प्रगति के साथ तालमेल रखने की अनुमति देता है। ऑर्केस्ट्रेटर एजेंट के साथ, आप तुरंत नवीनतम मॉडल और तकनीकों का लाभ उठा सकते हैं बिना अपने बुनियादी ढांचे को फिर से काम किए। यह एक तेजी से आगे बढ़ रहे एआई नवाचार की दुनिया में एक बड़ा प्रतिस्पर्धी लाभ है।

दूसरा, यह प्रत्येक उपयोगकर्ता परिचय के लिए प्रति-अनुरोध अनुमान मॉडल चयन को सक्षम बनाता है। ऑर्केस्ट्रेटर एजेंट विभिन्न मॉडलों को एक दूसरे के साथ मिलाकर उपयोगकर्ता के परिचय के लिए सर्वोत्तम संभव परिणाम प्रदान कर सकता है। उदाहरण के लिए, एक ग्राहक सेवा एआई एक तकनीकी प्रश्न के लिए एक विशेष मॉडल और एक बिलिंग प्रश्न के लिए एक अलग मॉडल का उपयोग कर सकता है, प्रत्येक प्रकार के परिचय के लिए बेहतर परिणाम प्रदान करता है।

तीसरा, यह प्रदर्शन को अधिकतम करते हुए लागत को कम करता है। एजेंट स्वचालित रूप से उपयोगकर्ता के डिवाइस पर या क्लाउड में एआई चलाने के बीच संतुलन बनाता है, जो कि उस समय सबसे अधिक समझ में आता है। जब गोपनीयता महत्वपूर्ण होती है, तो यह सुनिश्चित करता है कि डेटा स्थानीय रूप से संसाधित किया जाता है। जब अतिरिक्त कंप्यूटिंग शक्ति की आवश्यकता होती है, तो यह क्लाउड का लाभ उठाता है। यह सब पृष्ठभूमि में होता है, जिससे उपयोगकर्ताओं के लिए एक चिकनी अनुभव बनता है और व्यवसायों के लिए संसाधनों का अनुकूलन होता है।

आपको स्काइमेल के ऑर्केस्ट्रेटर एजेंट के निजी बीटा में भाग लेने वाली कंपनियों से क्या प्रतिक्रिया मिली है?

ऑर्केस्ट्रेटर एजेंट के निजी बीटा में भाग लेने वाली कंपनियों से प्रतिक्रिया उत्कृष्ट रही है! कंपनियां यह जानकर रोमांचित हैं कि वे अब बुनियादी ढांचे की लॉक-इन से मुक्त हो सकती हैं, चाहे वह प्रोप्राइटरी मॉडल हों या होस्टिंग सेवाएं। भविष्य के लिए किसी भी तैनाती निर्णय को भविष्य के लिए तैयार करने की क्षमता एक खेल परिवर्तक रही है, जो उन महीनों के पुनर्काम को समाप्त करती है जब दृष्टिकोण बदलने पर स्विच किया जाता है।

तेजी से आगे बढ़ रहे जनरेटिव एआई के साथ, आपको एआई बुनियादी ढांचे के लिए अगली बड़ी बाधाओं क्या दिखाई दे रही हैं, और स्काइमेल उन्हें कैसे संबोधित करने की योजना बना रहा है?

हम एक भविष्य की ओर बढ़ रहे हैं जिसे अधिकांश लोगों ने अभी तक पूरी तरह से नहीं समझा है: एक ही प्रमुख एआई मॉडल नहीं होगा, बल्कि अरबों मॉडल होंगे। भले ही हम सबसे शक्तिशाली सामान्य एआई मॉडल बनाएं, हमें प्रत्येक पृथ्वी के व्यक्ति के लिए व्यक्तिगत संस्करणों की आवश्यकता होगी, प्रत्येक को विशिष्ट संदर्भों, वरीयताओं और आवश्यकताओं के अनुसार अनुकूलित किया जाएगा। यह कम से कम 8 अरब मॉडल होंगे, जो विश्व की आबादी पर आधारित है।

यह आज के एक-आकार-फिट-सभी दृष्टिकोण से एक क्रांतिकारी बदलाव का प्रतिनिधित्व करता है। भविष्य बुद्धिमान बुनियादी ढांचे के बारे में है जो अरबों मॉडल से निपटने में सक्षम है। स्काइमेल में, हम केवल आज की तैनाती चुनौतियों का समाधान नहीं कर रहे हैं – हमारा तकनीकी रोडमैप पहले से ही आगे के लिए नींव बना रहा है।

आप एआई बुनियादी ढांचे को अगले पांच वर्षों में कैसे विकसित होते देखते हैं, और इस विकास में स्काइमेल की क्या भूमिका होगी?

एआई बुनियादी ढांचे का परिदृश्य मूलभूत रूप से बदलने वाला है। जबकि आज का फोकस क्लाउड में सामान्य बड़े भाषा मॉडल को स्केल करने पर है, अगले पांच वर्ष एआई को गहराई से व्यक्तिगत और संदर्भ-जागरूक होते देखेंगे। यह केवल फाइन-ट्यूनिंग के बारे में नहीं है – यह वास्तविक समय में विशिष्ट उपयोगकर्ताओं, उपकरणों और स्थितियों के अनुसार अनुकूलन करने वाले एआई के बारे में है।

यह परिवर्तन दो प्रमुख बुनियादी ढांचे की चुनौतियों को प्रस्तुत करता है। पहला, पारंपरिक दृष्टिकोण जो सब कुछ केंद्रीकृत डेटा केंद्रों में चलता है, वह तकनीकी और आर्थिक रूप से अस्थिर हो जाता है। दूसरा, एआई अनुप्रयोगों की बढ़ती जटिलता का अर्थ है कि हमें एक बुनियादी ढांचे की आवश्यकता है जो कई मॉडल, उपकरणों और कंप्यूटे स्थानों में गतिशील रूप से अनुकूलित हो सके।

स्काइमेल में, हम बुनियादी ढांचे का निर्माण कर रहे हैं जो विशेष रूप से इन चुनौतियों का समाधान करता है। हमारी तकनीक एआई को चलाने की अनुमति देती है जहां यह सबसे ज्यादा समझ में आता है – चाहे वह डेटा बनाने के स्थान पर डिवाइस हो, क्लाउड में अधिक कंप्यूटे उपलब्ध हो, या दोनों के बीच बुद्धिमानी से विभाजित हो। अधिक महत्वपूर्ण बात, यह निर्णय वास्तविक समय में बदलती स्थितियों और आवश्यकताओं के आधार पर अनुकूलित होते हैं।

आगे देखते हुए, सफल एआई अनुप्रयोगों को मॉडल के आकार या उन तक पहुंच की जा सकने वाली कंप्यूटिंग शक्ति से परिभाषित नहीं किया जाएगा। वे व्यक्तिगत, प्रतिक्रियाशील अनुभव प्रदान करने और संसाधनों का कुशलता से प्रबंधन करने की उनकी क्षमता से परिभाषित किए जाएंगे। हमारा लक्ष्य इस स्तर के बुद्धिमान अनुकूलन को प्रत्येक एआई अनुप्रयोग के लिए, पैमाने या जटिलता की परवाह किए बिना, सुलभ बनाना है।

धन्यवाद इस शानदार साक्षात्कार के लिए, पाठक जो अधिक जानना चाहते हैं उन्हें स्काइमेल पर जाना चाहिए।