अलेक्जेंडर याराट्स, पर्प्लेक्सिटी के सर्च हेड – साक्षात्कार श्रृंखला

अलेक्जेंडर याराट्स पर्प्लेक्सिटी के सर्च हेड हैं। उन्होंने अपना करियर 2017 में यांडेक्स में शुरू किया, साथ ही यांडेक्स स्कूल ऑफ डेटा एनालिसिस में अध्ययन किया। शुरुआती वर्षों में यह समय बहुत ही रोमांचक और फायदेमंद रहा, जिसने उन्हें इंजीनियरिंग टीम लीड बनने के लिए प्रेरित किया। एक टेक दिग्गज के साथ काम करने की उनकी आकांक्षा ने उन्हें 2022 में गूगल में सीनियर सॉफ्टवेयर इंजीनियर के रूप में शामिल होने के लिए प्रेरित किया, जहां उन्होंने गूगल असिस्टेंट टीम (बाद में गूगल बर्ड) पर ध्यान केंद्रित किया। इसके बाद, वह पर्प्लेक्सिटी में सर्च हेड के रूप में शामिल हुए।

पर्प्लेक्सिटी एआई एक एआई-चैटबॉट-संचालित अनुसंधान और संवादात्मक खोज इंजन है जो प्राकृतिक भाषा पredictive text का उपयोग करके प्रश्नों का उत्तर देता है। 2022 में लॉन्च किया गया, पर्प्लेक्सिटी वेब से स्रोतों का उपयोग करके उत्तर प्रदान करता है और पाठ उत्तर में लिंक का हवाला देता है।

आपको मशीन लर्निंग में क्या आकर्षित किया?

मेरी मशीन लर्निंग (एमएल) में रुचि एक धीमी प्रक्रिया थी। स्कूल के दिनों में, मैंने बहुत समय गणित, संभाव्यता सिद्धांत और सांख्यिकी का अध्ययन किया, और मुझे क्लासिकल मशीन लर्निंग एल्गोरिदम जैसे कि लीनियर रिग्रेशन और के-नियरेस्ट नेबर्स (केएनएन) के साथ खेलने का अवसर मिला। यह देखना दिलचस्प था कि आप डेटा से सीधे एक पredictive फंक्शन बना सकते हैं और फिर इसे अनदेखे डेटा को पूर्वानुमान लगाने के लिए उपयोग कर सकते हैं। यह रुचि मुझे यांडेक्स स्कूल ऑफ डेटा एनालिसिस में ले गई, जो रूस में एक अत्यधिक प्रतिस्पर्धी मशीन लर्निंग मास्टर डिग्री प्रोग्राम है (प्रति वर्ष केवल 200 लोग स्वीकार किए जाते हैं)। वहां, मैंने अधिक उन्नत मशीन लर्निंग एल्गोरिदम के बारे में बहुत कुछ सीखा और अपनी समझ विकसित की। इस प्रक्रिया के दौरान सबसे महत्वपूर्ण बिंदु तब था जब मैंने न्यूरल नेटवर्क और डीप लर्निंग के बारे में सीखा। यह मुझे बहुत स्पष्ट हो गया कि यह कुछ ऐसा है जिसे मैं अगले कुछ दशकों में आगे बढ़ाना चाहता हूं।

आप पहले गूगल में सीनियर सॉफ्टवेयर इंजीनियर के रूप में काम करते थे, उस अनुभव से आपके कुछ प्रमुख निष्कर्ष क्या थे?

गूगल में शामिल होने से पहले, मैं यांडेक्स में चार साल से अधिक समय तक रहा, जो यांडेक्स स्कूल ऑफ डेटा एनालिसिस से स्नातक करने के तुरंत बाद था। वहां, मैंने यांडेक्स टैक्सी (रूस में उबर के समान) के लिए विभिन्न मशीन लर्निंग विधियों को विकसित करने वाली एक टीम का नेतृत्व किया। मैंने इस समूह में इसकी स्थापना के समय शामिल होकर एक करीबी और तेजी से बढ़ने वाली टीम में काम किया, जो चार साल में दोनों में तेजी से बढ़ी, दोनों में से एक हेडकाउंट (30 से 500 लोगों तक) और बाजार पूंजीकरण (यह रूस में सबसे बड़ा टैक्सी सेवा प्रदाता बन गया, जो उबर और अन्य को पार कर गया)।

इस दौरान, मुझे कई चीजों को शून्य से एक तक बनाने और लॉन्च करने का अवसर मिला। मैंने जिन अंतिम परियोजनाओं पर काम किया, उनमें से एक सेवा समर्थन के लिए चैटबॉट बनाना था। वहां, मैंने बड़े भाषा मॉडल की शक्ति की पहली झलक देखी और यह समझा कि वे भविष्य में कितने महत्वपूर्ण हो सकते हैं। यह एहसास मुझे गूगल में ले गया, जहां मैं गूगल असिस्टेंट टीम में शामिल हुआ, जिसे बाद में गूगल बर्ड (पर्प्लेक्सिटी के प्रतिस्पर्धियों में से एक) का नाम दिया गया।

गूगल में, मुझे यह जानने का अवसर मिला कि विश्व-स्तरीय बुनियादी ढांचा कैसा दिखता है, खोज और एलएलएम कैसे काम करते हैं और वे एक दूसरे के साथ कैसे बातचीत करते हैं ताकि तथ्यात्मक और सटीक उत्तर प्रदान किए जा सकें। यह एक महान सीखने का अनुभव था, लेकिन समय के साथ मुझे गूगल में धीमी गति और यह महसूस करने की भावना हुई कि कुछ भी कभी नहीं हो रहा है। मैं एक ऐसी कंपनी खोजना चाहता था जो खोज और एलएलएम पर काम कर रही हो और यांडेक्स में रहते हुए मेरी तुलना में तेजी से आगे बढ़ रही हो। सौभाग्य से, यह जैविक रूप से हुआ।

गूगल में, मैंने पर्प्लेक्सिटी के स्क्रीनशॉट और गूगल असिस्टेंट की तुलना में पर्प्लेक्सिटी के खिलाफ कार्य देखा, जिसने मेरी रुचि को बढ़ाया। कुछ हफ्तों के शोध के बाद, मुझे यह समझ में आया कि मैं वहां काम करना चाहता हूं, इसलिए मैंने टीम से संपर्क किया और अपनी सेवाएं प्रदान कीं।

पर्प्लेक्सिटी में अपनी वर्तमान भूमिका और जिम्मेदारियों को परिभाषित करें।

मैं वर्तमान में खोज टीम के प्रमुख के रूप में कार्य कर रहा हूं और पर्प्लेक्सिटी को शक्ति प्रदान करने वाली हमारी आंतरिक पुनर्प्राप्ति प्रणाली का निर्माण करने के लिए जिम्मेदार हूं। हमारी खोज टीम वेब क्रॉलिंग सिस्टम, पुनर्प्राप्ति इंजन और रैंकिंग एल्गोरिदम बनाने पर काम कर रही है। ये चुनौतियां मुझे गूगल (खोज और एलएलएम पर काम करने) और यांडेक्स (विभिन्न मशीन लर्निंग विधियों को विकसित करने) में प्राप्त अनुभव का लाभ उठाने की अनुमति देती हैं। दूसरी ओर, पर्प्लेक्सिटी का उत्पाद अद्वितीय अवसर प्रदान करता है कि एक पुनर्प्राप्ति प्रणाली को शक्तिशाली एलएलएम वाले विश्व में कैसा दिखना चाहिए। उदाहरण के लिए, अब यह महत्वपूर्ण नहीं है कि रैंकिंग एल्गोरिदम को क्लिक की संभावना बढ़ाने के लिए अनुकूलित किया जाए; इसके बजाय, हम अपने उत्तरों की उपयोगिता और तथ्यात्मकता में सुधार पर ध्यान केंद्रित कर रहे हैं। यह एक पारंपरिक खोज इंजन और एक उत्तर इंजन के बीच एक मूलभूत अंतर है। मेरी टीम और मैं कुछ ऐसा बनाने की कोशिश कर रहे हैं जो पारंपरिक 10 नीले लिंक से परे जाएगा, और मुझे लगता है कि वर्तमान में काम करने के लिए इससे अधिक रोमांचक कुछ नहीं है।

पर्प्लेक्सिटी में टेक्स्ट-टू-एसक्यूएल टूल विकसित करने से लेकर एआई-संचालित खोज बनाने की ओर संक्रमण पर प्रकाश डालें।

हमने शुरू में एक टेक्स्ट-टू-एसक्यूएल इंजन पर काम किया जो संरचित डेटा (जैसे स्प्रेडशीट या टेबल) पर आधारित त्वरित उत्तर प्रदान करने वाला एक विशेषज्ञ उत्तर इंजन प्रदान करता है। टेक्स्ट-टू-एसक्यूएल परियोजना पर काम करने से हमें एलएलएम और आरएजी की एक बहुत गहरी समझ मिली, और हमें एक महत्वपूर्ण एहसास हुआ: यह प्रौद्योगिकी हमारे मूल विचार से कहीं अधिक शक्तिशाली और सामान्य है। हम जल्द ही महसूस करते हैं कि हम संरचित डेटा स्रोतों से परे जा सकते हैं और असंरचित डेटा को भी संभाल सकते हैं।

इस संक्रमण के दौरान कुंजी चुनौतियां और अंतर्दृष्टि क्या थीं?

इस संक्रमण के दौरान कुंजी चुनौतियां कंपनी को बी2बी से बी2सी में बदलना और असंरचित खोज का समर्थन करने के लिए हमारे बुनियादी ढांचे को पुनर्निर्माण करना था। बहुत जल्दी इस प्रवासन प्रक्रिया के दौरान, हमने महसूस किया कि एक ग्राहक-सामना वाले उत्पाद पर काम करना बहुत अधिक आनंददायक है क्योंकि आप लगातार प्रतिक्रिया और जुड़ाव प्राप्त करना शुरू कर देते हैं, जो कि हमें एक टेक्स्ट-टू-एसक्यूएल इंजन बनाने और उद्यम समाधानों पर ध्यान केंद्रित करने के दौरान बहुत अधिक नहीं देखा गया था।

पुनर्प्राप्ति-संवर्धित पीढ़ी (आरएजी) पर्प्लेक्सिटी की खोज क्षमताओं का एक कोने का पत्थर लगता है। आप बताएं कि पर्प्लेक्सिटी आरएजी का उपयोग अन्य प्लेटफार्मों की तुलना में कैसे अलग तरह से करता है, और यह खोज परिणाम सटीकता को कैसे प्रभावित करता है?

आरएजी एक एलएलएम को बाहरी ज्ञान प्रदान करने की एक सामान्य अवधारणा है। जबकि यह विचार पहली नज़र में सरल लगता है, एक ऐसी प्रणाली का निर्माण जो कुशलता से और सटीक रूप से दस लाख से अधिक उपयोगकर्ताओं की सेवा करे, एक महत्वपूर्ण चुनौती है। हमें इस प्रणाली को घर में से ही बनाना पड़ा और कई कस्टम घटक बनाने पड़े जो अंतिम बिट्स की सटीकता और प्रदर्शन प्राप्त करने के लिए महत्वपूर्ण साबित हुए। हमने अपनी प्रणाली को इस तरह से डिज़ाइन किया है कि बड़े से लेकर छोटे तक के कई एलएलएम एक उपयोगकर्ता अनुरोध को जल्दी और लागत-कुशलता से संभालने के लिए समानांतर में काम करते हैं। हमने एक प्रशिक्षण और अनुमान बुनियादी ढांचा भी बनाया है जो हमें एलएलएम को खोज के साथ अंत से अंत तक प्रशिक्षित करने की अनुमति देता है, ताकि वे घनिष्ठ रूप से एकीकृत हों। इससे हॉलुसिनेशन में कमी आती है और हमारे उत्तरों की उपयोगिता में सुधार होता है।

गूगल के संसाधनों की तुलना में सीमाओं के साथ, पर्प्लेक्सिटी अपनी वेब क्रॉलिंग और अनुक्रमण रणनीतियों को कैसे प्रबंधित करता है ताकि यह प्रतिस्पर्धी बना रहे और अद्यतन जानकारी सुनिश्चित करे?

गूगल जैसे व्यापक सूचकांक का निर्माण करने में काफी समय और संसाधन लगते हैं। इसके बजाय, हम उन विषयों पर ध्यान केंद्रित कर रहे हैं जिनमें पर्प्लेक्सिटी पर हमारे उपयोगकर्ता अक्सर पूछताछ करते हैं। यह पता चलता है कि हमारे अधिकांश उपयोगकर्ता पर्प्लेक्सिटी का उपयोग एक कार्य/अनुसंधान सहायक के रूप में करते हैं, और कई प्रश्न उच्च गुणवत्ता, विश्वसनीय और सहायक वेब के हिस्सों की मांग करते हैं। यह एक शक्ति कानून वितरण है, जहां आप 80/20 दृष्टिकोण के साथ महत्वपूर्ण परिणाम प्राप्त कर सकते हैं। इन अंतर्दृष्टि के आधार पर, हम एक बहुत अधिक कॉम्पैक्ट सूचकांक बनाने में सक्षम थे जो गुणवत्ता और सत्यता के लिए अनुकूलित है। वर्तमान में, हम पूंछ का पीछा करने में कम समय बिताते हैं, लेकिन जब हम अपने बुनियादी ढांचे को स्केल करते हैं, तो हम पूंछ का भी पीछा करेंगे।

बड़े भाषा मॉडल (एलएलएम) पर्प्लेक्सिटी की खोज क्षमताओं को कैसे बढ़ाते हैं, और वे वेब से जानकारी को पार्स और प्रस्तुत करने में इतने प्रभावी क्यों हैं?

हम वास्तविक समय और ऑफलाइन प्रोसेसिंग दोनों में एलएलएम का उपयोग करते हैं। एलएलएम हमें वेब पेजों के सबसे महत्वपूर्ण और प्रासंगिक हिस्सों पर ध्यान केंद्रित करने की अनुमति देते हैं। वे पहले से कहीं अधिक सिग्नल-टू-शोर अनुपात को अधिकतम करते हैं, जो कई चीजों को संभव बनाता है जो पहले एक छोटी टीम द्वारा संभव नहीं थीं। सामान्य तौर पर, यह एलएलएम का सबसे महत्वपूर्ण पहलू है: वे आपको एक बहुत छोटी टीम के साथ जटिल चीजें करने की अनुमति देते हैं।

आगे देखते हुए, पर्प्लेक्सिटी को किन प्रमुख प्रौद्योगिकी या बाजार चुनौतियों का सामना करना पड़ सकता है?

आगे बढ़ते हुए, हमारे लिए सबसे महत्वपूर्ण प्रौद्योगिकी चुनौतियां हमारे उत्तरों की उपयोगिता और सटीकता में सुधार पर केंद्रित होंगी। हम उन प्रश्नों और प्रश्नों के प्रकारों की सीमा और जटिलता को बढ़ाना चाहते हैं जिनका हम सटीक रूप से उत्तर दे सकते हैं। इसके साथ ही, हम अपनी प्रणाली की सेवा गति और दक्षता के बारे में बहुत परवाह करते हैं और अपने उत्पाद की गुणवत्ता को समझौता किए बिना सेवा लागत को यथासंभव कम करने पर ध्यान केंद्रित करेंगे।

आपके विचार में, पर्प्लेक्सिटी का खोज के लिए दृष्टिकोण गूगल के दृष्टिकोण से बेहतर क्यों है, जो वेबसाइटों को बैकलिंक के अनुसार रैंक करता है और अन्य सिद्ध खोज इंजन रैंकिंग मेट्रिक्स हैं?

हम एक पूरी तरह से अलग रैंकिंग मेट्रिक को अनुकूलित कर रहे हैं जो पारंपरिक खोज इंजनों से अलग है। हमारा रैंकिंग उद्देश्य पुनर्प्राप्ति प्रणाली और एलएलएम को स्वाभाविक रूप से जोड़ने के लिए डिज़ाइन किया गया है। यह दृष्टिकोण पारंपरिक खोज इंजनों से बहुत अलग है, जो क्लिक या विज्ञापन प्रभाव की संभावना को अनुकूलित करते हैं।

साक्षात्कार के लिए धन्यवाद, अधिक जानने के इच्छुक पाठकों को पर्प्लेक्सिटी एआई पर जाना चाहिए।