साक्षात्कार

Jan Čurn, Apify के सह-संस्थापक और CEO – साक्षात्कार शृंखला

Antoine Tardif
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
Jan Čurn, Co-Founder and CEO of Apify
मुख्य बिंदुएजेंट मौजूदा टूल्स किराए पर लेंगे जब शुरू से बनाने की लागत खरीदने से अधिक होगी।
और देखें
  • एजेंट मौजूदा टूल्स किराए पर लेंगे जब शुरू से बनाने की लागत खरीदने से अधिक होगी।
  • साइलेंट विफलताएँ एजेंट्स को समस्या नोटिस किए बिना खाली पेजों को आत्मविश्वास से सारांशित करने देती हैं।
  • Apify ने पिछले महीने कुछ सौ क्रिएटर्स को कुल मिलाकर लगभग $2M की शुद्ध कमाई का भुगतान किया।

Jan Čurn, Apify के सह-संस्थापक और CEO हैं। उन्होंने 2015 में Y Combinator Fellowship के ज़रिए Jakub Balada के साथ इसकी शुरुआत की। प्राग में अपार्टमेंट की लिस्टिंग इकट्ठा करने की व्यावहारिक ज़रूरत ने शुरुआती उत्पाद का विचार दिया: वेबसाइटों को API में बदलने वाला एक टूल। तब से उन्होंने इसे वेब क्रॉलिंग के बुनियादी ढाँचे से आगे बढ़ाकर वेब डेटा, ब्राउज़र ऑटोमेशन और ऐसे टूलों के मार्केटप्लेस वाले प्लेटफ़ॉर्म के रूप में विकसित किया है, जिनका इस्तेमाल AI एजेंट लगातार अधिक कर रहे हैं।

Apify वेब स्क्रैपिंग, ब्राउज़र ऑटोमेशन और Actors नाम के तुरंत इस्तेमाल के लिए तैयार टूलों का प्लेटफ़ॉर्म उपलब्ध कराता है। डेवलपर इसके मार्केटप्लेस पर Actors प्रकाशित करके उनसे कमाई कर सकते हैं, जबकि व्यवसाय और AI बनाने वाले लोग इनका उपयोग संरचित वेब डेटा हासिल करने और कामों को स्वचालित करने के लिए करते हैं। इस साक्षात्कार में Čurn चर्चा करते हैं कि एजेंट विशिष्ट टूल कैसे खोजते और इस्तेमाल करते हैं, ताज़ा डेटा क्यों मायने रखता है, और बड़े पैमाने पर वेब पर काम करने के लिए एजेंटों को किन विश्वसनीयता, अनुमतियों और आर्थिक व्यवस्थाओं की ज़रूरत होती है।

आपने 2015 में Y Combinator Fellowship के ज़रिए Jakub Balada के साथ Apify की सह-स्थापना की थी। शुरुआत में आपका ध्यान डेवलपरों के लिए लचीले और बड़े पैमाने पर काम कर सकने वाले वेब क्रॉलर बनाना आसान करने पर था। इस विचार की प्रेरणा कहाँ से मिली, और पिछले दशक में आपकी मूल परिकल्पना किस तरह विकसित हुई है?

Apify का विचार उस समस्या से आया जिसका सामना Jakub और मुझे खुद करना पड़ा था। हम एक क्लाइंट प्रोजेक्ट पर काम कर रहे थे, जिसके लिए प्राग में नए अपार्टमेंट की लिस्टिंग चाहिए थीं। उस समय के टूल डायनेमिक JavaScript और वेबसाइटों की अनियमित संरचनाओं को ठीक से संभाल नहीं पाते थे। इसलिए हमने किसी भी वेबसाइट को API में बदलने के लिए अपना टूल बनाया।

समय के साथ यह क्रॉलिंग से आगे बढ़कर वेब स्क्रैपिंग, ब्राउज़र ऑटोमेशन और वेब डेटा के प्लेटफ़ॉर्म में विकसित हुआ। फिर हमने एक मार्केटप्लेस शुरू किया, जहाँ डेवलपर Actors नाम के अपने टूल प्रकाशित कर सकते हैं और दूसरे लोगों के उनका इस्तेमाल करने पर भुगतान पा सकते हैं। अब इन Actors का इस्तेमाल करने वालों में AI एजेंटों की हिस्सेदारी बढ़ रही है।

Apify की शुरुआत वेब क्रॉलिंग प्लेटफ़ॉर्म के रूप में उस समय हुई थी, जब AI एजेंट उद्योग का प्रमुख केंद्र नहीं बने थे। आपको कब एहसास हुआ कि आपके बनाए बुनियादी ढाँचे का वेब तक पहुँचने और उससे संवाद करने की ज़रूरत वाले AI एजेंटों के लिए विशेष रूप से बहुत महत्व हो सकता है?

पहला “अहा” पल 2023 की शुरुआत में आया, ChatGPT के लॉन्च होने के कुछ ही समय बाद। अचानक, नया मॉडल प्रशिक्षित करने के बजाय प्रॉम्प्ट में वेब का ताज़ा डेटा देना संभव हो गया। Apify उन शुरुआती स्क्रैपिंग प्लेटफ़ॉर्मों में था, जिन्होंने उभरती RAG पाइपलाइनों के लिए क्रॉलर उपलब्ध कराए और LangChain तथा LlamaIndex जैसी नई लाइब्रेरी के साथ एकीकरण किया।

इसके बाद AI एजेंटों की लहर आई। मान लीजिए, आप किसी एजेंट से 20 ई-कॉमर्स साइटों पर किसी उत्पाद की कीमत की तुलना करने को कहते हैं। उसे डेटा कहाँ से मिलेगा? यही वह समस्या है जिसे हम सालों से डेवलपरों के लिए हल करते आ रहे थे। इसलिए जब Anthropic ने 2024 के आखिर में Model Context Protocol (MCP) जारी किया, तो हमने उसे तुरंत अपना लिया। हमारे पास पहले से ही हज़ारों ऐसे टूल थे जिनके इनपुट और आउटपुट स्पष्ट थे—और एजेंट को ठीक इसी चीज़ की ज़रूरत होती है।

असली निर्णायक मोड़ 2025 के आखिर में आया, जब मॉडल इतने सक्षम हो गए कि एजेंट उपयोगी काम कर सकें। एजेंटों को सही टूल और भरोसेमंद डेटा चाहिए; तब से Apify का इस्तेमाल तेज़ी से बढ़ा है और सकल ARR 100 मिलियन डॉलर के करीब पहुँच रहा है।

Apify अब 90,000 से अधिक टूलों वाला प्लेटफ़ॉर्म बन चुका है, जिसमें वेब डेटा, स्क्रैपिंग, ऑटोमेशन और AI से जुड़े टूल शामिल हैं। जब एजेंट किसी बड़े भाषा मॉडल की क्षमताओं पर ही निर्भर रहने के बजाय विशिष्ट टूलों की ज़रूरत तेजी से महसूस कर रहे हैं, तो आप इस इकोसिस्टम की भूमिका को किस तरह देखते हैं?

हाँ, मॉडल शुरुआत से ही पहले से अधिक जटिल सॉफ़्टवेयर बना सकेंगे। लेकिन एक सीमा ऐसी होती है जिसके आगे एजेंट के लिए कोई मौजूदा टूल खरीदना, उसे शुरू से बनाने के मुकाबले अधिक किफ़ायती होता है। मॉडल बेहतर होते जाएंगे, तो यह सीमा भी ऊपर खिसकेगी; फिर भी हमेशा कुछ ऐसे मामले रहेंगे जिनमें पहले से बने टूल बेचे जा सकेंगे—खासकर तब, जब वे निजी डेटा और मुश्किल से मिलने वाले संदर्भ पर आधारित हों।

सॉफ़्टवेयर लिखने की लागत घटने और सॉफ़्टवेयर प्रणालियों तथा टूलों की संख्या बढ़ने के साथ, अब सबसे बड़ी चुनौती सही टूल ढूँढ़ना है: ऐसा भरोसेमंद और उपयोगी टूल कहाँ मिलेगा जो काम पूरा करने में मदद करे। और उसे ठीक से बनवाने के लिए 500 डॉलर देने के बजाय, किसी को मौजूदा सेवा किराए पर इस्तेमाल करने के लिए 5 डॉलर दिए जा सकते हैं।

Apify के डेवलपर समुदाय में आप जो देख रहे हैं, उसके आधार पर आज AI एजेंटों से बनाए जा रहे कुछ सबसे दिलचस्प वास्तविक उपयोग कौन-से हैं? और इनमें से कौन-से उपयोग वास्तव में उत्पादन में पहुँच रहे हैं?

कुछ सबसे दिलचस्प उदाहरण हैरान करने वाले ढंग से विशिष्ट हैं। हमने AI को YouTube, eBay और जापानी दुकानों पर खोज करते देखा है, ताकि यह तय करने में मदद मिल सके कि कौन-से Pokémon कार्ड खरीदने लायक हैं। एक बीमा कंपनी ने पॉलिसीधारकों की मृत्यु की पुष्टि करने के लिए Apify की मदद से इटली की 55 शोक-सूचना वेबसाइटों की जाँच की। दूसरी ओर, Canary अपने Spotlight टूल के लिए Apify का इस्तेमाल करता है, जो जाँचकर्ताओं को बाल तस्करी के पीड़ितों को ढूँढ़ने में मदद करता है।

इन उपयोगों में एक विशिष्ट समस्या और सही डेटा तक पहुँच समान है—न कि ऐसा एजेंट जिसे हर तरह का काम करने के लिए बनाया गया हो।

AI एजेंटों के सामने सबसे बड़ी चुनौतियों में से एक है वेबसाइटों से ताज़ा, संरचित जानकारी हासिल करना, बजाय इसके कि वे पूरी तरह स्थिर प्रशिक्षण डेटा पर निर्भर रहें। जैसे-जैसे एजेंट अधिक जटिल काम करने लगेंगे, वेब तक रियल-टाइम पहुँच कितनी अहम हो जाएगी?

LLM उस डेटा का ऐसा संपीड़ित रूप है जिसमें कुछ जानकारी खो जाती है, जिस पर उसे प्रशिक्षित किया गया था। यह बहुत चतुराई से अनुमान लगा सकता है, लेकिन फिर भी वह अनुमान ही होता है। जब किसी एजेंट से वास्तविक दुनिया में फ़ैसले लेने या काम पूरे करने की अपेक्षा की जाती है, तो वह पूरी तरह प्रशिक्षण डेटा पर निर्भर नहीं रह सकता। कीमतें बदलती हैं, उत्पाद बाज़ार से गायब हो जाते हैं, प्रतिस्पर्धी नई चीज़ें लॉन्च करते हैं और वेबसाइटें लगातार अपडेट होती रहती हैं।

मॉडल तर्क करने की क्षमता देता है, लेकिन कई एजेंटों को वेब से ताज़ा जानकारी पाने और उसे ऐसे संरचित डेटा में बदलने का भरोसेमंद तरीका चाहिए, जिसका वे बड़े पैमाने पर इस्तेमाल कर सकें।

वेब का माहौल अप्रत्याशित हो सकता है—इंटरफ़ेस बदलते रहते हैं, सामग्री गतिशील होती है, प्रमाणीकरण की ज़रूरत पड़ती है और स्वचालन-रोधी प्रणालियाँ मौजूद होती हैं। खुले वेब पर भरोसेमंद ढंग से काम करने वाले एजेंट बनाने की कोशिश में डेवलपरों के सामने सबसे बड़ी तकनीकी चुनौतियाँ क्या हैं?

आधुनिक वेबसाइटें गतिशील JavaScript, चुनौती-पृष्ठ या अधूरी सामग्री दे सकती हैं, जबकि बॉट-रोधी प्रणालियाँ IP की प्रतिष्ठा से लेकर ब्राउज़र फ़िंगरप्रिंट तक हर चीज़ पर नज़र रखती हैं। अक्सर गड़बड़ियाँ बिना किसी सूचना के होती हैं, इसलिए एजेंट को पता भी नहीं चलता कि पृष्ठ खाली है और वह पूरे आत्मविश्वास से उसका सारांश दे सकता है।

ऐसी चीज़ बनाना जो एक बार काम करे, अपेक्षाकृत आसान है। बदलती वेबसाइटों पर और उत्पादन के बड़े पैमाने पर लगातार काम करने वाली चीज़ बनाना कहीं अधिक कठिन है।

जब एजेंटों को न सिर्फ़ जानकारी हासिल करने, बल्कि ऑनलाइन कार्रवाई करने की क्षमता भी मिल रही है, तो अधिक स्वायत्त कार्यप्रवाहों की ज़िम्मेदारी उन्हें सौंपने से पहले भरोसेमंद ढंग से काम करने, अनुमतियों, सत्यापन और मानवीय निगरानी जैसे क्षेत्रों में क्या सुधार होना ज़रूरी है?

जब एजेंट सिर्फ़ जानकारी पढ़ने के बजाय कार्रवाई कर सकता है, तब अनुमतियाँ कहीं अधिक महत्वपूर्ण हो जाती हैं। एजेंट को आपके लॉगिन विवरण कभी नहीं दिखने चाहिए और सभी गोपनीय जानकारियाँ सुरक्षित सैंडबॉक्स के बाहर रखी जानी चाहिए; उन्हें कभी भी मॉडल के सामने उजागर नहीं किया जाना चाहिए। हम Apify प्लेटफ़ॉर्म के Actors पर, और MCP के लिए हमारे ओपन-सोर्स CLI क्लाइंट mcpc में भी, प्रॉक्सी को सैंडबॉक्स में अलग रखने की इस समस्या पर काम कर रहे हैं।

डेवलपर ब्राउज़र स्वचालन से लेकर विशेषीकृत API और उभरते एजेंट प्रोटोकॉल तक, कई तरह के तरीकों पर प्रयोग कर रहे हैं। आपके विचार में AI एजेंटों की संरचना किस तरह विकसित होगी, और मॉडल, टूल, डेटा स्रोतों तथा ब्राउज़र के बीच आदर्श तालमेल कैसा होगा?

मेरे विचार से ChatGPT और Claude जैसे बड़े एजेंट प्लेटफ़ॉर्म नया ऑपरेटिंग सिस्टम बनते जा रहे हैं—एक ऐसा प्रमुख इंटरफ़ेस, जिसके ज़रिए लोग कंप्यूटर को निर्देश देते हैं। टूल उनसे उसी तरह जुड़ते हैं, जैसे आपके फ़ोन में ऐप जुड़ते हैं। दूसरी जगह चलने वाले टूल के लिए MCP को मानक संवाद प्रोटोकॉल के रूप में स्वीकार कर लिया गया है।

जब किसी एजेंट को रेस्तराँ की रेटिंग और संपर्क जानकारी जैसा डेटा चाहिए होता है, तो वह ब्राउज़र में Google Maps खोलकर किसी व्यक्ति की तरह उस पर क्लिक कर सकता है—यह तरीका सटीक नहीं और महँगा है। या फिर वह ऐसा टूल ढूँढ़कर इस्तेमाल कर सकता है, जो नक्शे से जुड़ा संरचित डेटा देता हो; यह तेज़ और अधिक भरोसेमंद है। मुख्य एजेंट मेज़ बुक करने या उड़ानें ढूँढ़ने जैसे काम सस्ते मॉडल पर चलने वाले विशेषीकृत उप-एजेंटों को भी सौंप सकता है।

Apify ने डेवलपरों के लिए बुनियादी ढाँचा बनाने में कई साल लगाए हैं और साथ ही एक ऐसा बाज़ार भी तैयार किया है, जहाँ तीसरे पक्ष के डेवलपर अपने टूल प्रकाशित कर सकते हैं। क्या एजेंट-आधारित AI ऐसे विशेषीकृत टूल और सेवाओं के इर्द-गिर्द कहीं बड़ी अर्थव्यवस्था बना सकता है, जिन्हें एजेंट खुद खोजें और स्वायत्त रूप से इस्तेमाल करें?

हाँ, और हमारा बाज़ार पहले से ही इसका एक छोटा रूप है। डेवलपर Actors प्रकाशित करते हैं, लोग उनका इस्तेमाल करते हैं, डेवलपरों को भुगतान मिलता है और इससे और डेवलपर तथा और टूल आते हैं। यह सकारात्मक चक्र कई सालों से चल रहा है, जिसमें लोग खरीदार की भूमिका निभाते हैं।

जैसे-जैसे AI एजेंट ज़्यादा ज़िम्मेदारियाँ सँभालेंगे, कुछ काम पूरे करने के लिए उन्हें पैसे की ज़रूरत होगी। कल्पना कीजिए कि आप किसी एजेंट को एक काम और एक छोटा-सा डिजिटल बटुआ देते हैं, और उसे रास्ते में ज़रूरी टूल का भुगतान करने देते हैं—इसके लिए x402 या MPP जैसे एजेंट-आधारित भुगतान प्रोटोकॉल का इस्तेमाल किया जा सकता है। अभी इसका लेन-देन बहुत कम है, लेकिन मेरा मानना है कि अंततः अधिकांश आर्थिक गतिविधियाँ एजेंटों के बीच स्वायत्त रूप से होंगी और उनमें मानवीय निगरानी लगातार कम होती जाएगी।

Apify अपने दूसरे दशक में प्रवेश कर रहा है और AI एजेंट सॉफ़्टवेयर जगत का कहीं बड़ा हिस्सा बन रहे हैं। आने वाले कुछ वर्षों में कंपनी को किस दिशा में विकसित होते देखते हैं, और आपके विचार से आज के एजेंट पारिस्थितिकी तंत्र में अब भी किस चीज़ की कमी है?

अब और भी लोग Apify को Claude या ChatGPT जैसे अपने एजेंटों से जोड़ रहे हैं और समझ रहे हैं कि ये टूल उन्हें वेब पर अधिक जटिल काम तेज़ी से करने में मदद करते हैं। Apify प्लेटफ़ॉर्म और उसके Actors एजेंटों के लिए बेहतर अनुभव देने के लिहाज़ से विकसित किए जा रहे हैं, जिससे इनका इस्तेमाल और इन पर होने वाला खर्च बढ़ रहा है।

बाज़ार के दूसरे पक्ष में, सॉफ़्टवेयर बनाने वाले ज़्यादा से ज़्यादा लोग अपने Actors से नियमित आय कमा रहे हैं: समुदाय के 300 से अधिक Actors हर महीने $1,000 से ज़्यादा कमाते हैं। पिछले ही महीने हमने कुछ सौ रचनाकारों को कुल मिलाकर लगभग $2M की शुद्ध कमाई का भुगतान किया।

Apify के बाज़ार की वृद्धि तेज़ हो रही है, और Apify को AI टूल का दुनिया का सबसे बड़ा और सबसे भरोसेमंद बाज़ार बनाने की हमारी महत्वाकांक्षा भी बढ़ रही है, ताकि लोग और उनके भविष्य के अरबों एजेंट वेब पर काम कर सकें।

इस बेहतरीन साक्षात्कार के लिए धन्यवाद। वेब डेटा, ब्राउज़र स्वचालन और AI एजेंटों के टूल के बारे में अधिक जानने के इच्छुक पाठक Apify पर जाएँ।

एंटोनी एक दूरदर्शी नेता और Unite.AI के संस्थापक भागीदार हैं। एआई और रोबोटिक्स के भविष्य को आकार देने और आगे बढ़ाने के प्रति उनका जुनून अटूट है। कई उद्यम शुरू कर चुके एंटोनी का मानना है कि एआई समाज में बिजली जितना ही बड़ा बदलाव लाएगा। वे अक्सर परिवर्तनकारी प्रौद्योगिकियों और एजीआई की संभावनाओं के बारे में उत्साह से बात करते हैं।

एक भविष्यविद् के रूप में, वे यह जानने के लिए समर्पित हैं कि ये नवाचार हमारी दुनिया को कैसे आकार देंगे। वे Securities.io के संस्थापक भी हैं। यह मंच उन अत्याधुनिक प्रौद्योगिकियों में निवेश पर केंद्रित है जो भविष्य को नई परिभाषा दे रही हैं और पूरे क्षेत्रों का स्वरूप बदल रही हैं।