Adit Abraham, Reducto के सह-संस्थापक और मुख्य कार्यकारी अधिकारी – साक्षात्कार शृंखला

Adit Abraham Reducto के सह-संस्थापक और मुख्य कार्यकारी अधिकारी हैं। वहाँ उनका ध्यान जटिल उद्यम दस्तावेज़ों को एआई अनुप्रयोगों के लिए विश्वसनीय डेटा में बदलने पर है। MIT से स्नातक Raunak Chowdhuri के साथ कंपनी की स्थापना करने से पहले, उन्होंने MIT में कंप्यूटर विज्ञान की पढ़ाई की, MIT Media Lab में मशीन लर्निंग पर शोध किया और Google में उत्पाद प्रबंधक के रूप में विज्ञापन और खोज पर काम किया। Reducto की शुरुआत बड़े भाषा मॉडलों के लिए मेमोरी टूल बनाने की संस्थापकों की कोशिशों से हुई। इस दौरान दस्तावेज़ों से डेटा निकालने की अविश्वसनीय प्रक्रिया बार-बार बाधा बन रही थी। शुरुआती ग्राहकों के साथ Abraham के सीधे काम ने कंपनी का ध्यान सटीकता, सुरक्षा, तैनाती में लचीलेपन और वास्तविक उपयोग में पूर्वानुमेय प्रदर्शन पर केंद्रित करने में मदद की।

Reducto दस्तावेज़-बुद्धिमत्ता के लिए ऐसा बुनियादी ढाँचा विकसित करता है, जो एआई टीमों को PDF, स्कैन, स्प्रेडशीट और अन्य फ़ाइलों को व्यवस्थित और उपयोगी जानकारी में बदलने में मदद करता है। इसका प्लेटफ़ॉर्म पाठ, तालिकाओं, चित्रों, फ़ॉर्मैटिंग और जटिल पृष्ठ-विन्यास को समझने के लिए ऑप्टिकल कैरेक्टर रिकग्निशन, कंप्यूटर विज़न और विज़न-लैंग्वेज मॉडल को एक साथ इस्तेमाल करता है। दस्तावेज़ों को पार्स करने के साथ-साथ, यह संरचित डेटा निकालने, दस्तावेज़ों को विभाजित करने, वर्गीकृत करने और संपादित करने के टूल भी देता है। इनमें ऐसे उद्धरण शामिल हैं जो निकाली गई जानकारी को उसके स्रोत से जोड़ते हैं। इसके ग्राहकों में Harvey, Scale AI, Vanta, Mercor और Rogo शामिल हैं। कंपनी का काम वित्त, स्वास्थ्य सेवा और कानून जैसे क्षेत्रों में पुनर्प्राप्ति-संवर्धित जनरेशन, खोज और दस्तावेज़ कार्यप्रवाहों तक फैला है, जहाँ सटीक डेटा निष्कर्षण और परिणामों का स्रोत तक पता लगाया जा सकना आवश्यक है।

बड़े भाषा मॉडलों के लिए मेमोरी टूल बनाते समय आपको और Raunak Chowdhuri को जिन चुनौतियों का सामना करना पड़ा, उन्हीं से Reducto की शुरुआत हुई। मौजूदा दस्तावेज़-प्रसंस्करण टूल में खास तौर पर क्या समस्या थी, और आपको कब एहसास हुआ कि पार्सिंग की समस्या इतनी बड़ी है कि इस पर कंपनी बनाई जा सकती है?

हम मॉडलों को दस्तावेज़ों का संदर्भ उपलब्ध कराना चाहते थे, इसलिए हमने फ़ाइल अपलोड करने की सुविधा जोड़ी। लेकिन दस्तावेज़ों के प्रसंस्करण की गुणवत्ता को लेकर हमें बार-बार समस्याएँ आईं। उस समय उपलब्ध सभी टूल आज़माने के बावजूद, असल दुनिया के उन अव्यवस्थित दस्तावेज़ों के साथ काम करने के मामले में कोई भी हमारे मानकों पर खरा नहीं उतरा, जिन्हें लोग वास्तव में अपलोड करते थे।

इसलिए हमने अपना पार्सिंग समाधान बनाया। शुरुआत में यह हमारे LLM मेमोरी उत्पाद की एक सुविधा थी, लेकिन फिर हमने देखा कि जिन डेवलपरों को भी इसी समस्या का सामना करना पड़ा था, वे इस समाधान को बेहद पसंद कर रहे थे और इसकी माँग तेज़ी से बढ़ रही थी। कुछ टीमें अपने दस्तावेज़ों को भरोसेमंद ढंग से संभालने में उपलब्ध टूल की नाकामी के कारण अपनी डेटा-आयात पाइपलाइन बनाने और उनका रखरखाव करने में हफ़्तों लगा रही थीं। उन बातचीतों से हमें इस अवसर का महत्व कहीं अधिक स्पष्ट हुआ, क्योंकि मॉडलों की बुद्धिमत्ता लगातार बेहतर होने के बावजूद, साफ़-सुथरा और सटीक संदर्भ अब भी बहुत बड़ा अंतर पैदा करता था।

PDF तकनीकी रूप से जानकारी को दिखाने के लिए बनाए गए हैं, न कि उसे मशीन द्वारा पढ़े जा सकने योग्य बनाने के लिए। जटिल दस्तावेज़ों—खासकर तालिकाओं, चार्ट, कई स्तंभों वाले पृष्ठ-विन्यास या उनमें शामिल छवियों वाले दस्तावेज़ों—को एआई प्रणालियों के लिए भरोसेमंद ढंग से समझना इतना मुश्किल क्यों होता है?

जब हम इंसान कोई दस्तावेज़ पढ़ते हैं, तो हम अपनी सहज समझ की बहुत-सी बातों को मामूली मानकर चलते हैं। हम लगभग तुरंत संबंधों का अनुमान लगा लेते हैं, क्योंकि हम देख सकते हैं कि कोई संख्या किसी खास स्तंभ-शीर्षक के नीचे है, पाठ अगले स्तंभ में जारी है या कोई कैप्शन ऊपर दिए गए चित्र से संबंधित है।

एआई मॉडलों को यह काम वाकई बहुत मुश्किल लगता है, क्योंकि PDF इस तरह की संबंधपरक जानकारी या मेटाडेटा को सुरक्षित रखने के लिए नहीं बनाए गए हैं; मूलतः वे बहुत अधिक डेटा वाली छवियाँ हैं। पार्सर को पृष्ठ से इन संबंधों को फिर से बनाना पड़ता है, और मिले-जुले सेल, एक-दूसरे के भीतर बनी तालिकाएँ, चार्ट, स्कैन और असामान्य पृष्ठ-विन्यास इस समस्या को और कठिन बना देते हैं। चूँकि हमारा ध्यान दस्तावेज़ों को समझने की इसी समस्या पर है, इसलिए हम उन कम प्रचलित और विविध प्रकार के दस्तावेज़ों को भी भरोसेमंद ढंग से संसाधित कर सकते हैं, जिनके मामले में एआई मॉडल अक्सर मनगढ़ंत जानकारी देते हैं और गलतियाँ करते हैं।

Reducto अपनी दस्तावेज़-प्रसंस्करण पाइपलाइन में कंप्यूटर विज़न, ऑप्टिकल कैरेक्टर रिकग्निशन और विज़न-लैंग्वेज मॉडल का इस्तेमाल करता है। ये अलग-अलग तकनीकें मिलकर कैसे काम करती हैं, और पारंपरिक OCR प्रणालियाँ अब भी कहाँ पीछे रह जाती हैं?

पारंपरिक OCR कई दशकों से मौजूद है और इसे साफ़, पढ़ने योग्य दस्तावेज़ों के अक्षरों को एक-एक करके पढ़ने के लिए बनाया गया था। हस्तलिखित, स्कैन किए हुए, तिरछे या तालिकाओं वाले दस्तावेज़ आने पर यह आसानी से नाकाम हो जाता है, जबकि उद्यमों के अधिकांश डेटा में ऐसे ही दस्तावेज़ होते हैं।

Reducto ने दस्तावेज़-प्रसंस्करण के क्षेत्र में विज़न-लैंग्वेज मॉडल जोड़ने की पहल की और “Agentic OCR” पेश किया, क्योंकि हमने देखा कि VLM दस्तावेज़ों में केवल साधारण पाठ से कहीं अधिक समझ सकते हैं। दस्तावेज़ों को सही मायने में समझने के लिए संदर्भ, सटीकता और कई माध्यमों को समझने की क्षमता ज़रूरी है। हमारा नवीनतम r-1 पार्सिंग मॉडल Agentic OCR की क्षमताओं को फ़ॉर्मैटिंग, उद्धरण और पृष्ठ-विन्यास का पता लगाने जैसी सुविधाओं के साथ जोड़ता है—वह भी एक ही चरण में।

यह अतिरिक्त काम इसलिए मायने रखता है, क्योंकि बहुत अधिक समग्र सटीकता वाला पार्सर भी गंभीर समस्या पैदा कर सकता है, अगर उससे छूटी थोड़ी-सी जानकारी में वही चित्र, अनुच्छेद या तालिका की प्रविष्टि हो जिसकी किसी व्यक्ति को वास्तव में ज़रूरत है।

जैसे-जैसे एआई मॉडल अधिक बहु-माध्यमीय होते जा रहे हैं और छवियों तथा दस्तावेज़ों को सीधे समझने में सक्षम हो रहे हैं, आपके अनुसार विशेषीकृत दस्तावेज़-बुद्धिमत्ता प्लेटफ़ॉर्म की भूमिका कैसे बदलेगी? क्या भविष्य में फ़ाउंडेशन मॉडल यह काम बड़े पैमाने पर खुद कर पाएँगे, या समर्पित बुनियादी ढाँचे की ज़रूरत बनी रहेगी?

दरअसल, हम इस बात पर दांव लगा रहे हैं कि एआई मॉडल लगातार बेहतर और तेज़ होते जाएंगे। नए मॉडल लगातार आ रहे हैं, इसलिए हम उनकी कमियों का मूल्यांकन करते रहते हैं और उनकी खूबियों को अपनी कार्यप्रणालियों में शामिल करते हैं, ताकि ग्राहकों को कुल मिलाकर सर्वोत्तम प्रदर्शन दे सकें। Reducto चाहता है कि वह आपकी डेटा-ग्रहण टीम की तरह काम करे और आपके विकास के साथ-साथ उसे आगे बढ़ाने में आपकी मदद करे।

उद्यमों के सामने अब भी एक अनूठी चुनौती है: उन्हें केवल बेहतर प्रदर्शन ही नहीं, बल्कि उत्पादन-स्तर पर विस्तार योग्य थ्रूपुट, शासन और सत्यापन-क्षमता भी चाहिए—ऐसी ज़रूरतें जिन्हें पूरा करना आज फ़ाउंडेशन मॉडल के लिए अब भी मुश्किल है।

हमने हाल ही में GDP.pdf बेंचमार्क के साथ इसका परीक्षण किया। इससे पता चला कि अत्याधुनिक मॉडल अब भी जटिल, वास्तविक पेशेवर दस्तावेज़ों पर तर्क करने में कठिनाई महसूस करते हैं और कड़े कार्य-स्तरीय उत्तीर्णता मानदंडों पर 15% से 25% से कम अंक हासिल करते हैं। Reducto से इन दस्तावेज़ों को पहले पार्स कराकर और फिर संरचित डेटा अत्याधुनिक मॉडलों को देने पर, सीधे दस्तावेज़ों का विश्लेषण करने वाले मॉडलों की तुलना में, समग्र सटीकता में 9 प्रतिशत-अंकों का सुधार हुआ और तर्क के लिए इस्तेमाल होने वाले टोकन 13 प्रतिशत कम हुए।

इससे पता चलता है कि डेटा ग्रहण करने के लिए समर्पित बुनियादी ढाँचे का अब भी बहुत बड़ा महत्व है, क्योंकि उद्यमों के अधिकांश डेटा का अभी तक पूरा उपयोग नहीं हुआ है।

उद्यमों में एआई के अनेक अनुप्रयोग अंततः पुनर्प्राप्ति-संवर्धित जनन या ऐसे एजेंट-आधारित सिस्टम पर निर्भर करते हैं, जो आंतरिक दस्तावेज़ों में छिपी जानकारी तक पहुँचते हैं। इन सिस्टमों की विश्वसनीयता से जुड़ी समस्या का कितना हिस्सा वास्तव में दस्तावेज़ों को ग्रहण करने और पार्स करने के शुरुआती चरण में पैदा होता है?

इस समस्या का एक बड़ा हिस्सा डेटा ग्रहण करने के चरण में शुरू होता है। टीमों को अक्सर इसका पता बहुत बाद में चलता है, क्योंकि गलत जवाब कार्यप्रवाह के अंत में सामने आता है। अगर कोई पार्सर तालिका की एक पंक्ति छोड़ दे, दो स्तंभों के पढ़ने का क्रम गड़बड़ा दे या कोई चित्र छूट जाए, तो सूचना पुनर्प्राप्ति उस जानकारी को वापस नहीं ला सकती जो डेटाबेस में कभी पहुँची ही नहीं।

हम अक्सर देखते हैं कि ग्राहकों के अंतिम उपयोगकर्ताओं का अनुभव Reducto के ज़रिए डेटा ग्रहण करने की प्रक्रिया बदलने के बाद नाटकीय रूप से बेहतर हो जाता है, क्योंकि RAG और खोज प्रणालियाँ अधिक सुसंगत रूप से बेहतर नतीजे देती हैं। उदाहरण के लिए, Harvey ने Reducto को अपनी प्रसंस्करण परत के रूप में लागू करने के बाद OCR से जुड़ी ग्राहक शिकायतों में भारी गिरावट और उत्पाद के उपयोग में कई गुना बढ़ोतरी देखी।

Reducto ने पार्सिंग से आगे बढ़कर संरचित निष्कर्षण और दस्तावेज़ों से जुड़े व्यापक कार्यप्रवाहों तक अपनी सेवाओं का विस्तार किया है। जब कोई सिस्टम दस्तावेज़ की अंतर्निहित संरचना को सटीकता से समझने लगे, तो दस्तावेज़-बुद्धिमत्ता की अगली परत कैसी दिखती है?

डेटा ग्रहण करना आम तौर पर एक बहुत बड़ी कारोबारी प्रक्रिया का पहला चरण होता है। किसी कंपनी को 500 पृष्ठों की फ़ाइल मिल सकती है और उसे उसमें मौजूद दस्तावेज़ों की पहचान करनी पड़ सकती है, उन्हें वर्गीकृत करना पड़ सकता है, विशिष्ट जानकारी निकालनी पड़ सकती है, उस जानकारी की किसी दूसरे सिस्टम से तुलना करनी पड़ सकती है और असामान्य मामलों को समीक्षा के लिए किसी विशेषज्ञ के पास भेजना पड़ सकता है। हमने बाज़ार के सर्वश्रेष्ठ दस्तावेज़-समझ मॉडल को प्रशिक्षित करने में 2 वर्ष लगाए हैं, और अब हम आगे की प्रक्रियाओं को सुव्यवस्थित करने पर अधिक ध्यान दे रहे हैं।

दस्तावेज़ की सामग्री और संरचना को विश्वसनीय ढंग से समझने के बाद, आप उस काम के बड़े हिस्से को स्वचालित कर सकते हैं जिसमें लोग अभी अपना समय जानकारी संकलित करने, जाँचने और उसे एक सिस्टम से दूसरे सिस्टम में ले जाने में लगाते हैं। लगभग हर महत्वपूर्ण कारोबारी कार्यप्रवाह को ऐसे चरणों में बाँटा जा सकता है जिनमें लोग दूसरे दस्तावेज़ों से जानकारी पढ़ते हैं, निर्णय लेते हैं और उनमें जानकारी दर्ज करते हैं। हम भविष्य में वह डिफ़ॉल्ट माध्यम बनना चाहते हैं जिसके ज़रिए लोग या एजेंट दस्तावेज़ों के डेटा के साथ काम करें।

आपके ग्राहकों में Harvey, Vanta, Scale AI, Mercor और Rogo जैसी एआई-आधारित कंपनियों से लेकर बड़े वित्तीय संस्थान और फ़ॉर्च्यून 10 कंपनियाँ शामिल हैं। किसी एआई स्टार्टअप की दस्तावेज़-प्रसंस्करण संबंधी ज़रूरतें किसी बड़े, विनियमित उद्यम की ज़रूरतों से कितनी अलग होती हैं?

एआई-आधारित कंपनियाँ आम तौर पर तेज़ी से आगे बढ़ती हैं, और उनकी इंजीनियरिंग टीमें ऐसा API चाहती हैं जो कठिन दस्तावेज़ों को संभाल सके, ताकि उन्हें अपना प्रसंस्करण ढाँचा बनाने और बनाए रखने की ज़रूरत न पड़े। बड़े उद्यम भी उतनी ही सटीकता चाहते हैं, लेकिन उनकी कुछ अतिरिक्त ज़रूरतें होती हैं—जैसे डेटा कहाँ रखा जाता है, सॉफ़्टवेयर कैसे तैनात किया जाता है, काम का बोझ अचानक बढ़ने पर क्या होता है और क्या उपयोगकर्ता निकाले गए किसी मान को उसके मूल पृष्ठ तक खोज सकते हैं। उदाहरण के लिए, Scale AI सरकारी परिवेशों में Reducto का उपयोग करता है, जहाँ गोपनीयता और ऑन-प्रिमाइसेस तैनाती अहम हैं। Harvey ने उत्पादन में इस्तेमाल शुरू करने से पहले लगभग छह सप्ताह में सटीकता, विश्वसनीयता, लागत, विलंबता और विफलता के तरीकों के आधार पर हमारा मूल्यांकन किया। दोनों तरह के ग्राहकों के साथ काम करने से हमने Reducto के वास्तविक उत्पादन-संबंधी ज़रूरतों के तहत प्रदर्शन पर उतना ही ध्यान देना शुरू किया है, जितना किसी एक दस्तावेज़ को सटीकता से संभालने पर।

खबरों के अनुसार, Reducto ने समर्पित बिक्री संगठन बनाने से पहले, मुख्य रूप से संस्थापकों की अगुवाई वाली बिक्री के ज़रिए 5 मिलियन डॉलर से अधिक का वार्षिक आवर्ती राजस्व हासिल किया। शुरुआती ग्राहकों से सीधे बातचीत करके आपको यह समझने में क्या मदद मिली कि डेवलपर वास्तव में किन समस्याओं को हल करने की कोशिश कर रहे थे?

उन बातचीतों से हमने सीखा कि दस्तावेज़ों के प्रसंस्करण के बारे में व्यापक रूप से बात करने में कम समय बिताएँ और यह समझने में अधिक समय लगाएँ कि ग्राहक वास्तव में क्या करना चाहते थे। शुरुआती बिक्री कॉल अक्सर कामकाजी सत्रों में बदल जाती थीं, जहाँ ग्राहक वे दस्तावेज़ साझा करते थे जिनसे उनकी कार्यप्रणाली बाधित हुई थी। फिर हम यह पड़ताल करते थे कि जानकारी निकालने की प्रक्रिया विफल होने पर आगे क्या हुआ। स्वास्थ्य सेवा के क्षेत्र में, इसका मतलब यह देखना था कि प्रयोगशाला की रिपोर्ट में तालिका की कोई पंक्ति छूट जाने या माप की इकाई गलत पढ़े जाने से बीमा दावा दाखिल करने में देरी कैसे हो सकती है या चिकित्सक को मरीज़ का अधूरा इतिहास कैसे मिल सकता है। इन दाँवों ने सटीकता के हमारे मानक को नए सिरे से तय किया: बेंचमार्क पर अच्छा स्कोर बहुत मायने नहीं रखता, अगर वह उन त्रुटियों को छिपा दे जो सबसे अधिक महत्वपूर्ण हैं। ग्राहकों को सटीकता के साथ-साथ विश्वसनीयता, सुरक्षा, परिनियोजन में लचीलापन और बड़े पैमाने पर अनुमानित प्रदर्शन भी चाहिए था। उनसे सीधे यह सुनने से ही हमारे उत्पाद की दिशा तय हुई।

Reducto अब हर महीने अरबों पृष्ठों का प्रसंस्करण करता है। इस पैमाने पर इंजीनियरिंग की कौन-सी चुनौतियाँ सामने आती हैं—खासकर विलंबता, सटीकता, लागत और दस्तावेज़ों के बहुत अलग-अलग प्रकारों में एकसमान परिणाम बनाए रखने के मामले में?

मैं यह गिनती भूल चुका हूँ कि हम कितने पृष्ठों का प्रसंस्करण करते हैं, इसलिए थोड़ी-सी अक्षमता भी बहुत तेज़ी से महँगी पड़ सकती है। हर पृष्ठ पर अनावश्यक इन्फरेंस जोड़ने से लागत और विलंबता, दोनों बढ़ते हैं; वहीं, गति के लिए बहुत आक्रामक ढंग से अनुकूलन करने पर कठिन दस्तावेज़ों की सटीकता प्रभावित हो सकती है। इसीलिए हम यह तय करने में काफ़ी इंजीनियरिंग प्रयास लगाते हैं कि हर पृष्ठ के लिए वास्तव में कितने प्रसंस्करण की ज़रूरत है।

r-1 के साथ हमने पार्सिंग की सटीकता बढ़ाई, विलंबता घटाई और कीमत एक सेंट प्रति पृष्ठ तक लाई। हम अधिक स्वचालित रूटिंग की दिशा में भी काम कर रहे हैं, ताकि किसी सरल पृष्ठ पर उतने ही संसाधन न लगें जितने जटिल तालिका या चित्र वाले पृष्ठ पर लगते हैं। मौजूदा मात्रा में, इन फ़ैसलों का असर हर दिन लाखों पृष्ठों पर पड़ता है, इसलिए दक्षता इंजीनियरिंग की मूल समस्या का हिस्सा है।

आने वाले कई वर्षों पर नज़र डालें तो, जैसे-जैसे AI एजेंट अनुबंधों, वित्तीय अभिलेखों, शोध-पत्रों, प्रस्तुतियों और अन्य उद्यम दस्तावेज़ों के साथ अधिकाधिक काम करेंगे, आपके विचार में AI प्रणालियों और दुनिया की असंरचित जानकारी के बीच आदर्श इंटरफ़ेस कैसा होगा?

आज के AI एजेंट मूलतः टेक्स्ट-आधारित हैं। वे साफ़-सुथरी डिजिटल जानकारी पर तर्क करने में बहुत सक्षम हैं, लेकिन वास्तविक दुनिया अब भी PDF, स्प्रेडशीट, प्रस्तुतियों, स्कैन, अनुबंधों और वित्तीय अभिलेखों पर चलती है। मेरा मानना है कि समय के साथ एजेंटों को इन दस्तावेज़ों के साथ उतनी ही सहजता से काम कर पाना चाहिए, जितनी सहजता से वे आज किसी टेक्स्ट फ़ाइल के साथ करते हैं।

डेवलपर्स को OCR, पार्सिंग, मॉडल चुनने या दस्तावेज़ की संरचना के बारे में गहराई से सोचने की ज़रूरत नहीं होनी चाहिए। एजेंट किसी भी फ़ाइल को प्राप्त कर सके, उसके भीतर की सामग्री समझ सके, महत्वपूर्ण जानकारी को उसके मूल स्रोत तक खोज सके और उसे अपना ज़रूरी काम पूरा करने में विश्वसनीय ढंग से इस्तेमाल कर सके। इसके पीछे का बुनियादी ढाँचा तय करे कि दस्तावेज़ को कैसे संसाधित करना है, कौन-से मॉडल चुनने हैं और जब वास्तव में मानवीय निर्णय की ज़रूरत हो, तब अनिश्चितता को मानवीय समीक्षा के लिए कैसे आगे भेजना है।

आख़िरकार, मुझे लगता है कि काम का बँटवारा ऐसा ही होना चाहिए: मशीनें दस्तावेज़ों से जुड़े दोहराव वाले काम सँभालें, जबकि लोग अपना समय उन फ़ैसलों पर लगाएँ जिनमें संदर्भ, संस्थागत जानकारी और विवेक की ज़रूरत होती है। दस्तावेज़ों में कारोबार चलाने के लिए आवश्यक जानकारी का विशाल हिस्सा मौजूद है, इसलिए इस जानकारी को एजेंटों के लिए वास्तव में सहज और उपयोगी बनाना, वास्तविक कारोबारी प्रक्रियाओं में AI की उपयोगिता बढ़ाने की दिशा में एक बड़ा बदलाव होगा।

इस शानदार साक्षात्कार के लिए धन्यवाद। जटिल दस्तावेज़ों को AI अनुप्रयोगों के लिए विश्वसनीय डेटा में बदलने के बारे में अधिक जानने के इच्छुक पाठक Reducto पर जाएँ।