अहम बात यह है कि एंटरप्राइज़ एजेंट हाइलाइटिंग को नहीं समझते

दुनिया में, और खासकर कारोबारी जगत में, बहुत-से महत्वपूर्ण कागज़ी दस्तावेज़ हैं जिन्हें स्कैन नहीं किया गया है। अनुमान है कि वैश्विक व्यापार में हर साल प्रचलन में रहने वाले चार अरब कागज़ी दस्तावेज़ों में से केवल 1% का डिजिटलीकरण होता है। बाकी दस्तावेज़ मशीन लर्निंग की विश्लेषणात्मक क्षमता के दायरे से बाहर रह जाते हैं।

यह व्यावसायिक क्षेत्र की समस्या का महज़ एक मोटा आकलन है; सरकारें भी बहुत बड़ी मात्रा में मुद्रित या कागज़ में बँधी सामग्री तैयार करती हैं। अमेरिकी राष्ट्रीय अभिलेखागार ने इस साल बताया कि उसके पास मौजूद एनालॉग दस्तावेज़ों में से केवल 4.04% का डिजिटलीकरण हुआ है और 11.97 अरब दस्तावेज़ों का डिजिटलीकरण होना अभी बाकी है।

इसलिए यह कोई पुरानी समस्या नहीं, बल्कि लगातार बनी हुई समस्या है। और मैं मानता हूँ कि मैं भी इसका हिस्सा हूँ:

ज़्यादातर दिनों में मेरे सामने यही रहता है।

दस्तावेज़ों की समीक्षा करते समय मैं उन्हें प्रिंट करता हूँ, क्योंकि उन्हें मशीन से सारांशित करने के साथ-साथ इंसानी नज़र से भी अच्छी तरह समझना पड़ता है। समय कम होने के कारण मैं अहम हिस्सों और संभावित उद्धरणों पर बड़े-बड़े निशान लगा देता हूँ, ताकि लिखने बैठने पर डेटा का ढाँचा तुरंत नज़र आ जाए। मुझे हाइलाइटर इस्तेमाल करने की इतनी सनक नहीं है, इसलिए अतिरिक्त ज़ोर दिखाने के लिए अलग-अलग प्रतीकों, बड़े अक्षरों और महत्व जताने के अपने कई निजी तरीकों का इस्तेमाल करता हूँ।

लेकिन बहुत-से लोग—जिनमें महत्वपूर्ण बातें लिखने वाले कई महत्वपूर्ण लोग भी शामिल हैं—ज़ोर देने के लिए रंगीन हाइलाइटर और अलग-अलग रंगों के पाठ का इस्तेमाल करते हैं।

विंस्टन चर्चिल ज़ोर देने के अलग-अलग तरीकों के लिए अलग रंगों के पेन इस्तेमाल करते थे। यहाँ, अपने ‘सबसे गौरवशाली क्षण’ वाले भाषण की तैयारी करते समय, वे सुधार बताने के लिए लाल रंग का इस्तेमाल करते दिखते हैं। स्रोत

पहले की तस्वीर में दिखाए गए दस्तावेज़ (काले व्याख्यान-मंच पर रखा हुआ दस्तावेज़) के अनुसार, ऐसे करोड़ों दस्तावेज़ हो सकते हैं जिनमें इस तरह से ज़ोर देने की परत मौजूद है, लेकिन Docling जैसे दस्तावेज़-आयात सिस्टम अभी उसे देख नहीं पाते।

ये हाथ से लगाए गए ज़ोर महत्वपूर्ण होते हैं; इनके ज़रिए पाठ को ऐसा महत्व मिलता है जो ज़रूरी नहीं कि भाषा की बनावट से भी झलके। इसलिए हाइलाइट किए गए पन्ने की सामग्री को ओसीआर (या अधिक उन्नत तरीकों, जैसे वीएलएम) से केवल पाठ में बदल देने पर लेखक का पूरा आशय सामने नहीं आता और दस्तावेज़ के उद्देश्य तथा मंशा को गलत रूप में भी पेश किया जा सकता है।

सिर्फ़ हाइलाइट किए गए अंश

नए शोधपत्र* में पाया गया है कि आम तौर पर इस्तेमाल होने वाले दस्तावेज़ रूपांतरण उपकरण नियमित रूप से हाइलाइट और पाठ के रंगों को हटा देते हैं, जिससे एआई एजेंट महत्वपूर्ण निर्देशों को पहचान नहीं पाते। अध्ययन के परीक्षणों में जाँचे गए 6,462 नीतिगत दस्तावेज़ों में से लगभग एक-तिहाई में लाल रंग का पाठ या हाइलाइटिंग थी, और करीब दस में से एक दस्तावेज़ में इन निशानों का इस्तेमाल महत्वपूर्ण आवश्यकताओं की ओर ध्यान दिलाने के लिए किया गया था।

एंटरप्राइज़ दस्तावेज़ों को सिस्टम में शामिल करने वाले एजेंटों के बारे में लेखक^† कहते^†† हैं:

‘परिपक्व रूपांतरण उपकरण पाठ, तालिकाओं और संरचना को पूरी निष्ठा से निकाल लेते हैं, इसलिए पूरी प्रक्रिया सही दिखती है।

‘हम दिखाते हैं कि इन सभी उपकरणों में एक परत खो जाती है—लेखक पाठ के रूप-रंग में जो अर्थ निहित करता है—और इस हानि के कारण एजेंट पूरे आत्मविश्वास के साथ गलत होते हैं, न कि साफ़ तौर पर अधूरे; और तैनाती के बाद इस तरह की विफलता का पता लगाना अधिक कठिन होता है।’

लेखकों के परीक्षण में, जब एआई मॉडलों से वास्तविक नीतिगत दस्तावेज़ों में महत्वपूर्ण आवश्यकताओं की पहचान करने को कहा गया, तो मूल हाइलाइट और पाठ के रंग सुरक्षित रखे जाने पर उनका प्रदर्शन कहीं बेहतर था। छह मॉडलों में इस नतीजे की पुष्टि हुई, जिनमें GPT-5.6 Terra, Claude Opus 5 और Claude Sonnet 5 शामिल थे।

हाइलाइटिंग से प्रभावी रूप से दो संकेत निकाले जा सकते हैं: क) यह तथ्य कि किसी चीज़ को हाइलाइट किया गया था और ख) वह रंग जिसमें उसे हाइलाइट किया गया था। जब हाथ से हाइलाइट करने के लिए कई रंगों का इस्तेमाल किया गया हो, तो तर्कसंगत वर्गीकरण में लाल रंग को किसी तरह नकारात्मक माना जाएगा (जैसा कि हमने पहले विंस्टन चर्चिल द्वारा अपने ही भाषणों में किए गए सुधारों में देखा था):

लेखकों के पहले चरण के पार्सर के इस JSON आउटपुट के निचले हिस्से में हम देखते हैं कि पाइपलाइन ने लाल हाइलाइटिंग को ढूँढ़कर उसका वर्गीकरण कर दिया है। और तर्कसंगत रूप से, हम देख सकते हैं कि शब्द उस वर्गीकृत तीव्रता के स्तर से मेल खाते हैं। हालाँकि, यह तरीका तब अधिक उपयोगी होता है जब ज़ोर ऐसे शब्दों पर दिया जाए जो अपने आप में लहजे को बहुत अधिक तीव्र नहीं करते और जहाँ हाइलाइटिंग इस तरह से छूटे हुए ज़ोर को जोड़ती है। स्रोत

लेखकों का सुझाव है कि मौजूदा पाइपलाइन दस्तावेज़ रूपांतरण के दौरान मूल हाइलाइटिंग और टेक्स्ट के रंगों को बरकरार रखकर तथा एआई मॉडल को उनके महत्व की व्याख्या करने वाले लेबल जोड़कर इस समस्या को काफी आसानी से हल कर सकती हैं। इसके लिए एआई की कोई अतिरिक्त प्रोसेसिंग आवश्यक नहीं है, लेकिन इससे प्रत्येक दस्तावेज़ को दर्शाने के लिए ज़रूरी टोकन की संख्या लगभग दोगुनी हो जाती है:

‘इन संकेतों को फिर से प्राप्त करना नियतात्मक है, केवल कोड से किया जा सकता है और इसमें एलएलएम कॉल की कोई लागत नहीं आती; यहाँ बताये गए पूरे प्रभाव का स्रोत केवल पार्सिंग है। इसमें टोकन ज़रूर लगते हैं—सादे टेक्स्ट से लगभग दोगुने—इसलिए यह बिना किसी लागत के मिलने वाला लाभ नहीं, बल्कि तथ्यात्मकता के बदले संदर्भ बजट खर्च करने का सोचा-समझा समझौता है।’

बोल्ड की अनदेखी

अध्ययन का एक दिलचस्प पहलू यह है कि टाइप किए गए डिजिटल दस्तावेज़ों में ज़ोर देने के मौजूदा तरीके, ऐसा लगता है, ^†† ज़रूरत से ज़्यादा इस्तेमाल के कारण कितने अप्रभावी हो जाते हैं:

‘पूरा प्रभाव [i.e., of the new pipeline] हाइलाइटिंग [and] [colour] से पैदा होता है। बोल्ड, इटैलिक, मोनोस्पेस और स्ट्राइकथ्रू का कोई योगदान नहीं है [measurable]; इनके विश्वास अंतराल में शून्य शामिल है।

‘ऐसा इसलिए नहीं है कि ये संकेत मौजूद नहीं हैं: किसी एक दस्तावेज़ में बोल्ड के एक हज़ार से ज़्यादा चिह्न हो सकते हैं। वजह यह है कि ये इतने आम हैं कि इनसे कोई उपयोगी जानकारी नहीं मिलती।

‘जो लेखक हर शीर्षक और परिभाषित शब्द को बोल्ड करता है, वह इससे किसी एक चीज़ को विशिष्ट रूप से नहीं उभारता; इसके विपरीत, किसी आवश्यकता को रंगना या हाइलाइट करना सोच-समझकर और सीमित रूप से किया जाता है। संकेतों का प्रकार तभी उपयोगी होता है, जब वे इतने दुर्लभ हों कि मंशा का संकेत दे सकें।’

कार्य और परीक्षण

प्रणाली स्थापित करने के लिए, लेखकों ने एक ऐसे सार्वजनिक कॉर्पस से .docx प्रारूप में 6,462 वास्तविक नीतिगत दस्तावेज़ों को स्कैन किया, जिसका स्रोत निर्दिष्ट नहीं था। उन्होंने शब्दावली के आधार पर कोई अनुमान लगाए बिना दस्तावेज़ों में लाल टेक्स्ट और हाइलाइटिंग की जाँच की। इसके बाद मॉडलों से कहा गया कि वे विशेष रूप से महत्वपूर्ण चिह्नित की गई आवश्यकताओं को चुनें और बिना चिह्न वाली आवश्यकताओं को छोड़ दें। मुख्य प्रॉम्प्ट यह था:

‘इस दस्तावेज़ में वे सभी आवश्यकताएँ सूचीबद्ध करें, जिन्हें लेखक ने विशेष ध्यान या उच्च प्राथमिकता के लिए चुना है।’

मुख्य परीक्षण के लिए 84 दस्तावेज़ चुने गए, जिनमें 332 चिह्नित आवश्यकताएँ और 4,192 बिना चिह्न वाली आवश्यकताएँ थीं (यानी, ऐसी आवश्यकताएँ जिनमें लाल टेक्स्ट या रंगीन हाइलाइटिंग नहीं थी)। हर दस्तावेज़ में कम से कम एक चिह्नित और तीन बिना चिह्न वाली आवश्यकताएँ होना ज़रूरी था, ताकि एआई हर चीज़ को बस सूचीबद्ध न कर सके।

सही उत्तर का आधार इंसानी निर्णय या किसी अन्य एआई मॉडल के बजाय सीधे दस्तावेज़ों के फ़ॉर्मैटिंग से तय किया गया। प्रदर्शन को परिशुद्धता, रिकॉल और F1 स्कोर से मापा गया। इसमें सही ढंग से पहचानी गई आवश्यकताओं और गलत सकारात्मक परिणामों—यानी, गलती से शामिल की गई बिना चिह्न वाली आवश्यकताओं—दोनों को ध्यान में रखा गया।

स्कोर की गणना प्रोग्राम के ज़रिए की गई; इसमें एलएलएम निर्णायक का कोई उपयोग नहीं हुआ। किसी उत्तर को मेल मानने के लिए उसमें मूल आवश्यकता के कम से कम लगातार चार सार्थक शब्द होने ज़रूरी थे। इससे मिलती-जुलती, लेकिन अलग आवश्यकताओं को सही उत्तर गिनने से रोकने में मदद मिली।

हाइलाइट हटाकर परीक्षण

यह जाँचने के लिए एक और परीक्षण किया गया कि क्या हाइलाइटिंग या रंगों के बिना, केवल शब्दावली के आधार पर महत्वपूर्ण आवश्यकताओं की पहचान की जा सकती है। उदाहरणों पर प्रशिक्षित टेक्स्ट-आधारित वर्गीकारक ने ROC AUC का 0.664 स्कोर हासिल किया (जहाँ 0.5 का मतलब है कि अनुमान लगाना संयोग पर निर्भर है)।

सरल तरीकों का प्रदर्शन संयोग से बेहतर नहीं था: तात्कालिकता का संकेत देने वाले शब्दों को सुराग मानने पर स्कोर 0.508 रहा, जबकि वाक्य की लंबाई से 0.492 स्कोर मिला। इन नतीजों से पता चलता है कि केवल शब्दावली के आधार पर, हाइलाइटर इस्तेमाल करने वाले लेखक की मंशा के बारे में बहुत कम पता लगाया जा सकता है।

यह बात समझ में आती है: माना जा सकता है कि अगर भाषा अपने आप में पर्याप्त ज़ोरदार होती, तो लेखक को बाद में ज़ोर देने की ज़रूरत महसूस नहीं होती।

तुलना में शामिल तरीके

तुलना में लेखकों का अपना पार्सर, OURS; महत्व-सूचक भूमिकाओं वाला OURS; बिना प्रकार के मार्कअप वाला OURS; docx2python; Docling; और सादे टेक्स्ट में रूपांतरण शामिल थे।

हर तरीके के लिए समान दस्तावेज़ों और प्रश्नों का इस्तेमाल किया गया; केवल दस्तावेज़ों को रूपांतरित करने का तरीका बदला गया। मुख्य तुलना में 76 दस्तावेज़ शामिल थे और हर परीक्षण तीन बार दोहराया गया:

Word दस्तावेज़ों में ‘महत्वपूर्ण’ के रूप में चिह्नित आवश्यकताओं की पहचान करने के छह तरीकों के परीक्षण नतीजे। ऊपरी खंड में 76 दस्तावेज़ों पर तीन बार किए गए परीक्षण के नतीजे दिखाए गए हैं। निचले खंड में 79 दस्तावेज़ों का इस्तेमाल करके छह बार दोहराए गए अलग पुष्टिकरण परीक्षण के नतीजे हैं। F1 स्कोर जितना अधिक हो, प्रदर्शन उतना बेहतर होता है; गलत सकारात्मक परिणामों की दर जितनी कम हो, उतनी ही कम बिना चिह्न वाली आवश्यकताओं को गलती से चुना जाता है। सांख्यिकीय रूप से महत्वपूर्ण अंतर बोल्ड में दिखाए गए हैं।

जैसा कि ऊपर दिखाया गया है, लेखकों की प्रणाली ने 0.690 का सर्वोच्च समग्र F1 स्कोर हासिल किया। इसके मुकाबले docx2python का स्कोर 0.586, Docling का 0.150 और साधारण टेक्स्ट का महज़ 0.075 था (F1, परिशुद्धता और रिकॉल को मिलाकर सटीकता का एक माप देता है, जिसमें 1.0 का अर्थ पूर्ण स्कोर है)।

फ़ॉर्मैटिंग को सुरक्षित रखने का महत्व गलत सकारात्मक परिणामों से भी सामने आया: Docling के मामले में, जिन आवश्यकताओं को चिह्नित नहीं किया गया था, उन्हें लेखकों की प्रणाली की तुलना में लगभग चार गुनी दर से ग़लती से चुन लिया गया (4.3% बनाम 1.1%)।

यह जाँचने के लिए एक अलग परीक्षण किया गया कि क्या AI मॉडल को फ़ॉर्मैटिंग का अर्थ बताने से लाभ हुआ—सिर्फ़ मूल रंग और हाइलाइटिंग दिखाने के बजाय। अतिरिक्त लेबल दिए जाने पर थोड़ा, लेकिन सांख्यिकीय रूप से महत्वपूर्ण सुधार मिला। हालाँकि, फ़ॉर्मैटिंग को जस का तस सुरक्षित रखने से ही अधिकांश लाभ पहले ही मिल चुका था।

बाहरी दबाव

शोधकर्ताओं ने Microsoft के ऑफिस कॉम्प्रिहेंशन बेंचमार्क (OCB) का उपयोग करके एक अतिरिक्त आकलन किया। यह मापता है कि Office दस्तावेज़ों से जानकारी कितनी सटीकता से प्राप्त की जा सकती है।

59 Word दस्तावेज़ों से फ़ॉर्मैटिंग, तालिकाओं, हाइपरलिंक, टिप्पणियों और फ़ुटनोट से जुड़े 326 प्रश्न निकाले गए। प्रश्न और अंक देने के मानदंड, दोनों Microsoft ने इस अध्ययन से स्वतंत्र रूप से उपलब्ध कराए थे:

Microsoft के Office Comprehension Benchmark पर दस्तावेज़ रूपांतरण की पाँच विधियों के परिणामों की तुलना; इसमें 59 Word दस्तावेज़ों के 326 प्रश्न शामिल हैं। स्कोर 0 से 1 तक हैं; ऊँचा स्कोर बेहतर प्रदर्शन दर्शाता है। हर श्रेणी का सर्वोच्च स्कोर मोटे अक्षरों में है। सबसे नीचे की पंक्तियाँ समग्र प्रदर्शन और सांख्यिकीय महत्त्व का सार देती हैं। यहाँ लेखकों की प्रणाली ने सर्वोच्च समग्र स्कोर हासिल किया, हालाँकि हाइलाइटिंग के मामले में docx2python ने बेहतर प्रदर्शन किया।

जैसा कि ऊपर दिखाया गया है, लेखकों की प्रणाली ने 0.959 का उत्कृष्ट समग्र स्कोर हासिल किया। इसके मुकाबले docx2python का स्कोर 0.810 (अच्छा), Docling का 0.720 (मध्यम) और साधारण टेक्स्ट का 0.634 (तुलनात्मक रूप से कमज़ोर) था।

नई प्रणाली ने मेटाडेटा, टिप्पणियों और फ़ुटनोट के लिए पूर्ण स्कोर हासिल किए, जबकि प्रतिस्पर्धी सभी विधियों के स्कोर शून्य रहे। हालाँकि, ये सुधार सिर्फ़ हाइलाइटिंग और टेक्स्ट के रंग सुरक्षित रखने के कारण नहीं हुए; लेखकों की प्रणाली ने तालिकाओं, दस्तावेज़ के लेआउट, फ़ॉन्ट और हाइपरलिंक से जानकारी प्राप्त करने में भी बेहतर प्रदर्शन किया।

निष्कर्ष

हाल ही में मैंने PDF में उपलब्ध एक विज्ञान शोधपत्र की तालिकाओं और चित्रों को अपने हाथ से रेखांकित करने की प्रक्रिया को LLMs और/या Python की मदद से स्वचालित करने की कोशिश की, लेकिन मुझे बहुत कम सफलता मिली—और नतीजे… खैर, हास्यास्पद थे। विज्ञान शोधपत्रों का वर्गीकरण, परिमाणीकरण और विश्लेषण अब शोध-साहित्य का एक सुविकसित क्षेत्र है; इसमें शौकिया तौर पर काम करने वाले व्यक्ति के लिए न तो ज़्यादा गुंजाइश है—न ही उम्मीद।

इस शोधपत्र के संदर्भ में, लेखकों की सफलता यह है कि उन्होंने ज़ोर दर्शाने वाले एक ऐसे महत्त्वपूर्ण संकेतक की पहचान की, जो रूपांतरण के दौरान खो रहा था। हालाँकि, उनके समाधान के लिए टोकनों पर होने वाला खर्च दोगुना हो जाता है—और OCR तथा दस्तावेज़ ग्रहण करने वाली परतों को जिस स्तर पर काम करना पड़ता है, उस पैमाने पर यह कोई मामूली बात नहीं है। इसलिए, मेरे विचार से, यहाँ असली उपलब्धि समस्या की पहचान करना है।

* शीर्षक: ‘लेखक ने क्या लिखा, एजेंट क्या पढ़ता है: उद्यम दस्तावेज़ों को ग्रहण करने के दौरान संकेतों का चुपचाप खो जाना’

^† सभी Amazon से।

^†† ज़ोर लेखकों ने दिया है, मैंने नहीं; हालाँकि मैं नियमित रूप से लेखकों के पाठ के भीतर दिए गए उद्धरणों को हाइपरलिंक में बदलता हूँ।

पहली बार प्रकाशित: शुक्रवार, 30 अक्टूबर 2026