अग्रणी भाषा मॉडल भी ‘व्याख्यात्मक’ प्रतिलेखन के लिए प्रवण होते हैं

अमेज़न से नए शोध में पाया गया है कि जितना अधिक मॉडल स्मार्ट होता है, उतनी ही अधिक संभावना है कि यह ऑप्टिकल कैरेक्टर रिकग्निशन के लिए पूछे जाने पर ‘रचनात्मक’ हो जाएगा।

ऑप्टिकल कैरेक्टर रिकग्निशन (OCR) को एक बड़े पैमाने पर हल की गई समस्या माना जाता है। यदि आप कुछ पाठ को स्कैन करते हैं या OCR सिस्टम को पाठ की एक फोटो प्रस्तुत करते हैं, तो यह प्रत्येक अक्षर का विस्तृत व्यक्तिगतकरण करता है, जो प्रत्येक अक्षर के लिए अपना सर्वश्रेष्ठ अनुमान लगाता है:

टॉप लेफ्ट, एक सेगमेंटेड पहचाने गए अक्षर में विशिष्ट स्थानों का ज़ोनिंग (स्रोत); मुख्य छवि: एक संस्थागत भंडार के लिए सेगमेंटेशन परिणाम (स्रोत).

OCR अक्षरों को व्यक्तिगत रूप से व्याख्या करता है; वे अक्षर, जो पर्याप्त निकटता में हैं, शब्दों या अन्य भाषाई निर्माणों का गठन कर सकते हैं या नहीं। OCR को यह परवाह नहीं है; जब ये मुद्दे उत्पन्न होते हैं, तो यह दरवाजे से बाहर निकल जाता है और अगली नौकरी पर जाता है, क्योंकि वर्तनी जांच इसके दायरे में नहीं है।

OCR की सबसे लोकप्रिय प्रणालियों में से एक प्रतिष्ठित टेसरैक्ट है, जो एक सख्ती से एल्गोरिदमिक व्याख्याता है, जो विभिन्न ओपन-सोर्स अनुप्रयोगों और कार्य प्रवाहों में व्यापक रूप से उपयोग किया जाता है। विभिन्न ऑपरेटिंग सिस्टम में उपलब्ध ‘फ्लैट’ एल्गोरिदमिक OCR ऐड-ऑन की एक विस्तृत श्रृंखला के साथ, छवि-पाठ को संपादन योग्य पाठ में परिवर्तित करने की क्षमता अब एक नि:शुल्क वस्तु की स्थिति तक पहुंच गई है – भले ही कोई प्रणाली दोषों या खामियों से मुक्त न हो।

इसके अलावा, पारंपरिक एल्गोरिदमिक OCR स्थान में प्रतिस्पर्धा करने वाले संगठनों और व्यावसायिक उत्पादों ने अपने विरासत प्रणालियों को एआई-सहायता प्राप्त दस्तावेज़ प्रबंधन प्रणालियों में अनुकूलित किया है। हालांकि, मूल प्रौद्योगिकी – अनुमानित समूहों को खंडित और पहचाने गए अक्षरों को बाहर निकालना – अपरिवर्तित रहता है।

शब्द

OCR के साथ-साथ बढ़ती संख्या में कार्यों को अब नए पीढ़ी के विजन लैंग्वेज मॉडल (वीएलएम) द्वारा संभाला जा रहा है; गैर-संपादन योग्य या रास्टरीकृत पाठ का सामना करने पर, एजेंटिक संस्करण इन नवीनतम प्रणालियों को कुशलता से पढ़ और पार्स कर सकते हैं जहां आवश्यक हो।

हालांकि, अमेज़न.कॉम से एक नए शोध पत्र के अनुसार, जो लोग सोचते हैं कि एआई OCR के समान कार्य को दोहराएगा, उन्हें आश्चर्य हो सकता है: इस नए अध्ययन में पाया गया है कि आपका पसंदीदा एलएलएम संभवतः प्रतिलेखन में ‘अतिरिक्त मील’ जाने के लिए तैयार है, चाहे आप चाहें या नहीं; प्रति-अक्षर संदर्भ को प्रति-शब्द संदर्भ में बढ़ाते हुए – और उन ‘त्रुटियों’ को ठीक करते हुए जो कानूनी, चिकित्सा और ऐतिहासिक प्रतिलेखन जैसे क्षेत्रों के लिए अवांछनीय परिणाम हो सकते हैं।

लेखकों का दावा है:

‘विजन लैंग्वेज मॉडल (वीएलएम) पारंपरिक OCR पाइपलाइनों के बजाय दस्तावेज़ समझने के लिए बढ़ती हुई उपयोग किए जा रहे हैं।

‘[हम] दिखाते हैं कि वे हमेशा वफादार प्रतिलिपि नहीं होते हैं: जब पाठ अधूरा होता है, तो वे अक्सर इसे एक अधिक संभावित रूप में पुनः लिखने की प्रवृत्ति रखते हैं – एक व्यवहार जिसे स्वच्छ पाठ OCR बेंचमार्क नहीं पकड़ सकते हैं।’

लेखक एक विशाल नई क्यूरेटेड डेटासेट और बेंचमार्क की शुरुआत करते हैं जिसे फेथसी4 कहा जाता है, जिसे उन्होंने 15 फॉस और बंद-स्रोत मॉडलों के चयन पर परीक्षण किया, जिसमें चैटजीपीटी और गूगल जेमिनी के संस्करण शामिल हैं।

उन्होंने पाया कि सामान्य-उद्देश्य एआई मॉडल पारंपरिक OCR प्रणालियों की तुलना में अधिक असंभावित शब्दों को अधिक ‘संभावित’ शब्दों से बदलने की संभावना रखते थे, कभी-कभी लगभग 65% जumbled शब्दों को पुनः लिखते थे, जबकि छोटे स्थानीय त्रुटियों ने भी अन्यथा सटीक पाठ में त्रुटियों का कारण बना।

छोटे शब्द विशेष रूप से कमजोर थे, और स्पष्ट निर्देश नहीं सुधार करने से समस्या कम हो गई, हालांकि यह इसे समाप्त नहीं किया।

पेपर में कहा गया है*:

‘जबकि पुनः लेखन व्यवहार कुछ वास्तविक त्रुटियों को पुनर्प्राप्त करने के लिए लाभदायक हो सकता है, यह कुछ डोमेन के लिए समस्याग्रस्त हो सकता है जिन्हें साहित्यिक प्रतिलेखन की आवश्यकता होती है, जैसे कि कानूनी दस्तावेज, चिकित्सा रिकॉर्ड, और ऐतिहासिक पांडुलिपियाँ।

‘इसके महत्व के बावजूद, यह पुनः लेखन व्यवहार वीएलएम अनुसंधान में बड़े पैमाने पर अनदेखा किया गया है। मौजूदा OCR बेंचमार्क स्वच्छ पाठ पहचान पर केंद्रित हैं और इसलिए अधूरा इनपुट से निपटने के लिए मॉडल की जांच करने के लिए पर्याप्त नहीं हैं। ‘

मुख्य संदेश यह है कि अधिक उन्नत एआई प्रणालियां त्रुटियों को ठीक करने के लिए संघर्ष करती हैं जो एल्गोरिदमिक OCR प्लेटफ़ॉर्म आसानी से ‘कच्चा’ वितरित कर सकते हैं; कई मामलों में, मानव व्याख्या समस्या को हल करने के लिए आवश्यक है; लेकिन अगर एक गलत ‘सुधार’ पहले से ही लागू किया गया है, तो समस्या अधिकांश जांच प्रणालियों के रडार से गुजरने की संभावना है।
नया पेपर क्या वीएलएम पढ़ते हैं या पुनः लिखते हैं? विजन-भाषा मॉडल में प्रतिलेखन वफादारी पर शीर्षक से है, और यह अमेज़न.कॉम के पांच शोधकर्ताओं से आया है।

डेटा और विधि

अपने बेंचमार्क डेटासेट को आबाद करने के लिए, लेखकों ने कोलोसल क्लीन्ड क्रॉल्ड कॉर्पस – जिसे सी4 के रूप में जाना जाता है – पर आकर्षित किया, जो 2020 से एक हाइपरस्केल वेब-क्रॉल्ड संग्रह है। इस कॉर्पस से, 1,455 एकल-पृष्ठ दस्तावेजों का चयन किया गया था, जो अंग्रेजी, चीनी और कोरियाई भाषाओं में थे, प्रत्येक पassage को एक एकल रेंडर किए गए पृष्ठ पर फिट करने के लिए आकार दिया गया था।

अंतिम बेंचमार्क में 500 अंग्रेजी दस्तावेज, 500 चीनी दस्तावेज और 455 कोरियाई दस्तावेज शामिल थे, जो भाषा की वफादारी को मापने के लिए एक बहुभाषी परीक्षण बिस्तर प्रदान करते थे।

नियंत्रित त्रुटियों को दस्तावेजों में पेश किया गया था trước उन्हें छवियों के रूप में रेंडर किया गया था, जिसमें लगभग 8% योग्य शब्दों को बदल दिया गया था, प्रत्येक में कम से कम चार अक्षर थे। इन दस्तावेजों के अस्पर्शित संस्करणों का उपयोग मूल सत्य के रूप में किया गया था।

तीन विकृति भिन्नताएं तब लागू की गईं: स्क्रैम्बल ने शब्दों के आंतरिक अक्षरों को बनाए रखते हुए पहले और अंतिम अक्षरों को संरक्षित किया; रैंडम ने प्रत्येक अक्षर को उसी लेखन प्रणाली से एक यादृच्छिक विकल्प से बदल दिया; और विज़ुअल ने दृष्टि से अक्षरों को बदल दिया, जो अभी भी दृष्टि से संभव था, जबकि अंतर्निहित पाठ को बदल दिया।

चीनी संस्करण ने स्क्रैम्बल स्थिति को छोड़ दिया क्योंकि इसकी लेखन प्रणाली में स्थान-विभक्त शब्द नहीं थे, इसके बजाय अन्य विकृतियों के लिए निश्चित चार-अक्षर की खिड़कियों का उपयोग किया; इसके अलावा, कोरियाई की औसत शब्द लंबाई कम थी, जिसका अर्थ था कि कम शब्द संशोधन के लिए योग्य थे।

प्रत्येक दस्तावेज़ को तब एक पीडीएफ पृष्ठ के रूप में रेंडर किया गया और प्रतिस्पर्धी प्रतिलेखन प्रणालियों को पारित किया गया।

परीक्षण

अध्ययन के लिए परीक्षण में बंद-स्रोत सामान्य-उद्देश्य मॉडल शामिल थे, जिनमें जीपीटी-5.4-मिनी; जेमिनी-3-फ्लैश; और जेमिनी-2.5-फ्लैश; और खुले स्रोत मॉडल, जिनमें सामान्य-उद्देश्य मॉडल क्यूवेन3.5-4बी; क्यूवेन3-वीएल-4बी; इंटरनवीएल3.5-4बी; गेम्मा4-ई4बी; और गेम्मा4-ई2बी शामिल थे।

इसके अलावा, OCR-विशिष्ट मॉडल शामिल थे, जिनमें ओएलएमओसीआर-2-7बी; डीपसीक-ओसीआर-2; माइनरयू2.5-प्रो; पैडलओसीआर-वीएल-1.5; और लाइटऑनओसीआर-2-1बी शामिल थे। अंत में, पारंपरिक OCR इंजन टेसरैक्ट और डॉक्टीआर भी परीक्षण किए गए थे।

तीन समूह भाषा पर अलग-अलग डिग्री तक निर्भर करते हैं: सामान्य-उद्देश्य एआई मॉडल प्रीट्रेनिंग के दौरान प्राप्त व्यापक भाषा ज्ञान पर भारी रूप से आकर्षित करते हैं; OCR-विशिष्ट मॉडल दस्तावेज़ प्रतिलेखन में वफादारी पर कार्य-विशिष्ट प्रशिक्षण पर अधिक जोर देते हैं; और पारंपरिक OCR प्रणालियां भाषाई अनुमान के बजाय अक्षर पहचान पर निर्भर करती हैं।

दो मीट्रिक अपनाई गईं, वर्ड एरर रेट (WER) के साथ शुरू, जो OCR के लिए मानक मीट्रिक है जो निर्धारित करने के लिए कि एक प्रणाली ने कितने पूरे शब्दों को गलत लिखा है।

चीनी के लिए, जहां शब्दों को स्थान द्वारा अलग नहीं किया जाता है, उसी दृष्टिकोण को अक्षर स्तर पर लागू किया गया था, जिसे चरित्र त्रुटि दर (CER) कहा जाता है।

अधिक सूक्ष्म त्रुटियों को पकड़ने के लिए, संपादन दूरी समानता (EDS) मीट्रिक का भी उपयोग किया गया था। ईडीएस अनुमानित पाठ की तुलना मूल पाठ के साथ अक्षर स्तर पर करता है, और – WER के विपरीत – यह एक शब्द के बीच अंतर करने में सक्षम है जो पूरी तरह से गलत है और एक शब्द जो केवल एक या दो अक्षरों से भिन्न है।

नीचे दिए गए ग्राफ के रूप में, पारंपरिक OCR प्रणालियों ने तीनों विकृति प्रकारों के लिए सबसे कम त्रुटि दर दिखाई, क्योंकि वे मुख्य रूप से अक्षरों को पहचानते हैं और संदर्भ से शब्दों का अनुमान लगाने का प्रयास नहीं करते हैं:

अंग्रेजी, चीनी और कोरियाई में तीन पाठ विकृति विधियों के बाद शब्द त्रुटि दर (बाएं) और संपादन दूरी समानता (दाएं) में परिवर्तन। पारंपरिक OCR प्रणालियों ने समग्र रूप से सबसे कम प्रदर्शन ह्रास दिखाया, OCR-विशिष्ट मॉडल मध्य मैदान में थे, जबकि सामान्य-उद्देश्य एआई मॉडल आमतौर पर दूषित पाठ से सबसे अधिक प्रभावित थे। स्रोत

OCR-विशिष्ट एआई मॉडल मध्य मैदान में थे; माइनरयू और लाइटऑन अपेक्षाकृत मजबूत रहे; और ओएलएमओसीआर और डीपसीक-ओसीआर ने दूषित पाठ के प्रति अधिक संवेदनशीलता दिखाई, यह दर्शाता है कि दस्तावेज़-विशिष्ट प्रशिक्षण ने पुनः लेखन की प्रवृत्ति को कम किया, लेकिन इसे समाप्त नहीं किया।

सामान्य-उद्देश्य एआई मॉडल ने समग्र रूप से सबसे खराब प्रदर्शन किया, दूषित पाठ का सामना करने पर प्रतिलेखन त्रुटियों में सबसे बड़ी वृद्धि दिखाई। अधिकांश ने या तो OCR-विशिष्ट मॉडल या पारंपरिक OCR की तुलना में काफी अधिक गिरावट दिखाई – हालांकि जेमिनी-3-फ्लैश एक उल्लेखनीय अपवाद के रूप में खड़ा था, जो एक पारंपरिक OCR प्रणाली की तरह प्रदर्शन करता था।

समग्र रैंकिंग भाषा ज्ञान पर मॉडल की निर्भरता के स्तर के साथ 밀ान करने के लिए करीब थी, जिसमें मजबूत भाषा प्राथमिकताएं पुनः लेखन की एक बड़ी प्रवृत्ति से मेल खाती थीं।

त्रुटि प्रकारों का विभाजन, नीचे दी गई तालिका में, संकेत देता है कि पारंपरिक OCR प्रणालियों ने मुख्य रूप से पारंपरिक प्रतिलेखन त्रुटियों का उत्पादन किया, जैसे कि प्रतिस्थापन, डिलीट और सम्मिलन:

अंग्रेजी ‘स्क्रैम्बल’ विकृति परीक्षण के परिणाम, जो प्रत्येक प्रतिलेखन प्रणाली द्वारा त्रुटियों के वितरण को दिखाता है विभिन्न श्रेणियों में: सटीक पुनः लेखन, निकट-प्रतिलिपि प्रतिलिपि (‘निकट’), अधिक महत्वपूर्ण प्रतिलेखन त्रुटियां (‘मध्यम’) और पूरी तरह से गलत आउटपुट (‘गलत’)। मॉडल उनकी दूषित शब्दों को पुनः लिखने की दर से क्रमबद्ध हैं।

इसके विपरीत, सामान्य-उद्देश्य एआई मॉडल दूषित शब्दों को वाक्य के आसपास के संदर्भ को बनाए रखते हुए अधिक संभावित विकल्पों के साथ बदलने की संभावना अधिक थी, जो यह साबित करता है कि वे केवल दूषित पाठ को गलत तरीके से पढ़ नहीं रहे थे, बल्कि इसे भाषाई संदर्भ का उपयोग करके सक्रिय रूप से पुनः लिख रहे थे।

अध्ययन ने यह भी पाया कि प्रतिलेखन त्रुटियां दूषित शब्दों तक ही सीमित नहीं थीं:

त्रुटि प्रसार विश्लेषण के परिणाम, जो प्रत्येक प्रतिलेखन प्रणाली द्वारा प्रत्येक प्रतिलिपि और अप्रतिलिपि शब्दों पर प्रति-शब्द त्रुटि दर को दिखाता है प्रत्येक विकृति प्रकार के बाद। लगभग 4.7% शब्दों को बदलने से कई मॉडलों में आसपास के अपरिवर्तित पाठ में प्रतिलेखन त्रुटियां फैल गईं।

नीचे दिए गए ग्राफ में दिखाया गया है, अंग्रेजी दस्तावेज़ में केवल लगभग 4.7% शब्दों को बदलने से आसपास के अपरिवर्तित पाठ में त्रुटि दर में काफी वृद्धि हुई:

त्रुटि प्रसार विश्लेषण के आगे के परिणाम, जो प्रत्येक प्रतिलेखन प्रणाली द्वारा प्रत्येक प्रतिलिपि और अप्रतिलिपि शब्दों पर प्रति-शब्द त्रुटि दर में वृद्धि को दिखाता है प्रत्येक विकृति प्रकार के बाद। सामान्य-उद्देश्य एआई मॉडल ने सबसे बड़ा त्रुटि वृद्धि दिखाया, जिसमें अक्सर त्रुटियां मूल रूप से दूषित शब्दों से परे फैल गईं।

सामान्य-उद्देश्य वीएलएम सबसे अधिक प्रभावित थे, जिसमें अपरिवर्तित शब्दों पर त्रुटि दर में दस गुना वृद्धि हुई। इसके विपरीत, पारंपरिक OCR प्रणालियों ने केवल मामूली वृद्धि दिखाई। मॉडल जो दूषित शब्दों को पुनः लिखने की सबसे बड़ी अनुपात प्रदर्शित करते थे, उनमें त्रुटि प्रसार भी सबसे मजबूत था, जो यह सुझाव देता है कि दोनों व्यवहार एक ही अंतर्निहित भाषाई संदर्भ पर निर्भरता से उत्पन्न होते हैं।

व्यावहारिक रूप से, इसका अर्थ है कि एक छोटी मात्रा में दूषित पाठ एक अन्यथा संपूर्ण दस्तावेज़ की सटीकता को समझौता कर सकता है, जिससे स्वच्छ OCR बेंचमार्क स्कोर वास्तविक दुनिया की प्रतिलेखन विश्वसनीयता के लिए एक अविश्वसनीय गाइड बन जाते हैं।

अंत में, लेखकों ने यह भी जांचा कि क्या शब्द लंबाई पुनः लेखन व्यवहार को प्रभावित करती है, जिसमें पाया गया कि छोटे शब्द लंबे शब्दों की तुलना में काफी अधिक कमजोर थे।

क्योंकि उनमें कम दृश्य संकेत होते हैं, संक्षिप्त शब्द वीएलएम को अधिक भारी रूप से संदर्भ भाषा ज्ञान पर निर्भर करने के लिए प्रोत्साहित करते प्रतीत होते हैं – दूषित पाठ को साहित्यिक रूप से प्रतिलिपि करने की संभावना को बढ़ाते हैं, बजाय इसके कि यह साहित्यिक रूप से प्रतिलिपि बनाई जाए (जो मानव निरीक्षण के लिए एक उपयोगी अलर्ट का कारण बन सकता है)।

लेखकों ने यह भी पाया कि जबकि मॉडल को न सुधार करने के लिए स्पष्ट रूप से निर्देश देने से यह प्रवृत्ति कम हो गई, यह इसे समाप्त नहीं किया। यह इंगित करता प्रतीत होता है कि व्याख्यात्मक प्रतिलेखन वर्तमान वीएलएम की एक अंतर्निहित विशेषता है, बल्कि एक व्यवहार नहीं है जिसे प्रॉम्प्टिंग के माध्यम से विश्वसनीय रूप से दबाया जा सकता है।

लेखक निष्कर्ष निकालते हैं:

‘ऐसे अनुप्रयोगों के लिए जिनमें साहित्यिक प्रतिलेखन की आवश्यकता होती है, जैसे कि कानूनी दस्तावेज प्रसंस्करण, ऐतिहासिक पांडुलिपि डिजिटलीकरण, और फोरेंसिक, पारंपरिक OCR प्रणालियों या सावधानी से चुने गए OCR-विशिष्ट वीएलएम का उपयोग करना सबसे सुरक्षित विकल्प है, जबकि सामान्य-उद्देश्य वीएलएम स्वच्छ-पाठ बेंचमार्क में कैप्चर नहीं किए गए व्यवस्थित पुनः लेखन को पेश करते हैं। ‘

निष्कर्ष

यह अध्ययन एलएलएम साहित्य में एक दोहराव वाले तार को दोहराता है: कि यद्यपि प्रशिक्षित वीएलएम मॉडल बहुत शक्तिशाली हैं, वे महत्वपूर्ण निर्देशों के प्रति प्रतिरोधी हैं – इस मामले में छवि में पाए जाने वाले अक्षरों को पढ़ें और पार्स करें।

अधिक उन्नत मॉडल बस ऐसा नहीं कर सकते हैं, ऐसा लगता है – जैसे कि वे इसे ‘स्कट कार्य’ मानते हैं, या अन्यथा ‘अधूरे कार्य’ को पूरा करने के लिए तर्कसंगत रूप से मजबूर हैं।

* मेरा लेखकों के इनलाइन उद्धरणों को हाइपरलिंक में परिवर्तन।

सोमवार, 27 जुलाई, 2026 को पहली बार प्रकाशित