अमेरिकी सरकार के पीडीएफ पर्वत को कंप्यूटर विजन के साथ हल करना

एडोबी के पीडीएफ प्रारूप ने अमेरिकी सरकार के दस्तावेज़ पाइपलाइनों में इतनी गहराई से अपना वर्चस्व स्थापित कर लिया है कि वर्तमान में अस्तित्व में राज्य-जारी दस्तावेजों की संख्या का एक रूढ़िवादी अनुमान सैकड़ों मिलियन है। अक्सर अपारदर्शी और मेटाडेटा की कमी, ये पीडीएफ – कई स्वचालित प्रणालियों द्वारा बनाए गए – सामूहिक रूप से कोई कहानियां या सागा नहीं बताते हैं; यदि आप ठीक से नहीं जानते कि आप क्या ढूंढ रहे हैं, तो आपको शायद कभी भी एक प्रासंगिक दस्तावेज़ नहीं मिलेगा। और अगर आपने जाना भी, तो आप शायद खोज की आवश्यकता नहीं थी। हालांकि, एक नया परियोजना कंप्यूटर विजन और अन्य मशीन लर्निंग दृष्टिकोणों का उपयोग करके इस लगभग अप्रोचेबल डेटा के पहाड़ को शोधकर्ताओं, इतिहासकारों, पत्रकारों और विद्वानों के लिए एक मूल्यवान और अन्वेषणीय संसाधन में बदलने के लिए है।

जब अमेरिकी सरकार ने 1990 के दशक में एडोबी के पोर्टेबल डॉक्यूमेंट फॉर्मेट (पीडीएफ) की खोज की, तो उसने तय किया कि उसे यह पसंद है। संपादन योग्य वर्ड दस्तावेजों के विपरीत, पीडीएफ को विभिन्न तरीकों से ‘बेक’ किया जा सकता था जो उन्हें बाद में संशोधित करना मुश्किल या असंभव बना देते थे; फ़ॉन्ट एम्बेड किए जा सकते थे, जो क्रॉस-प्लेटफ़ॉर्म संगतता सुनिश्चित करते थे; और प्रिंटिंग, कॉपी करना और यहां तक कि खोलना भी विस्तृत आधार पर नियंत्रित किया जा सकता था।

अधिक महत्वपूर्ण बात यह है कि इन मूल विशेषताओं को प्रारूप के कुछ पुराने ‘बेसलाइन’ विशिष्टताओं में उपलब्ध कराया गया था, जो वादा करता था कि संग्रहीत सामग्री को बाद में सुलभता सुनिश्चित करने के लिए पुनः प्रसंस्करण या पुनः दौरा करने की आवश्यकता नहीं होगी। लगभग सभी सरकारी प्रकाशन की आवश्यकता 1996 तक स्थान पर थी 1996 तक।

ब्लॉकचेन प्रोवेनेंस और एनएफटी प्रौद्योगिकियों के दशकों दूर होने के साथ, पीडीएफ डिजिटल युग के लिए एक ‘मृत’ एनालॉग दस्तावेज़ के करीब था, जो केवल एक फैक्स से एक概念ual हिचकिचाहट दूर था। यह ठीक वही था जो चाहा था।

पीडीएफ के बारे में आंतरिक असहमति

पीडीएफ कितने हर्मेटिक, अप्राप्य और ‘गैर-सामाजिक’ हैं, इसका वर्णन लाइब्रेरी ऑफ कांग्रेस में प्रारूप पर दस्तावेज़ीकरण में किया गया है, जो पीडीएफ को अपने ‘प्राथमिकता प्रारूप’ के रूप में पसंद करता है:

‘पीडीएफ/ए फॉर्मेट का प्राथमिक उद्देश्य इलेक्ट्रॉनिक दस्तावेजों को एक ऐसे तरीके से प्रस्तुत करना है जो उनकी स्थिर दृश्य उपस्थिति को समय के साथ संरक्षित करता है, जो निर्माण, भंडारण या रेंडरिंग के लिए उपयोग किए जाने वाले उपकरणों और प्रणालियों से स्वतंत्र है। इस उद्देश्य के लिए, पीडीएफ/ए डिवाइस स्वतंत्रता, स्व-निहितता और स्व-प्रलेखन को अधिकतम करने का प्रयास करता है।’

पीडीएफ प्रारूप के लिए चल रहे उत्साह, पहुंच के लिए मानक, और न्यूनतम संस्करण के लिए आवश्यकताएं, सभी अमेरिकी सरकार के विभागों में भिन्न होती हैं। उदाहरण के लिए, जबकि पर्यावरण संरक्षण एजेंसी की इस संबंध में सख्त लेकिन सहायक नीतियां हैं, आधिकारिक अमेरिकी सरकार की वेबसाइट प्लेनलैंग्वेज.गोव स्वीकार करती है कि ‘उपयोगकर्ता पीडीएफ से नफरत करते हैं’, और यहां तक कि सीधे 2020 नीलसन नॉर्मन ग्रुप रिपोर्ट से जुड़ता है जिसका शीर्षक पीडीएफ: अभी भी मानव उपभोग के लिए अनुपयुक्त, 20 साल बाद है।

इस बीच, irs.gov, 1995 में बनाया गया विशेष रूप से कर एजेंसी के दस्तावेज़ीकरण को डिजिटल में बदलने के लिए, तुरंत पीडीएफ को अपनाया और अभी भी एक उत्साही समर्थक है।

पीडीएफ का वायरल प्रसार

पीडीएफ के मूल विशिष्टताओं को एडोबी द्वारा ओपन सोर्स में जारी करने के बाद, एक ट्रांच सर्वर-साइड प्रोसेसिंग टूल और लाइब्रेरी उभरी हैं, जिनमें से कई अब वेनरेबल और 1996 के पीडीएफ विशिष्टताओं के रूप में प्रतिष्ठित और स्थापित हैं, और सॉफ्टवेयर विक्रेताओं ने पीडीएफ कार्यक्षमता को कम लागत वाले टूल में एकीकृत करने के लिए दौड़ लगाई।

परिणामस्वरूप, अमेरिकी सरकार के विभागों में संचार और दस्तावेज़ीकरण ढांचे में पीडीएफ प्रेम या नापसंद के बावजूद, पीडीएफ शायद ही कभी मौजूद हैं।

2015 में एडोबी के वीपी इंजीनियरिंग फॉर डॉक्यूमेंट क्लाउड, फिल यडेन्स अनुमान लगाया कि 2.5 ट्रिलियन पीडीएफ दस्तावेज़ दुनिया में मौजूद हैं, जबकि प्रारूप को 6-11% वेब सामग्री के लिए जिम्मेदार माना जाता है। पुरानी प्रौद्योगिकियों को बाधित करने के लिए तकनीकी संस्कृति के बावजूद, पीडीएफ ‘जंग’ बन गया है – एक केंद्रीय भाग जो इसे होस्ट करता है।

एक हालिया अध्ययन के अनुसार, वाशिंगटन विश्वविद्यालय और लाइब्रेरी ऑफ कांग्रेस के शोधकर्ताओं से, ‘सैकड़ों मिलियन से अधिक अद्वितीय अमेरिकी सरकारी दस्तावेज़, जो वेब पर पीडीएफ प्रारूप में पोस्ट किए गए हैं, को अब तक पुस्तकालयों द्वारा संग्रहीत किया गया है’।

हालांकि, शोधकर्ता दावा करते हैं कि यह केवल ‘बर्फ की चोटी’ है*:

‘जैसा कि प्रमुख डिजिटल इतिहास विद्वान रॉय रोसेनज्विग ने 2003 में पहले ही उल्लेख किया था, जब यह जन्मजात डिजिटल प्राथमिक स्रोतों के लिए विद्वानों की बात आती है, तो यह आवश्यक है कि हम उन विधियों और दृष्टिकोणों को विकसित करें जो लाखों और अरबों डिजिटल संसाधनों के पैमाने पर हों। हम अब उस बिंदु पर पहुंच गए हैं जहां इस पैमाने के लिए दृष्टिकोण विकसित करना आवश्यक है।

‘उदाहरण के लिए, लाइब्रेरी ऑफ कांग्रेस वेब आर्काइव में अब 20 बिलियन से अधिक व्यक्तिगत डिजिटल संसाधन हैं। ‘

पीडीएफ: विश्लेषण के लिए प्रतिरोधी

वाशिंगटन शोधकर्ताओं की परियोजना लाइब्रेरी ऑफ कांग्रेस से 1,000 चुनिंदा दस्तावेजों के एक सार्वजनिक और संकेतित कॉर्पस पर कई मशीन लर्निंग तरीकों को लागू करती है, जिसका उद्देश्य पीडीएफ और छवि-आधारित प्रश्नों के लिए तेज़, बहुस्तरीय पुनर्प्राप्ति के लिए प्रणालियों को विकसित करना है, जो वर्तमान (और बढ़ते) पीडीएफ आयतनों के स्तर तक बढ़ सकती हैं, न केवल सरकार में बल्कि कई क्षेत्रों में।

जैसा कि पत्र में उल्लेख किया गया है, 1990 के दशक में अमेरिकी सरकार के विभिन्न विभागों में डिजिटलीकरण की तेजी से वृद्धि ने विभिन्न नीतियों और प्रथाओं को जन्म दिया, और अक्सर पीडीएफ प्रकाशन विधियों को अपनाने के लिए जो सरकारी पुस्तकालय सेवाओं के सोने के मानक के रूप में मेटाडेटा की समान गुणवत्ता नहीं रखते थे – या यहां तक कि मूल पीडीएफ मेटाडेटा भी नहीं था, जो संग्रह को अधिक सुलभ और अनुकूल बनाने में मदद कर सकता था।

इस अवधि के व्यवधान पर चर्चा करते हुए, लेखकों ने उल्लेख किया:

‘इन प्रयासों ने सरकारी प्रकाशनों की मात्रा में विस्फोटक वृद्धि को जन्म दिया, जिसके परिणामस्वरूप सुसंगत मेटाडेटा के उत्पादन के लिए सामान्य दृष्टिकोण का टूटना हुआ और पुस्तकालयों द्वारा उन्हें प्राप्त करने का तरीका।’

परिणामस्वरूप, एक विशिष्ट पीडीएफ पर्वत केवल उन यूआरएल के अलावा कोई संदर्भ नहीं है जो सीधे उस तक लिंक करते हैं। इसके अलावा, पर्वत में दस्तावेज़ बंद, स्व-संदर्भित हैं और कोई ‘सागा’ या कथा का हिस्सा नहीं हैं जो वर्तमान खोज विधियों द्वारा समझा जा सकता है, हालांकि ऐसे छिपे हुए संबंध निश्चित रूप से मौजूद हैं।

पीडीएफ विश्लेषण के लिए कंप्यूटर विजन

अधिकांश पूर्व शोध जो लेखकों ने उद्धृत किया है, पीडीएफ सामग्री से विशेषताओं और उच्च-स्तरीय अवधारणाओं को निकालने के लिए पाठ-आधारित तरीकों का उपयोग करता है; इसके विपरीत, उनकी परियोजना पीडीएफ को दृश्य स्तर पर जांच करके विशेषताओं और रुझानों को निकालने पर केंद्रित है, जो वर्तमान शोध के अनुरूप है समाचार सामग्री के बहुस्तरीय विश्लेषण में।

असंतुलित डेटा को संबोधित करना

एक मेट्रिक्स योजना बनाते समय, शोधकर्ताओं को यह विचार करना पड़ा कि डेटा कितना तिरछा है, कम से कम आकार-प्रति-आइटम के संदर्भ में।

1000 पीडीएफ में से 33% केवल एक पृष्ठ लंबे हैं, और 39% 2-5 पृष्ठ लंबे हैं। इससे दस्तावेजों का 72% पांच पृष्ठों या उससे कम पर आता है।

इसके बाद, एक बड़ा कदम है: 18% शेष दस्तावेज़ 6-20 पृष्ठों पर चलते हैं, 6% 20-100 पृष्ठों पर और 3% 100+ पृष्ठों पर। इसका अर्थ है कि सबसे लंबे दस्तावेज़ व्यक्तिगत पृष्ठों के अधिकांश हिस्से को बनाते हैं, जबकि एक कम अनुकूल दृष्टिकोण जो दस्तावेजों पर विचार करता है ध्यान को छोटे दस्तावेजों की ओर आकर्षित करेगा।

संरचना

प्रक्रिया की शुरुआत में, पीडीएफ के मेटाडेटा को टेबुलर डेटा में पार्स किया जाता है। यह मेटाडेटा अनुपस्थित नहीं होगा, क्योंकि यह ज्ञात मात्राओं जैसे फ़ाइल आकार और स्रोत यूआरएल से बना है।

पीडीएफ को तब पृष्ठों में विभाजित किया जाता है, प्रत्येक पृष्ठ को इमेजमैगिक के माध्यम से जेपीईजी प्रारूप में परिवर्तित किया जाता है। छवि को तब एक रेसनेट-50 नेटवर्क में डाला जाता है जो दूसरे से अंतिम परत से 2,048 आयामी वेक्टर निकालता है।

नई दृष्टिकोण टेक्स्ट खोज के लिए

परियोजना का एक उद्देश्य पाठ-आधारित प्रश्नों के लिए खोज परिणामों को अधिक अर्थपूर्ण बनाना है, जिससे अत्यधिक पूर्व ज्ञान की आवश्यकता के बिना अन्वेषण की अनुमति मिलती है। लेखकों का कहना है:

‘कीवर्ड खोज एक स्वाभाविक और अत्यधिक विस्तार योग्य खोज का तरीका है, लेकिन यह सीमित भी हो सकता है, क्योंकि उपयोगकर्ताओं को प्रासंगिक परिणाम प्राप्त करने के लिए कीवर्ड प्रश्न तैयार करने की जिम्मेदारी है।’

एक बार टीएफ-आईडीएफ मूल्य प्राप्त हो जाने के बाद, यह सबसे आम शब्दों और एक ‘औसत’ दस्तावेज़ का अनुमान लगाने के लिए संभव है। शोधकर्ताओं का तर्क है कि चूंकि ये क्रॉस-दस्तावेज़ कीवर्ड आमतौर पर अर्थपूर्ण होते हैं, इसलिए यह प्रक्रिया विद्वानों के लिए उपयोगी संबंध बनाती है जो केवल प्रत्येक दस्तावेज़ के पाठ के व्यक्तिगत सूचकांक द्वारा प्राप्त नहीं किए जा सकते हैं।

दृश्य विश्लेषण

वाशिंगटन शोधकर्ताओं के दृष्टिकोण की सच्ची नवीनता पीडीएफ के रास्टरीकृत रूप को डेटासेट में दृश्य विश्लेषण तकनीकों को लागू करना है।

इस तरह, यह एक ‘रेडैक्टेड’ टैग को दृश्य आधार पर उत्पन्न करना संभव है, जहां पाठ में कुछ भी एक सामान्य आधार प्रदान नहीं करेगा।

‘विद्वानों के लिए जो वर्गीकृत या संवेदनशील जानकारी के खुलासे में रुचि रखते हैं, यह विशेष रूप से इस प्रकार के सामग्री के समूह को विश्लेषण और शोध के लिए अलग करना दिलचस्प हो सकता है।’

दस्तावेजों को वर्गीकृत करने और ‘सागा’ बनाने के लिए विभिन्न दृश्य संकेतकों का भी उपयोग किया जा सकता है, जैसे कि कांग्रेस की मुहर या अन्य लोगो या पुनरावृत्ति दृश्य विशेषताएं जो शुद्ध पाठ खोज में कोई अर्थ नहीं रखती हैं।

‘दृश्य विश्लेषण की क्षमता पीडीएफ को उनकी दृश्य विशेषताओं के अनुसार खोज और विश्लेषण करना एक व्यापक दृष्टिकोण है: यह न केवल मौजूदा प्रयासों को पाठ विश्लेषण के बारे में पूरक बनाता है, बल्कि जन्मजात डिजिटल सामग्री के लिए खोज और विश्लेषण को फिर से कल्पना करता है।’

लेखकों का इरादा अपने ढांचे को व्यापक डेटासेट को समायोजित करने के लिए विकसित करना है, जिसमें 2008 एंड ऑफ टर्म प्रेसिडेंशियल वेब आर्काइव डेटासेट शामिल है, जिसमें 10 मिलियन से अधिक आइटम हैं। शुरू में, हालांकि, वे प्रणाली को ‘हजारों’ सरकारी पीडीएफ को संबोधित करने के लिए स्केल करने का इरादा रखते हैं।

प्रणाली को शुरू में वास्तविक उपयोगकर्ताओं के साथ मूल्यांकित किया जाना है, जिसमें पुस्तकालयाध्यक्ष, अभिलेखागार, वकील, इतिहासकार और अन्य विद्वान शामिल हैं, और यह इन समूहों से प्रतिक्रिया के आधार पर विकसित होगा।

जन्मजात डिजिटल सरकारी प्रकाशनों के पैमाने से निपटना: लाखों पीडीएफ के प्रसंस्करण और खोज के लिए पाइपलाइनों की ओर बेंजामिन चार्ल्स जर्मेन ली (पॉल जी एलन स्कूल फॉर कंप्यूटर साइंस एंड इंजीनियरिंग में) और ट्रेवर ओवेन्स, पब्लिक हिस्टोरियन इन रेसिडेंस और लाइब्रेरी ऑफ कांग्रेस में डिजिटल कंटेंट मैनेजमेंट के प्रमुख द्वारा लिखित है।

* मेरा इनलाइन उद्धरणों को हाइपरलिंक में परिवर्तन।

मूल रूप से 28 दिसंबर 2021 को प्रकाशित