ऐतिहासिक भाषा क्यों है आर्टिफ़िशियल इंटेलिजेंस के लिए एक चुनौती

नेचरल लैंग्वेज प्रोसेसिंग (एनएलपी) सिस्टम की एक केंद्रीय चुनौती विविध लिखित सामग्री से आवश्यक अंतर्दृष्टि प्राप्त करना है। एक नए एनएलपी एल्गोरिदम के लिए एक प्रशिक्षण डेटासेट के लिए योगदान करने वाले स्रोत ट्विटर, ब्रॉडशीट अखबार और वैज्ञानिक पत्रिकाओं जैसे भाषाई रूप से विविध हो सकते हैं, जिनमें से प्रत्येक में अपनी विशिष्ट विशिष्टताएं हैं।

अधिकांश मामलों में, यह केवल अंग्रेजी के लिए है; और यह केवल वर्तमान या हाल के पाठ स्रोतों के लिए है। जब एक एनएलपी एल्गोरिदम को विभिन्न युगों से सामग्री पर विचार करना होता है, तो यह आमतौर पर राष्ट्रीय और उप-राष्ट्रीय समुदायों में और विशेष रूप से इतिहास की विभिन्न अवधियों में लोगों द्वारा बोले या लिखे जाने वाले बहुत अलग तरीकों को सुलझाने के लिए संघर्ष करता है।

फिर भी, ऐतिहासिक दृष्टिकोण प्राप्त करने और एक डोमेन के लिए मीट्रिक को अपनाने और बनाए रखने से पहले के आंकड़ों को पुनर्निर्माण करने के लिए एक संभावित उपयोगी तरीका है जो पाठ डेटा (जैसे ऐतिहासिक ग्रंथों और प्रतिष्ठित वैज्ञानिक कार्यों) का उपयोग करना है जो युगों को पार करता है।

उदाहरण के लिए, जलवायु परिवर्तन की भविष्यवाणी करने वाले एआई मॉडल में योगदान देने वाली मौसम संबंधी जानकारी 1880 तक दुनिया भर में पर्याप्त रूप से रिकॉर्ड नहीं की गई थी, जबकि प्राचीन ग्रंथों का डेटा माइनिंग पुराने मौसम संबंधी घटनाओं के पुराने रिकॉर्ड प्रदान करता है जो पूर्व-विक्टोरियन मौसम डेटा प्रदान करने में उपयोगी हो सकता है।

कालिक असंगति

वाशिंगटन विश्वविद्यालय और एलन इंस्टीट्यूट फॉर एआई से एक नए शोध पत्र में पाया गया है कि पांच साल जैसा छोटा अंतराल भी कालिक असंगति का कारण बन सकता है, जो एक पूर्व-प्रशिक्षित एनएलपी मॉडल की उपयोगिता को विफल कर सकता है।

[कैप्शन id=”attachment_178692″ align=”alignnone” width=”1200″] सभी मामलों में, उच्च स्कोर बेहतर हैं। यहाँ हम एक पांच साल की अवधि में फैले चार पाठ निगमों के पारस्परिक असंगति का एक हीटमैप देख रहे हैं। लेखकों के अनुसार ऐसे मेल-मिलाप के बीच के अंतर प्रशिक्षण और मूल्यांकन डेटा के बीच ‘भारी प्रदर्शन गिरावट’ का कारण बन सकते हैं। स्रोत: https://arxiv.org/pdf/2111.07408.pdf[/कैप्शन]

लेख में कहा गया है:

‘हम पाते हैं कि कालिक असंगति भाषा मॉडल के सामान्यीकरण और कार्य प्रदर्शन दोनों को प्रभावित करती है। हम पाठ डोमेन और कार्यों में गिरावट में काफी भिन्नता पाते हैं। 5 वर्षों में, वर्गीकरणकर्ताओं का F1 स्कोर 40 अंक (ट्विटर में राजनीतिक संबद्धता) या 1 अंक (येल्प समीक्षा रेटिंग) के रूप में खराब हो सकता है। एक ही डोमेन पर परिभाषित दो अलग-अलग कार्य समय के साथ अलग-अलग गिरावट के स्तर दिखा सकते हैं। ‘

असमान विभाजन

मुख्य समस्या यह है कि प्रशिक्षण डेटासेट आमतौर पर दो समूहों में विभाजित होते हैं, कभी-कभी 80/20 के अनुपात में, सीमित डेटा उपलब्धता के कारण। बड़े डेटा समूह को एक न्यूरल नेटवर्क पर प्रशिक्षित किया जाता है, जबकि शेष डेटा का उपयोग एक नियंत्रण समूह के रूप में किया जाता है ताकि परिणामी एल्गोरिदम की सटीकता का परीक्षण किया जा सके।

मिश्रित डेटासेट में जो कई वर्षों में फैले हुए हैं, विभिन्न अवधियों से डेटा का एक असमान वितरण हो सकता है, जिससे मूल्यांकन डेटा एक विशिष्ट युग से सामग्री से अत्यधिक बना हो सकता है।

यह एक मॉडल के लिए एक खराब परीक्षण आधार बन जाएगा जो अधिक विविध मिश्रण पर प्रशिक्षित होता है (यानी, अधिकांश उपलब्ध डेटा पर)। वास्तव में, यह अपने दादा से नवीनतम के-पॉप आइडल का मूल्यांकन करने के लिए कहने जैसा है।

लंबा काम-around यह होगा कि समय से सीमित डेटासेट पर कई मॉडलों को प्रशिक्षित किया जाए और प्रत्येक मॉडल के परिणामों से संगत विशेषताओं को एकत्र करने का प्रयास किया जाए। हालांकि, यादृच्छिक मॉडल प्रारंभिकरण का अभ्यास अकेले ही इस दृष्टिकोण को अपनाने में अपनी समस्याओं का सामना करना पड़ता है – यहां तक कि यह देखने से पहले कि क्या कई योगदानकर्ता डेटासेट एक दूसरे के लिए पर्याप्त रूप से समान थे ताकि प्रयोग को अर्थपूर्ण बनाया जा सके।

डेटा और प्रशिक्षण

कालिक असंगति का मूल्यांकन करने के लिए, लेखकों ने चार पाठ निगमों को चार डोमेन में प्रशिक्षित किया;

ट्विटर
… जहां उन्होंने 2015-2020 के बीच समान रूप से फैले 12 मिलियन ट्वीट्स का एक यादृच्छिक चयन निकाला, जिसमें उन्होंने नामित संस्थाओं (यानी, लोग और संगठन) और राजनीतिक संबद्धता का अध्ययन किया।

वैज्ञानिक लेख
… जहां लेखकों ने सेमांटिक स्कॉलर निगम से अनलेबल्ड डेटा प्राप्त किया, जिसमें 30 वर्षों की अवधि में 650,000 दस्तावेज शामिल थे, और जिस पर उन्होंने उल्लेख प्रकार वर्गीकरण (SciERC) और एआई स्थल वर्गीकरण (AIC, जो यह निर्धारित करता है कि क्या एक पत्र AAAI या ICML में प्रकाशित हुआ था) का अध्ययन किया।

समाचार लेख
… जहां लेखकों ने न्यूजरूम डेटासेट का उपयोग किया, जिसमें 2009-2016 की अवधि में नौ मिलियन लेख शामिल थे, जिस पर उन्होंने तीन कार्य किए: समाचार कमरा सारांश, प्रकाशक वर्गीकरण और मीडिया फ्रेम वर्गीकरण (MFC), जो बाद का कार्य समाचार आउटपुट में विभिन्न विषयों के प्राथमिकता की जांच करता है।

भोजन समीक्षा
… जहां शोधकर्ताओं ने येल्प ओपन डेटासेट का उपयोग किया, जिसमें एक कार्य था: समीक्षा रेटिंग वर्गीकरण (YELPCLS), एक पारंपरिक भावना विश्लेषण चुनौती जो इस क्षेत्र में बहुत से एनएलपी शोध के लिए विशिष्ट है।

परिणाम

मॉडलों का मूल्यांकन GPT-2 पर किया गया था, जिसमें विभिन्न परिणामी F1 स्कोर थे। लेखकों ने पाया कि कालिक असंगति से प्रदर्शन हानि द्विदिशात्मक है, अर्थात हाल के डेटा पर प्रशिक्षित मॉडल पुराने डेटा के प्रभाव से प्रभावित हो सकते हैं, और इसके विपरीत (लेख की शुरुआत में छवि के लिए ग्राफ देखें)। लेखकों का नोट है कि इसका सामाजिक विज्ञान अनुप्रयोगों के लिए विशेष अर्थ है।

आम तौर पर, परिणाम दिखाते हैं कि कालिक असंगति प्रदर्शन हानि को ‘काफी’ खराब करती है, और अधिकांश कार्यों पर इसका व्यापक प्रभाव पड़ता है। जो डेटासेट दशकों जैसी लंबी अवधि को कवर करते हैं, वे स्वाभाविक रूप से समस्या को बढ़ाते हैं।

लेखकों ने आगे观察 किया कि कालिक असंगति लेबल वाले और अनलेबल्ड प्री-प्रशिक्षण डेटा दोनों को प्रभावित करती है। इसके अलावा, उनके प्रयास डोमेन अनुकूलन (नीचे देखें) के माध्यम से प्रभावों को कम करने में काफी हद तक विफल रहे, हालांकि वे दावा करते हैं कि डेटासेट में डेटा जानकारी को फ़ाइन-ट्यून करने से कुछ हद तक मदद मिल सकती है।

निष्कर्ष

शोधकर्ता पुष्टि करते हैं कि पहले सुझाए गए उपचार जो डोमेन अनुकूलन (DAPT, जहां डेटा विसंगति के लिए अनुमति बनाई जाती है) और कालिक अनुकूलन (जहां डेटा समय अवधि द्वारा चुना जाता है) शामिल हैं, समस्या को कम करने के लिए बहुत कम करते हैं।

लेख निष्कर्ष निकालता है*:

‘हमारे प्रयोगों में कार्यों में कालिक गिरावट में पर्याप्त भिन्नता का खुलासा हुआ, जो पिछले अध्ययनों में पाए गए से अधिक है। ये निष्कर्ष एनएलपी के अनुप्रयोगों में कालिक असंगति के निरंतर अध्ययन, बेंचमार्क मूल्यांकन में इसके विचार और प्रैक्टिशनरों द्वारा लाइव सिस्टम प्रदर्शन की निगरानी के लिए सावधानी को प्रेरित करते हैं। ‘

‘विशेष रूप से, हमने पाया कि समय के साथ एलएम को समय-समय पर डेटा पर प्रशिक्षित करने से बहुत अधिक प्रभाव नहीं पड़ता है, जो कालिक अनुकूलन विधियों को खोजने के लिए आगे के शोध को प्रेरित करता है जो समय के साथ लेबल वाले डेटासेट के निरंतर संग्रह से कम महंगे हैं। ‘

लेखकों का सुझाव है कि निरंतर शिक्षा में आगे की जांच, जहां डेटा निरंतर अद्यतन किया जाता है, इस संबंध में उपयोगी हो सकती है, और कार्यों में बदलाव का पता लगाने के तरीके, जैसे कि कॉन्सेप्ट ड्रिफ्ट, डेटासेट को अद्यतन करने में एक उपयोगी सहायता हो सकती है।

* मेरा इनलाइन उद्धरणों को हाइपरलिंक में परिवर्तन।