एनएलपी मॉडल रिकर्सिव नाउन फ्रेज़ को समझने में असमर्थ हैं

अमेरिका और चीन के शोधकर्ताओं ने पाया है कि प्रमुख प्राकृतिक भाषा प्रसंस्करण (एनएलपी) मॉडल रिकर्सिव नाउन फ्रेज़ (एनपी) वाले अंग्रेजी वाक्यों को समझने में असमर्थ हैं, और ‘संघर्ष’ केंद्रीय अर्थ को विभिन्न उदाहरणों में विभेदित करने में जैसे कि मेरी पसंदीदा नई फिल्म और मेरी पसंदीदा फिल्म (जिनमें से प्रत्येक का एक अलग अर्थ है)।

एक शीर्षक उदाहरण से पत्र में, यहाँ एक छोटा सा पहेली है जो बच्चे अक्सर नहीं सुलझा पाते: दूसरी गेंद हरी है, लेकिन पांचवीं गेंद ‘दूसरी हरी गेंद’ है। स्रोत: https://arxiv.org/pdf/2112.08326.pdf

शोधकर्ताओं ने रिकर्सिव नाउन फ्रेज़ चुनौती (आरएनपीसी) को कई स्थानीय रूप से स्थापित खुले स्रोत भाषा पीढ़ी मॉडलों के लिए निर्धारित किया: ओपनएआई के जीपीटी-3 *, गूगल के बेर्ट, और फेसबुक के रोबेर्टा और बार्ट, यह देखते हुए कि ये राज्य-ऑफ-द-आर्ट मॉडल केवल ‘मौका’ प्रदर्शन हासिल करते हैं। वे निष्कर्ष निकालते हैं^†:

‘परिणाम दिखाते हैं कि राज्य-ऑफ-द-आर्ट (एसओटीए) एलएमएस मानक बेंचमार्क पर फाइन-ट्यून किए गए सभी हमारे डेटासेट पर संघर्ष करते हैं, यह सुझाव देते हुए कि लक्ष्य ज्ञान आसानी से उपलब्ध नहीं है।’

आरएनपीसी चुनौती में न्यूनतम-जोड़ी उदाहरण जहां एसओटीए मॉडल त्रुटियां करते हैं।

उपरोक्त उदाहरणों में, मॉडल, उदाहरण के लिए, एक मृत खतरनाक जानवर (अर्थात एक शिकारी जो कोई खतरा नहीं है क्योंकि यह मृत है) और एक खतरनाक मृत जानवर (जैसे कि एक मृत गिलहरी जो एक हानिकारक वायरस हो सकती है और वर्तमान में एक सक्रिय खतरा है) के बीच सेमेंटिक विषमता को भेद नहीं पा रहे थे।

(इसके अलावा, हालांकि पत्र इस पर नहीं चलता है, ‘मृत’ का अक्सर एक क्रिया विशेषण के रूप में उपयोग किया जाता है, जो न ही मामले को संबोधित करता है)

हालांकि, शोधकर्ताओं ने यह भी पाया कि अतिरिक्त या पूरक प्रशिक्षण जिसमें आरएनपीसी सामग्री शामिल है, समस्या का समाधान कर सकती है:

‘पूर्व-प्रशिक्षित भाषा मॉडल जो एनएलयू बेंचमार्क पर एसओटीए प्रदर्शन करते हैं, इस ज्ञान का खराब अधिकार है, लेकिन आरएनपीसी से छोटी मात्रा में डेटा के संपर्क में आने पर इसे सीख सकते हैं।’

शोधकर्ता तर्क देते हैं कि एक भाषा मॉडल की इस प्रकार की रिकर्सिव संरचनाओं को नेविगेट करने की क्षमता भाषा विश्लेषण, अनुवाद, और हानि का पता लगाने के दौरान जैसे डाउनस्ट्रीम कार्यों के लिए आवश्यक है:

‘[हम] एक दृश्य की कल्पना करते हैं जहां एक उपयोगकर्ता एक कार्य-उन्मुख एजेंट जैसे सिरी या एलेक्सा के साथ बातचीत करता है, और एजेंट को यह निर्धारित करने की आवश्यकता होती है कि उपयोगकर्ता के प्रश्न में शामिल गतिविधि संभावित रूप से हानिकारक है [अर्थात नाबालिगों के लिए]. हम इस कार्य को चुनते हैं क्योंकि कई झूठे सकारात्मक परिणाम रिकर्सिव एनपी से आते हैं।

‘उदाहरण के लिए, एक घर का बना बम बनाने के लिए कैसे स्पष्ट रूप से हानिकारक है, जबकि एक घर का बना स्नान बम हानिरहित है।’

पत्र का शीर्षक क्या “मेरी पसंदीदा नई फिल्म” मेरी पसंदीदा फिल्म है? रिकर्सिव नाउन फ्रेज़ की समझ का परीक्षण है, और पेंसिलवेनिया विश्वविद्यालय के पांच शोधकर्ताओं और पेकिंग विश्वविद्यालय के एक शोधकर्ता से आता है।

डेटा और विधि

हालांकि पिछले काम ने रिकर्सिव एनपी की वाक्यात्मक संरचना और संशोधकों के सेमेंटिक वर्गीकरण का अध्ययन किया है, शोधकर्ताओं के अनुसार इन दोनों दृष्टिकोणों में से कोई भी इस चुनौती का सामना करने के लिए पर्याप्त नहीं है।

अतः, रिकर्सिव नाउन फ्रेज़ के साथ दो संशोधकों के उपयोग के आधार पर, शोधकर्ताओं ने यह स्थापित करने का प्रयास किया है कि क्या पूर्वापेक्षित ज्ञान एसओटीए एनएलपी प्रणालियों में मौजूद है (यह नहीं है); क्या यह उन्हें सिखाया जा सकता है (यह सिखाया जा सकता है); रिकर्सिव एनपी से एनएलपी प्रणालियां क्या सीख सकती हैं; और इस ज्ञान को डाउनस्ट्रीम अनुप्रयोगों में कैसे लाभ मिल सकता है।

शोधकर्ताओं द्वारा उपयोग किया गया डेटासेट चार चरणों में बनाया गया था। पहले एक मॉडिफायर लेक्सिकॉन का निर्माण किया गया जिसमें 689 उदाहरण शामिल थे जो पिछले साहित्य और नए कार्य से लिए गए थे।

इसके बाद शोधकर्ताओं ने साहित्य, मौजूदा निगमों, और अपने स्वयं के आविष्कार से रिकर्सिव एनपी एकत्र किए। पाठ संसाधनों में पेन ट्री बैंक और एनोटेटेड गिगावॉर्ड निगम शामिल थे।

इसके बाद टीम ने प्री-स्क्रीन किए गए कॉलेज के छात्रों को भाषा मॉडल का सामना करने वाले तीन कार्यों के लिए उदाहरण बनाने के लिए नियुक्त किया, जिसे बाद में 8,260 वैध उदाहरणों में मान्य किया गया।

अंत में, अमेज़ॅन मैकेनिकल टर्क के माध्यम से प्री-स्क्रीन किए गए कॉलेज के छात्रों को फिर से नियुक्त किया गया, इस बार प्रत्येक उदाहरण को मानव बुद्धिमत्ता कार्य (एचआईटी) के रूप में एनोटेट करने के लिए, जिसमें बहुमत के आधार पर विवादों का निपटारा किया गया। यह उदाहरणों को 4,567 उदाहरणों तक कम कर दिया, जिन्हें बाद में 3,790 अधिक संतुलित उदाहरणों में फ़िल्टर किया गया।

शोधकर्ताओं ने अपने परीक्षण гипोथीसिस के तीन खंडों को सूत्रित करने के लिए विभिन्न मौजूदा डेटासेट को अनुकूलित किया, जिनमें एमएनएलआई, एसएनएलआई, एमपीई और एडेप्ट शामिल हैं, सभी एसओटीए मॉडलों को खुद प्रशिक्षित किया, हगिंग फेस मॉडल को छोड़कर, जहां एक चेकपॉइंट का उपयोग किया गया था।

परिणाम

शोधकर्ताओं ने पाया कि सभी मॉडल आरएनपीसी कार्यों पर ‘संघर्ष’ करते हैं, जबकि मानवों के लिए 90%+ सटीकता स्कोर है, एसओटीए मॉडल ‘मौका’ स्तर (अर्थात सandom चांस के विपरीत कोई भी साक्ष्य) पर प्रदर्शन करते हैं।

शोधकर्ताओं के परीक्षणों के परिणाम। यहां भाषा मॉडल को एक मौजूदा बेंचमार्क पर उनकी सटीकता के खिलाफ परीक्षण किया जा रहा है, जिसमें केंद्रीय रेखा कार्यों में मानव प्रदर्शन का प्रतिनिधित्व करती है।

माध्यमिक अनुसंधान रेखाएं यह दर्शाती हैं कि इन कमियों को एनएलपी मॉडल के पाइपलाइन के प्रशिक्षण या फाइन-ट्यूनिंग चरण में रिकर्सिव नाउन फ्रेज़ के ज्ञान को विशेष रूप से शामिल करके मुआवजा दिया जा सकता है। एक बार जब यह पूरक प्रशिक्षण किया गया, तो मॉडल ने ‘एक्स्ट्रिंसिक हानि का पता लगाने [कार्यों] पर मजबूत शून्य-शॉट प्रदर्शन‘ हासिल किया।

शोधकर्ता वादा करते हैं कि वे इस काम के लिए कोड को https://github.com/veronica320/Recursive-NPs पर जारी करेंगे।

मूल रूप से 16 दिसंबर 2021 को प्रकाशित – 17 दिसंबर 2021, 6:55 am GMT+2: टूटे हुए हाइपरलिंक को ठीक किया गया।

* जीपीटी-3 एडा, जो श्रृंखला में सबसे तेज़ है लेकिन सबसे अच्छा नहीं है। हालांकि, बड़ा ‘शोकेस’ डाविंसी मॉडल बाद के प्रयोगों के दौरान शोधकर्ताओं के प्रयोगों के बाद के चरण के लिए फाइन-ट्यूनिंग के लिए उपलब्ध नहीं है।

^† मेरा इनलाइन उद्धरणों को हाइपरलिंक में रूपांतरण।