рдХреГрддреНрд░рд┐рдо рдмреБрджреНрдзрд┐рдорддреНрддрд╛
рдПрдирдПрд▓рдкреА рдореЙрдбрд▓ рд░рд┐рдХрд░реНрд╕рд┐рд╡ рдирд╛рдЙрди рдлреНрд░реЗрдЬрд╝ рдХреЛ рд╕рдордЭрдиреЗ рдореЗрдВ рдЕрд╕рдорд░реНрде рд╣реИрдВ
अमेरिका और चीन के शोधकर्ताओं ने पाया है कि प्रमुख प्राकृतिक भाषा प्रसंस्करण (एनएलपी) मॉडलों में से कोई भी डिफ़ॉल्ट रूप से अंग्रेजी वाक्यों को समझने में सक्षम नहीं है जिनमें रिकर्सिव नाउन फ्रेज़ (एनपी) होते हैं, और वे ‘संघर्ष’ करते हैं कि केंद्रीय अर्थ को विभिन्न उदाहरणों जैसे मेरी पसंदीदा नई फिल्म और मेरी पसंदीदा फिल्म में अलग करें (प्रत्येक का एक अलग अर्थ है)।
एक शीर्षक उदाहरण से पत्र में, यह एक छोटा सा पहेली है जिसे अक्सर बच्चे नहीं समझ पाते हैं: दूसरी गेंद हरी है, लेकिन पांचवीं गेंद ‘दूसरी हरी गेंद’ है। स्रोत: https://arxiv.org/pdf/2112.08326.pdf
शोधकर्ताओं ने रिकर्सिव नाउन फ्रेज़ चुनौती (आरएनपीसी) को कई स्थानीय रूप से स्थापित खुले स्रोत भाषा पीढ़ी मॉडलों के लिए निर्धारित किया: ओपनएआई के जीपीटी-3 *, गूगल के बीईआरटी, और फेसबुक के रोबेर्टा और बार्ट, यह पाते हुए कि ये राज्य-ऑफ-द-आर्ट मॉडल केवल ‘मौका’ प्रदर्शन हासिल करते हैं। वे निष्कर्ष निकालते हैं†:
‘परिणाम दिखाते हैं कि राज्य-ऑफ-द-आर्ट (एसओटीए) एलएमएस मानक बेंचमार्क पर फाइन-ट्यून किए गए हैं जो इसी प्रारूप के हैं, वे हमारे डेटासेट पर संघर्ष करते हैं, यह सुझाव देते हुए कि लक्ष्य ज्ञान आसानी से उपलब्ध नहीं है।’
आरएनपीसी चुनौती में न्यूनतम-जोड़ी उदाहरण जहां एसओटीए मॉडल त्रुटियां करते हैं।
उपरोक्त उदाहरणों में, मॉडल, उदाहरण के लिए, एक मृत खतरनाक जानवर (अर्थात एक शिकारी जो कोई खतरा नहीं है क्योंकि यह मृत है) और एक खतरनाक मृत जानवर (जैसे कि एक मृत गिलहरी, जिसमें एक हानिकारक वायरस हो सकता है, और यह एक वर्तमान सक्रिय खतरा है) के बीच सेमेंटिक विसंगति को अलग करने में विफल रहे।
(इसके अलावा, हालांकि पत्र इस पर नहीं छूता है, ‘मृत’ का अक्सर एक क्रिया विशेषण के रूप में उपयोग किया जाता है, जो न ही मामले को संबोधित करता है)
हालांकि, शोधकर्ताओं ने यह भी पाया कि आरएनपीसी सामग्री को शामिल करने वाले अतिरिक्त या पूरक प्रशिक्षण से समस्या का समाधान किया जा सकता है:
‘पूर्व-प्रशिक्षित भाषा मॉडल जो एनएलयू बेंचमार्क पर एसओटीए प्रदर्शन करते हैं, इस ज्ञान का खराब अधिकार है, लेकिन जब उन्हें आरएनपीसी से छोटी मात्रा में डेटा के संपर्क में लाया जाता है, तो वे इसे सीख सकते हैं।’
शोधकर्ता तर्क देते हैं कि एक भाषा मॉडल की यह प्रकार की रिकर्सिव संरचनाओं को नेविगेट करने की क्षमता भाषा विश्लेषण, अनुवाद, और हानि का पता लगाने के दौरान जैसे डाउनस्ट्रीम कार्यों के लिए आवश्यक है:
‘[हम] एक दृश्य को मानते हैं जहां एक उपयोगकर्ता एक कार्य-उन्मुख एजेंट जैसे सिरी या एलेक्सा के साथ बातचीत करता है, और एजेंट को यह निर्धारित करने की आवश्यकता होती है कि उपयोगकर्ता के प्रश्न में शामिल गतिविधि संभावित रूप से हानिकारक है [अर्थात नाबालिगों के लिए]. हम इस कार्य को चुनते हैं क्योंकि कई झूठे सकारात्मक परिणाम रिकर्सिव एनपी से आते हैं।
‘उदाहरण के लिए, एक घर का बना बम बनाने के लिए कैसे स्पष्ट रूप से हानिकारक है, जबकि एक घर का बना स्नान बम हानिरहित है।’
पत्र का शीर्षक क्या “मेरी पसंदीदा नई फिल्म” मेरी पसंदीदा फिल्म है? रिकर्सिव नाउन फ्रेज़ की समझ का परीक्षण है, और यह पांच शोधकर्ताओं से पेंसिल्वेनिया विश्वविद्यालय और एक से पेकिंग विश्वविद्यालय है।
डेटा और विधि
हालांकि पिछले काम ने रिकर्सिव एनपी की वाक्य रचना संरचना और संशोधकों के सेमेंटिक वर्गीकरण का अध्ययन किया है, शोधकर्ताओं के अनुसार, इन दोनों दृष्टिकोणों में से कोई भी चुनौती का सामना करने के लिए पर्याप्त नहीं है।
इसलिए, दो संशोधकों के साथ रिकर्सिव नाउन फ्रेज़ के उपयोग के आधार पर, शोधकर्ताओं ने यह स्थापित करने का प्रयास किया है कि क्या पूर्वापेक्षित ज्ञान एसओटीए एनएलपी प्रणालियों में मौजूद है (यह नहीं है); क्या इसे उन्हें सिखाया जा सकता है (यह हो सकता है); रिकर्सिव एनपी से क्या एनएलपी प्रणाली सीख सकती है; और इस ज्ञान को डाउनस्ट्रीम अनुप्रयोगों में कैसे लाभ मिल सकता है।
शोधकर्ताओं द्वारा उपयोग किया गया डेटासेट चार चरणों में बनाया गया था। पहले एक संशोधक लेक्सिकॉन का निर्माण किया गया जिसमें 689 उदाहरण शामिल थे जो पिछले साहित्य और नए कार्य से लिए गए थे।
इसके बाद शोधकर्ताओं ने साहित्य, मौजूदा निगमों, और अपने आविष्कार से रिकर्सिव एनपी एकत्र किए। पाठ संसाधनों में पेन ट्री बैंक और एनोटेटेड जिगावोर्ड निगम शामिल थे।
फिर टीम ने तीन कार्यों के लिए उदाहरण बनाने के लिए पूर्व-स्क्रीन किए गए कॉलेज के छात्रों को नियुक्त किया जिनका सामना भाषा मॉडल करने वाले थे, बाद में 8,260 वैध उदाहरणों में उनकी पुष्टि की।
अंत में, अमेज़न मैकेनिकल टर्क के माध्यम से अधिक पूर्व-स्क्रीन किए गए कॉलेज के छात्रों को नियुक्त किया गया, इस बार मानव बुद्धिमत्ता कार्य (एचआईटी) के रूप में प्रत्येक उदाहरण को वर्गीकृत करने के लिए, बहुसंख्यक आधार पर विवादों का निपटारा किया। इससे उदाहरणों को 4,567 उदाहरणों तक कम कर दिया गया, जिन्हें बाद में 3,790 अधिक संतुलित उदाहरणों में छंटनी की गई।
शोधकर्ताओं ने अपने परीक्षण гипोथीसिस के तीन खंडों को बनाने के लिए विभिन्न मौजूदा डेटासेट को अनुकूलित किया, जिनमें एमएनएलआई, एसएनएलआई, एमपीई और एडेप्ट शामिल हैं, सभी एसओटीए मॉडलों को प्रशिक्षित किया, हगिंगफेस मॉडल को छोड़कर, जहां एक चेकपॉइंट का उपयोग किया गया था।
परिणाम
शोधकर्ताओं ने पाया कि सभी मॉडल आरएनपीसी कार्यों पर ‘संघर्ष’ करते हैं, मानवों के लिए 90% + सटीकता स्कोर के विपरीत, एसओटीए मॉडल ‘मौका’ स्तरों पर प्रदर्शन करते हैं (अर्थात साक्ष्य के बिना स्वाभाविक रूप से बने बनाए रखने की क्षमता के विपरीत)।
शोधकर्ताओं के परीक्षणों के परिणाम। यहां भाषा मॉडल को उनकी सटीकता पर एक मौजूदा बेंचमार्क के खिलाफ परीक्षण किया जा रहा है, जिसमें केंद्रीय रेखा कार्यों में मानव प्रदर्शन का प्रतिनिधित्व करती है।
माध्यमिक जांच के लाइनें संकेत देती हैं कि इन कमियों को एनएलपी मॉडल के पाइपलाइन के प्रशिक्षण या फाइन-ट्यूनिंग चरण में रिकर्सिव नाउन फ्रेज़ के ज्ञान को विशेष रूप से शामिल करके मुआवजा दिया जा सकता है। एक बार जब यह पूरक प्रशिक्षण किया गया, तो मॉडल ‘एक अतिरिक्त हानि का पता लगाने [कार्यों] पर मजबूत शून्य-शॉट प्रदर्शन‘ हासिल करते हैं।
शोधकर्ता वादा करते हैं कि वे इस काम के लिए कोड जारी करेंगे https://github.com/veronica320/Recursive-NPs.
मूल रूप से 16 दिसंबर 2021 को प्रकाशित – 17 दिसंबर 2021, 6:55 am जीएमटी + 2: टूटे हुए हाइपरलिंक को ठीक किया।
* जीपीटी-3 एडा, जो श्रृंखला में सबसे तेज़ है लेकिन सबसे अच्छा नहीं है। हालांकि, बड़ा ‘शोकेस’ डाविंसी मॉडल बाद के चरण में शोधकर्ताओं के प्रयोग के हिस्से के रूप में फाइन-ट्यूनिंग के लिए उपलब्ध नहीं है।
† मेरा इनलाइन उद्धरणों को हाइपरलिंक में रूपांतरण।
