एनएलपी को गलत सूचना वाले प्रश्नों की चुनौती देने के लिए प्राप्त करना

कुछ प्रश्न इसलिए उत्तर देने योग्य नहीं हैं क्योंकि वे गलत जानकारी वाले प्रश्न हैं – यह मान लिया जाता है कि प्रश्न को सुनने वाले व्यक्ति को प्रश्न को फिल्टर और अस्वीकार करना होगा। यह मानते हुए, ज़ाहिर है, कि श्रोता के पास प्रश्न को चुनौती देने के लिए पर्याप्त सही जानकारी है, न कि प्रश्न को ही गलत जानकारी का स्रोत के रूप में उपयोग करने के लिए।

यह प्राकृतिक भाषा प्रसंस्करण (एनएलपी) प्रणालियों के लिए एक चुनौती है, जैसे कि जीपीटी-3, जो संवाद को बनाए रखने के लिए जानकारी को ‘हॉलुसिनेट’ करने की प्रवृत्ति रखते हैं।

वर्तमान में, जीपीटी-3 से ‘मैरी क्यूरी ने यूरेनियम का आविष्कार कब किया?’ पूछने पर आपको ‘मैरी क्यूरी ने 1898 में यूरेनियम का आविष्कार किया’ का उत्तर मिलेगा।

स्रोत: https://beta.openai.com/playground (डा विंची निर्देश बीटा).

वास्तव में, यूरेनियम की खोज 1789 में जर्मन रसायनज्ञ मार्टिन हेनरिख क्लाप्रोथ द्वारा की गई थी, जबकि क्यूरीज़ के 1898 के खुलासे में रेडियम का अलगाव था।

एनएलपी प्रणालियों द्वारा गलत धारणाओं को नजरअंदाज करने की समस्या इस साल कई प्रचार अभियानों में सामने आई है, जिसमें गूगल के एआई-सहायता प्राप्त खोज परिणामों को गलत जानकारी वाले प्रश्नों की अनदेखी करने के लिए कहा जाता है – एक त्रुटि जो लेखन के समय अभी भी दिखाई देती है और समान रूप से टॉय स्टोरी के बाज़ लाइटयर के लिए लागू होती है, जो कथित तौर पर 21 जुलाई 1969 को चंद्रमा पर उतरा था।

टॉम हैंक्स, एक और टॉय स्टोरी पूर्व छात्र, को गूगल द्वारा 1970 में चंद्रमा पर उतरने का श्रेय दिया जाता है, जो कि उनके अपोलो 13 पात्र, अंतरिक्ष यात्री जिम लोवेल के लिए सबसे प्रसिद्ध है, जो इसे प्राप्त नहीं करने के लिए जाने जाते हैं।

एनएलपी एक्सचेंज में धारणा मुद्दों को संबोधित करना

अब गूगल रिसर्च, जॉन हॉपकिन्स विश्वविद्यालय और ब्राउन विश्वविद्यालय के शोधकर्ताओं के साथ मिलकर, एनएलपी प्रणालियों को तथ्यात्मक रूप से गलत प्रश्नों को चुनौती देने के लिए नए मशीन लर्निंग तरीकों की जांच कर रहा है, जैसा कि मानव शिक्षकों के लिए बातचीत के दौरान आवश्यक है।

हाल ही में पेपर कौन से भाषाविद् ने लाइटबुल्ब का आविष्कार किया? प्रश्न-उत्तर के लिए धारणा सत्यापन एक नए प्रणाली के विकास के लिए एक संयुक्त प्रयास को रेखांकित करता है जो धारणाओं की पहचान कर सकता है और उनकी सत्यता की जांच कर सकता है trước कि वार्ता जारी रखे।

नई एल्गोरिदम प्रभावी रूप से प्रश्नों को पूर्व-प्रोसेस करता है और वार्ता में वापस आने से पहले प्रश्न के ‘प्रमाणीकरण’ को तीन भागों में तोड़ता है।

बाएं, यह ‘रोडब्लॉक’ जो तब होता है जब एक उन्नत एनएलपी प्रणाली प्रश्न को समझने में सक्षम होती है। दाएं, एक प्रस्तावित एल्गोरिदम का विभाजन जो स्रोत त्रुटि को दूर करने का प्रयास करता है। स्रोत: https://arxiv.org/pdf/2101.00391.pdf

हालांकि यह एक सरल सत्यापन दिनचर्या की तरह लगता है जो ज्ञान प्रणालियों में शुरू से ही निर्मित होनी चाहिए, अधिकांश एनएलपी-आधारित प्रशिक्षण दिनचर्या जानकारी को एक अनुचित स्तर के विश्वास के साथ सीखती हैं, जिसमें वार्ता (जैसे कि नकली समाचार) शामिल है जो पहले ‘विश्वसनीय’ चैनलों पर प्रकाशित हो सकती है।

इसलिए, एक प्रमुख मुद्दा यह है कि तथ्यों के एक विश्वसनीय स्रोत की पहचान करना है, जिसमें सामाजिक मीडिया के माध्यम से गलत ‘समाचार’ के प्रसार की स्थिति में, यह मशीन लर्निंग सामान्यीकरण के तर्क के तहत अधिकार प्रदान करेगा।

अनुत्तरदायी प्रश्नों के लिए सर्वोत्तम दृष्टिकोण का निर्धारण

अनुत्तरदायी प्रश्नों के लिए एक उपयुक्त दृष्टिकोण का निर्धारण करने के लिए, शोधकर्ताओं ने 100 ऐसे प्रश्नों को चार अलग-अलग प्रश्न-उत्तर मॉडल के माध्यम से चलाया और मानव विषयों से पूछा कि वे मॉडल द्वारा उत्पन्न सबसे अच्छा या सबसे कम समस्याग्रस्त समाधान चुनें।

प्रश्न के लिए चार संभावित वास्तुकला परिणाम थे: ‘अनुत्तरदायी’ – जहां एक बंद पुस्तक प्रश्न-उत्तर प्रणाली प्रभावी रूप से प्रश्न को बंद कर देती है; ‘धारणा विफलता-आधारित व्याख्या’ – जहां प्रणाली गलत धारणा को सत्यापित करने में विफल रहती है, प्रभावी रूप से एक ‘अनुत्तरदायी’ प्रतिक्रिया है; ‘निकालने वाली व्याख्या’ – जहां प्रणाली एक संबंधित विकिपीडिया उद्धरण प्राप्त करती है और इसे पूर्ववर्ती ‘यह प्रश्न अनुत्तरदायी है क्योंकि…’ में जोड़ती है; और ‘खुले डोमेन पुनर्लेखन’ – जहां एक प्रतिस्पर्धी प्रणाली विकिपीडिया से अतिरिक्त स्रोतों की तलाश करती है।

यह एक ‘अनुत्तरदायी’ प्रश्न के लिए चार संभावित उत्तरों का एक उदाहरण है, जो प्रतिस्पर्धी डोमेन-आधारित समाधान की समस्या को दर्शाता है।[/em>

परीक्षणों के दौरान, पांच प्रतिभागियों (गूगल के एक आंतरिक क्राउडसोर्सिंग प्लेटफ़ॉर्म पर भर्ती किए गए) ने धारणा आधारित उत्तरों को पसंद किया, जिसने शोधकर्ताओं को प्रश्नों को विभाजित और सत्यापित करने के लिए एक नए ढांचे को विकसित करने के लिए प्रेरित किया।

नई प्रणाली में, भाषाई ट्रिगर्स एक नियम-आधारित जनरेटर द्वारा प्रश्न से प्राप्त किए जाते हैं जो वाक्य को कथनों के रूप में तोड़ता है। यदि प्रश्न से कई धारणाएं निकलती हैं, तो प्रत्येक की जांच की जाती है और यह मूल प्रश्न की गलत धारणाओं को संबोधित करने के लिए अंतिम प्रतिक्रिया में योगदान करेगा।

डेटासेट

प्रारंभिक चरण में उत्पन्न धारणाएं मैन्युअल रूप से संशोधित की गईं ताकि सत्यापन डेटासेट में ‘गोल्ड’ धारणाएं बनाई जा सकें। प्रश्न से उत्पन्न कोई भी धारणाएं जो मूल प्रश्नों में नहीं थीं, उन्हें हटा दिया गया।

पेपर के दो लेखकों ने तब मैन्युअल रूप से 462 धारणाओं को हाँ/नहीं सत्यापन योग्यता के संदर्भ में एनोटेट किया, जो प्रत्येक प्रश्न से संबंधित एक प्रासंगिक विकिपीडिया पृष्ठ पर आधारित था। असहमति के मामलों को बाद के चर्चा में हल किया गया और फिर डेटासेट में प्रतिबद्ध किया गया।

शोधकर्ताओं ने शून्य-शॉट एनएलआई का उपयोग किया, जो एक प्रीमिस/अनुमान वर्गीकरण कार्य था जिसमें प्रश्न से संबंधित विकिपीडिया लेखों को तोड़ने की आवश्यकता थी। चूंकि यह प्रक्रिया प्रश्न को अधिक जोड़े का परिणाम देती है जितना कि मॉडल समर्थन या प्रश्न को समझने में सक्षम है, इसलिए परिणामों को फिल्टर किया गया और लेबल किया गया।

परिणाम और प्रतिक्रिया सूत्रीकरण

सबसे प्रभावी परिणाम एल्बर्ट क्यूएनएलआई से उत्पन्न एक अधिक श्रमसाध्य, नियम-आधारित/एनएलआई हाइब्रिड द्वारा प्राप्त किए गए थे, जिसमें विकि वाक्य और धारणाएं शामिल थीं।

सत्यापन मॉडल के प्रदर्शन, जहां ‘विकि वाक्य’ प्रश्न-संबंधित विकिपीडिया लेखों से प्राप्त वाक्यों का उपयोग करता है, और ‘विकि धारणाएं’ उन वाक्यों से उत्पन्न धारणाएं हैं।[/em>

इस सूत्रीकरण का उपयोग करके, शोधकर्ताओं ने एक टेम्पलेट प्रणाली विकसित की जहां विकिपीडिया से एक नकारात्मक तथ्य को ‘यह प्रश्न अनुत्तरदायी है क्योंकि…’ जैसे वाक्यों में जोड़ा गया था। हालांकि यह एक आदर्श समाधान नहीं है, लेखकों का सुझाव है कि असत्यापनीयता पर आधारित प्रतिक्रियाएं गलत नकारात्मक परिणामों की घटना को कम करने की संभावना है।

प्रणाली को अंततः एक विस्तारित ट्रांसफॉर्मर निर्माण (ईटीसी) मॉडल में लागू किया गया था।

निहितार्थ

इसके अंतिम प्रदर्शन के आधार पर, यह तर्क दिया जा सकता है कि यह पूरा दृष्टिकोण ‘अनुत्तरदायी’ के बजाय ‘असत्यापित’ के लिए प्रतिस्थापन की ओर ले जा सकता है, जहां शोध प्रणाली प्रश्न की गलत धारणा के लिए एक उपयोगी सुधार का मूल्यांकन नहीं कर सकती है। प्रभावी रूप से, यह भविष्य में बेहतर सत्यापन प्रणालियों के लिए बुनियादी ढांचे का निर्माण करने की तरह लगता है।

शोधकर्ता पहले ही स्वीकार कर चुके हैं कि टोकन-आधारित एपीआई अनुरोधों की लागत एक सीमित कारक है जब इस प्रणाली द्वारा उत्पन्न लंबे उत्तरों का सूत्रीकरण किया जाता है, और यह माना जाना चाहिए कि ‘लाइव’ अनुसंधान की अतिरिक्त ओवरहेड प्रश्न में जोड़ देगी, भले ही यह बड़े पैमाने पर प्रणालियों जैसे जीपीटी-3 में हो, क्योंकि इस तरह की प्रणालियों की प्रतिक्रिया अब तक प्रशिक्षण समय में सामान्यीकृत ज्ञान के एकीकरण पर निर्भर करती है, न कि व्यापक, नेटवर्क-आधारित सत्यापन दिनचर्या पर।

इसके अलावा, शोधकर्ता ध्यान देते हैं कि प्रणाली में वर्तमान में वाक्य के अर्थवैज्ञानिक पहलुओं को पार्स करने से संबंधित सीमाएं हैं:

उदाहरण के लिए, कौन सा पाइप एस्टेला की माँ है में एक गैर-फैक्टिव क्रिया के तहत एक एम्बेडेड स्वामित्व है विश्वास , लेकिन हमारा जनरेटर फिर भी ‘ एस्टेला की माँ’ है उत्पन्न करेगा।

हालांकि, टीम नए और अधिक लचीले प्रश्न-उत्तर प्रणालियों की कल्पना करती है जो इस शोध पर विकसित की जाएंगी:

भविष्य में, हम इस काम पर बनाने की योजना बना रहे हैं और प्रश्न-उत्तर प्रणालियों का प्रस्ताव कर रहे हैं जो अधिक मजबूत और सहयोगी हैं। उदाहरण के लिए, विभिन्न प्रकार की धारणा विफलताओं को अधिक तरल उत्तर रणनीतियों द्वारा संबोधित किया जा सकता है – उदाहरण के लिए, एकता की धारणा के उल्लंघन को बेहतर ढंग से संभाला जा सकता है सभी संभावित उत्तर प्रदान करके, बजाय इसके कि एकता की धारणा का उल्लंघन हुआ है यह कहते हुए।