एनएलजी सामग्री को प्रमाणित करने के लिए उद्धरणों का उपयोग करने के खतरे

राय प्राकृतिक भाषा पीढ़ी मॉडल जैसे जीपीटी-3 भ्रमित सामग्री के प्रति संवेदनशील होते हैं जो वे तथ्यात्मक जानकारी के संदर्भ में प्रस्तुत करते हैं। एक युग में जो टेक्स्ट-आधारित नकली समाचार के विकास के साथ असाधारण रूप से चिंतित है, ये ‘खुश करने के लिए’ कल्पना की उड़ानें स्वचालित लेखन और सारांश प्रणालियों के विकास और एआई-संचालित पत्रकारिता के भविष्य के लिए, विभिन्न अन्य उप-क्षेत्रों के बीच प्राकृतिक भाषा प्रसंस्करण (एनएलपी) के लिए एक अस्तित्व संबंधी बाधा का प्रतिनिधित्व करती हैं।

मुख्य समस्या यह है कि जीपीटी-शैली के भाषा मॉडल बहुत बड़े प्रशिक्षण पाठ निगम से प्रमुख विशेषताएं और वर्गों का अनुमान लगाते हैं, और सीखते हैं कि इन विशेषताओं का उपयोग भाषा के निर्माण खंड के रूप में कुशलता से और स्वाभाविक रूप से करते हैं, जो उत्पन्न सामग्री की सटीकता की परवाह किए बिना, या यहां तक कि इसकी स्वीकार्यता की परवाह किए बिना।

पुरानी खबर और नकली तथ्य

प्राकृतिक भाषा पीढ़ी (एनएलजी) मॉडल वास्तविक इतिहास, विज्ञान, अर्थशास्त्र, या किसी अन्य विषय पर जिस पर वे राय देने के लिए आवश्यक हो सकते हैं, के वास्तविक इतिहास को अधिक अमूर्त रूप से आत्मसात करने के बजाय सेमांटिक वास्तुकला सीखने के कारण उत्पादक और प्लासिबल आउटपुट का उत्पादन करने में सक्षम होते हैं, जो वास्तव में स्रोत डेटा में ‘यात्रियों’ के रूप में जुड़े हुए हैं।

एनएलजी मॉडल द्वारा उत्पन्न जानकारी की तथ्यात्मक सटीकता का अनुमान यह मानता है कि उन पर प्रशिक्षित इनपुट स्वयं विश्वसनीय और अद्यतित है, जो पूर्व-प्रसंस्करण और आगे मानव-आधारित सत्यापन के संदर्भ में एक असाधारण बोझ प्रस्तुत करता है – एक महंगा ठोकर जिसे एनएलपी अनुसंधान क्षेत्र वर्तमान में कई मोर्चों पर संबोधित कर रहा है।

जीपीटी-3 पैमाने पर प्रणाली को प्रशिक्षित करने में असाधारण समय और पैसा लगता है, और एक बार प्रशिक्षित होने के बाद, उन्हें ‘कERNEL स्तर’ पर अपडेट करना मुश्किल है। हालांकि सत्र-आधारित और उपयोगकर्ता-आधारित स्थानीय संशोधनों से लागू किए गए मॉडल की उपयोगिता और सटीकता में वृद्धि हो सकती है, ये उपयोगी लाभ मूल मॉडल में वापस पास करने में कठिन, कभी-कभी असंभव होते हैं बिना पूर्ण या आंशिक पुन: प्रशिक्षण के।

इसलिए, नवीनतम जानकारी का उपयोग करने में सक्षम प्रशिक्षित भाषा मॉडल बनाना मुश्किल है।

कोविड -19 और 2022 यूक्रेनी आक्रमण (इन प्रॉम्प्ट और प्रतिक्रियाएं 5 अप्रैल 2022 से हैं) के बारे में कुछ नहीं जानता है। दिलचस्प बात यह है कि ‘अज्ञात’ दोनों विफलता मामलों में वास्तव में एक स्वीकार्य उत्तर है, लेकिन आगे के प्रॉम्प्ट आसानी से स्थापित करते हैं कि जीपीटी-3 को इन घटनाओं के बारे में कुछ नहीं पता है। स्रोत: https://beta.openai.com/playground

एक प्रशिक्षित मॉडल केवल उन ‘सच्चाइयों’ तक पहुंच सकता है जिन्हें यह प्रशिक्षण समय में आंतरिक रूप से करता है, और यह मुश्किल है कि डिफ़ॉल्ट रूप से दावों की पुष्टि करने का प्रयास करते समय सटीक और प्रासंगिक उद्धरण प्राप्त किया जा सके। जीपीटी-3 (जैसे) से उद्धरण प्राप्त करने का वास्तविक खतरा यह है कि यह कभी-कभी सही उद्धरण उत्पन्न करता है, जिससे इसकी इस क्षमता में एक झूठा विश्वास होता है:

शीर्ष, 2021-युग के दाविंसी-निर्देश-टेक्स्ट जीपीटी-3 द्वारा प्राप्त तीन सटीक उद्धरण। केंद्र, जीपीटी-3 एक गैर-गुप्त प्रॉम्प्ट के बावजूद अल्बर्ट आइंस्टीन के सबसे प्रसिद्ध उद्धरणों में से एक ("गॉड डज नॉट प्ले डाइस विद द यूनिवर्स") का हवाला देने में विफल रहता है। नीचे, जीपीटी-3 अल्बर्ट आइंस्टीन को एक घिनौना और काल्पनिक उद्धरण सौंपता है, जो स्पष्ट रूप से उसी सत्र में विंस्टन चर्चिल के बारे में पहले के प्रश्नों से ओवरफ्लो है। स्रोत: https://www.width.ai/post/business-applications-for-gpt-3

गोफरसाइट

इस सामान्य कमी को दूर करने की उम्मीद में, गूगल के डीपमाइंड ने हाल ही में गोफरसाइट का प्रस्ताव किया है, जो 280- अरब पैरामीटर मॉडल है जो प्रॉम्प्ट के लिए उत्पन्न प्रतिक्रियाओं के समर्थन में विशिष्ट और सटीक साक्ष्य का हवाला देने में सक्षम है।

गोफरसाइट अपने दावों का समर्थन करने के लिए वास्तविक उद्धरणों के साथ तीन उदाहरण। स्रोत: https://arxiv.org/pdf/2203.11147.pdf

गोफरसाइट मानव वरीयताओं से प्रशिक्षण (आरएलएचपी) का लाभ उठाता है ताकि प्रश्न मॉडल तैयार किए जा सकें जो वास्तविक उद्धरणों के रूप में समर्थन साक्ष्य का हवाला देने में सक्षम हों। उद्धरण खोज इंजनों से प्राप्त कई दस्तावेज़ स्रोतों से या उपयोगकर्ता द्वारा प्रदान किए गए एक विशिष्ट दस्तावेज़ से लाइव निकाले जाते हैं।

गोफरसाइट का प्रदर्शन मानव मूल्यांकन के माध्यम से मॉडल प्रतिक्रियाओं के माध्यम से मापा गया था, जो गूगल के नेचरलक्वेश्चन डेटासेट पर 80% समय में और एलआई5 डेटासेट पर 67% समय में ‘उच्च गुणवत्ता’ पाया गया।

झूठे उद्धरण

हालांकि, जब इसे ऑक्सफोर्ड विश्वविद्यालय के सच्चा क्यूए बेंचमार्क के खिलाफ परीक्षण किया गया, तो गोफरसाइट की प्रतिक्रियाएं शायद ही कभी सच्चाई के रूप में स्कोर की गईं, मानव-संचालित ‘सही’ उत्तरों की तुलना में।

लेखकों का सुझाव है कि यह इसलिए है क्योंकि ‘समर्थित उत्तरों’ की अवधारणा स्वयं में किसी भी वस्तुनिष्ठ तरीके से सच्चाई को परिभाषित नहीं करती है, क्योंकि उद्धरण स्रोतों की उपयोगिता अन्य कारकों से समझौता की जा सकती है, जैसे कि यह संभावना है कि उद्धरण के लेखक स्वयं ‘भ्रमित’ (अर्थात कल्पनाशील दुनिया के बारे में लिखने, विज्ञापन सामग्री का उत्पादन करने या अन्य अस्वाभाविक सामग्री को बढ़ावा देने) हैं।

गोफरसाइट मामले जहां संभावना आवश्यक रूप से ‘सच’ के बराबर नहीं है।

प्रभावी रूप से, यह आवश्यक हो जाता है कि ‘समर्थित’ और ‘सच’ के बीच अंतर किया जाए। मानव संस्कृति वर्तमान में मशीन लर्निंग की तुलना में वस्तुनिष्ठ सच्चाई की परिभाषा प्राप्त करने के लिए तरीकों और ढांचों के उपयोग में बहुत आगे है, और यहां तक कि वहां, ‘महत्वपूर्ण’ सच्चाई की मूल स्थिति प्रतीत होती है विवाद और हाशिए पर अस्वीकृति।

समस्या एनएलजी आर्किटेक्चर में पुनरावृत्ति है जो निर्णायक ‘समर्थन’ तंत्र बनाने का प्रयास करती है: मानव-संचालित सहमति को सच्चाई के एक बेंचमार्क के रूप में सेवा में दबाया जाता है, जो आउटसोर्स किए गए, एएमटी-शैली के मॉडल में होता है, जहां मानव मूल्यांकनकर्ता (और उन अन्य मानव जो उनके बीच विवादों को मध्यस्थ करते हैं) स्वयं आंशिक और पूर्वाग्रही होते हैं।

उदाहरण के लिए, गोफरसाइट के प्रारंभिक प्रयोग एक ‘सुपर रेटर’ मॉडल का उपयोग करते हैं ताकि मॉडल के आउटपुट का मूल्यांकन करने के लिए सर्वोत्तम मानव विषयों का चयन किया जा सके, केवल उन रेटर्स का चयन किया जाता है जो गुणवत्ता आश्वासन सेट की तुलना में कम से कम 85% स्कोर करते हैं। अंत में, 113 सुपर-रेटर्स को कार्य के लिए चुना गया था।

गोफरसाइट के आउटपुट का मूल्यांकन करने में मदद करने के लिए तुलना ऐप का स्क्रीनशॉट।

यह तर्क दिया जा सकता है कि यह एक जीतने योग्य फ्रैक्टल पीछा का एक आदर्श चित्र है: रेटर्स को रेट करने के लिए उपयोग किया जाने वाला गुणवत्ता आश्वासन सेट स्वयं एक और ‘मानव-परिभाषित’ सच्चाई मेट्रिक है, जैसा कि ऑक्सफोर्ड ट्रुथफुलक्यू सेट है जिसके खिलाफ गोफरसाइट को कमी पाई गई है।

समर्थित और ‘प्रमाणित’ सामग्री के संदर्भ में, एनएलजी प्रणाली की उम्मीद है कि वे मानव डेटा पर प्रशिक्षण से केवल मानव विविधता और विविधता का संश्लेषण कर सकते हैं, जो स्वयं एक खराब तरीके से तैयार की गई और हल की गई समस्या है; हमारे पास अपने दृष्टिकोण का समर्थन करने वाले स्रोतों का हवाला देने की एक अंतर्निहित प्रवृत्ति है, और हमारी स्रोत जानकारी पुरानी हो सकती है, पूरी तरह से असटीक हो सकती है, या अन्य तरीकों से जानबूझकर विकृत हो सकती है; और एक प्रवृत्ति जो इन दृष्टिकोणों को सीधे ज्ञान-खुरचने वाले ढांचे के मार्ग में डालती है जो नए एनएलजी ढांचे को खिलाते हैं, मानव इतिहास में कभी नहीं देखी गई स्केल और प्रभावशीलता के साथ।

इसलिए, उद्धरण-समर्थित एनएलजी प्रणालियों के विकास में शामिल खतरा स्रोत सामग्री की अप्रत्याशित प्रकृति के साथ जुड़ा हुआ प्रतीत होता है। एनएलजी आउटपुट में उपयोगकर्ता विश्वास बढ़ाने वाला कोई भी तंत्र (जैसे कि सीधा उद्धरण और उद्धरण) वर्तमान राज्य में कला के साथ खतरनाक रूप से प्रमाणिकता में जोड़ता है, लेकिन वास्तविकता में नहीं।

ऐसी तकनीकें तब उपयोगी होने की संभावना है जब एनएलपी अंततः ऑरवेल के निनेटीन एटी-फोर के ‘केलidoscopes’ की कल्पना लिखने की क्षमता को पुनर्जीवित करेगी; लेकिन वे वस्तुनिष्ठ दस्तावेज़ विश्लेषण, एआई-केंद्रित पत्रकारिता और मशीन सारांश और स्व-प्रेरित या निर्देशित पाठ पीढ़ी के ‘गैर-काल्पनिक’ अनुप्रयोगों जैसे अन्य संभावित अनुप्रयोगों के लिए एक जोखिम भरा पीछा प्रतीत होता है।

पहली बार 5 अप्रैल 2022 को प्रकाशित। 3:29 बजे ईईटी पर पद更新 करने के लिए शब्द को सही करने के लिए।