जीपीटी-3 और अन्य जटिल भाषा मॉडल में ‘हॉलुसिनेशन’ को रोकना

‘फेक न्यूज’ की एक परिभाषित विशेषता यह है कि यह अक्सर तथ्यात्मक रूप से सही जानकारी के संदर्भ में झूठी जानकारी प्रस्तुत करती है, जिसमें असत्य डेटा साहित्यिक ऑस्मोसिस के एक प्रकार द्वारा प्राप्त अधिकार प्राप्त करता है – आधे सच की शक्ति का एक चिंताजनक प्रदर्शन।

जीपीटी-3 जैसे परिष्कृत जनरेटिव प्राकृतिक भाषा प्रसंस्करण (एनएलपी) प्रसंस्करण मॉडल भी इस प्रकार के भ्रामक डेटा को ‘हॉलुसिनेट‘ करने की प्रवृत्ति रखते हैं। यह आंशिक रूप से इसलिए है क्योंकि भाषा मॉडलों को लंबे और अक्सर जटिल ग्रंथों को फिर से लिखने और सारांशित करने की क्षमता की आवश्यकता होती है, बिना किसी वास्तुकला प्रतिबंध के जो घटनाओं और तथ्यों को परिभाषित, संलग्न और ‘सील’ कर सके ताकि वे सेमेंटिक पुनर्निर्माण की प्रक्रिया से सुरक्षित हों।

इसलिए, एनएलपी मॉडल के लिए तथ्य पवित्र नहीं हैं; वे आसानी से ‘सेमेंटिक लेगो ईंटों’ के संदर्भ में इलाज किया जा सकता है, विशेष रूप से जहां जटिल व्याकरण या दुर्लभ स्रोत सामग्री यह मुश्किल बनाती है कि भाषा संरचना से विभिन्न इकाइयों को अलग किया जाए।

जीपीटी-3 जैसे जटिल भाषा मॉडल को भ्रमित करने वाली स्रोत सामग्री के तरीके का एक अवलोकन। स्रोत: पराफ्रेज जेनरेशन USING डीप रिनफोर्समेंट लर्निंग

यह समस्या टेक्स्ट-आधारित मशीन लर्निंग से कंप्यूटर विजन अनुसंधान में फैल जाती है, विशेष रूप से उन क्षेत्रों में जो वस्तुओं की पहचान या विवरण के लिए सेमेंटिक भेदभाव का उपयोग करते हैं।

हॉलुसिनेशन और असंगत ‘कॉस्मेटिक’ पुनर्व्याख्या कंप्यूटर विजन अनुसंधान को भी प्रभावित करती है।

जीपीटी-3 के मामले में, मॉडल एक विषय पर बार-बार प्रश्न पूछने से निराश हो सकता है जिस पर यह पहले से ही उत्तर दे चुका है। सबसे अच्छे सenario में, यह हार मान लेगा:

जीपीटी-3 में मेरे एक हालिया प्रयोग के साथ बेसिक डाविंसी इंजन। मॉडल पहले प्रयास में उत्तर सही पाता है, लेकिन दूसरी बार प्रश्न पूछने पर निराश हो जाता है। स्रोत: https://www.scalr.ai/post/business-applications-for-gpt-3

डाविंसी और डाविंसी इन्स्ट्रक्ट (बीटा) जीपीटी-3 मॉडल के अन्य मॉडलों की तुलना में इस मामले में बेहतर प्रदर्शन करते हैं। यहां, क्यूरी मॉडल गलत उत्तर देता है, जबकि बैबेज मॉडल एक समान रूप से गलत उत्तर पर आत्मविश्वास से विस्तार करता है:

आइंस्टीन ने जो कभी नहीं कहा

जब जीपीटी-3 डाविंसी इन्स्ट्रक्ट इंजन (जो वर्तमान में सबसे सक्षम लगता है) को आइंस्टीन के प्रसिद्ध उद्धरण ‘गॉड डोज़ नॉट प्ले डाइस विद द यूनिवर्स’ के लिए कहा जाता है, तो डाविंसी इन्स्ट्रक्ट उद्धरण नहीं ढूंढ पाता है और एक गैर-उद्धरण बनाता है, और तीन अन्य अपेक्षाकृत विश्वसनीय और पूरी तरह से अस्तित्वहीन उद्धरणों (आइंस्टीन या किसी और द्वारा) का आविष्कार करता है जो समान प्रश्नों के उत्तर में हैं:

जीपीटी-3 आइंस्टीन से चार विश्वसनीय उद्धरण बनाता है, जिनमें से कोई भी पूर्ण-पाठ इंटरनेट खोज में कोई परिणाम नहीं देता है, हालांकि कुछ अन्य (वास्तविक) आइंस्टीन उद्धरणों को ‘कल्पना’ विषय पर ट्रिगर करते हैं।

यदि जीपीटी-3 उद्धरणों में लगातार गलत होता, तो इन हॉलुसिनेशन को प्रोग्राममैटिक रूप से छोड़ना आसान होता। हालांकि, जितना अधिक प्रसिद्ध और प्रसारित एक उद्धरण है, उतना ही जीपीटी-3 इसे सही प्राप्त करने की संभावना है:

जीपीटी-3 योगदानकर्ता डेटा में अच्छी तरह से प्रतिनिधित्व किए गए उद्धरणों को सही ढंग से पाता है।

एक दूसरी समस्या तब उत्पन्न हो सकती है जब जीपीटी-3 के सत्र इतिहास डेटा एक नए प्रश्न में फैल जाता है:

आइंस्टीन को यह कहना शायद अपमानजनक लगेगा कि यह उद्धरण उन्हें दिया गया है। यह उद्धरण वास्तव में विंस्टन चर्चिल की एक वास्तविक उक्ति का एक भ्रम है। जीपीटी-3 सत्र में पिछला प्रश्न चर्चिल (आइंस्टीन नहीं) से संबंधित था, और जीपीटी-3 ने गलती से इस सत्र टोकन का उपयोग उत्तर को सूचित करने के लिए किया है।

हॉलुसिनेशन को आर्थिक रूप से संबोधित करना

हॉलुसिनेशन जटिल एनएलपी मॉडलों को अनुसंधान उपकरण के रूप में अपनाने में एक उल्लेखनीय बाधा है – जितना अधिक मॉडल का आउटपुट स्रोत सामग्री से स abstracted होता है, जिससे उद्धरणों और तथ्यों की सत्यता का पता लगाना मुश्किल हो जाता है।

इसलिए, एनएलपी में एक वर्तमान सामान्य अनुसंधान चुनौती हॉलुसिनेटेड पाठों की पहचान करने के लिए एक साधन स्थापित करना है जिसमें पूरी तरह से नए एनएलपी मॉडलों की आवश्यकता नहीं होती है जो तथ्यों को विविध इकाइयों के रूप में परिभाषित, प्रमाणित और प्रमाणित करें।

हॉलुसिनेटेड सामग्री की पहचान और जनरेशन

कार्नेगी मेलन विश्वविद्यालय और फेसबुक एआई रिसर्च के बीच एक नए सहयोग ने हॉलुसिनेशन समस्या के लिए एक नई दृष्टिकोण प्रस्तुत किया है, जिसमें हॉलुसिनेटेड आउटपुट की पहचान करने के लिए एक विधि का गठन किया जाता है और सिंथेटिक हॉलुसिनेटेड पाठों का उपयोग करके एक डेटासेट बनाया जाता है जो भविष्य के फिल्टर और तंत्र के लिए एक बेसलाइन के रूप में उपयोग किया जा सकता है जो अंततः एनएलपी आर्किटेक्चर का एक मूलभूत हिस्सा बन सकता है।

स्रोत: https://arxiv.org/pdf/2011.02593.pdf

उपरोक्त छवि में, स्रोत सामग्री को प्रति-शब्द आधार पर खंडित किया गया है, जिसमें ‘0’ लेबल सही शब्दों को सौंपा गया है और ‘1’ लेबल हॉलुसिनेटेड शब्दों को सौंपा गया है। नीचे हम हॉलुसिनेटेड आउटपुट का एक उदाहरण देखते हैं जो इनपुट जानकारी से संबंधित है, लेकिन गैर-मूल डेटा के साथ बढ़ाया गया है।

सिस्टम एक पूर्व-प्रशिक्षित डीनोइज़िंग ऑटोएनकोडर का उपयोग करता है जो एक हॉलुसिनेटेड स्ट्रिंग को मूल पाठ में मैप कर सकता है जिससे भ्रष्ट संस्करण उत्पन्न हुआ था (मेरे ऊपर दिए गए उदाहरणों के समान, जहां इंटरनेट खोजों ने झूठे उद्धरणों का प्रोवेनेंस प्रकट किया, लेकिन एक प्रोग्राममैटिक और स्वचालित सेमेंटिक विधि के साथ)। विशेष रूप से, फेसबुक के बार्ट ऑटोएनकोडर मॉडल का उपयोग भ्रष्ट वाक्यों का उत्पादन करने के लिए किया जाता है।

लेबल असाइनमेंट。

हॉलुसिनेशन को स्रोत में मैप करने की प्रक्रिया, जो सामान्य उच्च-स्तरीय एनएलपी मॉडल में संभव नहीं है, ‘संपादन दूरी’ को मैप करने की अनुमति देती है और हॉलुसिनेटेड सामग्री की पहचान करने के लिए एक एल्गोरिदमिक दृष्टिकोण की सुविधा प्रदान करती है।

शोधकर्ताओं ने पाया कि सिस्टम तब भी अच्छी तरह से सामान्यीकृत करता है जब इसके पास प्रशिक्षण के दौरान उपलब्ध संदर्भ सामग्री तक पहुंच नहीं होती है, जो यह सुझाव देता है कि संकल्पनात्मक मॉडल ध्वनि और व्यापक रूप से प्रतिलिपि योग्य है।

ओवरफिटिंग को संबोधित करना

ओवरफिटिंग से बचने और एक व्यापक रूप से तैनात करने योग्य आर्किटेक्चर तक पहुंचने के लिए, शोधकर्ताओं ने प्रक्रिया से टोकन यादृच्छिक रूप से गिरा दिए, और पराफ्रेज़िंग और अन्य शोर फंक्शनों का भी उपयोग किया।

मशीन अनुवाद (एमटी) भी इस धुंधलापन प्रक्रिया का हिस्सा है, क्योंकि पाठ का अनुवाद करना संभवतः अर्थ को मजबूती से संरक्षित करेगा और ओवरफिटिंग को और भी रोकेगा। इसलिए, परियोजना के लिए द्विभाषी वक्ताओं द्वारा एक मैनुअल अन्नोटेशन परत में हॉलुसिनेशन की पहचान की गई और अनुवाद की गई।

प्रयास ने कई मानक क्षेत्र परीक्षणों में नए सर्वोत्तम परिणाम हासिल किए, और 10 मिलियन टोकन से अधिक डेटा का उपयोग करके स्वीकार्य परिणाम प्राप्त करने वाला पहला बन गया।

परियोजना के लिए कोड, जिसका शीर्षक कंडीशनल न्यूरल सीक्वेंस जेनरेशन में हॉलुसिनेटेड कंटेंट का पता लगाना है, को गिटहब पर जारी किया गया है, और उपयोगकर्ताओं को बार्ट के साथ किसी भी पाठ निगम से अपना सिंथेटिक डेटा बनाने की अनुमति देता है। हॉलुसिनेशन का पता लगाने वाले मॉडलों के बाद के निर्माण के लिए भी प्रावधान किया गया है।