एनालॉगिकल और स्टेप-बैक प्रॉम्प्टिंग: गूगल डीपमाइंड द्वारा हाल की प्रगति में एक गोता

परिचय

प्रॉम्प्ट इंजीनियरिंग बड़े भाषा मॉडल (LLM) जैसे GPT-4 को वांछित प्रतिक्रिया उत्पन्न करने के लिए प्रभावी प्रॉम्प्ट तैयार करने पर केंद्रित है। एक अच्छी तरह से तैयार किया गया प्रॉम्प्ट एक अस्पष्ट या असटीक उत्तर और एक सटीक, प्रेरक उत्तर के बीच अंतर हो सकता है।

व्यापक AI पारिस्थितिकी तंत्र में, प्रॉम्प्ट इंजीनियरिंग भाषा मॉडल से अधिक सटीक और संदर्भ-संबंधित जानकारी निकालने के लिए उपयोग की जाने वाली कई विधियों में से एक है। अन्य विधियों में फ़ेव-शॉट लर्निंग जैसी तकनीकें शामिल हैं, जहां मॉडल को कार्य को समझने में मदद करने के लिए कुछ उदाहरण दिए जाते हैं, और फ़ाइन-ट्यूनिंग, जहां मॉडल को अपनी प्रतिक्रियाओं को विशेषज्ञ बनाने के लिए एक छोटे डेटासेट पर और प्रशिक्षित किया जाता है।

गूगल डीपमाइंड ने हाल ही में प्रॉम्प्ट इंजीनियरिंग और इसके संभावित लाभों पर दो शोध पत्र प्रकाशित किए हैं जो विभिन्न स्थितियों में प्रतिक्रियाओं को बेहतर बनाने में मदद कर सकते हैं।

इन पत्रों का उद्देश्य भाषा मॉडल के साथ संवाद करने के तरीके को परिष्कृत और अनुकूलित करने के लिए AI समुदाय में चल रहे अनुसंधान का हिस्सा है, और वे प्रॉम्प्ट्स को बेहतर ढंग से संरचित करने और डेटाबेस इंटरैक्शन में सुधार करने के लिए ताज़ा अंतर्दृष्टि प्रदान करते हैं।

इस लेख में इन शोध पत्रों के विवरण में गहराई से जाने का प्रयास किया गया है, जिसमें प्रस्तावित तकनीकों की अवधारणाएं, विधियां, और परिणाम शामिल हैं, जिससे यह उन पाठकों के लिए भी सुलभ हो जाता है जिनके पास AI और NLP में सीमित ज्ञान है।

पेपर 1: बड़े भाषा मॉडल के रूप में एनालॉगिकल रीज़नर

पहले पत्र, “बड़े भाषा मॉडल के रूप में एनालॉगिकल रीज़नर,” में एक नई प्रॉम्प्टिंग दृष्टिकोण पेश किया गया है जिसे एनालॉगिकल प्रॉम्प्टिंग कहा जाता है। लेखक, मिचिहिरो यासुनागा, ज़िन्युन चेन और अन्य, मानव संज्ञानात्मक प्रक्रिया से प्रेरित हैं जिसमें लोग नए समस्याओं का सामना करने के लिए पिछले अनुभवों का लाभ उठाते हैं।

मुख्य अवधारणाएं और विधि

एनालॉगिकल प्रॉम्प्टिंग LLMs को समस्या को हल करने से पहले संदर्भ में प्रासंगिक उदाहरण या ज्ञान स्वयं उत्पन्न करने के लिए प्रोत्साहित करती है। यह दृष्टिकोण लेबल वाले उदाहरणों की आवश्यकता को समाप्त करता है, जिससे यह अधिक सामान्य और सुविधाजनक हो जाता है, और प्रत्येक विशिष्ट समस्या के लिए उत्पन्न उदाहरणों को अनुकूलित करता है, जिससे यह अधिक अनुकूलनीय हो जाता है।

बाएं: पारंपरिक तरीकों से LLMs को प्रॉम्प्ट करने में जेनरिक इनपुट (0-शॉट CoT) या लेबल वाले उदाहरणों (फ़ेव-शॉट CoT) की आवश्यकता होती है। दाएं: नवीन दृष्टिकोण LLMs को समस्या को हल करने से पहले प्रासंगिक उदाहरण स्वयं बनाने के लिए प्रोत्साहित करता है, लेबलिंग की आवश्यकता को समाप्त करता है और प्रत्येक विशिष्ट समस्या के लिए उदाहरणों को अनुकूलित करता है

स्व-उत्पन्न उदाहरण

पत्र में प्रस्तुत पहली तकनीक स्व-उत्पन्न उदाहरण है। यह विचार LLMs द्वारा प्रशिक्षण के दौरान प्राप्त व्यापक ज्ञान का लाभ उठाने में मदद करना है ताकि वे नए समस्याओं को हल कर सकें। प्रक्रिया में लक्ष्य समस्या को निर्देशों के साथ बढ़ाना शामिल है जो मॉडल को प्रासंगिक समस्याओं और समाधानों को याद रखने या उत्पन्न करने के लिए प्रोत्साहित करते हैं।

उदाहरण के लिए, एक समस्या दी जाने पर, मॉडल को तीन अलग और प्रासंगिक समस्याओं को याद रखने, उन्हें वर्णित करने और उनके समाधानों की व्याख्या करने के लिए निर्देशित किया जाता है। यह प्रक्रिया एक ही पास में की जाने के लिए डिज़ाइन की गई है, जिससे LLM को प्रासंगिक उदाहरण उत्पन्न करने और शुरुआती समस्या को निर्बाध रूप से हल करने में मदद मिलती है। प्रॉम्प्ट्स में ‘#’ प्रतीकों का उपयोग प्रतिक्रिया को अधिक संगठित और मॉडल के लिए अनुसरण करने में आसान बनाने में मदद करता है।

पत्र में उल्लिखित प्रमुख तकनीकी निर्णयों में प्रासंगिक और विविध उदाहरणों को उत्पन्न करने पर जोर दिया गया है, एकल-पास दृष्टिकोण को अपनाने के लिए अधिक सुविधा के लिए, और यह पाया गया है कि तीन से पांच उदाहरणों को उत्पन्न करने से सर्वोत्तम परिणाम मिलते हैं।

स्व-उत्पन्न ज्ञान + उदाहरण

दूसरी तकनीक, स्व-उत्पन्न ज्ञान + उदाहरण, को अधिक जटिल कार्यों जैसे कि कोड जेनरेशन में चुनौतियों का सामना करने के लिए पेश किया जाता है। इन परिदृश्यों में, LLMs कम-स्तरीय उदाहरणों पर अत्यधिक निर्भर हो सकते हैं और लक्ष्य समस्याओं को हल करते समय सामान्यीकरण में संघर्ष कर सकते हैं। इसे कम करने के लिए, लेखक प्रॉम्प्ट में एक अतिरिक्त निर्देश जोड़ने का प्रस्ताव करते हैं जो मॉडल को समस्या में मूल अवधारणाओं की पहचान करने और एक ट्यूटोरियल या उच्च-स्तरीय टेकअवे प्रदान करने के लिए प्रोत्साहित करता है।

एक महत्वपूर्ण विचार ज्ञान और उदाहरणों को उत्पन्न करने का क्रम है। लेखकों ने पाया कि ज्ञान को उदाहरणों से पहले उत्पन्न करने से बेहतर परिणाम मिलते हैं, क्योंकि यह LLM को मूल समस्या-समाधान दृष्टिकोणों पर ध्यान केंद्रित करने में मदद करता है, न कि केवल सतह-स्तरीय समानताओं पर।

लाभ और अनुप्रयोग

एनालॉगिकल प्रॉम्प्टिंग दृष्टिकोण के कई लाभ हैं। यह लेबल वाले उदाहरणों की आवश्यकता के बिना विस्तृत उदाहरण प्रदान करता है, 0-शॉट और फ़ेव-शॉट चेन-ऑफ-थॉट (CoT) विधियों से जुड़ी चुनौतियों का समाधान करता है। इसके अलावा, उत्पन्न उदाहरण व्यक्तिगत समस्याओं के लिए अनुकूलित होते हैं, जो पारंपरिक फ़ेव-शॉट CoT से अधिक प्रासंगिक मार्गदर्शन प्रदान करते हैं, जो निश्चित उदाहरणों का उपयोग करता है।

पत्र में यह दृष्टिकोण विभिन्न तर्क कार्यों में, जिनमें गणित समस्या समाधान, कोड जेनरेशन और BIG-Bench में अन्य तर्क कार्य शामिल हैं, की प्रभावशीलता का प्रदर्शन किया जाता है।

नीचे दी गई तालिकाएं विभिन्न प्रॉम्प्टिंग विधियों के प्रदर्शन मेट्रिक्स को विभिन्न मॉडल आर्किटेक्चर में प्रस्तुत करती हैं। उल्लेखनीय रूप से, “स्व-उत्पन्न उदाहरण” विधि सटीकता के मामले में अन्य विधियों से बेहतर प्रदर्शन करती है। जीएसएम8के सटीकता में, यह विधि पीएलएम2 मॉडल पर 81.7% के साथ उच्चतम प्रदर्शन प्राप्त करती है। इसी तरह, माथ सटीकता के लिए, यह जीपीटी3.5-टर्बो पर 37.3% के साथ शीर्ष पर है।

गणितीय कार्यों पर प्रदर्शन, जीएसएम8के और माथ

दूसरी तालिका में, जीपीटी3.5-टर्बो-16के और जीपीटी4 मॉडल के लिए, “स्व-उत्पन्न ज्ञान + उदाहरण” सबसे अच्छा प्रदर्शन दिखाता है।

कोडफोर्सेस कोड जेनरेशन कार्य पर प्रदर्शन

पेपर 2: एक कदम पीछे लें: बड़े भाषा मॉडल में तर्कसंगतता को स abstract के माध्यम से प्रेरित करना

विवरण

दूसरे पत्र, “एक कदम पीछे लें: बड़े भाषा मॉडल में तर्कसंगतता को स abstract के माध्यम से प्रेरित करना” में स्टेप-बैक प्रॉम्प्टिंग तकनीक प्रस्तुत की गई है, जो LLMs को विस्तृत उदाहरणों से उच्च-स्तरीय अवधारणाओं और मूल सिद्धांतों को निकालने के लिए प्रोत्साहित करती है। लेखक, हुआइक्सियू स्टीवन झेंग, स्वरूप मिश्रा और अन्य, LLMs की तर्कसंगतता क्षमताओं में सुधार करने का लक्ष्य रखते हैं ताकि वे समस्याओं का समाधान करने के लिए सही तर्क मार्ग का पालन करें।

स्टेप-बैक प्रॉम्प्टिंग को दो चरणों में दर्शाया गया है: स abstract और तर्क, जो मुख्य अवधारणाओं और सिद्धांतों द्वारा निर्देशित होते हैं

आइए एक सरल उदाहरण के माध्यम से “स्टेपबैक प्रश्न” तकनीक को समझने का प्रयास करें:

मूल प्रश्न: यदि एक ट्रेन 60 किमी/घंटा की गति से यात्रा करती है और 120 किमी की दूरी तय करती है, तो यह कितनी देर तक चलेगी?

विकल्प:

3 घंटे
2 घंटे
1 घंटा
4 घंटे
मूल उत्तर [असटीक]: सही उत्तर 1) है।

स्टेपबैक प्रश्न: दूरी और गति दिए जाने पर समय की गणना के लिए मूल सूत्र क्या है?

सिद्धांत:
समय की गणना करने के लिए, हम सूत्र का उपयोग करते हैं:
समय = दूरी / गति

अंतिम उत्तर:
सूत्र का उपयोग करके, समय = 120 किमी / 60 किमी/घंटा = 2 घंटे。
सही उत्तर 2) 2 घंटे है।

हालांकि वर्तमान में LLMs आसानी से ऊपर दिए गए प्रश्न का उत्तर दे सकते हैं, यह उदाहरण केवल स्टेपबैक तकनीक को प्रदर्शित करने के लिए है। अधिक चुनौतीपूर्ण परिदृश्यों के लिए, इसी तकनीक को लागू किया जा सकता है। पत्र में एक अधिक जटिल मामला प्रदर्शित किया गया है:

एमएमएलयू-रसायन विज्ञान डेटासेट पर स्टेप-बैक प्रॉम्प्टिंग

मुख्य अवधारणाएं और विधि

स्टेप-बैक प्रॉम्प्टिंग का सार LLMs को एक कदम पीछे लेने में मदद करना है, जिससे वे विस्तार से नहीं बल्कि बड़े पैमाने पर देखें। यह सावधानी से तैयार किए गए प्रॉम्प्ट्स के माध्यम से प्राप्त किया जाता है जो LLMs को विवरण से abstract जानकारी निकालने, उच्च-स्तरीय अवधारणाओं को निकालने और उन्हें समस्या का समाधान करने के लिए मार्गदर्शन करने में मदद करते हैं।

प्रक्रिया दिए गए उदाहरणों से विवरण निकालने और LLMs को मूल सिद्धांतों और अवधारणाओं पर ध्यान केंद्रित करने के लिए प्रोत्साहित करने से शुरू होती है। यह चरण महत्वपूर्ण है क्योंकि यह LLMs को एक अधिक सूचित और सिद्धांत-आधारित दृष्टिकोण से समस्या का सामना करने में मदद करता है।

एक बार उच्च-स्तरीय अवधारणाएं निकाल ली जाती हैं, तो वे LLMs को तर्क के चरणों के माध्यम से मार्गदर्शन करने के लिए उपयोग की जाती हैं, जिससे यह सुनिश्चित होता है कि LLM एक तार्किक और सुसंगत मार्ग का पालन कर रहा है जो निकाली गई अवधारणाओं और सिद्धांतों पर आधारित है।

लेखक विभिन्न तर्क-गहन कार्यों में इस तकनीक की प्रभावशीलता को मान्य करने के लिए प्रयोग करते हैं, जिनमें पीएलएम-2एल मॉडल का उपयोग विभिन्न कार्यों में किया जाता है, जैसे कि स्टेम समस्याएं, नॉलेज क्यूए और मल्टी-हॉप रीज़निंग, जो तकनीक का मूल्यांकन करने के लिए एक व्यापक परीक्षण प्रदान करते हैं।

विभिन्न कार्यों में महत्वपूर्ण सुधार

परिणाम प्रभावशाली हैं, स्टेप-बैक प्रॉम्प्टिंग सभी कार्यों में महत्वपूर्ण प्रदर्शन लाभ प्रदान करता है। उदाहरण के लिए, यह तकनीक पीएलएम-2एल पर एमएमएलयू भौतिकी और रसायन विज्ञान पर क्रमशः 7% और 11% की वृद्धि करती है। इसी तरह, यह टाइमक्यूए पर 27% और म्यूज़िक्यू पर 7% की वृद्धि करती है।

स्टेप-बैक प्रॉम्प्टिंग का प्रदर्शन

इन परिणामों से LLMs की तर्कसंगतता क्षमताओं को महत्वपूर्ण रूप से बढ़ाने की स्टेप-बैक प्रॉम्प्टिंग की क्षमता की पुष्टि होती है।

निष्कर्ष

गूगल डीपमाइंड द्वारा प्रस्तुत दोनों पत्र प्रॉम्प्ट इंजीनियरिंग में नवाचारी दृष्टिकोण प्रस्तुत करते हैं, जो बड़े भाषा मॉडल की तर्कसंगतता क्षमताओं को बढ़ाने का लक्ष्य रखते हैं। एनालॉगिकल प्रॉम्प्टिंग दृष्टिकोण मानव संज्ञानात्मक प्रक्रिया से प्रेरित है, जो मॉडल को अपने उदाहरण और ज्ञान स्वयं उत्पन्न करने के लिए प्रोत्साहित करता है, जिससे समस्या समाधान अधिक अनुकूल और कुशल हो जाता है। दूसरी ओर, स्टेप-बैक प्रॉम्प्टिंग उच्च-स्तरीय अवधारणाओं और सिद्धांतों को निकालने पर केंद्रित है, जो मॉडल को तर्क के सही मार्ग का पालन करने में मदद करता है।

इन शोध पत्रों से प्राप्त अंतर्दृष्टि और विधियां विभिन्न क्षेत्रों में लागू की जा सकती हैं, जिससे अधिक बुद्धिमान और सक्षम भाषा मॉडल विकसित किए जा सकते हैं। जैसा कि हम प्रॉम्प्ट इंजीनियरिंग की जटिलताओं को समझना जारी रखते हैं, ये दृष्टिकोण उन महत्वपूर्ण कदमों के रूप में कार्य करते हैं जो हमें अधिक उन्नत और परिष्कृत AI प्रणालियों की ओर ले जा सकते हैं।