शीघ्र इंजीनियरिंग
एनालॉग और स्टेप-बैक प्रॉम्प्टिंग: Google डीपमाइंड द्वारा हाल की प्रगति में एक गोता
परिचय
प्रॉम्प्ट इंजीनियरिंग वांछित प्रतिक्रियाएँ उत्पन्न करने में GPT-4 जैसे बड़े भाषा मॉडल (एलएलएम) का मार्गदर्शन करने के लिए प्रभावी संकेत तैयार करने पर केंद्रित है। एक अच्छी तरह से तैयार किया गया संकेत एक अस्पष्ट या गलत उत्तर और एक सटीक, व्यावहारिक उत्तर के बीच का अंतर हो सकता है।
एआई के व्यापक पारिस्थितिकी तंत्र में, प्रॉम्प्ट इंजीनियरिंग भाषा मॉडल से अधिक सटीक और प्रासंगिक रूप से प्रासंगिक जानकारी निकालने के लिए उपयोग की जाने वाली कई विधियों में से एक है। अन्य में कुछ-शॉट लर्निंग जैसी तकनीकें शामिल हैं, जहां मॉडल को कार्य को समझने में मदद करने के लिए कुछ उदाहरण दिए जाते हैं, और फाइन-ट्यूनिंग, जहां मॉडल को अपनी प्रतिक्रियाओं को विशेषज्ञ बनाने के लिए एक छोटे डेटासेट पर प्रशिक्षित किया जाता है।
Google डीपमाइंड ने हाल ही में दो पेपर प्रकाशित किए हैं जो त्वरित इंजीनियरिंग और कई स्थितियों पर प्रतिक्रियाओं को बढ़ाने की इसकी क्षमता पर प्रकाश डालते हैं।
ये पेपर एआई समुदाय में भाषा मॉडल के साथ संवाद करने के तरीके को परिष्कृत और अनुकूलित करने के लिए चल रहे अन्वेषण का एक हिस्सा हैं, और वे बेहतर क्वेरी हैंडलिंग और डेटाबेस इंटरैक्शन के लिए संरचना संकेतों में नई अंतर्दृष्टि प्रदान करते हैं।
यह आलेख इन शोध पत्रों के विवरणों पर प्रकाश डालता है, प्रस्तावित तकनीकों की अवधारणाओं, पद्धतियों और निहितार्थों को स्पष्ट करता है, जिससे यह एआई और एनएलपी में सीमित ज्ञान वाले पाठकों के लिए भी सुलभ हो जाता है।
पेपर 1: अनुरूप तर्ककर्ताओं के रूप में बड़े भाषा मॉडल
पहला पेपर, जिसका शीर्षक है "एनालॉजिकल रीज़नर्स के रूप में बड़े भाषा मॉडल", एनालॉजिकल प्रॉम्प्टिंग नामक एक नए प्रेरक दृष्टिकोण का परिचय देता है। लेखक, मिचिहिरो यासुनागा, ज़िन्युन चेन और अन्य, अनुरूप तर्क से प्रेरणा लेते हैं - एक संज्ञानात्मक प्रक्रिया जहां मनुष्य नई समस्याओं से निपटने के लिए पिछले अनुभवों का लाभ उठाते हैं।
प्रमुख अवधारणाएँ और कार्यप्रणाली
एनालॉग प्रॉम्प्टिंग एलएलएम को किसी दी गई समस्या को हल करने के लिए आगे बढ़ने से पहले संदर्भ में प्रासंगिक उदाहरण या ज्ञान स्वयं उत्पन्न करने के लिए प्रोत्साहित करता है। यह दृष्टिकोण सामान्यता और सुविधा प्रदान करते हुए, लेबल किए गए उदाहरणों की आवश्यकता को समाप्त करता है, और अनुकूलन क्षमता सुनिश्चित करते हुए, प्रत्येक विशिष्ट समस्या के लिए उत्पन्न उदाहरणों को अनुकूलित करता है।
बाएं: एलएलएम को प्रेरित करने के पारंपरिक तरीके सामान्य इनपुट (0-शॉट सीओटी) पर निर्भर करते हैं या लेबल किए गए उदाहरणों (कुछ-शॉट सीओटी) की आवश्यकता होती है। दाएं: नया दृष्टिकोण एलएलएम को समस्या-समाधान से पहले प्रासंगिक उदाहरण स्वयं बनाने के लिए प्रेरित करता है, प्रत्येक के लिए उदाहरणों को अनुकूलित करते समय लेबलिंग की आवश्यकता को हटा देता है।
स्व-निर्मित उदाहरण
पेपर में प्रस्तुत पहली तकनीक स्व-निर्मित उदाहरण है। इसका उद्देश्य उस व्यापक ज्ञान का लाभ उठाना है जो एलएलएम ने अपने प्रशिक्षण के दौरान हासिल किया है ताकि उन्हें नई समस्याओं को हल करने में मदद मिल सके। इस प्रक्रिया में लक्ष्य समस्या को निर्देशों के साथ बढ़ाना शामिल है जो मॉडल को प्रासंगिक समस्याओं और समाधानों को याद करने या उत्पन्न करने के लिए प्रेरित करता है।
उदाहरण के लिए, किसी समस्या को देखते हुए, मॉडल को तीन अलग-अलग और प्रासंगिक समस्याओं को याद करने, उनका वर्णन करने और उनके समाधान समझाने का निर्देश दिया जाता है। इस प्रक्रिया को एक ही पास में पूरा करने के लिए डिज़ाइन किया गया है, जिससे एलएलएम को प्रासंगिक उदाहरण उत्पन्न करने और प्रारंभिक समस्या को मूल रूप से हल करने की अनुमति मिलती है। संकेतों में '#' प्रतीकों का उपयोग प्रतिक्रिया को संरचित करने में मदद करता है, जिससे मॉडल के अनुसरण के लिए यह अधिक व्यवस्थित और आसान हो जाता है।
पेपर में हाइलाइट किए गए प्रमुख तकनीकी निर्णयों में प्रासंगिक और विविध उदाहरण उत्पन्न करने पर जोर देना, अधिक सुविधा के लिए एकल-पास दृष्टिकोण को अपनाना और यह निष्कर्ष शामिल है कि तीन से पांच उदाहरण उत्पन्न करने से सर्वोत्तम परिणाम मिलते हैं।
स्व-निर्मित ज्ञान + उदाहरण
दूसरी तकनीक, स्व-निर्मित ज्ञान + उदाहरण, कोड निर्माण जैसे अधिक जटिल कार्यों में चुनौतियों का समाधान करने के लिए पेश की गई है। इन परिदृश्यों में, एलएलएम निम्न-स्तरीय उदाहरणों पर अत्यधिक भरोसा कर सकते हैं और लक्ष्य समस्याओं को हल करते समय सामान्यीकरण के लिए संघर्ष कर सकते हैं। इसे कम करने के लिए, लेखक एक अतिरिक्त निर्देश के साथ प्रॉम्प्ट को बढ़ाने का प्रस्ताव करते हैं जो मॉडल को समस्या में मुख्य अवधारणाओं की पहचान करने और एक ट्यूटोरियल या उच्च-स्तरीय टेकअवे प्रदान करने के लिए प्रोत्साहित करता है।
एक महत्वपूर्ण विचार वह क्रम है जिसमें ज्ञान और उदाहरण उत्पन्न होते हैं। लेखकों ने पाया कि उदाहरणों से पहले ज्ञान उत्पन्न करने से बेहतर परिणाम मिलते हैं, क्योंकि यह एलएलएम को केवल सतह-स्तर की समानताओं के बजाय मौलिक समस्या-समाधान दृष्टिकोण पर ध्यान केंद्रित करने में मदद करता है।
लाभ और अनुप्रयोग
एनालॉग प्रॉम्प्टिंग दृष्टिकोण कई लाभ प्रदान करता है। यह मैन्युअल लेबलिंग की आवश्यकता के बिना तर्क के विस्तृत उदाहरण प्रदान करता है, 0-शॉट और कुछ-शॉट चेन-ऑफ-थॉट (सीओटी) तरीकों से जुड़ी चुनौतियों का समाधान करता है। इसके अतिरिक्त, उत्पन्न उदाहरण व्यक्तिगत समस्याओं के अनुरूप होते हैं, जो पारंपरिक कुछ-शॉट सीओटी की तुलना में अधिक प्रासंगिक मार्गदर्शन प्रदान करते हैं, जो निश्चित उदाहरणों का उपयोग करता है।
पेपर विभिन्न तर्क कार्यों में इस दृष्टिकोण की प्रभावशीलता को प्रदर्शित करता है, जिसमें गणित समस्या-समाधान, कोड निर्माण और बिग-बेंच में अन्य तर्क कार्य शामिल हैं।
नीचे दी गई तालिकाएँ विभिन्न मॉडल आर्किटेक्चर में विभिन्न संकेतन विधियों के प्रदर्शन मेट्रिक्स प्रस्तुत करती हैं। विशेष रूप से, "स्व-निर्मित उदाहरण" विधि सटीकता के मामले में लगातार अन्य तरीकों से आगे निकल जाती है। GSM8K सटीकता में, यह विधि PaLM2 मॉडल पर 81.7% पर उच्चतम प्रदर्शन प्राप्त करती है। इसी तरह, MATH सटीकता के लिए, यह GPT3.5-टर्बो पर 37.3% पर चार्ट में सबसे ऊपर है।
गणितीय कार्यों, GSM8K और MATH पर प्रदर्शन
दूसरी तालिका में, मॉडल GPT3.5-टर्बो-16k और GPT4 के लिए, "स्व-निर्मित ज्ञान + उदाहरण" सर्वोत्तम प्रदर्शन दिखाता है।
कोडफोर्स कोड जनरेशन कार्य पर प्रदर्शन
पेपर 2: एक कदम पीछे हटें: बड़े भाषा मॉडल में अमूर्तता के माध्यम से तर्क विकसित करना
अवलोकन
दूसरा पेपर, "एक कदम पीछे हटें: बड़े भाषा मॉडलों में अमूर्तता के माध्यम से तर्क विकसित करना"स्टेप-बैक प्रॉम्प्टिंग प्रस्तुत करता है, एक तकनीक जो एलएलएम को विस्तृत उदाहरणों से उच्च-स्तरीय अवधारणाओं और पहले सिद्धांतों को अमूर्त करने के लिए प्रोत्साहित करती है। लेखक, हुआइक्सीउ स्टीवन झेंग, स्वरूप मिश्रा और अन्य का उद्देश्य समाधान के लिए सही तर्क पथ का पालन करने के लिए मार्गदर्शन करके एलएलएम की तर्क क्षमताओं में सुधार करना है।
मुख्य अवधारणाओं और सिद्धांतों द्वारा संचालित, अमूर्तता और तर्क के दो चरणों के माध्यम से स्टेप-बैक प्रॉम्प्टिंग का चित्रण।
आइए "स्टेपबैक प्रश्न" तकनीक को प्रदर्शित करने के लिए एक बुनियादी गणित प्रश्न का उपयोग करके एक सरल उदाहरण बनाएं:
Original Question: If a train travels at a speed of 60 km/h and covers a distance of 120 km, how long will it take?
Options:
3 hours
2 hours
1 hour
4 hours
Original Answer [Incorrect]: The correct answer is 1).
Stepback Question: What is the basic formula to calculate time given speed and distance?
Principles:
To calculate time, we use the formula:
Time = Distance / Speed
Final Answer:
Using the formula, Time = 120 km / 60 km/h = 2 hours.
The correct answer is 2) 2 hours.
हालाँकि आजकल एलएलएम उपरोक्त प्रश्न का उत्तर आसानी से दे सकते हैं, यह उदाहरण केवल यह प्रदर्शित करने के लिए है कि स्टेपबैक तकनीक कैसे काम करेगी। अधिक चुनौतीपूर्ण परिदृश्यों के लिए, समस्या का व्यवस्थित रूप से विश्लेषण और समाधान करने के लिए उसी तकनीक को लागू किया जा सकता है। नीचे पेपर में प्रदर्शित एक अधिक जटिल मामला है:
एमएमएलयू-रसायन विज्ञान डेटासेट पर स्टेप-बैक प्रॉम्प्टिंग
प्रमुख अवधारणाएँ और कार्यप्रणाली
स्टेप-बैक प्रॉम्प्टिंग का सार एलएलएम को एक रूपक कदम पीछे ले जाने की क्षमता में निहित है, जो उन्हें विवरणों में खो जाने के बजाय बड़ी तस्वीर को देखने के लिए प्रोत्साहित करता है। इसे सावधानीपूर्वक तैयार किए गए संकेतों की एक श्रृंखला के माध्यम से प्राप्त किया जाता है जो एलएलएम को अमूर्त जानकारी के लिए मार्गदर्शन करते हैं, उच्च-स्तरीय अवधारणाओं को प्राप्त करते हैं, और दी गई समस्या को हल करने के लिए इन अवधारणाओं को लागू करते हैं।
यह प्रक्रिया एलएलएम को दिए गए उदाहरणों से विवरण निकालने के लिए प्रेरित करने के साथ शुरू होती है, जिससे उसे अंतर्निहित अवधारणाओं और सिद्धांतों पर ध्यान केंद्रित करने के लिए प्रोत्साहित किया जाता है। यह कदम महत्वपूर्ण है क्योंकि यह एलएलएम के लिए समस्या को अधिक जानकारीपूर्ण और सैद्धांतिक दृष्टिकोण से देखने के लिए मंच तैयार करता है।
एक बार जब उच्च-स्तरीय अवधारणाएँ प्राप्त हो जाती हैं, तो उनका उपयोग एलएलएम को समाधान की दिशा में तर्कपूर्ण चरणों के माध्यम से मार्गदर्शन करने के लिए किया जाता है। यह मार्गदर्शन सुनिश्चित करता है कि एलएलएम एक तार्किक और सुसंगत मार्ग का अनुसरण करते हुए सही रास्ते पर रहे, जो अमूर्त अवधारणाओं और सिद्धांतों पर आधारित है।
लेखक चुनौतीपूर्ण तर्क-गहन कार्यों की एक श्रृंखला में PaLM-2L मॉडल का उपयोग करके स्टेप-बैक प्रॉम्प्टिंग की प्रभावशीलता को मान्य करने के लिए प्रयोगों की एक श्रृंखला आयोजित करते हैं। इन कार्यों में एसटीईएम समस्याएं, ज्ञान क्यूए और मल्टी-हॉप रीज़निंग शामिल हैं, जो तकनीक के मूल्यांकन के लिए एक व्यापक परीक्षण प्रदान करते हैं।
सभी कार्यों में पर्याप्त सुधार
परिणाम प्रभावशाली हैं, स्टेप-बैक प्रॉम्प्टिंग से सभी कार्यों में पर्याप्त प्रदर्शन लाभ हुआ है। उदाहरण के लिए, तकनीक एमएमएलयू भौतिकी और रसायन विज्ञान पर PaLM-2L प्रदर्शन में क्रमशः 7% और 11% सुधार करती है। इसी तरह, यह TimeQA पर 27% और MuSiQue पर 7% तक प्रदर्शन बढ़ाता है।
स्टेप-बैक प्रॉम्प्टिंग बनाम सीओटी का प्रदर्शन
ये परिणाम एलएलएम की तर्क क्षमताओं को महत्वपूर्ण रूप से बढ़ाने के लिए स्टेप-बैक प्रॉम्प्टिंग की क्षमता को रेखांकित करते हैं।
निष्कर्ष
Google DeepMind के दोनों पेपर त्वरित इंजीनियरिंग के लिए नवीन दृष्टिकोण प्रस्तुत करते हैं, जिसका लक्ष्य बड़े भाषा मॉडलों की तर्क क्षमताओं को बढ़ाना है। एनालॉग प्रॉम्प्टिंग एनालॉग तर्क की अवधारणा का लाभ उठाता है, मॉडलों को अपने स्वयं के उदाहरण और ज्ञान उत्पन्न करने के लिए प्रोत्साहित करता है, जिससे अधिक अनुकूलनीय और कुशल समस्या-समाधान होता है। दूसरी ओर, स्टेप-बैक प्रॉम्प्टिंग उच्च-स्तरीय अवधारणाओं और सिद्धांतों को प्राप्त करने के लिए मॉडलों का मार्गदर्शन करते हुए, अमूर्तता पर ध्यान केंद्रित करता है, जो बदले में उनकी तर्क क्षमताओं में सुधार करता है।
ये शोध पत्र मूल्यवान अंतर्दृष्टि और कार्यप्रणाली प्रदान करते हैं जिन्हें विभिन्न डोमेन में लागू किया जा सकता है, जिससे अधिक बुद्धिमान और सक्षम भाषा मॉडल तैयार हो सकते हैं। जैसे-जैसे हम त्वरित इंजीनियरिंग की जटिलताओं का पता लगाना और समझना जारी रखते हैं, ये दृष्टिकोण अधिक उन्नत और परिष्कृत एआई सिस्टम प्राप्त करने की दिशा में महत्वपूर्ण कदम के रूप में काम करते हैं।
