क्यों एआई एजेंट क्यूए में पास होते हैं और अभी भी उत्पादन में विफल होते हैं

निरंतर सीखना एजेंटों को तैनाती के बाद बिना कुछ भी तोड़े बेहतर बनाने के लिए एक इंजीनियरिंग अनुशासन बन रहा है।

एक एआई एजेंट प्रत्येक पूर्व-लॉन्च मूल्यांकन में पास हो सकता है और अभी भी एक सप्ताह बाद उत्पादन में विफल हो सकता है। यह एक विरोधाभास नहीं है। मूल्यांकन सेट लॉन्च से पहले जो कुछ टीम जानती थी उसे दर्शाता है। उत्पादन वह जगह है जहां गायब मामले दिखाई देते हैं: अजीब शब्दावली, गायब संदर्भ, टूल एज केस, असंतुष्ट उपयोगकर्ता, विरोधाभासी नीतियां, और कार्य प्रवाह जो किसी बेंचमार्क डिजाइनर ने कभी नहीं सोचा था।

एजेंट को उपयोगकर्ताओं द्वारा लगातार सुधारा जाता है। यह उपयोगकर्ताओं को निराश करता है। फिर सत्र समाप्त हो जाता है, लॉग संग्रहीत किया जाता है, और अगला उपयोगकर्ता मूल रूप से समान प्रणाली से मिलता है।

यही कारण है कि निरंतर सीखना एजेंट इंजीनियरिंग के केंद्र में आ रहा है। यह एक उत्पाद की एक विशेषता नहीं है। यह एजेंटों को अनुभव से बेहतर बनाने के लिए तरीकों की एक श्रेणी है जबकि जो पहले से काम करता है उसे संरक्षित करता है। क्लासिक निरंतर सीखने के शोध ने समस्या को समय के साथ सीखने के रूप में फ्रेम किया बिना विनाशकारी भूल के। एजेंट उस समस्या को चौड़ा बनाते हैं। जो चीज बदल सकती है वह एक मॉडल हो सकता है, लेकिन यह एक प्रॉम्प्ट, एक टूल, एक कौशल, एक कार्य प्रवाह, या स्मृति भी हो सकता है।

यह अंतर महत्वपूर्ण है, क्योंकि अधिकांश एजेंट विफलताओं का समाधान मॉडल प्रशिक्षण के लिए पहले पहुंचकर नहीं किया जा सकता है।

सूक्ष्म-ट्यूनिंग प्रतिक्रिया बहुत संकीर्ण है

जब टीमें एक एआई प्रणाली को बेहतर बनाने की बात करती हैं, तो डिफ़ॉल्ट योजना अक्सर इस तरह लगती है: विफलताओं को इकट्ठा करें, बेहतर उत्तरों को लेबल करें, मॉडल को सूक्ष्म-ट्यून करें। यह प्रतिक्रिया समझ में आती है। पर्यवेक्षित सूक्ष्म-ट्यूनिंग, डायरेक्ट प्रिफरेंस ऑप्टिमाइजेशन, ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन, और पैरामीटर-कुशल तरीकों जैसे लोरा मॉडल को बदलने के लिए उपयोगी उपकरण हैं जब मॉडल खुद को बदलने की आवश्यकता होती है।

लेकिन कई उत्पादन विफलताएं मॉडल-वजन विफलताएं नहीं हैं। वे प्रणाली विफलताएं हैं।

एजेंट पुरानी स्मृति पर निर्भर कर सकता है, एक आवश्यक पुष्टि को छोड़ सकता है, एक टूल को गलत तर्क के साथ कॉल कर सकता है, या मामले को गलत कार्य प्रवाह के माध्यम से मार्गदर्शन कर सकता है। अक्सर, समस्या मॉडल की क्षमता नहीं है। यह संदर्भ, स्मृति, टूल इंटरफ़ेस, या कार्य प्रवाह है जो इसके चारों ओर लपेटा गया है।

एक आधुनिक एजेंट में कई परतें होती हैं। मॉडल तर्क और उत्पन्न करता है। इसके चारों ओर का हार्नेस प्रॉम्प्ट, टूल, कौशल, कोड, मार्गदर्शन, और कार्य प्रवाह को परिभाषित करता है। स्मृति सत्रों के भरोसे तथ्य और सीखे हुए प्रक्रियाओं को ले जाती है। निरंतर सीखना यह निर्णय लेने का अनुशासन है कि कौन सी परत बदलनी चाहिए, परिवर्तन कितना छोटा हो सकता है, और यह कैसे सत्यापित किया जा सकता है कि परिवर्तन वास्तव में मदद की।

कभी-कभी सही समाधान एक स्मृति लिखना है। कभी-कभी यह एक प्रॉम्प्ट संपादन है। कभी-कभी यह एक टूल रैपर, एक मार्गदर्शन नियम, या एक कार्य प्रवाह पैच है। सूक्ष्म-ट्यूनिंग उपलब्ध रहनी चाहिए, लेकिन यह हर विफलता का पहला उत्तर नहीं होना चाहिए।

बेंचमार्क उपयोगी हैं, लेकिन उत्पादन में शायद ही कभी आपको एक मिलता है

एजेंट हार्नेस खुद को अनुकूलित करने के लिए रोमांचक काम है। जैसे जेपीईए, मेटा-हार्नेस, और संबंधित प्रॉम्प्ट या कार्य प्रवाह अनुकूलन दृष्टिकोण एजेंट को एक प्रणाली के रूप में मानते हैं जिसे परिवर्तित और परीक्षण किया जा सकता है। वे प्रॉम्प्ट या हार्नेस घटकों में संपादन का प्रस्ताव कर सकते हैं, उम्मीदवारों को चला सकते हैं, और बेहतर स्कोर वाले संस्करणों को रख सकते हैं।

यह सही दिशा है। यह सुधार को “वजन अद्यतन” के संकीर्ण फ्रेम से “एजेंट में सुधार” के व्यापक फ्रेम में ले जाता है।

लेकिन एक पकड़ है: ये तरीके आमतौर पर एक बेंचमार्क की मान्यता करते हैं। उन्हें एक कार्य की आवश्यकता होती है जिसे बार-बार चलाया जा सकता है और एक मूल्यांकनकर्ता जो बता सकता है कि उम्मीदवार ए उम्मीदवार बी से बेहतर है या नहीं। इसके बिना, अनुकूलन अनुमान का काम बन जाता है।

यह वह नहीं है जो अधिकांश टीमों के पास उत्पादन में है।

उनके पास लॉग हैं। उनके पास ट्रेस, उपयोगकर्ता सुधार, समर्थन टिकट, थम्ब्स-डाउन इवेंट, एस्केलेशन नोट, और कभी-कभी विशेषज्ञ प्रतिक्रिया हैं। ये संकेत मूल्यवान हैं, लेकिन वे अभी तक एक बेंचमार्क नहीं हैं। वे आपको बताते हैं कि कुछ हुआ। वे आपको यह नहीं बताते कि इसे कैसे पुन: चलाना है, सफलता कैसी दिखनी चाहिए, या कैसे एक प्रस्तावित समाधान का मूल्यांकन करना है।

यह अंतर है जहां कई निरंतर-सीखने के प्रयास अटक जाते हैं। टीम के पास अनुभव है, लेकिन अभी तक एक सीखने का वातावरण नहीं है।

लॉग पाठ नहीं हैं

एक उत्पादन लॉग एक इंटरैक्शन के माध्यम से एक पथ को रिकॉर्ड करता है। एक उपयोगकर्ता ने एक उड़ान के लिए पूछा। एजेंट ने खोज की। उपयोगकर्ता ने कहा कि तारीख गलत थी। यह एक विफलता का प्रमाण है, लेकिन यह सीखने के लिए पर्याप्त नहीं है।

लॉग विरोधाभासी को परिभाषित नहीं करता है। क्या एजेंट को पुष्टि के लिए पूछना चाहिए था? क्या यह पहले से संदर्भ से तारीख का अनुमान लगाना चाहिए था? क्या यह एक अलग टूल को बुलाना चाहिए था? क्या यह अस्पष्टता को हल किए बिना आगे बढ़ने से इनकार करना चाहिए था? एक मानव यह जान सकता है कि ट्रेस पढ़ने के बाद उत्तर, लेकिन प्रणाली को यह संरचना मुफ्त में नहीं मिलती है।

निरंतर सीखने के लिए काम करने के लिए, एक कच्ची विफलता को पुन: चलाने योग्य में बदलना होगा। इसका अर्थ है एक कार्य जिसे एजेंट फिर से सामना कर सकता है, एक उपयोगकर्ता या सिम्युलेटर जो प्रासंगिक पैटर्न को पुन: बनाता है, टूल जिसे एजेंट को बुलाना है, और मूल्यांकक जो सफलता को परिभाषित करते हैं। मूल्यांकक अंतिम उत्तर, टूल कॉल, नीति सीमा, देरी, लागत, या सभी की जांच कर सकता है।

यह काम का कम दिखाई देने वाला हिस्सा है, लेकिन यह वह हिस्सा है जो सुधार को वास्तविक बनाता है। एक बार जब एक विफलता एक पुन: चलाने योग्य वातावरण बन जाती है, तो आप एक ठोस प्रश्न पूछ सकते हैं: क्या प्रस्तावित परिवर्तन वास्तव में व्यवहार को ठीक करता है?

इसके बिना, टीमें मुख्य रूप से स्मृति से पैचिंग कर रही हैं।

डेविड सिल्वर और रिचर्ड सटन ने एक आगामी अनुभव का युग का वर्णन किया है, जहां एजेंट मुख्य रूप से स्थिर मानव डेटा के बजाय दुनिया के साथ इंटरैक्शन से सीखते हैं। उद्यम एजेंटों के लिए, यह दृष्टि उत्पादन के अनुभव को पुन: चलाने योग्य, स्कोर किए गए और पुन: उपयोग किए जाने वाले वातावरण में बदलने पर निर्भर करती है।

अनुभव ही पर्याप्त नहीं है। इसे परीक्षण योग्य बनाना होगा।

प्रतिगमन छिपा हुआ लागत है

यहां तक कि जब एक विफलता पुन: चलाने योग्य हो जाती है, तो सबसे कठिन भाग रहता है: इसे तोड़े बिना ठीक करना।

किसी भी जटिल एजेंट को बनाए रखने वाले किसी ने भी इस पैटर्न को देखा है। आप एक निर्देश जोड़ते हैं ताकि एजेंट आक्रामक रिफंड अनुरोधों को बढ़ावा दे। अब यह नियमित रिफंड को बढ़ावा देता है जिन्हें जल्दी से संभाला जाना चाहिए। आप एक कार्य प्रवाह में टूल कॉल को कम करते हैं। अब दूसरा कार्य प्रवाह एक आवश्यक जांच को छोड़ देता है। आप एक पुरानी स्मृति को ठीक करते हैं। अब एजेंट एक अलग उत्पाद लाइन के लिए सुधार को अधिक सामान्य बनाता है।

प्रत्येक पैच स्थानीय रूप से समझ में आता है। प्रणाली अभी भी वैश्विक रूप से ड्रिफ्ट करती है।

यह एजेंट संस्करण की विनाशकारी भूल है। न्यूरल नेटवर्क में, शब्द आमतौर पर नए प्रशिक्षण को पुरानी क्षमताओं पर ओवरराइट करने को संदर्भित करता है। एजेंटों में, विफलता व्यापक और अक्सर देखने में अधिक कठिन है। भूल प्रॉम्प्ट, टूल, स्मृति, मार्गदर्शन, और कार्य प्रवाह में हो सकती है। यह एक प्रशिक्षण वक्र पर एक साफ मीट्रिक के रूप में नहीं दिखाई देती है, लेकिन एक उपयोगकर्ता के रूप में जो कहता है: “यह पहले काम करता था।”

यही कारण है कि प्रतिगमन नियंत्रण को एक अंतिम समीक्षा चरण के रूप में नहीं माना जा सकता है। यह सीखने के चक्र में ही होना चाहिए।

लक्ष्य केवल नवीनतम विफलता पर प्रदर्शन को अधिकतम करना नहीं है। लक्ष्य नवीन मामले में सुधार करना है जबकि पुराने मामलों को संरक्षित करते हुए। प्रत्येक समाधान जो काम करता है एजेंट की बढ़ती स्मृति का हिस्सा बनना चाहिए जो पहले से काम करता है। अभ्यास में, इसका अर्थ है कि पुरानी विफलताएं प्रतिगमन परीक्षण बन जाती हैं। एजेंट का इतिहास एक प्रतिबंध बन जाता है, न कि केवल एक संग्रह।

यह वह जगह है जहां निरंतर सीखना गंभीर सॉफ्टवेयर इंजीनियरिंग की तरह हो जाता है, प्रॉम्प्ट टिंकरिंग की तुलना में अधिक। एक परिवर्तन अच्छा है क्योंकि यह एक मापा व्यवहार में सुधार करता है और प्रणाली द्वारा पहले से अर्जित व्यवहारों को प्रतिगमन नहीं करता है।

व्यावहारिक निरंतर सीखने की आवश्यकता क्या है

एक उत्पादन-तैयार निरंतर सीखने वाले चक्र को चार गुणों की आवश्यकता होती है।

पहले, विफलताओं को पुन: चलाने योग्य होना चाहिए। एक एकल विफलता एक किस्सा है। एक पुन: चलाने योग्य, ग्रेडेड वातावरण एक परीक्षण है। जब तक एजेंट एक ही पैटर्न का सामना नहीं कर सकता, कोई यह साबित नहीं कर सकता कि समाधान काम करता है।

दूसरा, निदान को व्यापक होना चाहिए। समाधान मॉडल में हो सकता है, लेकिन यह स्मृति, प्रॉम्प्ट, टूल परत, या कार्य प्रवाह में भी हो सकता है। सबसे अच्छा समाधान आमतौर पर सबसे छोटा स्थायी परिवर्तन होता है जो विफलता को समझाता है।

तीसरा, सीखने को जीवन भर होना चाहिए। एजेंट को इस सप्ताह बेहतर नहीं होना चाहिए क्योंकि उसने पिछले सप्ताह के कठिन अर्जित व्यवहार को चुपचाप रद्द कर दिया है। पिछली सफलताएं अनुकूलन के दौरान प्रतिबंध बन जानी चाहिए, न कि तैनाती के बाद आश्चर्य।

चौथा, चक्र को कुशल होना चाहिए। यदि प्रत्येक सुधार एक त्रैमासिक पुन: प्रशिक्षण परियोजना की आवश्यकता है, तो प्रणाली कभी भी उत्पादन के साथ तालमेल नहीं रखेगी। चक्र को पहले सस्ते समाधानों की कोशिश करनी चाहिए, केवल जब आवश्यक हो तो बढ़ाना चाहिए, और सत्यापन को परिवर्तन के करीब रखना चाहिए।

कोई भी यह नहीं कहता है कि एजेंटों को अंधाधुंध अपडेट करना चाहिए। इसका अर्थ है कि इसके विपरीत। सुधार को मापने योग्य होना चाहिए। प्रत्येक परिवर्तन के लिए एक परीक्षण, एक पहले और बाद का स्कोर, और एक प्रतिगमन जांच होनी चाहिए।

यह वह है जो निरंतर सीखने को एक अस्पष्ट आकांक्षा से एक इंजीनियरिंग अनुशासन में बदल देता है।

एजेंटों का भविष्य केवल बड़े संदर्भ विंडो, मजबूत आधार मॉडल, या अधिक टूल्स द्वारा परिभाषित नहीं किया जाएगा। वे महत्वपूर्ण होंगे। लेकिन उद्यमों के लिए अधिक महत्वपूर्ण प्रश्न यह है कि तैनाती के बाद क्या होता है।

जब एजेंट कल विफल होता है, तो क्या प्रणाली उस विफलता को एक परीक्षण में बदल सकती है? क्या यह समाधान को सही परत में मार्गदर्शन कर सकती है? क्या यह साबित कर सकती है कि समाधान ने मदद की? क्या यह साबित कर सकती है कि कुछ और टूटा नहीं है?

यदि उत्तर नहीं है, तो एजेंट वास्तव में उत्पादन से सीख नहीं रहा है। यह जोखिम का संचय कर रहा है।

जो एजेंट आगे मायने रखते हैं वे कुछ बेहतर करेंगे। वे यौगिक बनाएंगे।