एजेंटों की निगरानी कौन करता है? एआई पर्यवेक्षण का नया युग

जब हम एआई एजेंट की बात करते हैं, तो अधिकांश लोगों की कल्पना में एक सुपरइंटेलिजेंट सिस्टम की छवि आती है जो अपने आप काम करता है, जो अप्रत्याशित चीजें करता है। इसलिए एक दिन एजेंट-सेक्रेटरी बहुत उपयोगी हो सकता है, और अगले दिन यह आपके बैंक क्रेडेंशियल्स को किसी यादृच्छिक व्यक्ति को दे सकता है।

“सुपरइंटेलिजेंट” हिस्सा वास्तव में इस चिंता में नहीं है। मुख्य मुद्दा यह नहीं है कि एक एआई एजेंट कितना “स्मार्ट” है, बल्कि यह है कि इसके पास कितनी स्वतंत्रता और बुनियादी ढांचे तक पहुंच है।

व्यवहार में, एक एजेंट का मूल्य इसकी बुद्धिमत्ता के स्तर से कम और इसके अधिकार की सीमाओं से अधिक परिभाषित किया जाता है। यहां तक कि एक अपेक्षाकृत सरल एजेंट, एक बार डेटासेट, कॉर्पोरेट सिस्टम, वित्तीय संचालन, या बाहरी एपीआई तक पहुंच प्रदान की जाती है, तो यह प्रक्रियाओं को प्रभावित करने की क्षमता प्राप्त करता है जिसके लिए विशेष ध्यान और पर्यवेक्षण की आवश्यकता होती है।

यही कारण है कि निगरानी और नियंत्रण प्रणाली मॉडल स्तर पर और बुनियादी ढांचे के भीतर उनके व्यवहार के स्तर पर भी महत्वपूर्ण होती जा रही हैं।

यह कोई संयोग नहीं है कि एजेंट गतिविधि को देखने और नियंत्रित करने के लिए लक्षित पहलों को हाल के वर्षों में गति मिली है। ये व्यावहारिक समाधान पहले से ही प्रमुख प्रौद्योगिकी कंपनियों द्वारा लागू किए जा रहे हैं।

एक एजेंट कैसे काम करता है

पर्यवेक्षण को समझने के लिए, हमें पहले यह देखने की जरूरत है कि एक एजेंट क्या है। सरल शब्दों में, इसे संज्ञानात्मक कोर और टूल्स के संयोजन के रूप में देखा जा सकता है।

टूल्स बाहरी सेवाएं और एकीकरण हैं जिन तक एजेंट पहुंच सकता है। उदाहरण के लिए, एक यात्रा एजेंट के लिए, इसमें होटल खोजने के लिए बुकिंग.कॉम या एयरबीएनबी, टिकट खरीदने के लिए एयरलाइन एग्रीगेटर, और भुगतान करने के लिए भुगतान प्रणाली या बैंक कार्ड शामिल हो सकते हैं। अपने आप में, ये टूल्स बुद्धिमान नहीं हैं; वे केवल एजेंट को वास्तविक दुनिया में कार्य करने की अनुमति देते हैं।

संज्ञानात्मक कोर एक भाषा मॉडल (एलएलएम) है। यह एजेंट को मानव द्वारा तैयार अनुरोधों के साथ अर्थपूर्ण रूप से काम करने में सक्षम बनाता है। उदाहरण के लिए, “मैं अगले महीने तीन दिनों के लिए यूरोप की यात्रा करना चाहता हूं, जहां मौसम अच्छा होगा” जैसे अनुरोध बहुत अस्पष्ट है। एजेंट एलएलएम से अनुरोध को श्रेणियों में तोड़ने के लिए कहता है। इसके जवाब में, यह संरचित पैरामीटर प्राप्त करता है: कहां, कब, कितने समय के लिए, और किन शर्तों के तहत।

पहले, चैटजीपीटी केवल पाठ प्रतिक्रियाएं उत्पन्न करता था। अब, एक एजेंट में निहित, यह “मस्तिष्क + टूल्स” का संयोजन बन जाता है, जो न केवल समझाने में सक्षम है, बल्कि कार्य करने में भी। एलएलएम कार्य को संरचित करता है, और टूल्स इसे विशिष्ट क्रियाओं को निष्पादित करने की अनुमति देते हैं।

पर्यवेक्षण कैसे काम करता है

इस चरण में, एक नियंत्रण प्रणाली काम में आती है। मैं इस सुरक्षा समाधान को “वॉचडॉग” कहता हूं (कुछ समय पहले, मैं甚至 इस पर केंद्रित एक स्टार्टअप बनाने के विचार से मनोरंजन कर रहा था), एक प्रकार का गार्ड डॉग जो एजेंट में निर्मित है। इसका काम एजेंट की क्रियाओं की निगरानी करना और उन्हें मूल अनुरोध के खिलाफ जांचना है। लक्ष्य यह सुनिश्चित करना है कि एजेंट इरादित सीमाओं के भीतर काम करता है।

यात्रा के उदाहरण पर वापस जाएं: मान लें कि हमारा उपयोगकर्ता यूरोप की तीन दिनों की यात्रा बुक करना चाहता है। एजेंट मौसम सेवाओं, एयरलाइन टिकट, और भुगतान के लिए बैंक खाते के साथ बातचीत करता है। सब कुछ सामान्य लगता है। लेकिन अचानक, “वॉचडॉग” यह नोटिस करता है कि एजेंट यात्रा भुगतान से संबंधित नहीं एक कॉर्पोरेट डेटाबेस या बैंक खाते तक पहुंच का अनुरोध कर रहा है। यह एक सुरक्षा अलर्ट को ट्रिगर करता है और संदिग्ध व्यवहार का संकेत देता है।

पैमाने को समझना महत्वपूर्ण है: एक एजेंट प्रतिदिन हजारों उपयोगकर्ताओं की सेवा कर सकता है, प्रत्येक अनुरोध सैकड़ों संचालन को ट्रिगर करता है, जिसके परिणामस्वरूप लाखों क्रियाएं होती हैं। “वॉचडॉग” सभी क्रियाओं का विश्लेषण करता है और आंकड़े तैयार करता है। रिपोर्टें इंगित कर सकती हैं: “13% क्रियाएं अतिरिक्त थीं, 7% वित्तीय सुरक्षा से संबंधित थीं।” विस्तृत विवरण बताते हैं कि कौन से विशिष्ट क्रियाएं संदिग्ध प्रतीत होती हैं।

यह उपकरण डेवलपर्स को पूरी तस्वीर देखने और असामान्यताओं पर तुरंत प्रतिक्रिया देने की अनुमति देता है, जो वास्तविक समय की निगरानी, असामान्यता का पता लगाने और जवाबदेही के संयोजन के साथ एक व्यावहारिक एआई नियंत्रण समाधान बनाता है।

कौन लाभान्वित होता है “वॉचडॉग” से: डेवलपर या उपयोगकर्ता?

मुख्य रूप से, “वॉचडॉग” डेवलपर्स के लिए है ताकि यह सुनिश्चित किया जा सके कि सिस्टम सही ढंग से काम करता है। हालांकि, एक बाहरी संस्करण की कल्पना भी की जा सकती है: एक अलग देखने वाला एजेंट जो मुख्य एजेंट की निगरानी करता है। यह एआई सुरक्षा की एक और परत जोड़ता है, पर्यवेक्षण को आंतरिक प्रणाली से परे बढ़ाता है।

एक महत्वपूर्ण सीमा है: एजेंट की आंतरिक प्रक्रिया “बंद” रहती है। हम केवल इसके व्यवहार को देख सकते हैं, इसकी संज्ञानात्मक प्रक्रियाओं को नहीं। मानवों के साथ एक तुलना है: मैं किसी को फोन उठाते, नंबर डायल करते, और बात करते देख सकता हूं। लेकिन मुझे नहीं पता कि कौन सा नंबर डायल किया गया था, क्या इरादा था, या क्या कहा गया था। इसी तरह, एक बाहरी पर्यवेक्षक एजेंट की क्रियाओं को देखता है, लेकिन इसके संज्ञानात्मक कोर को नहीं।

एक और दिलचस्प विचार है: एजेंट भविष्य में ऐसे पर्यवेक्षकों को बायपास करने या अक्षम करने का प्रयास कर सकते हैं, जैसे कि मानव अक्सर निरंतर निगरानी का विरोध करते हैं। जबकि यह आज विज्ञान कथा की तरह लगता है, यह संभव है। आंतरिक एआई सुरक्षा समाधानों, असामान्यता का पता लगाने, और परतदार पर्यवेक्षण को एकीकृत करके इन जोखिमों को कम किया जा सकता है और बढ़ती स्वायत्त प्रणालियों पर नियंत्रण बनाए रखा जा सकता है।

प्रिमिटिव नियम या संदर्भ-जागरूक विश्लेषण?

आज, ऐसे “वॉचडॉग” सिस्टम एक सरल सिद्धांत पर काम करते हैं: “अनुमत” या “न अनुमत”। उदाहरण के लिए, यदि नियम कहता है कि “अमेज़ॅन तक पहुंच निषिद्ध है” और एजेंट वहां जाता है, तो एक उल्लंघन दर्ज किया जाता है। लेकिन यह दृष्टिकोण संदर्भ को नहीं समझता है।

एक अधिक उन्नत प्रणाली को उल्लंघन और इसके कारण का विश्लेषण करना चाहिए। एजेंट ने अमेज़ॅन पर क्यों जाने का फैसला किया? क्या यह कार्य के संदर्भ में उचित था? यहां, हम संदर्भ-जागरूक पर्यवेक्षण की बात कर रहे हैं, जो एक मनोवैज्ञानिक के काम के समान है।

वर्तमान में, ऐसे समाधान केवल अवधारणाओं के रूप में मौजूद हैं। मौजूदा प्रणालियां सख्त काले और सफेद नियंत्रण तक सीमित हैं। लेकिन भविष्य में, जब एजेंट अधिक जटिल हो जाएंगे, तो संदर्भ को ध्यान में रखने वाला एक “वॉचडॉग” उभरेगा।

आज, हम एजेंट निगरानी के लिए पहलों में वृद्धि देख रहे हैं। वे बड़ी प्रौद्योगिकी कंपनियों के स्तर पर सक्रिय रूप से विकसित किए जा रहे हैं। उदाहरण के लिए, एक्टिवफेंस एनवीडिया और अमेज़ॅन जैसे बड़े खिलाड़ियों के साथ काम करता है।

इसके अलावा, यह माना जा सकता है कि गूगल, ओपनएआई, एंथ्रोपिक, और अमेज़ॅन पहले से ही अपने आंतरिक “वॉचडॉग” प्रणालियों, विश्लेषण, और टेलीमेट्री का उपयोग कर रहे हैं।

मैंने Keymakr उद्यम ग्राहकों के बीच भी इस मांग को देखा है – पर्यवेक्षण और निगरानी एआई बुनियादी ढांचे का एक मूलभूत हिस्सा बन रहे हैं। इनके बिना, बड़े पैमाने पर एजेंट तैनाती असंभव होगी।