एआई की मूल बातें
कंप्यूटर का उपयोग करने वाले एजेंट क्या हैं? AI सॉफ़्टवेयर को कैसे देखता है, क्लिक करता है, टाइप करता है और उसमें नेविगेट करता है
कंप्यूटर का उपयोग करने वाले एजेंट लोगों की तरह स्क्रीन, कर्सर और कीबोर्ड के ज़रिए सॉफ़्टवेयर चलाते हैं। यह व्यापक क्षमता शक्तिशाली है, लेकिन दृश्य अनिश्चितता, लंबे कार्य-क्रम और व्यापक अनुमतियों के कारण सावधानीपूर्वक नियंत्रण आवश्यक हो जाते हैं।
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
कंप्यूटर का उपयोग करने वाले एजेंट ऐसे AI सिस्टम हैं जो सॉफ़्टवेयर इंटरफ़ेस को देख सकते हैं और क्लिक करने, टाइप करने, स्क्रॉल करने, खींचने तथा कीबोर्ड शॉर्टकट इस्तेमाल करने जैसी क्रियाओं से उसे संचालित कर सकते हैं। हर ऐप्लिकेशन के लिए अलग API की ज़रूरत पड़ने के बजाय, ये उन्हीं दृश्य इंटरफ़ेसों में से कई के ज़रिए काम करते हैं जिनका उपयोग लोग करते हैं।
इस क्षमता से एजेंट पुराने सॉफ़्टवेयर, वेबसाइटों और डेस्कटॉप ऐप्लिकेशन तक व्यापक रूप से पहुँच सकते हैं। हालांकि, इससे असामान्य जोखिम भी पैदा होता है। दृश्य संकेत को मामूली तौर पर गलत समझने से लंबा कार्य गलत दिशा में जा सकता है, और इंटरफ़ेस तक पहुँच से एजेंट वह सब देख या बदल सकता है जो साइन-इन किया हुआ उपयोगकर्ता देख या बदल सकता है।
कंप्यूटर का उपयोग क्यों मायने रखता है
दुनिया के बहुत-से महत्वपूर्ण सॉफ़्टवेयर लोगों के लिए बनाए गए थे, एजेंटों के लिए नहीं। किसी ऐप्लिकेशन का सार्वजनिक API नहीं हो सकता, उसकी कुछ ही सुविधाएँ प्रोग्राम के ज़रिए उपलब्ध हो सकती हैं, या उसमें काम करने के लिए कई इंटरफ़ेसों का उपयोग करना पड़ सकता है।
पारंपरिक रोबोटिक प्रक्रिया स्वचालन यूज़र इंटरफ़ेस पर काम कर सकता है, लेकिन आम तौर पर यह पहले से तय किए गए सिलेक्टरों और वर्कफ़्लो पर निर्भर करता है। कंप्यूटर का उपयोग करने वाला एजेंट इसमें ऐसा मॉडल जोड़ता है जो अपरिचित स्क्रीन को समझ सकता है, तय कर सकता है कि अगला कदम क्या होना चाहिए, और इंटरफ़ेस बदलने या कोई अप्रत्याशित डायलॉग दिखाई देने पर अपने तरीके में बदलाव कर सकता है।
इससे कंप्यूटर का उपयोग एक बहुउद्देशीय साधन बन जाता है। यही देखने और कार्रवाई करने का चक्र स्प्रेडशीट, ग्राहक संबंध प्रबंधन प्रणाली, डिज़ाइन ऐप्लिकेशन, ब्राउज़र या आंतरिक पोर्टल में नेविगेट करने में संभावित रूप से काम आ सकता है।
कंप्यूटर का उपयोग करने वाला एजेंट कैसे काम करता है
सही संदर्भ पहचानना इस प्रक्रिया का कठिन मध्य चरण है। एजेंट को “सबसे नया इनवॉइस खोलें” जैसे वैचारिक निर्देश को स्क्रीन पर दिख रही किसी खास पंक्ति या नियंत्रण से जोड़ना होता है। टेक्स्ट लेबल और पहुँच-संबंधी मेटाडेटा इसमें मदद कर सकते हैं, लेकिन बदलते लेआउट, कैनवस-आधारित इंटरफ़ेस, एक-दूसरे पर चढ़े हुए एलिमेंट और अस्पष्ट आइकन मॉडल को पिक्सेल के आधार पर तर्क करने के लिए मजबूर कर सकते हैं।
इसकी बुनियादी कार्य-प्रक्रिया वैसी ही है जैसी कोई व्यक्ति सॉफ़्टवेयर इस्तेमाल करते समय अपनाता है।
- अवलोकन करें: स्क्रीनशॉट, ऐक्सेसिबिलिटी ट्री, दस्तावेज़ की संरचना, कर्सर की स्थिति और परिवेश की अन्य स्थितियों को दर्ज करें।
- व्याख्या करें: दिखाई देने वाले नियंत्रणों, सामग्री, चेतावनियों और मौजूदा स्क्रीन तथा कार्य के बीच के संबंध को पहचानें।
- कार्रवाई चुनें: तय करें कि क्लिक करना है, टाइप करना है, स्क्रॉल करना है, कोई कुंजी दबानी है, प्रतीक्षा करनी है या मदद माँगनी है।
- कार्रवाई करें: रनटाइम ऑपरेटिंग सिस्टम, ब्राउज़र या वर्चुअल मशीन के इंटरफ़ेस के ज़रिए कार्रवाई करता है।
- पुष्टि करें: बदली हुई स्क्रीन कैप्चर करें और पता लगाएँ कि कार्रवाई का अपेक्षित असर हुआ या नहीं।
- दोहराएँ या रुकें: लक्ष्य की दिशा में आगे बढ़ें, त्रुटि से उबरें या किसी सुरक्षित सीमा पर रुकें।
OpenAI द्वारा कंप्यूटर का उपयोग करने वाले एजेंट का वर्णन इस क्षमता को दृश्य बोध, तर्क और माउस तथा कीबोर्ड से की जाने वाली कार्रवाइयों के मेल के रूप में प्रस्तुत करता है। अहम बात केवल यह अनुमान लगाना नहीं है कि कहाँ क्लिक करना है; असल बात बोध, कार्रवाई और नई देखी गई स्थिति के बीच का निरंतर चक्र है।
एजेंट क्या “देख” सकता है
कंप्यूटर-उपयोग प्रणालियों को इंटरफ़ेस के अलग-अलग रूपों में निरूपण मिल सकता है।
स्क्रीनशॉट पिक्सेल स्तर पर सामान्य दृश्य उपलब्ध कराते हैं और तब भी काम करते हैं जब इंटरफ़ेस का कोई संरचित मेटाडेटा उपलब्ध न हो। वे चार्ट, छवियाँ, कैनवस ऐप्लिकेशन और दृश्य लेआउट कैप्चर कर सकते हैं। हालांकि, छोटे लक्ष्य, छिपी हुई स्थिति और अस्पष्ट आइकन को समझना मुश्किल हो सकता है।
ऐक्सेसिबिलिटी ट्री या दस्तावेज़ की संरचना नियंत्रणों और टेक्स्ट को अधिक संरचित रूप में सामने लाते हैं। इनसे एलिमेंट चुनना अधिक सटीक हो सकता है, लेकिन दृश्य जानकारी छूट सकती है या अलग-अलग ऐप्लिकेशन में इनका व्यवहार असंगत हो सकता है।
हाइब्रिड सिस्टम पिक्सेल, संरचित एलिमेंट, ऐप्लिकेशन की स्थिति और कभी-कभी सीधे API को एक साथ जोड़ते हैं। हर समस्या को केवल दृश्य नकल की समस्या मानने के बजाय, यह तरीका अक्सर अधिक कारगर होता है।
कंप्यूटर का उपयोग बनाम ब्राउज़र स्वचालन
पारंपरिक ब्राउज़र स्वचालन किसी ज्ञात क्रम को पूरा करने के लिए कोड और स्थिर सिलेक्टरों का उपयोग करता है। पृष्ठ की संरचना नियंत्रित हो तो यह तेज़ और अनुमानित होता है। कंप्यूटर का उपयोग करने वाला एजेंट इंटरफ़ेस की बदलती स्थिति को समझता है और तय कर सकता है कि कौन-सा क्रम अपनाना है।
ये दोनों तरीके एक-दूसरे के पूरक हैं। किसी मज़बूत सिस्टम में एजेंट यह तय कर सकता है कि क्या करना है, फिर पहले से ज्ञात कार्रवाइयाँ नियतात्मक स्वचालन या API के ज़रिए पूरी की जा सकती हैं। पिक्सेल स्तर पर बातचीत वहाँ सबसे उपयोगी होती है जहाँ संरचित इंटरफ़ेस उपलब्ध न हो या पहले से यह तय करना संभव न हो कि कौन-सा रास्ता अपनाया जाएगा।
कंप्यूटर का उपयोग बनाम एपीआई और टूल कॉलिंग
| अनुभूति | पिक्सेल और सुगम्यता डेटा को संभावित इंटरफ़ेस तत्वों में बदलता है। |
|---|---|
| आधार निर्धारण | इच्छित कार्रवाई को किसी विशिष्ट दृश्य लक्ष्य से जोड़ता है। |
| निष्पादन | माउस, कीबोर्ड, टच या सुगम्यता संबंधी कार्रवाई करता है। |
| सत्यापन | यह मानने के बजाय कि कार्रवाई सफल हुई, अगली स्थिति को पढ़ता है। |
यह मिश्रित तरीका त्रुटि और लागत, दोनों को कम करता है। एजेंट एपीआई के ज़रिए डेटा प्राप्त कर सकता है, किसी पुराने फ़ॉर्म को पूरा करने के लिए ही डेस्कटॉप ऐप खोल सकता है, फिर एक अन्य संरचित क्वेरी के ज़रिए अंतिम रिकॉर्ड की पुष्टि कर सकता है। दृश्य नियंत्रण को कई साधनों में से एक मानने से हर कदम को सबसे कम भरोसेमंद इंटरफ़ेस से पूरा करने की मजबूरी नहीं रहती।
एपीआई स्पष्ट कार्रवाइयों और डेटा प्रकारों वाला मशीन-केंद्रित इंटरफ़ेस देता है। यह आम तौर पर स्क्रीन पर क्लिक करने की तुलना में तेज़, अधिक सटीक और सत्यापित करने में आसान होता है। कंप्यूटर का उपयोग अधिक व्यापक अनुकूलता देता है, लेकिन इसमें अस्पष्टता भी अधिक होती है।
उदाहरण के लिए, एजेंट एपीआई के ज़रिए इन्वेंटरी की जानकारी ले सकता है, लेकिन ऐसे अपवाद को संभालने के लिए विक्रेता के वेब पोर्टल का उपयोग कर सकता है जिसका समर्थन एपीआई नहीं करता। टूल कॉलिंग इन दोनों क्षमताओं को मॉडल के सामने उपलब्ध करा सकती है, जबकि रनटाइम सबसे भरोसेमंद रास्ते को प्राथमिकता देता है।
आम उपयोग के मामले
- कार्यालय के आंतरिक संचालन: पोर्टलों के बीच डेटा स्थानांतरित करना, नियमित फ़ॉर्म भरना और अनुमोदन के लिए रिकॉर्ड तैयार करना।
- अनुसंधान: वेबसाइटों पर जाना, परिणामों को फ़िल्टर करना, साक्ष्य जुटाना और कार्यशील दस्तावेज़ को अपडेट करना।
- सॉफ़्टवेयर परीक्षण: उपयोगकर्ता के कार्य-प्रवाह को आज़माना, विफलताओं को दर्ज करना और दृश्य बदलावों की जाँच करना।
- आईटी सहायता: सेटिंग्स की जाँच करना, नैदानिक जानकारी जुटाना और स्वीकृत सुधारों का मार्गदर्शन करना या उन्हें लागू करना।
- व्यक्तिगत उत्पादकता: फ़ाइलों, वेब ऐप्लिकेशनों, कैलेंडरों और दस्तावेज़ों के बीच तालमेल बिठाना।
- सुगम्यता: उपयोगकर्ताओं को ऐसे इंटरफ़ेस चलाने में मदद करना जिनमें अन्यथा नेविगेट करना कठिन हो, और इसके लिए कड़े गोपनीयता नियंत्रण लागू रखना।
कंप्यूटर पर काम करने वाले एजेंटों के कार्य अब भी कठिन क्यों हैं
यूज़र इंटरफ़ेस में बदलते मेनू, देर से लोड होने वाली सामग्री, पॉप-अप, स्क्रॉल होने वाले क्षेत्र, छोटे लक्ष्य और ऐसी स्थितियाँ होती हैं जो दिखने में एक जैसी होती हैं, लेकिन उनके परिणाम अलग होते हैं। किसी कार्य में दर्जनों सही कदम उठाने पड़ सकते हैं, इसलिए हर कदम पर त्रुटि की थोड़ी-सी संभावना भी जुड़कर बढ़ जाती है।
OSWorld जैसे बेंचमार्क एजेंटों का मूल्यांकन अलग-अलग क्लिकों के बजाय वास्तविक कंप्यूटर परिवेशों में करते हैं। OSWorld 2.0 इस विचार को स्थिति में बदलाव और अधिक विविधता वाले लंबे कार्य-प्रवाहों तक ले जाता है। स्टैनफोर्ड का 2026 AI Index का तकनीकी प्रदर्शन अध्याय तेज़ सुधार की जानकारी देता है, लेकिन साथ ही OSWorld में मानव प्रदर्शन से बचा हुआ अंतर भी दिखाता है। इससे स्पष्ट होता है कि प्रभावशाली डेमो का मतलब हर परिस्थिति में भरोसेमंद प्रदर्शन नहीं है।
विफलता के प्रमुख कारण
- दृश्य लक्ष्य निर्धारण की त्रुटियाँ: पास के किसी नियंत्रण या उससे मिलते-जुलते नियंत्रण पर क्लिक करना।
- स्थिति को लेकर भ्रम: यह मान लेना कि पेज लोड हो गया, बदलाव सहेज लिए गए या सक्रिय विंडो बदल गई, जबकि ऐसा न हुआ हो।
- लंबे कार्य-प्रवाह में भटकाव: कई छोटी कार्रवाइयों के बाद कार्य का उद्देश्य खो देना।
- छिपे हुए दुष्प्रभाव: किसी फ़ॉर्म या खरीद को सबमिट कर देना, जबकि एजेंट का इरादा केवल उसका पूर्वावलोकन करना था।
- प्रॉम्प्ट इंजेक्शन: किसी वेबपेज, दस्तावेज़ या संदेश में छिपे दुर्भावनापूर्ण निर्देशों का पालन करना।
- प्रमाणीकरण जानकारी का उजागर होना: साइन-इन किए हुए सत्र में उपलब्ध जानकारी को उजागर करना या उसका दुरुपयोग करना।
- ऐसी गलतियाँ जिन्हें पलटा नहीं जा सकता: पर्याप्त समीक्षा के बिना कुछ मिटाना, प्रकाशित करना, भेजना या खरीदना।
सुरक्षा और नियंत्रण के सिद्धांत
इंटरफ़ेस की सामग्री पर भरोसा नहीं किया जा सकता। किसी वेबपेज, ईमेल या दस्तावेज़ में एजेंट को दूसरी दिशा में ले जाने के निर्देश हो सकते हैं, और कोई दुर्भावनापूर्ण संवाद परिचित पुष्टि-संदेश जैसा दिख सकता है। प्रणाली को पेज की सामग्री को नीतियों से अलग रखना चाहिए, गंतव्यों और क्रेडेंशियल तक पहुँच सीमित करनी चाहिए, और कोई अप्रत्याशित अनुमति-अनुरोध या महत्वपूर्ण परिणाम वाली पुष्टि सामने आने पर रुक जाना चाहिए।
कंप्यूटर का उपयोग ऐसे सबसे सीमित परिवेश में होना चाहिए, जिसमें कार्य पूरा किया जा सके। ब्राउज़र की अलग प्रोफ़ाइल, वर्चुअल मशीन या सैंडबॉक्स असंबंधित खातों और फ़ाइलों तक पहुँच सीमित करता है। सत्रों में उपयोगकर्ता के पूरे डेस्कटॉप के अधिकार अपने-आप पाने के बजाय, कार्य-विशिष्ट क्रेडेंशियल और न्यूनतम आवश्यक विशेषाधिकार वाली अनुमतियाँ इस्तेमाल की जानी चाहिए।
अधिक प्रभाव डालने वाली कार्रवाइयों के लिए पुष्टि की स्पष्ट सीमा होनी चाहिए। सिस्टम को सबमिट करने, भेजने, खरीदने, मिटाने, प्रकाशित करने या संवेदनशील सेटिंग बदलने से ठीक पहले रुक जाना चाहिए और उपयोगकर्ता को सटीक लक्ष्य तथा कार्रवाई का प्रभाव दिखाना चाहिए।
एजेंटों को स्क्रीन पर दिखने वाली सामग्री को भी अविश्वसनीय डेटा मानना चाहिए। वेबपेज के भीतर मिले निर्देशों को सिस्टम की नीति या उपयोगकर्ता के कार्य पर हावी नहीं होना चाहिए। डाउनलोड, कॉपी किए गए कमांड और बाहरी संदेशों की अलग से जाँच की जानी चाहिए।
कंप्यूटर का उपयोग करने वाले एजेंट का मूल्यांकन कैसे करें
कार्य का सफल होना ज़रूरी है, लेकिन इतना ही काफ़ी नहीं। टीमों को हर चरण की सटीकता, अप्रत्याशित स्थितियों से उबरने की क्षमता, अनावश्यक कार्रवाइयों, समय, लागत, संवेदनशील डेटा के उजागर होने, अनुमोदन संबंधी नियमों के पालन और बार-बार चलाने पर एकरूपता को मापना चाहिए।
मूल्यांकन के परिवेश में स्क्रीन का रिज़ॉल्यूशन, लेआउट, डेटा, समय और एप्लिकेशन की स्थिति अलग-अलग होनी चाहिए। वरना कोई एजेंट तयशुदा बेंचमार्क के अनुरूप तो ढल सकता है, लेकिन रोज़मर्रा के सॉफ़्टवेयर में मिलने वाली विविधता के सामने विफल हो सकता है।
कंप्यूटर उपयोग के आरेखों को कैसे समझें
कंप्यूटर उपयोग के आरेखों को क्रमांकित इनपुट से लेकर दिखाई देने वाले परिणाम तक पढ़ें। तुलना उस सीमा को स्पष्ट करती है जो कंप्यूटर उपयोग को उसके सबसे निकट के शॉर्टकट से अलग करती है, जबकि नियंत्रण-पथ बताता है कि वास्तविक दुनिया में कोई परिणाम सामने आने से पहले अधिकार या अनिश्चितता की जाँच कहाँ करनी चाहिए। लेबल पेज पर सामान्य, विभिन्न स्क्रीन के अनुकूल टेक्स्ट के रूप में ही रहते हैं, ताकि उनका अनुवाद हो सके और फ़ोन पर वे पंक्तियों में लिपटकर नए सिरे से व्यवस्थित हो सकें।
कंप्यूटर का उपयोग करने वाले एजेंट क्या हैं? एआई सॉफ़्टवेयर को कैसे देखता, क्लिक करता, टाइप करता और नेविगेट करता है—इस विषय के लिए यह दृश्य किसी गारंटी के बजाय एक नक्शा है। वास्तविक कार्यान्वयन में कई चरण जोड़े जा सकते हैं, कोई चरण दोहराया जा सकता है या मानव अनुमोदन की सीमा जोड़ी जा सकती है। अहम यह है कि टीम लागू प्रणाली में उन्हीं कार्यों की पहचान कर सके, हर सीमा के लिए एक ज़िम्मेदार व्यक्ति तय करे और उनके बीच के बदलाव की जाँच करे। यदि किसी चरण को देखा या मापा नहीं जा सकता, तो वहाँ होने वाली विफलताओं का कारण पता लगाना कठिन होगा।
कंप्यूटर का उपयोग करने वाले एजेंटों के बारे में याद रखने योग्य बातें
कंप्यूटर का उपयोग करने वाले एजेंट मानव-सुलभ सॉफ़्टवेयर इंटरफ़ेस को एक सामान्य प्रयोजन के उपकरण के रूप में उपलब्ध कराते हैं। वे उन प्रणालियों तक पहुँच सकते हैं जिनमें उपयुक्त एपीआई नहीं हैं, और ऐसे कार्यों के बीच खुद को ढाल सकते हैं जिनका अनुमान तयशुदा स्वचालन आसानी से नहीं लगा सकता।
इस व्यापक क्षमता के साथ अस्पष्टता और बड़े प्रभाव की संभावना भी आती है। सबसे बेहतर डिज़ाइन उपलब्ध होने पर संरचित एपीआई को प्राथमिकता देते हैं, कंप्यूटर के परिवेश को अलग रखते हैं, स्थिति में हुए हर बदलाव की पुष्टि करते हैं और महत्वपूर्ण कार्रवाइयों पर लोगों का नियंत्रण बनाए रखते हैं।
