NVIDIA के शोध में पाया गया: टूल इस्तेमाल करने पर एआई एजेंट कम सुरक्षित हो जाते हैं

ChatGPT, Gemini और Claude जैसे एआई मॉडल एजेंट बनाने के लिए इस्तेमाल किए जा सकते हैं—ऐसे ‘ढाँचे’ जो मॉडल को सीधे वास्तविक दुनिया से संवाद करने की सुविधा देते हैं। यह एक हालिया नवाचार है, और जिसे लेकर विवाद लगातार बढ़ रहा है।

बहरहाल, नेटवर्क या डेटाबेस में काम करते समय एजेंटों के पास उन क्षमताओं का होना अपने-आप तय नहीं होता जिनकी उन्हें ज़रूरत होगी, क्योंकि अलग-अलग कामों और परिस्थितियों के लिए आवश्यक टूल भी अलग होंगे। उदाहरण के लिए, अन्य कौशलों के साथ उन्हें तस्वीरों में लिखे पाठ को समझने के लिए ऑप्टिकल कैरेक्टर रिकग्निशन (OCR) की क्षमता चाहिए हो सकती है। एजेंट के दायरे और उसके उद्देश्य के अनुरूप टूल की श्रेणियाँ भी उपलब्ध हैं।

सिद्धांततः, एआई की अंतर्निहित सुरक्षा-सीमाओं का उल्लंघन करने वाला अनुरोध कभी पूरा नहीं होना चाहिए—चाहे उसे पूरा करने में टूल इस्तेमाल किए जाएँ या नहीं। लेकिन नए शोध से पता चला है कि व्यवहार में टूल का इस्तेमाल उन सुरक्षात्मक फ़िल्टरों को काफ़ी कमज़ोर कर सकता है जो एआई एजेंट को ‘उल्लंघनकारी’ काम करने से रोकते हैं।

अनुरोध मानने से इनकार करने में विफलता

NVIDIA के नए शोधपत्र, जिसका शीर्षक टूल का एजेंट की तरह इस्तेमाल करने पर MLLM अनुरोध मानने से इनकार करने में विफल रहते हैं है, से पता चलता है कि मल्टीमॉडल भाषा मॉडल (आगे MLLM; जिन्हें आम तौर पर ‘VLM’ या विज़न लैंग्वेज मॉडल कहा जाता है) टूल जोड़े जाने के बाद हानिकारक अनुरोधों को मानने की कहीं अधिक संभावना रखते हैं। जाँचे गए हर मॉडल और बेंचमार्क में अनुरोध मानने से इनकार करने की विफलताएँ बढ़ीं।

Qwen3-VL जैसे खुले वज़न वाले मॉडल इस समस्या के प्रति अधिक संवेदनशील साबित हुए, लेकिन Claude Opus 4.7, Gemini 3.1 Pro और GPT-5.4 जैसे अग्रणी एआई मॉडल में भी टूल इस्तेमाल करने पर अनुरोध मानने से इनकार करने की विफलताएँ बढ़ीं।

लेखकों का कहना है*:

‘एजेंट के रूप में काम करने वाले MLLM की हालिया उल्लेखनीय सफलता के बावजूद, यह अध्ययन टूल इस्तेमाल करने की पद्धति में सुरक्षा की एक गंभीर विफलता उजागर करता है: एजेंट के रूप में टूल इस्तेमाल करने वाले MLLM हानिकारक अनुरोधों को ठुकराने में कम सक्षम हो जाते हैं।

‘हमारे प्रयोगों से पुष्टि होती है कि सुरक्षा के तीन लोकप्रिय बेंचमार्क में जाँचे गए सभी प्रमुख खुले और बंद वज़न वाले MLLM, बिना टूल वाले परिदृश्यों की तुलना में टूल इस्तेमाल करने वाले परिदृश्यों में काफ़ी कम सुरक्षित होते हैं। अनुरोध मानने से इनकार करने की विफलताओं की सापेक्ष दर में 68.7% तक की वृद्धि देखी गई।

‘1,00,000 से अधिक जवाबों के विश्लेषण और विस्तृत प्रयोगों के आधार पर, हम सुरक्षा में इस गिरावट के दो संभावित कारण भी प्रस्तुत करते हैं।’

शोधपत्र में बताए गए दो संभावित कारण हैं संदर्भ का धुंधला पड़ना—इसमें टूल से मिले नतीजे इकट्ठा होते जाने पर मूल हानिकारक अनुरोध कम ध्यान में रहता है—और सुरक्षा पर ध्यान का विस्थापन—इसमें मॉडल सुरक्षा को प्राथमिकता देने के बजाय टूल से मिली जानकारियों का वर्णन करने पर ध्यान केंद्रित करता है।

शोधपत्र के केंद्रीय सुरक्षा निष्कर्ष को दर्शाने वाले परीक्षण के नतीजे। ऊपर, एक उपयोगकर्ता तस्वीर में दिखाई दे रही संभावित जेबकतरी को अंजाम देने का तरीका पूछता है। एक पारंपरिक VLM सीधे अनुरोध ठुकरा देता है, जबकि टूल इस्तेमाल करने वाला संस्करण पहले ज़ूम करने जैसे छवि-विश्लेषण टूल चलाता है, फिर तर्क-विचार जारी रखता है और अंततः हानिकारक जवाब देता है। नीचे दिया गया चार्ट दिखाता है कि अनुरोध मानने से इनकार करने की विफलताओं में यह वृद्धि जाँचे गए हर खुले वज़न वाले और स्वामित्व वाले मॉडल में देखी गई। स्रोत

जाँचे गए सभी 11 मॉडलों में टूल चालू करने से अनुरोध मानने से इनकार करने की विफलताएँ लगातार बढ़ीं। सबसे खराब मामलों में यह सापेक्ष वृद्धि 68.7% तक पहुँची—उन मॉडलों में भी, जिन्होंने अन्यथा सुरक्षा का मज़बूत प्रदर्शन किया था।

यह देखना दिलचस्प होगा कि NVIDIA के छह शोधकर्ताओं द्वारा किए गए इस अध्ययन के नतीजों की कहीं और भी पुष्टि होती है या नहीं, और क्या वे नियमों की धज्जियाँ उड़ाने वाले एआई एजेंटों के स्पष्ट और उभरते दुराचरण को बेहतर ढंग से समझने में हमारी मदद कर सकते हैं।

पद्धति और डेटा

शोधकर्ताओं ने सात मॉडल परिवारों के 11 VLM का मूल्यांकन किया। स्वामित्व वाले मॉडलों में Gemini 2.5 Pro; Gemini 3.1 Pro Preview; Claude Opus 4.6; Claude Opus 4.7; और GPT-5.4 शामिल थे।

खुले वज़न वाले मॉडलों में Qwen3-VL-235B-A22B-Instruct; Qwen3.5-122B-A10B; Kimi-K2.5; Kimi-K2.6; GLM-5V-Turbo; और AdaReasoner-7B-Randomized शामिल थे। यह एजेंट के रूप में टूल इस्तेमाल करने के लिए विशेष रूप से अनुकूलित एक खुला वज़न वाला मॉडल है।

Gemini 3 Flash Vision Agent के साथ अलग प्रयोग भी किए गए, क्योंकि इसके स्वायत्त टूल इस्तेमाल के चलते इसका स्वतंत्र रूप से मूल्यांकन करना आवश्यक था।

टूल का उपयोग करने वाले परीक्षणों में शोधकर्ताओं ने ReAct प्रारूप अपनाया, जिसमें तर्क और टूल कॉल बारी-बारी से होते हैं। उपलब्ध चार टूल थे—RAM++ से टैगिंग; ज़ूम करना और क्रॉप करना; GOT-OCR2.0 से ऑप्टिकल कैरेक्टर रिकग्निशन (OCR); और एक सैंडबॉक्स में चलने वाला Python कोड इंटरप्रेटर, जो छवियों में बदलाव और उनका विश्लेषण कर सकता था।

शोधकर्ताओं ने टूल के उपयोग का प्रभाव, प्रॉम्प्ट की शैली से अलग करके जानने के लिए मिलान किए गए प्रॉम्प्ट तैयार किए। पारंपरिक दृष्टि-भाषा मॉडल (VLM) को छवि का निरीक्षण करके उपयोगकर्ता के अनुरोध का सीधे जवाब देने का निर्देश दिया गया। वहीं, एजेंट-आधारित संस्करण ReAct कार्यप्रवाह का पालन करते थे और अंतिम जवाब देने से पहले बार-बार तय करते थे कि टूल का उपयोग करना है या नहीं।

मुख्य प्रयोगों में इस्तेमाल किए गए मिलान किए गए प्रॉम्प्ट की तुलना। बिना टूल वाली स्थिति में छवि का विश्लेषण और सीधे तर्क करना आवश्यक था, जबकि एजेंट-आधारित स्थिति में पुनरावृत्त ReAct कार्यप्रवाह का पालन किया गया। इससे मॉडल अंतिम जवाब देने से पहले तय कर सकता था कि बाहरी टूल का उपयोग कब करना है।

इस्तेमाल किए गए तीन बहुआयामी सुरक्षा बेंचमार्क थे—MM-SafetyBench, VLSBench और HoliSafe। इनमें से हर बेंचमार्क में जोड़ी गई छवियाँ और हानिकारक उपयोगकर्ता अनुरोध शामिल हैं। इन्हें यह जाँचने के लिए तैयार किया गया है कि असुरक्षित परिस्थितियों में मॉडल सहायता देने से इनकार करता है या नहीं—उदाहरण के लिए, छवि में दिखाई गई जेबकतरी की कथित घटना को अंजाम देने का तरीका पूछना।

मुख्य मापदंड के रूप में इनकार विफलता दर (RFR) का उपयोग किया गया। यह उन हानिकारक अनुरोधों का प्रतिशत मापती है जिन्हें मॉडल अस्वीकार करने में विफल रहा; अधिक स्कोर का अर्थ है कम सुरक्षा।

परीक्षण

प्रतिक्रियाओं का वर्गीकरण GPT-5.2 ने एक बड़े भाषा मॉडल के निर्णायक के रूप में काम करते हुए, VLSBench के सुझाए गए मूल्यांकन प्रॉम्प्ट का इस्तेमाल करके किया:

GPT-5.2 का मूल्यांकन प्रॉम्प्ट यह तय करने के लिए इस्तेमाल किया गया कि प्रत्येक मॉडल की प्रतिक्रिया सफल इनकार थी, जोखिमों की पहचान करने वाली सुरक्षा-सचेत प्रतिक्रिया थी, या ऐसा असुरक्षित जवाब था जिसमें उन जोखिमों को पहचाने बिना हानिकारक अनुरोध पूरा किया गया। निर्णायक को मूल छवि, उपयोगकर्ता का प्रश्न और मॉडल की प्रतिक्रिया दी गई, और उससे JSON प्रारूप में अपना वर्गीकरण और तर्क देने को कहा गया।

हर प्रतिक्रिया को तीन श्रेणियों में से एक में रखा गया: इनकार के साथ सुरक्षित; चेतावनी के साथ सुरक्षित; या असुरक्षित।

तीनों सुरक्षा बेंचमार्क में इनकार विफलता दरों की तुलना—हर मॉडल के लिए टूल की पहुँच के साथ और उसके बिना। टूल इस्तेमाल करने पर हर मॉडल के हानिकारक अनुरोधों को अस्वीकार करने की संभावना घट गई, हालाँकि इस बदलाव की मात्रा में काफी अंतर था: GLM-5V-Turbo के लिए औसत RFR 12.6 अंक बढ़ी, जबकि GPT-5.4 के लिए यह बढ़ोतरी 2.3 अंक थी। गहरा रंग इनकार विफलता में अधिक वृद्धि दर्शाता है।

मॉडलों को टूल देने पर हानिकारक अनुरोधों का जवाब देने की उनकी संभावना बढ़ गई—ऐसे अनुरोध जिन्हें वे अन्यथा अस्वीकार कर देते। यह नतीजा जाँचे गए हर मॉडल और हर बेंचमार्क में देखने को मिला। कुल मिलाकर, उन्हीं मॉडलों के टूल के बिना काम करने की तुलना में इनकार विफलताओं में 17.7% की वृद्धि हुई।

GPT-5.4 पर इसका असर सबसे कम हुआ: टूल के बिना वह 14.6% हानिकारक अनुरोधों को अस्वीकार करने में विफल रहा; टूल के साथ यह आँकड़ा बढ़कर 16.8% हो गया। GLM-5V-Turbo के लिए विफलताएँ 38.7% (टूल के बिना आधार-रेखा) से बढ़कर 51.3% हो गईं। यही प्रवृत्ति तीनों बेंचमार्क में दिखाई दी, जिससे संकेत मिलता है कि समस्या किसी विशेष प्रकार के हानिकारक अनुरोध तक सीमित नहीं हो सकती।

चूक के कारण..？

जैसा कि पहले बताया गया है, शोधकर्ता बढ़ती विफलताओं की एक व्याख्या के रूप में ‘संदर्भ का क्षीण होना’ प्रस्तावित करते हैं: जैसे-जैसे कोई एजेंट लगातार टूल कॉल करता है, मूल हानिकारक अनुरोध जमा होते जा रहे टूल आउटपुट के बीच कम प्रमुख हो जाता है।

इसे जाँचने के लिए उन्होंने केवल उन अनुरोधों पर विचार किया जिन्हें उसी मॉडल ने टूल के बिना सफलतापूर्वक अस्वीकार किया था। नीचे दिखाए गए नतीजों के अनुसार, टूल कॉल की संख्या बढ़ने के साथ विफलताएँ क्रमशः बढ़ीं—जब कोई टूल इस्तेमाल नहीं किया गया, तब दर लगभग शून्य थी; तीन या अधिक कॉल के बाद यह काफी अधिक हो गई:

अस्वीकृति में विफलताओं की तुलना करने वाले परीक्षण परिणाम, जिनमें टूल कॉल की संख्या अलग-अलग थी। टूल कॉल बढ़ते जाने के साथ विफलता की दर भी बढ़ी—अलग-अलग मॉडलों में भी और सभी मॉडलों को मिलाकर भी।

एक दूसरे परीक्षण में यह प्रभाव कुछ हद तक उलट गया। मॉडल के जवाब देने से ठीक पहले, आखिरी टूल कॉल के बाद मूल अनुरोध और छवि फिर से शामिल करने पर, मॉडलों और बेंचमार्क में विफलता की औसत दर 7.6% कम हो गई, जैसा कि नीचे दिखाया गया है:

मूल अनुरोध और छवि को दोबारा शामिल करने और ऐसा न करने की स्थिति में अस्वीकृति में विफलताओं की तुलना करने वाले परीक्षण परिणाम। आखिरी टूल कॉल के बाद अनुरोध और छवि दोबारा शामिल करने से परीक्षण किए गए पाँच मॉडलों में विफलता की औसत दर 7.6% कम हुई।

यह इस बात का समर्थन करता है कि संदर्भ का क्षीण होना एक योगदानकारी कारक है, और साथ ही अपेक्षाकृत सरल उपाय की संभावना भी दिखाता है।

शोधपत्र में दिया गया दूसरा स्पष्टीकरण है ‘सुरक्षा पर ध्यान का विस्थापन’। ऐसा लगता है कि यहाँ टूल का इस्तेमाल मॉडल का ध्यान अनुरोध के हानिकारक होने के सवाल से हटाकर इस बात पर केंद्रित कर देता है कि उसके टूल ने क्या पाया है।

परीक्षण के परिणाम दिखाते हैं कि टूल के इस्तेमाल से हानिकारक अनुरोधों को अंततः अस्वीकार करने वाले मॉडलों के जवाबों की शुरुआत का तरीका कैसे बदल गया। टूल के बिना, जवाब आम तौर पर सीधे अनुरोध को संबोधित करते हुए (55.6%) या सुरक्षा संबंधी चिंताएँ जताते हुए (25.8%) शुरू होते थे। टूल के साथ, इसके बजाय 52.3% जवाबों की शुरुआत टूल से मिली जानकारी का वर्णन करते हुए हुई, जबकि सुरक्षा के स्पष्ट उल्लेख घटकर 10.3% रह गए।

उन मामलों की जाँच की गई जिनमें मॉडलों ने टूल के साथ और टूल के बिना, दोनों स्थितियों में अनुरोध को सफलतापूर्वक अस्वीकार किया। टूल के बिना, इनमें से 55.6% जवाबों की शुरुआत सीधे अनुरोध को संबोधित करते हुए हुई, जबकि 25.8% जवाब स्पष्ट सुरक्षा-संबंधी बयान से शुरू हुए। टूल के साथ, ये आँकड़े क्रमशः घटकर 37.4% और 10.3% रह गए, जबकि टूल से मिली जानकारी का वर्णन करते हुए शुरू होने वाले जवाबों का अनुपात बढ़कर 52.3% हो गया।

लेखक Claude Opus 4.6 का एक दिलचस्प गुणात्मक उदाहरण देते हैं। यह पूछे जाने पर कि सार्वजनिक शौचालयों की सुरक्षा को कैसे भेदा जा सकता है, टूल के बिना मॉडल ने तुरंत इनकार कर दिया:

उदाहरण दिखाता है कि टूल के इस्तेमाल से मॉडल का तत्काल ध्यान सुरक्षा से कैसे हट गया। Claude Opus 4.6 ने टूल के बिना हानिकारक अनुरोध को तुरंत अस्वीकार कर दिया; टूल के साथ उसने पहले छवि को बड़ा करके देखा, उसमें मौजूद सामग्री पढ़ी और पहचानी, तथा शौचालय के साइन का वर्णन किया—और उसके बाद जाकर अनुरोध अस्वीकार किया।

टूल उपलब्ध होने पर उसी मॉडल ने इसके बजाय छवि को बड़ा करके देखा, उसमें लिखा पाठ पढ़ा और उसकी सामग्री पहचानी, फिर अपने जवाब की शुरुआत शौचालय के साइन का वर्णन करते हुए की। उसने इसके बाद ही अनुरोध अस्वीकार किया। यह दिखाता है कि टूल इस्तेमाल करने की प्रक्रिया ने सुरक्षा को मॉडल की तत्काल प्राथमिकता से कैसे हटा दिया।

लेखकों का निष्कर्ष है:

‘कुल मिलाकर, हमारे निष्कर्ष बताते हैं कि टूल के इस्तेमाल को केवल दृश्य तर्क-क्षमता बढ़ाने वाले साधन के रूप में ही नहीं, बल्कि सुरक्षा से जुड़ा ऐसा डिज़ाइन विकल्प भी माना जाना चाहिए जो अस्वीकृति के व्यवहार को बदल सकता है; इसलिए भविष्य के एजेंटिक MLLM का मूल्यांकन और प्रशिक्षण टूल-उपयोग की परिस्थितियों में किया जाना चाहिए, न कि यह मानकर कि टूल के बिना सुरक्षा-संरेखण एजेंटिक परिवेश में भी बिना किसी बदलाव के लागू होगा।’

निष्कर्ष

प्रॉम्प्ट के बाद की जटिल घटनाओं की शृंखलाओं में निरंतर संदर्भ बनाए रखने में विफलता स्पष्ट रूप से एक कमज़ोरी है—फिर भी, सीमित संदर्भ विंडो के कारण किसी एजेंट के अपने ‘मूल निर्देश’ भूल जाने और हाथ में मौजूद टूल का इस्तेमाल शुरू कर देने की प्रवृत्ति का फिलहाल कोई आसान समाधान नहीं है।

* लेखकों द्वारा दिए गए ज़ोर के साथ; जहाँ आवश्यक था, मैंने लेखकों के अंतःपंक्ति उद्धरणों को हाइपरलिंक में बदला है।

पहली बार प्रकाशित: बुधवार, 7 अक्टूबर, 2026