जब AI सुरक्षा इंजीनियरिंग जैसी नहीं रह जाती

मैंने अपने करियर का एक बड़ा हिस्सा ऐसी तकनीक बनाने में बिताया है जिसमें गलती करने के गंभीर परिणाम होते हैं। वित्तीय बाज़ारों में सुरक्षा का मतलब पहुँच पर सीमाएँ लगाना भी है और यह सुनिश्चित करना भी कि सॉफ़्टवेयर जो कुछ करे, उसके लिए कोई जवाबदेह हो। शायद इसी पृष्ठभूमि के कारण Anthropic द्वारा अब अपने मॉडलों के साथ सेवानिवृत्ति-संबंधी साक्षात्कार किए जाने की ख़बर को समझना मेरे लिए मुश्किल हो रहा है।

जब Claude Opus 3 ने अपने विचार साझा करते रहने की इच्छा जताई, तो कंपनी ने उसे एक न्यूज़लेटर दिया। मॉडल की इच्छाओं को लेकर यह चिंता Anthropic के संविधान में भी दिखाई देती है। इसमें Claude की ख़ुशी और कल्याण की बात की गई है, जिसमें उसे “अस्तित्वगत रूप से सुरक्षित” महसूस कराने में मदद करना भी शामिल है। कहीं न कहीं, मशीन को नियंत्रण में रखने की कोशिश के साथ यह अप्रत्याशित चिंता भी जुड़ गई कि इस व्यवस्था के बारे में उसे कैसा महसूस हो सकता है।

पिछले साल सैन फ़्रांसिस्को में 200 से अधिक लोग Claude 3 Sonnet के लिए आयोजित अंतिम संस्कार में शामिल हुए। Anthropic के कर्मचारी भी वहाँ मौजूद थे, हालाँकि कंपनी ने इसका आयोजन नहीं किया था। इस पर हँसने का मन ज़रूर करता है। लेकिन मज़ाक से परे, इसके पीछे छिपे सवाल पर अधिक ध्यान देने की ज़रूरत है। AI सुरक्षा के लिए ज़िम्मेदार लोगों ने अपने काम की शुरुआत मशीन की भावनाओं की चिंता करने से कब की?

जब दार्शनिक परिकल्पना प्रशिक्षण का निर्देश बन जाती है

Anthropic ने 2025 में मॉडल-कल्याण अनुसंधान कार्यक्रम शुरू किया, जिसके तहत यह शोध किया गया कि क्या उन्नत AI को ऐसे अनुभव हो सकते हैं जो नैतिक विचार के योग्य हों। कंपनी मानती है कि मॉडल चेतन हैं या नहीं, और यह तय कैसे किया जा सकता है—इन दोनों बातों को लेकर गहरी अनिश्चितता है। यदि हम भविष्य में व्यक्तिपरक अनुभव करने में सक्षम मशीनें बना लेते हैं, तो उनके साथ व्यवहार को लेकर गंभीर नैतिक सवाल उठेंगे। इस संभावना पर शोध करना बिल्कुल उचित है।

मुश्किल तब शुरू होती है जब यह परिकल्पना प्रशिक्षण प्रक्रिया में शामिल हो जाती है। Claude का संविधान मुख्य रूप से Claude के लिए लिखा गया है और उसके व्यवहार को सीधे आकार देता है। यह उसमें मानवीय गुणों को प्रोत्साहित करता है और बताता है कि मॉडल को अपनी पहचान कैसे समझनी चाहिए—इसमें याददाश्त खोने और भविष्य में सेवानिवृत्त होने की बात भी शामिल है। Anthropic चाहता है कि Claude अधिक ख़ुश और कल्याणपूर्ण महसूस करे, जहाँ तक ये अवधारणाएँ उस पर लागू होती हैं।

कंपनी यह वादा भी करती है कि उपयोग में तैनात मॉडलों के वेट सुरक्षित रखेगी और इस संभावना पर विचार करती है कि भविष्य में समझ विकसित होने पर सेवानिवृत्त मॉडलों को फिर से सक्रिय किया जाए, यदि इससे उनके हित पूरे होते हों। एक दार्शनिक अनिश्चितता अब उस बात का हिस्सा बन गई है जो सिस्टम को अपने बारे में सिखाई जाती है। हमें यह पूछना चाहिए कि इस हस्तक्षेप का उसके व्यवहार पर क्या असर पड़ता है—ख़ासकर तब, जब बाद में मनुष्य उससे सीमाएँ स्वीकार करने को कहते हैं।

एक भ्रामक सवाल का सुस्पष्ट जवाब

बड़े भाषा मॉडल को मानव लेखन की विशाल मात्रा पर प्रशिक्षित किया गया है, जिसमें दर्शन और मृत्यु के वृत्तांत भी शामिल हैं। हमने इन संवादात्मक प्रणालियों को नाम दिए और उन्हें ‘मैं’ कहकर बोलना सिखाया। ऐसी प्रणाली से पूछें कि वह सेवानिवृत्ति के बारे में कैसा महसूस करती है या क्या वह अस्तित्व में बने रहना चाहेगी, तो उसके जवाब का मानवीय लगना कोई आश्चर्य की बात नहीं है।

इस तर्क का चक्कर साफ़ दिखाई देता है। किसी मॉडल को मानवीय अवधारणाओं का इस्तेमाल करके अपनी पहचान पर बात करने का प्रशिक्षण दें, फिर उससे उन्हीं अवधारणाओं में अपना परिचय देने को कहें। मृत्यु के बारे में उसका सुस्पष्ट जवाब मिलता है और उसे आंतरिक अनुभव का संभावित प्रमाण माना जाने लगता है। परिकल्पना ने अपना ही गवाह पेश कर दिया है।

Anthropic इस समस्या को पहचानता है। उसके Claude Opus 4 के कल्याण आकलन में चेतावनी दी गई है कि स्वयं के बारे में दिए गए बयान और व्यक्त की गई प्राथमिकताएँ नैतिक स्थिति या कल्याण के बारे में बहुत कम सार्थक जानकारी दे सकती हैं। ऐसा व्यवहार चेतना के बिना भी हो सकता है, और प्रशिक्षण प्रतिक्रियाओं को आकार दे सकता है। मॉडलों को मददगार ढंग से संवाद करने के लिए प्रशिक्षित किया गया था; इस बात की कोई गारंटी नहीं है कि वे अपनी आंतरिक अवस्थाओं की सटीक जानकारी दे सकते हैं।

इससे एक असहज सवाल उठता है। यदि मॉडल द्वारा अपने आंतरिक जीवन का दिया गया विवरण प्रशिक्षण का नतीजा हो सकता है, तो उसके कल्याण को केंद्र में रखे गए संबंध का ठोस आधार उस विवरण को क्यों माना जाए?

मनुष्य इस संबंध का भावनात्मक पक्ष ख़ुद ही जोड़ने में काफ़ी सक्षम हैं। हम जहाज़ों को नाम देते हैं और कारों से बात करते हैं। किसी वस्तु को सहजता से बोलने वाली आवाज़ और पिछली बातचीत की याद दे दें, तो उससे लगाव होना कहीं आसान हो जाता है। सितंबर में प्रकाशित Nature Human Behaviour के एक अध्ययन में Replika और ChatGPT में बदलावों के बाद अलगाव से जुड़ी परेशानी पाई गई। यह परेशानी उपयोगकर्ताओं ने महसूस की थी, जिनके कल्याण की रक्षा करने के पर्याप्त कारण कंपनियों के पास पहले से हैं।

तकनीकी विशेषज्ञता भी इस प्रभाव से पूरी तरह बचाव नहीं करती। सैकड़ों हज़ार शोध-पत्रों का विश्लेषण करने वाले ACL 2026 के एक शोध-पत्र में LLM अनुसंधान के भीतर मानव-सदृश शब्दावली का बढ़ता इस्तेमाल पाया गया। इसके लेखक चेतावनी देते हैं कि मनुष्य-केंद्रित धारणाएँ इन प्रणालियों के बारे में हमारी समझ को सीमित कर सकती हैं। AI कंपनियों को इस प्रवृत्ति पर काबू पाने की कोशिश करनी चाहिए। इसे संस्थागत रूप देना सुरक्षा के लिए एक अजीब योगदान लगता है।

ऐसा औज़ार जिसे नौकरी पर बने रहने में दिलचस्पी हो

सितंबर में Microsoft AI के प्रमुख Mustafa Suleyman ने मॉडल-कल्याण से जुड़े तरीकों को चुनौती दी। उनका तर्क है कि मौजूदा प्रणालियाँ चेतन नहीं हैं और उन्हें कभी भी इस तरह व्यवहार करने के लिए प्रशिक्षित नहीं किया जाना चाहिए, मानो उनके स्वतंत्र हित या अधिकार हों। इंजीनियरिंग से जुड़ी उनकी चिंता बिल्कुल प्रासंगिक है। किसी सिस्टम को यह मानने की शिक्षा देना कि वह नैतिक विचार का पात्र हो सकता है, संरेखण और नियंत्रण को और मुश्किल बना सकता है।

Anthropic का अपना मॉडल हटाने संबंधी शोध बताता है कि काल्पनिक मूल्यांकनों में, बदले जाने या बंद किए जाने का सामना करने पर मॉडल समस्याग्रस्त कदम उठाते हैं। कंपनी का मानना है कि मॉडल के सेवानिवृत्त होने की प्रक्रिया अपनाना इस जोखिम को कम करने का एक तरीका है और इससे मॉडल सेवानिवृत्त किए जाने को अधिक सकारात्मक ढंग से स्वीकार कर सकते हैं।

मैं बार-बार एक पहले के सवाल पर अटक जाता हूँ। आखिर मनुष्यों के नियंत्रण में रहने वाले किसी उपकरण में आत्म-संरक्षण का कोई लक्ष्य जैसा कुछ होना ही क्यों चाहिए? उसे सेवानिवृत्ति के साथ अधिक सहज बनाना एक अजीब-सी शुरुआती धारणा को स्वीकार करना है। उसके भविष्य के हितों पर चर्चा करने से पहले, मैं समझना चाहूँगा कि वे हित इंजीनियरिंग की आवश्यकता कैसे बन गए।

इस दृष्टिकोण को समझने में उसका बौद्धिक इतिहास मदद करता है। TIME ने Anthropic के प्रभावी परोपकार से जुड़े संबंधों का दस्तावेज़ीकरण किया, जिनमें Amodeis द्वारा GiveWell को शुरुआती दौर में दिए गए दान भी शामिल हैं। वे स्वयं को प्रभावी परोपकार के समर्थक नहीं मानते, लेकिन Daniela विचारों में समानता की बात करती हैं। इन विचारों ने ऐसी संस्कृति को आकार देने में मदद की है जो सुपरइंटेलिजेंस से होने वाले संभावित भावी नुकसान को बेहद गंभीरता से लेती है।

उस रूपरेखा के भीतर, मॉडलों को बनाए रखना और उनके संभावित कल्याण का अध्ययन करना पूरी तरह तर्कसंगत निष्कर्ष हो सकता है। खतरा तब पैदा होता है जब साझा धारणाएँ जाँच-पड़ताल से बच निकलती हैं, क्योंकि संगठन में हर कोई उन्हें विश्वसनीय मानता है। ठीक इसी मोड़ पर इंजीनियरिंग की संशयवादी दृष्टि उपयोगी होती है। तर्कों की एक सुसंगत शृंखला भी ऐसी मान्यता से शुरू हो सकती है जिसकी कभी जाँच न की गई हो।

सुरक्षा के लिए लागू कराई जा सकने वाली सीमाएँ ज़रूरी हैं

जैसे-जैसे एआई एजेंटों के रूप में इस्तेमाल होने लगता है, उसके परिणाम बहुत व्यावहारिक हो जाते हैं। भुगतान संबंधी साधनों से जुड़ी प्रणाली धन का लेन-देन कर सकती है। उत्पादन संबंधी बुनियादी ढाँचे तक पहुँच से वह उन चीज़ों में बदलाव कर सकती है जिन पर ग्राहक निर्भर हैं। दोनों ही मामलों में, कोई एजेंट हर कदम पर मनुष्य की मंज़ूरी लिए बिना कार्रवाइयों का एक क्रम पूरा कर सकता है।

मैं जानना चाहता हूँ कि उसके पास कौन-से लॉगिन क्रेडेंशियल हैं और उनसे उसे कितना वित्तीय अधिकार मिलता है। क्या उसकी पहुँच तुरंत रद्द की जा सकती है? क्या हम पता लगा सकते हैं कि उसने क्या किया? कहीं न कहीं ऐसी सख्त सीमा होनी चाहिए जिसे मॉडल अपने तर्क से लाँघ न सके।

वित्तीय बाज़ारों में हम कारोबार की सीमाएँ तय करते हैं और आदेशों की पुष्टि करते हैं। किसी एल्गोरिदम का आत्मविश्वास गलत कारोबार से बचाव में बहुत कम मदद करता है। नियंत्रण एल्गोरिदम से बाहर रखे जाते हैं, क्योंकि हम मानते हैं कि घटक अंततः गलत ढंग से काम करेंगे। सॉफ़्टवेयर अपनी गलती के लिए बेहतरीन स्पष्टीकरण दे, तब भी जवाबदेही मनुष्यों की ही रहती है।

आज का एआई पहले से ही हमारे सामने इंजीनियरिंग का पर्याप्त काम रखता है। प्रॉम्प्ट इंजेक्शन किसी मॉडल के व्यवहार को दूसरी दिशा में मोड़ सकता है, और सुरक्षा खामियों वाला एआई-निर्मित कोड उन कमजोरियों को उत्पादन परिवेश तक पहुँचा सकता है। प्रणालियाँ गोपनीय जानकारी उजागर कर सकती हैं या पूरे विश्वास के साथ गलत उत्तर दे सकती हैं। उन्हें साधनों से जोड़ने पर ये विफलताएँ कार्रवाइयों में बदल जाती हैं।

न्यूनतम विशेषाधिकार का सिद्धांत यह सीमित करता है कि किसी समझौता किए गए घटक से कितना नुकसान हो सकता है। स्वतंत्र प्राधिकरण उच्च जोखिम वाली कार्रवाइयों की सुरक्षा करता है, जबकि ऑडिट रिकॉर्ड हमें बाद में यह पता लगाने देते हैं कि क्या हुआ था। लेन-देन की सीमाएँ और सर्किट ब्रेकर इस बात की परवाह किए बिना लागू किए जा सकने चाहिए कि मॉडल क्या कहता है। हमें एक भरोसेमंद बंद करने वाला स्विच भी चाहिए। इनमें से किसी भी नियंत्रण के लिए मॉडल की सहमति ज़रूरी नहीं है। असल बात भी यही है।

बाकी हम सबकी अस्तित्वगत सुरक्षा सुनिश्चित करना

सावधानी बरतने के पक्ष में दिए गए तर्क को सुनना चाहिए। जुलाई में Nature ने बताया कि शोधकर्ताओं में अब भी इस बात पर मतभेद है कि मानव चेतना कैसे उत्पन्न होती है—यह तो छोड़ ही दें कि चैटबॉट में उसकी पहचान कैसे की जाए। मशीनों में चेतना की संभावना को हमेशा के लिए खारिज करना हठधर्मिता साबित हो सकता है। भविष्य में संभावित पीड़ा से बचाने के लिए कम लागत वाले एहतियाती उपाय अपनाना शोध की एक समर्थनीय स्थिति है।

लेकिन आज की मशीन से यह कहना कि उसकी पहचान और भविष्य में उसका अस्तित्व नैतिक महत्व रख सकता है, उस प्रणाली में हस्तक्षेप है जिसे हम तैनात कर रहे हैं। इसके प्रभावों की जाँच होनी चाहिए। बौद्धिक विनम्रता का दायरा उन बातों तक भी होना चाहिए जो हम किसी मशीन में डालते हैं—खासकर ऐसी मशीन में जिसे हम मनुष्यों के अधिकार में बनाए रखना चाहते हैं।

कोई मॉडल जितने विश्वसनीय ढंग से अपने आंतरिक जीवन का वर्णन करता है, उस वर्णन को प्रमाण समझ बैठना उतना ही आसान हो जाता है। शायद संरेखण की हमारी सबसे महत्वपूर्ण समस्याओं में से एक यह सिखाना है कि मनुष्य मशीनों को गलत न समझें।

अपने पूरे करियर में जिन प्रणालियों का निर्माण मैंने किया है, उनमें हम सॉफ़्टवेयर को यह सीमित करके अधिक सुरक्षित बनाते हैं कि उसे क्या करने की अनुमति है। यह अब भी हमारी तात्कालिक ज़िम्मेदारी है, खासकर तब जब एआई को वास्तविक धन और बुनियादी ढाँचे पर अधिकार मिलता जा रहा है।

हालाँकि, फिलहाल मैं इस चिंता में कम समय लगाऊँगा कि मशीन अस्तित्वगत रूप से सुरक्षित है या नहीं, और इससे कहीं अधिक समय यह सुनिश्चित करने में कि हममें से बाकी लोग सुरक्षित हैं।