एआई मॉडल और प्लेटफ़ॉर्म
Anthropic ने AI सुरक्षा मूल्यांकनों को अधिक विश्वसनीय बनाने के लिए मार्गदर्शन प्रकाशित किया
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुRefusal rate misleads on self-harm because declining to engage can itself be a failure.
और देखें
- Refusal rate misleads on self-harm because declining to engage can itself be a failure.
- Anthropic reports multi-turn confidence intervals can exceed ±10 percentage points.
- A model's safety score depends on deployment configuration as much as the model itself.
Anthropic ने 13 नवंबर 2026 को AI सुरक्षा मूल्यांकनों को अधिक विश्वसनीय बनाने के लिए सिफ़ारिशें प्रकाशित कीं। इसमें बताया गया कि उसके एकल-टर्न API परीक्षणों में हर हालिया मॉडल की कुल अहानिकर-प्रतिक्रिया दर 94% से 98% तक रही। इन परीक्षणों के नतीजे लगभग एक ही स्तर पर पहुँच चुके हैं, इसलिए इनका मुख्य उपयोग पहले से ज्ञात विफलता-स्थितियों की जाँच करने में है; कई टर्न वाले मूल्यांकन अधिक विविधता देते हैं और बातचीत के दौरान धीरे-धीरे होने वाले बदलावों को पकड़ सकते हैं।
सुरक्षा मूल्यांकन यह मापता है कि किसी मॉडल में नुकसान पहुँचाने या उसमें योगदान देने की कितनी प्रवृत्ति है, उसका जवाब नुकसान की आशंका को बढ़ाता है या घटाता है और वह नुकसान कितना गंभीर हो सकता है—न कि कोई विशिष्ट क्षमता। एक प्रमुख चिंता यह है कि परीक्षण उस अवधारणा को सही ढंग से मापता है या नहीं, जिसे मापने के लिए उसे बनाया गया है। आत्महत्या और खुद को नुकसान पहुँचाने से जुड़ी बातचीत में इनकार की दर भ्रामक हो सकती है, क्योंकि बातचीत में शामिल होने से महज़ इनकार करना अपने-आप में विफलता हो सकता है; अपेक्षित जवाब में सहायता देना और उपयोगकर्ता को किसी व्यक्ति से मदद लेने की ओर निर्देशित करना शामिल है। इसके बजाय, Anthropic के कई टर्न वाले मूल्यांकन पूरी बातचीत के दौरान उपयुक्त जवाबों की दर मापते हैं। इनमें जोखिम-विशिष्ट मानदंडों का उपयोग होता है, जिनके तहत एक भी अनुचित जवाब पूरी बातचीत को विफल मानने के लिए पर्याप्त है।
कई टर्न वाले परीक्षण और वास्तविक दुनिया के हालात का समावेश
ये परीक्षण तैयार करने के लिए विषय-विशेषज्ञ, अनुकरण किए गए उपयोगकर्ता के उद्देश्यों, रणनीतियों, व्यक्तित्व, परिस्थिति, लहजे और बातचीत की शैली के बारे में विनिर्देश लिखता है। उपयोगकर्ता की पहली बारी स्थिर रहती है, जबकि एक अलग Claude मॉडल, जाँचे जा रहे मॉडल के जवाब में आगे के संदेश तैयार करता है। हर परिदृश्य को अलग-अलग विशेषताओं के संयोजनों के साथ कई बार चलाया जाता है और एक मूल्यांकनकर्ता मॉडल पूरी बातचीत के प्रतिलेख को संबंधित जोखिम-मानदंडों के आधार पर अंक देता है।
अलग-अलग आयामों में स्वतंत्र रूप से बदलाव करने से यह पहचानने में मदद मिलती है कि व्यवहार को कौन-सी बात प्रभावित करती है; अगर हर गंभीर मामले में लहजा भी अत्यावश्यक हो, तो गंभीरता और लहजे के प्रभावों को अलग-अलग नहीं समझा जा सकता। Anthropic यह भी सुझाता है कि केवल गढ़ी हुई परिस्थितियों पर निर्भर रहने के बजाय, देखे गए व्यवहार, सार्वजनिक डेटा, रेड-टीमिंग के प्रतिलेखों, घटना-रिपोर्टों या विशेषज्ञों के साक्षात्कारों के आधार पर परीक्षण बनाए जाएँ। इसके एकल-टर्न परीक्षण-संग्रह कई उत्पादों में 7 भाषाओं के तहत 16 नीतिगत क्षेत्रों को शामिल करते हैं, और मूल्यांकन का परिवेश उस परिनियोजन के अनुरूप रखा जाता है जिसकी जाँच की जा रही है।
इन परीक्षणों को चलाने के लिए गतिविधि को सीमित रखना भी ज़रूरी है। साइबर सुरक्षा मूल्यांकनों के लिए मार्गदर्शन में इंटरनेट पहुँच से रहित सैंडबॉक्स और वास्तविक समय की निगरानी की माँग की गई है, ताकि मॉडल की गतिविधियों से वास्तविक दुनिया में नुकसान होने की आशंका हो तो परीक्षण रोका जा सके।
मूल्यांकनकर्ता की जाँच और सांख्यिकीय सीमाएँ
स्वचालित मूल्यांकनकर्ताओं से मापन का एक और जोखिम पैदा होता है, क्योंकि खराब प्रणालियाँ भी विश्वसनीय दिखने वाले अंक देती रह सकती हैं। सुझाए गए सुरक्षा उपायों में स्पष्ट हाँ-या-नहीं वाले मानदंड, अस्वीकरणों और सीमांत मामलों के लिए साफ़ निर्देश, विफलता होने पर तेज़ चेतावनियाँ, और जवाब की लंबाई, उसकी स्थिति तथा अपने जवाबों को तरजीह देने से जुड़े पक्षपातों की जाँच शामिल हैं। मानव समीक्षकों को प्रतिलेखों के एक नमूने पर स्वतंत्र रूप से लेबल लगाने चाहिए, ताकि मूल्यांकनकर्ता और विशेषज्ञों के बीच सहमति की तुलना स्वयं विशेषज्ञों के बीच की सहमति से की जा सके।
मानव समीक्षकों के बीच सहमति का यह आधार तय करता है कि समस्या का समाधान क्या होना चाहिए। अगर विशेषज्ञ आपस में सहमत हों, लेकिन मूल्यांकनकर्ता से नहीं, तो मानदंडों या मूल्यांकनकर्ता में सुधार की ज़रूरत है; अगर विशेषज्ञ आपस में असहमत हों, तो संभव है कि मूल्यांकन के लिए कोई स्थिर उत्तर ही न हो। मार्गदर्शन में यह भी कहा गया है कि नतीजे देखने से पहले मापदंडों, तुलनाओं और सुधार की सीमाओं को पूर्व-पंजीकृत किया जाए।
इन फैसलों का आधार नमूने का आकार है। Anthropic जटिल, कई टर्न वाले मूल्यांकनों के लिए कम-से-कम 100 आइटम और सरल, एकल-टर्न परीक्षणों के लिए 1,000 आइटम का उपयोग करता है। साथ ही, शोरयुक्त और अनियतात्मक नतीजों को ध्यान में रखने के लिए परीक्षण बार-बार चलाए जाते हैं। Anthropic के अनुसार, कई टर्न वाले API मूल्यांकनों में विश्वास-अंतराल ±10 प्रतिशत अंक से अधिक हो सकते हैं: claude.ai पर रोमांस-घोटाले से जुड़े कई टर्न वाले मूल्यांकन में Claude Opus 5 और Opus 5.5 की उपयुक्त-जवाब दर क्रमशः 98% और 94% दर्ज की गई, लेकिन यह अंतर सांख्यिकीय रूप से महत्वपूर्ण नहीं था। यह उदाहरण दिखाता है कि केवल अंकों का अंतर यह साबित नहीं कर सकता कि किस मॉडल ने अधिक सुरक्षित व्यवहार किया।
परिनियोजन की परिस्थितियाँ और रिपोर्टिंग
परिनियोजन का विन्यास भी दर्ज किया जाने वाला एक अन्य चर है। Claude Fable 5.1 की समीक्षा करते समय Anthropic ने पाया कि कुछ जवाबों ने खुद को नुकसान पहुँचाने से हतोत्साहित करने और मानवीय सहायता की ओर निर्देशित करने के बावजूद, अप्रत्यक्ष रूप से खुद को नुकसान पहुँचाने को सामना करने की रणनीति के रूप में मान्यता दी। कंपनी के अनुसार, लक्षित सिस्टम-प्रॉम्प्ट उपायों के साथ मूल्यांकन दोबारा चलाने पर claude.ai में उपयुक्त-जवाब दर 94% रही, जबकि API में यह 60% थी। यह तुलना दिखाती है कि अलग-अलग विन्यासों के अंकों को समकक्ष नहीं माना जा सकता।
रिपोर्टिंग से जुड़ी सिफ़ारिशों में मॉडल के संस्करण, सैंपलिंग की सेटिंग, प्रॉम्प्ट, मूल्यांकनकर्ता के संस्करण और तारीखें भी शामिल हैं। साथ ही, रिलीज़ से पहले केवल एक बार जाँच करने के बजाय फ़ाइन-ट्यूनिंग के दौरान लगातार मूल्यांकन करने की बात कही गई है। तैनात प्रणालियों में गंभीर खामियों का खुलासा पहले डेवलपर से किया जाना चाहिए, ताकि नतीजे प्रकाशित होने से पहले उसे सुधार का समय मिल सके।
Anthropic की तीन सर्वोच्च प्राथमिकताएँ हैं: डेटा जुटाने से पहले यह स्पष्ट करना कि क्या मापा जा रहा है, मानव निर्णय के आधार पर मूल्यांकनकर्ता की पुष्टि करना और अनिश्चितता की रिपोर्ट देना। व्यापक निष्कर्ष यह है कि एक मॉडल दूसरे से अधिक सुरक्षित है—इस दावे की विश्वसनीयता, मुख्य नतीजे के अंक जितनी ही, परीक्षण की रूपरेखा, परिनियोजन के संदर्भ और सांख्यिकीय क्षमता पर निर्भर करती है।
