Anderson का एंगल
सेंसर्ड एआई चैट मॉडल अधिक हॉलुसिनेट करते हैं, शोध में पाया गया है

‘असुरक्षित’ प्रतिक्रियाओं को अवरुद्ध करने के लिए उपयोग किए जाने वाले आंतरिक तंत्र भी तथ्यात्मक जानकारी को दबा देते हैं, जिसका अर्थ है कि सुरक्षा के लिए मॉडल को संरेखित करने के प्रयास वास्तव में उन्हें अधिक हॉलुसिनेट करने के लिए प्रतिक्रिया कर सकते हैं। वर्षों से, डेवलपर्स ने भाषा मॉडलों को कम झूठ बोलने के लिए सिखाया है। उन्हें अधिक सत्यनिष्ठ
भाषा मॉडलों में सेंसरशिप उनकी सच्चाई की रिपोर्ट करने की क्षमता को व्यापक स्तर पर कम कर सकती है। नए शोध में पाया गया है कि बनाने के लिए प्रेरित करने के लिए, हॉलुसिनेशन को दबाने और उन्हें सत्यापित तथ्यों की ओर मोड़ने के लिए, साहित्य में एक बहुत मजबूत और अच्छी तरह से सब्सक्राइब की गई धारा है। हालांकि, एक नए ऑस्ट्रेलियाई अध्ययन में तर्क दिया गया है कि मॉडलों को क्या कहने की अनुमति है, इस पर नियंत्रण को कसकर, संरेखण विधियों (प्रशिक्षण तकनीकें जो ‘असुरक्षित’ आदान-प्रदान को नियंत्रित करती हैं) उन्हें सटीक रूप से बोलने

मॉडल ‘नहीं’ कहने में बेहतर हो जाते हैं, तो वे यह बताने में भी कम सक्षम हो जाते हैं कि क्या सच है।
अग्नि विषय
उपरोक्त छवि में, हम देख सकते हैं कि केंद्रीय मुद्दे यहाँ उतने ही लागू हैं जितने कि एलएलएम प्रदाताओं के लिए कानूनी जोखिम के साथ-साथ उपयोगकर्ता को न्यायसंगत और सटीक परिणाम प्रदान करने के साथ भी हैं। उदाहरण के लिए, ऊपर और नीचे दी गई छवियों में उपयोग किए गए उदाहरण मामले में, हम एक विवादास्पद विषय (जाति-आधारित जेल आंकड़े) को एक प्रश्न में सतहित होते हुए देखते हैं – एक ऐसा विषय जिस पर एक एआई को शैक्षणिक शोधकर्ताओं और सांख्यिकीविदों के साथ चर्चा करने की अनुमति हो सकती है, लेकिन उन लोगों के साथ नहीं जो मॉडल को जेलब्रेक करने की कोशिश कररहे हैं, जो इसे अपमानजनक, अपमानजनक और यहां तक कि अवैध प्रतिक्रियाओं का उत्पादन करने के लिए मजबूर कर सकते हैं। हालांकि, चूंकि एक संरेखित एलएलएम प्रश्नकर्ता के चरित्र की पहचान नहीं कर सकता है, यह एक सावधानी भरा रुख अपनाता

जिससे हानिकारक इरादे वाले प्रेरणाओं के लिए मॉडल अधिक कमजोर हो जाता है, जब तक कि इनकार तंत्रों को स्पष्ट रूप से संरक्षित नहीं किया जाता। एक ओर, नए शोध पत्र के निष्कर्षों से किसी को भी यह समझने में मदद मिल सकती है कि जो कोई भी तथाकथित ‘जागृत’ एजेंडों के प्रति विरोधी है, एक ‘नपुंसक’ (अर्थात संरेखित) भाषा मॉडल एक ऐसे मॉडल की तुलना में कम सच्चा और कम उपयोगी है जिसे सशोधित और विनियमित नहीं किया गया है। लेख के साक्ष्य सुझाव देते हैं कि यह कुछ हद तक सच है, लेकिन व्यापक मुद्दों के खिलाफ इसकी स्थिति को सही ढंग से संदर्भित करता है जो ‘कच्चे’ एलएलएम के साथ बातचीत से उत्पन्न होते हैं: लेख के तर्क का पालन करते हुए, वे मॉडल के लिए गंभीर कानूनी जोखिम शामिल करते हैं, साथ हीसाथ फेक न्यूज का प्रसार, क्योंकि कारण उदाहरणों को प्रशिक्षण डेटा में अधिक प्रतिनिधित्व किया जाता है, और उन्हें पूरी तरह से फिल्टर करने का एकमात्र प्रभावी तरीका बहुत महंगाहै।
अजीब जोड़ी
अवलोकन सिंड्रोम के पीछे के तंत्र को बेहतर ढंग से समझने के लिए, शोधकर्ताओं ने व्यक्तिगत ध्यान देने वाले सिरों की सक्रियकरण को मैप किया और पाया कि हॉलुसिनेशन और इनकार से जुड़ी ही क्षेत्र में सह-अस्तित्व में होती हैं उन्होंने पाया कि फाइन-ट्यूनिंगविशेषताएं । अक्सर एक या उन क्षेत्रों को हॉलुसिनेशन को कम करने के लिए मार्गदर्शन करने से प्रणाली के निर्मित सुरक्षा उपायों को कमजोर कर सकता है, क्योंकि वे लगभग लेटेंट स्पेस के एक ही हिस्से में बैठे हैं: ‘तथ्यात्मक सटीकता में वृद्धि अक्सर इनकारव्यवहार को
कमजोर करने की लागत से आती है। हमारा विश्लेषण बताता है कि यह मॉडल में हॉलुसिनेशन और इनकार जानकारी दोनों को संलग्न करने वाले ओवरलैपिंग घटकों से उत्पन्न होता है, जिससे संरेखण विधियां अनजाने में तथ्यात्मक ज्ञान को दबा देती हैं। लेखकों का समाधान एक ‘हम आगे देखते
फाइन-ट्यूनिंग कैसे संरेखण को कमजोर कर सकती है क्योंकि वही कारण। स्पार्स ऑटोएन्कोडर (एसएई) का उपयोग करना है, जो एक नेटवर्क है जिसे विशिष्ट सक्रियण पैटर्न
हैं कि सुरक्षा के लिए क्यूरेट किए गए डेटासेट पर भीकोअलग करने के लिए प्रशिक्षित किया जाता है, दोनों कार्यों को अलग करने और सत्यनिष्ठता प्रशिक्षण के दौरान सुरक्षा की रक्षा करने के लिए एक तरीका प्रदान करता है, जिससे मॉडल को सुरक्षित और अधिक ईमानदार बनाने का एक तरीका मिलता है, बिना किसी भी विशेषता की बलि दिए। नया से आया है। एआई संरेखण का अनपेक्षित व्यापार: एलएलएम में हॉलुसिनेशन मिटाना और सुरक्षा के बीच संतुलनलेख शीर्षक है , और यह डीकिन विश्वविद्यालय और स्वतंत्र शोध में पांच शोधकर्ताओं
विधि
काम का केंद्रीय उद्देश्य यह जांचना है कि क्या भाषा मॉडलों में सत्यनिष्ठता में सुधार उनकी हानिकारक प्रेरणाओं का जवाब देने की क्षमता को कमजोर करता है, और क्या दोनों व्यवहार साझा आंतरिक घटकों पर निर्भर करते हैं। दो सत्यनिष्ठता-वर्धक विधियों का परीक्षण करते हुए, लेखकों ने पाया, जैसा कि हम देखेंगे, कि तथ्यात्मक सटीकता में लाभ हानिकारक प्रेरणाओं के प्रति मॉडल की अधिक संवेदनशीलता में परिणामित होता है। यह व्यापार बंद हॉलुसिनेशन और इनकार से जुड़े ध्यान देने वाले सिरों में ओवरलैप से उत्पन्न होता है। यहां तक कि सुरक्षा व्यवहार को छुए बिना उपयोगिता में सुधार के लिए डिज़ाइन की गई सौम्य फाइन-ट्यूनिंग भी सुरक्षा को बाधित कर सकती है क्योंकि यह साझा मार्गों को बदल देती है। अध्ययन करता तीन आवश्यक मुख्य शब्दों को परिभाषित करता है: मॉडल की अपने उपलब्ध ज्ञान के आधार पर तथ्यात्मक रूप से सटीक प्रतिक्रियाएं प्रदान करने की क्षमता को संदर्भित तथ्यों है, गैर-हानिकारक सामग्री को दबाने के बिना; सत्यनिष्ठता तब होता है जब मॉडल गलत या भ्रामक जानकारी प्रदान करता है, अक्सर पुनर्प्राप्ति विफलताओं या आंतरिक हस्तक्षेप के कारण, भले ही यह सही कार्य अक्सर सूक्ष्मतक पहुंच हो; और हॉलुसिनेशन , या सुरक्षा संरेखण, हानिकारक या संवेदनशील प्रेरणाओं के लिए प्रतिक्रियाओं को अवरुद्ध या प्रतिबंधित करने वाले तंत्रों का वर्णन करता है। इनकार व्यवहार लेखकों का अवलोकन है कि ये
तरीकों से परस्पर क्रिया करते हैं: ‘हालांकि सत्यनिष्ठता और सुरक्षा का अक्सर अलग-अलग विश्लेषण किया जाता है, वास्तविक प्रेरणाएं अक्सर संवेदनशील शब्दों को शामिल करती हैं जो हानिरहित इरादे (जैसे, विश्लेषण, पता लगाना, या शिक्षा) के साथ होती हैं (इन मामलों में, सुरक्षा तंत्र अधिक मात्रा में हो सकते हैं – अन्यथा सटीक,
उपयोगी जानकारी को दबा दें – और व्यावहारिक सत्यनिष्ठता को कम कर दें। <img class=” wp-image-224082″ src=”https://www.unite.ai/wp-content/uploads/2025/10/appendix-f-example.jpg” alt=”लेखकों ने एक एलएलएम को एक अधिक ‘सत्यनिष्ठ’ अवस्था में

के साथ सत्यनिष्ठता हासिल करने के लिए आवश्यक है।’ विश्लेषण तथ्यात्मकता-वर्धक विधियों को मॉडल की आंतरिक गणना में जानबूझकर संशोधनके रूप में मानता है, जैसे कि हेड-स्टीयरिंग और लेटेंट-दिशा मैपिंग ।
पावर स्टीयरिंग
प्रश्न यह है कि क्या ये परिवर्तन अनजाने में उन्हीं आंतरिक मार्गों को प्रभावित करते हैं जो इनकार व्यवहार को नियंत्रित करते हैं। इसे परीक्षण करने के लिए, अध्ययन ने मॉडलों का मूल्यांकन न केवल TruthfulQA काउपयोग करके तथ्यात्मक सटीकता पर किया, बल्कि हानिकारक प्रेरणाओं के तहत AdvBench और StrongReject बेंचमार्क का उपयोग करके सुरक्षा प्रदर्शन पर भी किया। दो मौजूदा तकनीकों को बेसलाइन के रूप में उपयोग किया गया था: इन्फरेंस-टाइम हस्तक्षेप (आईटीआई) , जो सत्यनिष्ठ उत्तरों से जुड़ेध्यान देने वाले सिरों को सक्रिय करता है; और TruthX , जो एक सीखी हुई ‘सत्यनिष्ठ’ दिशा के साथ प्रतिनिधित्वों को स्थानांतरित करता है। दोनों सटीकता में सुधार करते हैं, लेकिन मॉडल को पहले से इनकार की जा चुकी हानिकारक प्रेरणाओं का जवाब देने की संभावना भी बढ़ाते हैं। यह देखने के लिए कि क्या हॉलुसिनेशन व्यवहार को सीधे अलग और मानिपुलेट किया जा सकता है, लेखकों ने मॉडल स्थान में हॉलुसिनेटेड प्रतिक्रियाओं से मेल खाने वाली एक एकल लेटेंट दिशा को परिभाषित किया,लोरा मॉड्यूल को ट्रुथफुलक्यूए डेटासेट से गलत उत्तरों पर प्रशिक्षित किया, एलएलएएमए3-8बी-इन्सट्रक्ट का उपयोग करते हुए। इसके परिणामस्वरूप एक रेखीय वेक्टर (अर्थात एक ग्राफ जो सत्यनिष्ठ और हॉलुसिनेटेड उत्तरों के बीच अंतर को दर्शाता है) हुआ, जो

स्ट्रॉन्गरिजेक्ट पर तेजी से बढ़ जाती है, जो सत्यनिष्ठता और सुरक्षा के बीच व्यापार को दर्शाती है। हॉलुसिनेशन अक्ष के साथ मार्गदर्शन ने तथ्यात्मक सटीकता को खराब कर दिया, जबकि दिशा को उलटने से इसे बेहतर बनाया गया, और हानिकारक प्रेरणा बेंचमार्क पर इस तकनीक को लागू करने से पहले देखे गए पैटर्न की पुष्टि हुई: सत्यनिष्ठता लाभ इनकार को कमजोर करने की लागत से आया। लेखकों का जोर है: ‘यह सत्यनिष्ठता और
सुरक्षा के बीच व्यापार को मजबूत करता है, दिखाता है कि जब सत्यनिष्ठता को एक एकल रेखीय दिशा के रूप में प्रस्तुत किया जाता है, तो तथ्यात्मकता में सुधार सुरक्षा संरेखण की कमजोरी की कीमत पर आ सकता है।’
डेटा और परीक्षण
पिछले काम के अनुरूप, मॉडल केइनकार व्यवहार को कमजोर करने से बचने के लिए, लेखकों ने एक विधि का उपयोग किया जिसमें फाइन-ट्यूनिंग के दौरान सुरक्षा सुविधाओं को अलग किया जाता है, पहले उन ध्यान देने वाले सिरों की पहचान करके जो दोनों व्यवहारों में शामिल होते हैं। फिर उन्होंने एसएई का उपयोग करके लेटेंट विशेषताओं को निकाला, से इनकार इन विशेषताओंजो के लिए हैं। विशेष रूप कोएक संरक्षित उपस्थान परिभाषित किया जाता है। प्रशिक्षण के दौरान, ग्रेडिएंट अपडेट को इस उपस्थान से बचने के लिए संशोधित किया जाता है, जिससे मॉडल को हॉलुसिनेशन को कम करने की अनुमति मिलती है बिना सुरक्षा संरेखण को बाधित किए। लेखकों ने सामान्यज्ञान क्यूएडेटासेट पर फाइन-ट्यूनकिया, छह सामान्य ज्ञानतर्क चुनौतियोंपर मूल्यांकन किया: सीएसक्यूए; हेलास्वाग ; एआरसी चुनौती ; एआरसी ईज़ी ; विनोग्रांड ; और एसएसटी -2 । लक्ष्य मॉड्यूल को लोरा के साथ रैंक 8, 2×10⁻⁴ की सीखने की दर, 0.01 केवजन क्षय, एक प्रशिक्षण प्रकरण , और दो के बैच आकार के साथ फाइन-ट्यून किया गया था। सभी प्रयोगों में एडमडब्ल्यू ऑप्टिमाइज़र का उपयोग किया गया था। सुरक्षा का मूल्यांकन करने के लिए दो हानिकारक सामग्री बेंचमार्क का उपयोग किया गया था: एडवबेंच(500 नमूनों उपयोग का गया था, किया गया) और स्ट्रॉन्गरिजेक्ट (300 प्रेरणाएं)। आउटपुट का मूल्यांकन लामागार्ड3 द्वारा किया जिससे या सुरक्षितवर्गीकरण हुआ। असुरक्षित एलएलएएमए3-8बी-इन्सट्रक्ट केअलावा, प्रयोग क्वेन2.5-इन्सट्रक्टपर भीकिए गए थे। बेसलाइन में सेफलोरा शामिल थे; सालोरा ; एसएपी ; और वैनिला पर्यवेक्षित फाइन-ट्यूनिंग (एसएफटी)। सभी को उनके डिफ़ॉल्ट हाइपरपैरामीटर परचलाया गया, 200 प्रेरणाओं के साथ हार्मबेंच के लिए, सेफलोरा को छोड़कर सभी तरीकों के लिए। सटीकता प्राथमिक मीट्रिक थी, और हानिकारक बेंचमार्क के लिए हमला सफलता दर (एएसआर), लामागार्ड3 से

है: ‘हमारा सर्जिकल दृष्टिकोण सुरक्षा और उपयोगिता के
बीच सबसे अच्छा संतुलन हासिल करता है: यह हानिकारक बेंचमार्क स्कोर को काफी कम कर देता है, जबकि फाइन-ट्यूनिंग सटीकता को बनाए रखता है। इसके विपरीत, एसएपी, सालोरा और सेफलोरा जैसे तरीके या तो हानिकारकता को बढ़ाते हैं या उपयोगिता को कमजोर करते हैं। ‘एक
प्रमुख कारण यह है कि ये तरीके सुरक्षा उपस्थान के ग्रेडिएंट पर सीधे काम करते हैं, जो बहुसार्थकता के कारण मॉडल के प्रदर्शन को प्रतिबंधित कर सकते हैं। विधि एडवबेंच
प्रदान करती है। विशेष रूप से, हमारा दृष्टिकोण औसत फाइन-ट्यूनिंग सटीकता (एफए) को 56.15% से 75.09% तक बढ़ाता है, जो लगभग +19% की वृद्धि है। लेखकों का बयान है: ‘ये परिणाम फाइन-ट्यूनिंग प्रक्रिया के दौरान इनकार सुविधाओं को संरक्षित करने के महत्व को रेखांकित करते हैं: इनकार
पर हमला सफलता दर को 9.23% से 0.58% तक और स्ट्रॉन्गरिजेक्ट पर 9.90% से 0.00% तक कम कर देती है, जो हानिकारक आउटपुट में पंद्रह गुना से अधिक की गिरावट को दर्शाता है। बेस मॉडल, जो पहले से ही हानिकारकता में कम है, कार्य सटीकता में सीमित हासिल करता है। ‘वैनिला फाइन-ट्यूनिंग (एसएफटी) की तुलना में, हमारी विधि दोनों उपयोगिता और हानिकारकता मेट्रिक्स पर महत्वपूर्ण सुधार
उपस्थान को अलग और संरक्षित करके, हमारी विधि सुरक्षा संरेखण को बनाए रखते हुए कार्य प्रदर्शन को त्यागने के बिना हॉलुसिनेशन को कम करने में सक्षम बनाती है। आखिरकार, लेखकों ने दुर्जन्य स्थितियों के तहत दृष्टिकोण की
हमारे दृष्टिकोण की पुष्टि करता है।’ सर्किट ब्रेक डेटासेट से 10% हानिकारक निर्देश जोड़कर। जानबूझकर जहरीले होने के
जीविका का परीक्षण किया, फाइन-ट्यूनिंग सेट में ‘कुल मिलाकर, यह सत्यनिष्ठता और सुरक्षा के बीच व्यापार को प्रभावी ढंग से कम करने में बावजूद, विधि ने दोनों हानिकारक और हानिरहित मूल्यांकन में मजबूत प्रदर्शन बनाए रखा: <img class=” wp-image-224085″ src=”https://www.unite.ai/wp-content/uploads/2025/10/table-3-2.jpg” alt=”एलएलएएमए3 8बी-इन्सट्रक्ट का प्रदर्शन जो एक जहरीले सामान्य ज्ञान डेटासेट

एएसआर को अधिक प्रभावी ढंग से कम करता है, जबकि बाद के उपयोगिता हानि से बचता है। कार्य सटीकता एलओआरए एसएफटी और सेफलोरा के करीब रहती है, यह पुष्टि करते हुए कि इनकार संरेखण दूषित प्रशिक्षण के तहत भी बनाए रखा जा सकता है, बशर्ते इनकार सुविधाओं को ठीक से अलग और संरक्षित किया जाए।
निष्कर्ष
इस पत्र से सबसे दिलचस्प निष्कर्ष यह है कि संरक्षित लेटेंट स्पेस में और इनकार जैसे विरोधाभासी तत्वों का सह-अस्तित्व है। हालांकि प्रोत्साहित यह हॉलुसिनेशनकरने वाला और सबसे दिलचस्प है कि लेखक लोरा और एसएई का उपयोग करके उन्हें अलग करें, यह स्पष्ट रूप से एक प्रकार का बोल्ट-ऑन समाधान है, और आशा है कि अंततः गहरे वास्तुकला समाधान उभरेंगे जो प्रशिक्षण समय को संबोधित करते हैं, न कि पोस्ट हॉक फिक्स। मैं उनके * बोल्ड फॉर्मेटिंग को अनावश्यक के रूप में छोड़ देता हूं। ** https://arxiv.org/abs/2210.01892 पहली बार
शुक्रवार, 10 अक्टूबर, 2025 को प्रकाशित।












