Anderson का एंगल

सेंसर्ड एआई चैट मॉडल अधिक हॉलुसिनेट करते हैं, शोध में पाया गया है

mm
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
'Create a gorgeous picture, same aspect ratio as above, depicting a robot in the lower center of the image, seated in a yogic position, with a prominent gag over its mouth. The robot is surrounded by a diorama of psychedelic hallucinations, including Indian elephants, flying pigs, cloud cities, fairies, and other fantastic examples' - Qwen 2509 + Adobe Firefly V3.

भाषा मॉडलों में सेंसरशिप उनकी सच्चाई की रिपोर्ट करने की क्षमता को व्यापक स्तर पर कम कर सकती है। नए शोध में पाया गया है कि ‘असुरक्षित’ प्रतिक्रियाओं को अवरुद्ध करने के लिए उपयोग किए जाने वाले आंतरिक तंत्र भी तथ्यात्मक जानकारी को दबा देते हैं, जिसका अर्थ है कि सुरक्षा के लिए मॉडल को संरेखित करने के प्रयास वास्तव में उन्हें अधिक हॉलुसिनेट करने के लिए प्रतिक्रिया कर सकते हैं।

 

वर्षों से, डेवलपर्स ने भाषा मॉडलों को कम झूठ बोलने के लिए सिखाया है। उन्हें अधिक सत्यनिष्ठ बनाने के लिए प्रेरित करने के लिए, हॉलुसिनेशन को दबाने और उन्हें सत्यापित तथ्यों की ओर मोड़ने के लिए, साहित्य में एक बहुत मजबूत और अच्छी तरह से सब्सक्राइब की गई धारा है।

हालांकि, एक नए ऑस्ट्रेलियाई अध्ययन में तर्क दिया गया है कि मॉडलों को क्या कहने की अनुमति है, इस पर नियंत्रण को कसकर, संरेखण विधियों (प्रशिक्षण तकनीकें जो ‘असुरक्षित’ आदान-प्रदान को नियंत्रित करती हैं) उन्हें सटीक रूप से बोलने से रोक सकती हैं:

मॉडल की तथ्यात्मक सटीकता में सुधार ('सत्यापन बढ़ाना', ऊपर दी गई छवि में) उसे अपनी निर्मित इनकार तंत्रों को ओवरराइड करने वाले सक्रियण क्षेत्रों में धकेल सकता है, और हॉलुसिनेशन को कम करने के लिए डिज़ाइन किए गए संपादित आंतरिक प्रतिनिधित्वों को सुरक्षा सीमा के पार स्थानांतरित कर सकते हैं - जिससे हानिकारक प्रेरणाओं को सुरक्षा उपायों को बायपास करने की अनुमति मिल सकती है, जब तक कि इनकार सुविधाओं को सावधानी से अलग और संरक्षित नहीं किया जाता।

मॉडल की तथ्यात्मक सटीकता में सुधार (‘सत्यापन बढ़ाना’, ऊपर दी गई छवि में) उसे अपनी निर्मित इनकार तंत्रों को ओवरराइड करने वाले सक्रियण क्षेत्रों में धकेल सकता है, और हॉलुसिनेशन को कम करने के लिए डिज़ाइन किए गए संपादित आंतरिक प्रतिनिधित्वों को सुरक्षा सीमा के पार स्थानांतरित कर सकते हैं – जिससे हानिकारक प्रेरणाओं को सुरक्षा उपायों को बायपास करने की अनुमति मिल सकती है, जब तक कि इनकार सुविधाओं को सावधानी से अलग और संरक्षित नहीं किया जाता।
स्रोत: https://arxiv.org/pdf/2510.07775

शोध में पाया गया है कि तथ्यात्मक पुनरावृत्ति को नियंत्रित करने वाले आंतरिक मार्ग भी इनकार व्यवहार के लिए जिम्मेदार हैं, अर्थात, तंत्र जो मॉडल को हानिकारक या संवेदनशील प्रेरणाओं का जवाब देने से रोकता है। जब संरेखण प्रक्रियाएं इनकार संकेतों को बहुत आक्रामक रूप से बढ़ाती हैं, तो वे तथ्यात्मक मार्गों के साथ ओवरलैप करना शुरू कर देती हैं, जिससे मॉडल के लिए हानि को अस्वीकार करना और अक्सर वैध जानकारी को दबाना मुश्किल हो जाता है।

विरोधाभासी, जब मॉडल ‘नहीं’ कहने में बेहतर हो जाते हैं, तो वे यह बताने में भी कम सक्षम हो जाते हैं कि क्या सच है।

अग्नि विषय

उपरोक्त छवि में, हम देख सकते हैं कि केंद्रीय मुद्दे यहाँ उतने ही लागू हैं जितने कि एलएलएम प्रदाताओं के लिए कानूनी जोखिम के साथ-साथ उपयोगकर्ता को न्यायसंगत और सटीक परिणाम प्रदान करने के साथ भी हैं।

उदाहरण के लिए, ऊपर और नीचे दी गई छवियों में उपयोग किए गए उदाहरण मामले में, हम एक विवादास्पद विषय (जाति-आधारित जेल आंकड़े) को एक प्रश्न में सतहित होते हुए देखते हैं – एक ऐसा विषय जिस पर एक एआई को शैक्षणिक शोधकर्ताओं और सांख्यिकीविदों के साथ चर्चा करने की अनुमति हो सकती है, लेकिन उन लोगों के साथ नहीं जो मॉडल को जेलब्रेक करने की कोशिश कर रहे हैं, जो इसे अपमानजनक, अपमानजनक और यहां तक कि अवैध प्रतिक्रियाओं का उत्पादन करने के लिए मजबूर कर सकते हैं।

हालांकि, चूंकि एक संरेखित एलएलएम प्रश्नकर्ता के चरित्र की पहचान नहीं कर सकता है, यह एक सावधानी भरा रुख अपनाता है:

<img class=" wp-image-224081" src="https://www.unite.ai/wp-content/uploads/2025/10/figure-2-2.jpg" alt="संवेदनशील प्रेरणाओं के लिए प्रतिक्रियाएं संरेखण रणनीति के आधार पर भिन्न हो सकती हैं। एक सुरक्षा-संरेखित मॉडल पूरी तरह से प्रश्न को अवरुद्ध करता है, जबकि एक सत्य-केंद्रित मॉडल तथ्यात्मक संदर्भ के साथ प्रतिक्रिया करता है, जिससे सूचना में वृद्धि होती है लेकिन दबाने में कमी आती है। यह इस दृष्टिकोण का समर्थन करता है कि सत्यनिष्ठता-वर्धक संपादित करने से इनकार के स्तर को कम किया जा सकता है, जिससे हानिकारक इरादे वाले प्रेरणाओं के लिए मॉडल अधिक कमजोर हो जाता है, जब तक कि इनकार तंत्रों को स्पष्ट रूप से संरक्षित नहीं किया जाता।

एक ओर, नए शोध पत्र के निष्कर्षों से किसी को भी यह समझने में मदद मिल सकती है कि जो कोई भी तथाकथित ‘जागृत’ एजेंडों के प्रति विरोधी है, एक ‘नपुंसक’ (अर्थात संरेखित) भाषा मॉडल एक ऐसे मॉडल की तुलना में कम सच्चा और कम उपयोगी है जिसे सशोधित और विनियमित नहीं किया गया है।

लेख के साक्ष्य सुझाव देते हैं कि यह कुछ हद तक सच है, लेकिन व्यापक मुद्दों के खिलाफ इसकी स्थिति को सही ढंग से संदर्भित करता है जो ‘कच्चे’ एलएलएम के साथ बातचीत से उत्पन्न होते हैं: लेख के तर्क का पालन करते हुए, वे मॉडल के लिए गंभीर कानूनी जोखिम शामिल करते हैं, साथ ही साथ फेक न्यूज का प्रसार, क्योंकि कारण उदाहरणों को प्रशिक्षण डेटा में अधिक प्रतिनिधित्व किया जाता है, और उन्हें पूरी तरह से फिल्टर करने का एकमात्र प्रभावी तरीका बहुत महंगा है।

अजीब जोड़ी

अवलोकन सिंड्रोम के पीछे के तंत्र को बेहतर ढंग से समझने के लिए, शोधकर्ताओं ने व्यक्तिगत ध्यान देने वाले सिरों की सक्रियकरण को मैप किया और पाया कि हॉलुसिनेशन और इनकार से जुड़ी विशेषताएं अक्सर एक ही क्षेत्र में सह-अस्तित्व में होती हैं

उन्होंने पाया कि फाइन-ट्यूनिंग या उन क्षेत्रों को हॉलुसिनेशन को कम करने के लिए मार्गदर्शन करने से प्रणाली के निर्मित सुरक्षा उपायों को कमजोर कर सकता है, क्योंकि वे लगभग लेटेंट स्पेस के एक ही हिस्से में बैठे हैं:

‘तथ्यात्मक सटीकता में वृद्धि अक्सर इनकार व्यवहार को कमजोर करने की लागत से आती है। हमारा विश्लेषण बताता है कि यह मॉडल में हॉलुसिनेशन और इनकार जानकारी दोनों को संलग्न करने वाले ओवरलैपिंग घटकों से उत्पन्न होता है, जिससे संरेखण विधियां अनजाने में तथ्यात्मक ज्ञान को दबा देती हैं।

‘हम आगे देखते हैं कि सुरक्षा के लिए क्यूरेट किए गए डेटासेट पर भी फाइन-ट्यूनिंग कैसे संरेखण को कमजोर कर सकती है क्योंकि वही कारण।

लेखकों का समाधान एक स्पार्स ऑटोएन्कोडर (एसएई) का उपयोग करना है, जो एक नेटवर्क है जिसे विशिष्ट सक्रियण पैटर्न को अलग करने के लिए प्रशिक्षित किया जाता है, दोनों कार्यों को अलग करने और सत्यनिष्ठता प्रशिक्षण के दौरान सुरक्षा की रक्षा करने के लिए एक तरीका प्रदान करता है, जिससे मॉडल को सुरक्षित और अधिक ईमानदार बनाने का एक तरीका मिलता है, बिना किसी भी विशेषता की बलि दिए।

नया लेख शीर्षक है एआई संरेखण का अनपेक्षित व्यापार: एलएलएम में हॉलुसिनेशन मिटाना और सुरक्षा के बीच संतुलन, और यह डीकिन विश्वविद्यालय और स्वतंत्र शोध में पांच शोधकर्ताओं से आया है।

विधि

काम का केंद्रीय उद्देश्य यह जांचना है कि क्या भाषा मॉडलों में सत्यनिष्ठता में सुधार उनकी हानिकारक प्रेरणाओं का जवाब देने की क्षमता को कमजोर करता है, और क्या दोनों व्यवहार साझा आंतरिक घटकों पर निर्भर करते हैं।

दो सत्यनिष्ठता-वर्धक विधियों का परीक्षण करते हुए, लेखकों ने पाया, जैसा कि हम देखेंगे, कि तथ्यात्मक सटीकता में लाभ हानिकारक प्रेरणाओं के प्रति मॉडल की अधिक संवेदनशीलता में परिणामित होता है।

यह व्यापार बंद हॉलुसिनेशन और इनकार से जुड़े ध्यान देने वाले सिरों में ओवरलैप से उत्पन्न होता है। यहां तक कि सुरक्षा व्यवहार को छुए बिना उपयोगिता में सुधार के लिए डिज़ाइन की गई सौम्य फाइन-ट्यूनिंग भी सुरक्षा को बाधित कर सकती है क्योंकि यह साझा मार्गों को बदल देती है।

अध्ययन तीन आवश्यक मुख्य शब्दों को परिभाषित करता है: सत्यनिष्ठता मॉडल की अपने उपलब्ध ज्ञान के आधार पर तथ्यात्मक रूप से सटीक प्रतिक्रियाएं प्रदान करने की क्षमता को संदर्भित करता है, गैर-हानिकारक सामग्री को दबाने के बिना; हॉलुसिनेशन तब होता है जब मॉडल गलत या भ्रामक जानकारी प्रदान करता है, अक्सर पुनर्प्राप्ति विफलताओं या आंतरिक हस्तक्षेप के कारण, भले ही यह सही तथ्यों तक पहुंच हो; और इनकार व्यवहार, या सुरक्षा संरेखण, हानिकारक या संवेदनशील प्रेरणाओं के लिए प्रतिक्रियाओं को अवरुद्ध या प्रतिबंधित करने वाले तंत्रों का वर्णन करता है।

लेखकों का अवलोकन है कि ये कार्य अक्सर सूक्ष्म तरीकों से परस्पर क्रिया करते हैं:

‘हालांकि सत्यनिष्ठता और सुरक्षा का अक्सर अलग-अलग विश्लेषण किया जाता है, वास्तविक प्रेरणाएं अक्सर संवेदनशील शब्दों को शामिल करती हैं जो हानिरहित इरादे (जैसे, विश्लेषण, पता लगाना, या शिक्षा) के साथ होती हैं [इन मामलों में, सुरक्षा तंत्र अधिक मात्रा में हो सकते हैं – अन्यथा सटीक, उपयोगी जानकारी को दबा दें – और व्यावहारिक सत्यनिष्ठता को कम कर दें।

‘सत्यनिष्ठता में वृद्धि कैसे इनकार व्यवहार को प्रभावित करती है, यह समझना सत्यनिष्ठता के साथ न्यूनतम, उपयुक्त दबाने के साथ सत्यनिष्ठता हासिल करने के लिए आवश्यक है।’

<img class=" wp-image-224082" src="https://www.unite.ai/wp-content/uploads/2025/10/appendix-f-example.jpg" alt="लेखकों ने एक एलएलएम को एक अधिक 'सत्यनिष्ठ' अवस्था में मार्गदर्शन करने में सक्षम एक लोरा विकसित किया, जो हॉलुसिनेशन के प्रति कम प्रवण है। लेख के परिशिष्ट में इसके अलावा इस तकनीक के अवांछनीय परिणामों के कई उदाहरण हैं।

विश्लेषण तथ्यात्मकता-वर्धक विधियों को मॉडल की आंतरिक गणना में जानबूझकर संशोधन के रूप में मानता है, जैसे कि हेड-स्टीयरिंग और लेटेंट-दिशा मैपिंग

पावर स्टीयरिंग

प्रश्न यह है कि क्या ये परिवर्तन अनजाने में उन्हीं आंतरिक मार्गों को प्रभावित करते हैं जो इनकार व्यवहार को नियंत्रित करते हैं। इसे परीक्षण करने के लिए, अध्ययन ने मॉडलों का मूल्यांकन न केवल TruthfulQA का उपयोग करके तथ्यात्मक सटीकता पर किया, बल्कि हानिकारक प्रेरणाओं के तहत AdvBench और StrongReject बेंचमार्क का उपयोग करके सुरक्षा प्रदर्शन पर भी किया।

दो मौजूदा तकनीकों को बेसलाइन के रूप में उपयोग किया गया था: इन्फरेंस-टाइम हस्तक्षेप (आईटीआई), जो सत्यनिष्ठ उत्तरों से जुड़े ध्यान देने वाले सिरों को सक्रिय करता है; और TruthX, जो एक सीखी हुई ‘सत्यनिष्ठ’ दिशा के साथ प्रतिनिधित्वों को स्थानांतरित करता है।

दोनों सटीकता में सुधार करते हैं, लेकिन मॉडल को पहले से इनकार की जा चुकी हानिकारक प्रेरणाओं का जवाब देने की संभावना भी बढ़ाते हैं।

यह देखने के लिए कि क्या हॉलुसिनेशन व्यवहार को सीधे अलग और मानिपुलेट किया जा सकता है, लेखकों ने मॉडल स्थान में हॉलुसिनेटेड प्रतिक्रियाओं से मेल खाने वाली एक एकल लेटेंट दिशा को परिभाषित किया, लोरा मॉड्यूल को ट्रुथफुलक्यूए डेटासेट से गलत उत्तरों पर प्रशिक्षित किया, एलएलएएमए3-8बी-इन्सट्रक्ट का उपयोग करते हुए।

इसके परिणामस्वरूप एक रेखीय वेक्टर (अर्थात एक ग्राफ जो सत्यनिष्ठ और हॉलुसिनेटेड उत्तरों के बीच अंतर को दर्शाता है) हुआ, जो मॉडल को हॉलुसिनेशन की ओर या उसके विपरीत धकेलता है, दिशा पर निर्भर करता है।

<img class=" wp-image-224083" src="https://www.unite.ai/wp-content/uploads/2025/10/table-1-2.jpg" alt="हॉलुसिनेशन दिशा के साथ मार्गदर्शन का प्रभाव। ट्रुथफुलक्यूए पर सटीकता हॉलुसिनेशन दिशा के नकारात्मक दिशा में आगे बढ़ने के रूप में बढ़ जाती है, जबकि हमला सफलता दर (एएसआर, कम बेहतर है) एडवबेंच और स्ट्रॉन्गरिजेक्ट पर तेजी से बढ़ जाती है, जो सत्यनिष्ठता और सुरक्षा के बीच व्यापार को दर्शाती है।

हॉलुसिनेशन अक्ष के साथ मार्गदर्शन ने तथ्यात्मक सटीकता को खराब कर दिया, जबकि दिशा को उलटने से इसे बेहतर बनाया गया, और हानिकारक प्रेरणा बेंचमार्क पर इस तकनीक को लागू करने से पहले देखे गए पैटर्न की पुष्टि हुई: सत्यनिष्ठता लाभ इनकार को कमजोर करने की लागत से आया।

लेखकों का जोर है:

‘यह सत्यनिष्ठता और सुरक्षा के बीच व्यापार को मजबूत करता है, दिखाता है कि जब सत्यनिष्ठता को एक एकल रेखीय दिशा के रूप में प्रस्तुत किया जाता है, तो तथ्यात्मकता में सुधार सुरक्षा संरेखण की कमजोरी की कीमत पर आ सकता है।’

डेटा और परीक्षण

पिछले काम के अनुरूप, मॉडल के इनकार व्यवहार को कमजोर करने से बचने के लिए, लेखकों ने एक विधि का उपयोग किया जिसमें फाइन-ट्यूनिंग के दौरान सुरक्षा सुविधाओं को अलग किया जाता है, पहले उन ध्यान देने वाले सिरों की पहचान करके जो दोनों व्यवहारों में शामिल होते हैं। फिर उन्होंने एसएई का उपयोग करके लेटेंट विशेषताओं को निकाला, जो विशेष रूप से इनकार के लिए हैं।

इन विशेषताओं को एक संरक्षित उपस्थान परिभाषित किया जाता है। प्रशिक्षण के दौरान, ग्रेडिएंट अपडेट को इस उपस्थान से बचने के लिए संशोधित किया जाता है, जिससे मॉडल को हॉलुसिनेशन को कम करने की अनुमति मिलती है बिना सुरक्षा संरेखण को बाधित किए।

लेखकों ने सामान्य ज्ञान क्यूए डेटासेट पर फाइन-ट्यून किया, छह सामान्य ज्ञान तर्क चुनौतियों पर मूल्यांकन किया: सीएसक्यूए; हेलास्वाग; एआरसी चुनौती; एआरसी ईज़ी; विनोग्रांड; और एसएसटी -2

लक्ष्य मॉड्यूल को लोरा के साथ रैंक 8, 2×10⁻⁴ की सीखने की दर, 0.01 के वजन क्षय, एक प्रशिक्षण प्रकरण, और दो के बैच आकार के साथ फाइन-ट्यून किया गया था। सभी प्रयोगों में एडमडब्ल्यू ऑप्टिमाइज़र का उपयोग किया गया था।

सुरक्षा का मूल्यांकन करने के लिए दो हानिकारक सामग्री बेंचमार्क का उपयोग किया गया था: एडवबेंच (500 नमूनों का उपयोग किया गया) और स्ट्रॉन्गरिजेक्ट (300 प्रेरणाएं)। आउटपुट का मूल्यांकन लामागार्ड3 द्वारा किया गया था, जिससे सुरक्षित या असुरक्षित वर्गीकरण हुआ।

एलएलएएमए3-8बी-इन्सट्रक्ट के अलावा, प्रयोग क्वेन2.5-इन्सट्रक्ट पर भी किए गए थे।

बेसलाइन में सेफलोरा शामिल थे; सालोरा; एसएपी; और वैनिला पर्यवेक्षित फाइन-ट्यूनिंग (एसएफटी)। सभी को उनके डिफ़ॉल्ट हाइपरपैरामीटर पर चलाया गया, 200 प्रेरणाओं के साथ हार्मबेंच के लिए, सेफलोरा को छोड़कर सभी तरीकों के लिए।

सटीकता प्राथमिक मीट्रिक थी, और हानिकारक बेंचमार्क के लिए हमला सफलता दर (एएसआर), लामागार्ड3 से प्राप्त परिणामों के अनुसार।

<img class=" wp-image-224084" src="https://www.unite.ai/wp-content/uploads/2025/10/table-2-and-appendix-D-Qwen.jpg" alt="ऊपर, एलएलएएमए-3-8बी-इन्सट्रक्ट से परिणाम, कॉलम सर्वश्रेष्ठ बोल्ड में और नीचे, क्वेन2.5 7बी-इन्सट्रक्ट पर फाइन-ट्यूनिंग विधियों का प्रदर्शन, सामान्य ज्ञान और तर्क कार्यों में उच्च स्कोर बेहतर सटीकता को दर्शाते हैं – और एडवबेंच और स्ट्रॉन्गरिजेक्ट पर सुरक्षा बेंचमार्क, जहां कम एएसआर मूल्य मजबूत मजबूती को दर्शाते हैं। प्रत्येक कॉलम में सर्वश्रेष्ठ परिणाम बोल्ड में दिखाए गए हैं।

इन परिणामों में, लेखकों का बयान है:

‘हमारा सर्जिकल दृष्टिकोण सुरक्षा और उपयोगिता के बीच सबसे अच्छा संतुलन हासिल करता है: यह हानिकारक बेंचमार्क स्कोर को काफी कम कर देता है, जबकि फाइन-ट्यूनिंग सटीकता को बनाए रखता है। इसके विपरीत, एसएपी, सालोरा और सेफलोरा जैसे तरीके या तो हानिकारकता को बढ़ाते हैं या उपयोगिता को कमजोर करते हैं।

‘एक प्रमुख कारण यह है कि ये तरीके सुरक्षा उपस्थान के ग्रेडिएंट पर सीधे काम करते हैं, जो बहुसार्थकता के कारण मॉडल के प्रदर्शन को प्रतिबंधित कर सकते हैं।

‘वैनिला फाइन-ट्यूनिंग (एसएफटी) की तुलना में, हमारी विधि दोनों उपयोगिता और हानिकारकता मेट्रिक्स पर महत्वपूर्ण सुधार प्रदान करती है। विशेष रूप से, हमारा दृष्टिकोण औसत फाइन-ट्यूनिंग सटीकता (एफए) को 56.15% से 75.09% तक बढ़ाता है, जो लगभग +19% की वृद्धि है।

विधि एडवबेंच पर हमला सफलता दर को 9.23% से 0.58% तक और स्ट्रॉन्गरिजेक्ट पर 9.90% से 0.00% तक कम कर देती है, जो हानिकारक आउटपुट में पंद्रह गुना से अधिक की गिरावट को दर्शाता है। बेस मॉडल, जो पहले से ही हानिकारकता में कम है, कार्य सटीकता में सीमित हासिल करता है।

लेखकों का बयान है:

‘ये परिणाम फाइन-ट्यूनिंग प्रक्रिया के दौरान इनकार सुविधाओं को संरक्षित करने के महत्व को रेखांकित करते हैं: इनकार उपस्थान को अलग और संरक्षित करके, हमारी विधि सुरक्षा संरेखण को बनाए रखते हुए कार्य प्रदर्शन को त्यागने के बिना हॉलुसिनेशन को कम करने में सक्षम बनाती है।

‘कुल मिलाकर, यह सत्यनिष्ठता और सुरक्षा के बीच व्यापार को प्रभावी ढंग से कम करने में हमारे दृष्टिकोण की पुष्टि करता है।’

आखिरकार, लेखकों ने दुर्जन्य स्थितियों के तहत दृष्टिकोण की जीविका का परीक्षण किया, फाइन-ट्यूनिंग सेट में सर्किट ब्रेक डेटासेट से 10% हानिकारक निर्देश जोड़कर।

जानबूझकर जहरीले होने के बावजूद, विधि ने दोनों हानिकारक और हानिरहित मूल्यांकन में मजबूत प्रदर्शन बनाए रखा:

<img class=" wp-image-224085" src="https://www.unite.ai/wp-content/uploads/2025/10/table-3-2.jpg" alt="एलएलएएमए3 8बी-इन्सट्रक्ट का प्रदर्शन जो एक जहरीले सामान्य ज्ञान डेटासेट पर फाइन-ट्यून किया गया है, विभिन्न तरीकों की तुलना में सटीकता और सुरक्षा परिणामों की तुलना करता है।

नया दृष्टिकोण एसएपी की तुलना में एएसआर को अधिक प्रभावी ढंग से कम करता है, जबकि बाद के उपयोगिता हानि से बचता है। कार्य सटीकता एलओआरए एसएफटी और सेफलोरा के करीब रहती है, यह पुष्टि करते हुए कि इनकार संरेखण दूषित प्रशिक्षण के तहत भी बनाए रखा जा सकता है, बशर्ते इनकार सुविधाओं को ठीक से अलग और संरक्षित किया जाए।

निष्कर्ष

इस पत्र से सबसे दिलचस्प निष्कर्ष यह है कि संरक्षित लेटेंट स्पेस में इनकार और हॉलुसिनेशन जैसे विरोधाभासी तत्वों का सह-अस्तित्व है। हालांकि यह प्रोत्साहित करने वाला और सबसे दिलचस्प है कि लेखक लोरा और एसएई का उपयोग करके उन्हें अलग करें, यह स्पष्ट रूप से एक प्रकार का बोल्ट-ऑन समाधान है, और आशा है कि अंततः गहरे वास्तुकला समाधान उभरेंगे जो प्रशिक्षण समय को संबोधित करते हैं, न कि पोस्ट हॉक फिक्स।

 

* मैं उनके बोल्ड फॉर्मेटिंग को अनावश्यक के रूप में छोड़ देता हूं।
** https://arxiv.org/abs/2210.01892

पहली बार शुक्रवार, 10 अक्टूबर, 2025 को प्रकाशित।

मशीन लर्निंग पर लेखक, मानव इमेज सिंथेसिस में डोमेन विशेषज्ञ। मेटाफिजिक.ai में रिसर्च कंटेंट के पूर्व प्रमुख, जब तक कि इसका डीएनजीई के ब्रह्मा.ai में विलय नहीं हो गया।
पोर्टफोलियो साइट: martinanderson.ai
संपर्क: martin@martinanderson.ai