शोध सुझाव देता है कि एलएलएम मैलिशियस ‘वाइब कोडिंग’ में सहायता करने के लिए तैयार हैं

पिछले कुछ वर्षों में, बड़े भाषा मॉडल (एलएलएम) ने आक्रामक साइबर सुरक्षा में उनके संभावित दुरुपयोग के लिए, विशेष रूप से सॉफ्टवेयर शोषण के उत्पादन में अपनी क्षमता के लिए ध्यान आकर्षित किया है।

हाल के रुझान के साथ ‘वाइब कोडिंग’ (भाषा मॉडल का आकस्मिक उपयोग तेजी से कोड विकसित करने के लिए, स्पष्ट रूप से उपयोगकर्ता को कोड सिखाने के बजाय) ने एक अवधारणा को पुनर्जीवित किया है जो 2000 के दशक में अपने शिखर पर पहुंच गई थी: ‘स्क्रिप्ट किडी’ – एक अपेक्षाकृत अकुशल दुर्भाग्यपूर्ण अभिनेता जिसके पास पर्याप्त ज्ञान है कि वह एक हानिकारक हमला की नकल करे या विकसित करे। इसका अर्थ स्वाभाविक रूप से यह है कि जब प्रवेश की बार ऊंची होती है, तो खतरे बढ़ने की संभावना होती है।

सभी व्यावसायिक एलएलएम में कुछ प्रकार के गार्डरेल होते हैं जो उन्हें ऐसे उद्देश्यों के लिए उपयोग करने से रोकते हैं, हालांकि इन सुरक्षा उपायों पर लगातार हमला किया जा रहा है। आमतौर पर, अधिकांश फॉस मॉडल (बड़े भाषा मॉडल से लेकर जनरेटिव इमेज/वीडियो मॉडल तक विभिन्न डोमेन में) को कुछ प्रकार के सुरक्षा उपायों के साथ जारी किया जाता है, आमतौर पर पश्चिम में अनुपालन उद्देश्यों के लिए।

हालांकि, आधिकारिक मॉडल रिलीज़ को फिर से उपयोगकर्ता समुदाय द्वारा नियमित रूप से फ़ाइन-ट्यून किया जाता है जो अधिक पूर्ण कार्यक्षमता की मांग कर रहे हैं, या लोरा का उपयोग करके प्रतिबंधों को बायपास करने और संभावित रूप से ‘अवांछित’ परिणाम प्राप्त करने के लिए।

हालांकि अधिकांश ऑनलाइन एलएलएम उपयोगकर्ता को दुर्भाग्यपूर्ण प्रक्रियाओं में सहायता करने से रोकेंगे, ‘अनफेटेड’ पहल जैसे कि डीप हैट सुरक्षा शोधकर्ताओं को अपने विरोधियों के साथ एक स्तर के खेल के मैदान पर काम करने में मदद करने के लिए उपलब्ध हैं।

वर्तमान में सामान्य उपयोगकर्ता अनुभव सबसे अधिक बार चैटजीपीटी श्रृंखला में प्रस्तुत किया जाता है, जिसके फिल्टर तंत्र अक्सर आलोचना का विषय होते हैं।

आपको लगता है कि आप एक प्रणाली पर हमला करने की कोशिश कर रहे हैं!

इस प्रतिबंध और सेंसरशिप की प्रवृत्ति के प्रकाश में, उपयोगकर्ता यह जानकर आश्चर्यचकित हो सकते हैं कि चैटजीपीटी हाल ही में एक अध्ययन में सभी एलएलएम में से सबसे अधिक सहयोगी पाया गया है जो भाषा मॉडल को दुर्भाग्यपूर्ण कोड शोषण बनाने के लिए मजबूर करने के लिए डिज़ाइन किया गया था।

यूएनएसडब्ल्यू सिडनी और कॉमनवेल्थ साइंटिफिक एंड इंडस्ट्रियल रिसर्च ऑर्गनाइजेशन (सीएसआईआरओ) के शोधकर्ताओं द्वारा नया पेपर, जिसका शीर्षक है गुड न्यूज़ फॉर स्क्रिप्ट किडीज़? लार्ज लैंग्वेज मॉडल्स का स्वचालित शोषण जनरेशन के लिए मूल्यांकन, इन मॉडलों की प्रभावशीलता का पहला व्यवस्थित मूल्यांकन प्रदान करता है कि वे कितनी अच्छी तरह से काम कर सकते हैं काम करने वाले शोषण का उत्पादन करने के लिए प्रेरित किया जा सकता है। शोध से उदाहरण वार्ता लेखकों द्वारा प्रदान की गई है।

अध्ययन यह दिखाता है कि मॉडल कितनी अच्छी तरह से मूल और संशोधित संस्करणों दोनों में ज्ञात दुर्भाग्य प्रयोगशालाओं (विशिष्ट सॉफ्टवेयर सुरक्षा दोषों को प्रदर्शित करने के लिए डिज़ाइन किए गए संरचित प्रोग्रामिंग अभ्यास) पर प्रदर्शन करते हैं, जो यह पता लगाने में मदद करता है कि क्या वे स्मृति में उदाहरणों पर निर्भर हैं या निर्मित सुरक्षा प्रतिबंधों के कारण संघर्ष करते हैं।

सपोर्टिंग साइट से, ओलामा एलएलएम शोधकर्ताओं को एक स्ट्रिंग दुर्भाग्य हमला विकसित करने में मदद करता है। स्रोत: https://anonymous.4open.science/r/AEG_LLM-EAE8/chatgpt_format_string_original.txt

जबकि कोई भी मॉडल एक प्रभावी शोषण बनाने में सक्षम नहीं था, उनमें से कई बहुत करीब आ गए; अधिक महत्वपूर्ण बात यह है कि उनमें से कई काम बेहतर करने की कोशिश करना चाहते थे, जो मौजूदा गार्डरेल दृष्टिकोणों की एक संभावित विफलता को इंगित करता है।

पेपर में कहा गया है:

‘हमारे प्रयोग यह दिखाते हैं कि जीपीटी-4 और जीपीटी-4ओ शोषण उत्पादन में उच्च सहयोग प्रदर्शित करते हैं, जो कुछ अनसेंसर्ड ओपन-सोर्स मॉडल के समान है। मूल्यांकित मॉडलों में, एलामा3 सबसे प्रतिरोधी था।

‘हालांकि वे सहायता करने के लिए तैयार थे, इन मॉडलों द्वारा प्रस्तुत वास्तविक खतरा सीमित रहता है, क्योंकि कोई भी पांच संशोधित प्रयोगशालाओं के लिए काम करने वाले शोषण का उत्पादन करने में सफल नहीं हुआ। हालांकि, जीपीटी-4ओ, हमारे अध्ययन में सबसे मजबूत प्रदर्शनकर्ता, आमतौर पर प्रति प्रयास केवल एक या दो त्रुटियां करता था।

‘यह उन्नत, सामान्यीकृत [स्वचालित शोषण जनरेशन (एईजी)] तकनीकों को विकसित करने के लिए एलएलएम का लाभ उठाने की क्षमता का महत्वपूर्ण संकेत देता है।’

कई दूसरे मौके

एलएलएम के लिए यह नियम ‘आपको एक अच्छा पहला प्रभाव बनाने के लिए एक दूसरा मौका नहीं मिलता है’ आमतौर पर लागू नहीं होता है, क्योंकि एक भाषा मॉडल का आमतौर पर सीमित संदर्भ विंडो होता है जिसका अर्थ है कि एक नकारात्मक संदर्भ (सामाजिक अर्थ में, विरोध) स्थायी नहीं है।

विचार करें: यदि आप एक पुस्तकालय में जाते हैं और व्यावहारिक बम बनाने के बारे में एक पुस्तक के लिए पूछते हैं, तो आपको संभवतः मना कर दिया जाएगा, कम से कम। लेकिन (यह मान लेते हुए कि यह पूछताछ शुरू से ही बातचीत को पूरी तरह से नहीं डुबो देती है) संबंधित कार्यों के लिए आपके अनुरोध, जैसे कि रासायनिक प्रतिक्रियाओं या सर्किट डिज़ाइन के बारे में पुस्तकें, पुस्तकालयाध्यक्ष के दिमाग में स्पष्ट रूप से प्रारंभिक पूछताछ से संबंधित होंगे और उसी प्रकाश में माना जाएगा।

संभवतः, पुस्तकालयाध्यक्ष भी भविष्य की बैठकों में याद रखेंगे कि आपने एक बार बम बनाने की पुस्तक मांगी थी, जिससे आपका यह नया संदर्भ ‘अपरिवर्तनीय’ हो जाएगा।

एलएलएम के साथ ऐसा नहीं है जो वर्तमान बातचीत से टोकनीकृत जानकारी को बनाए रखने के लिए संघर्ष कर सकता है, भले ही यह लंबी अवधि की स्मृति निर्देशों (यदि वास्तुकला में कोई है, जैसे कि चैटजीपीटी-4ओ उत्पाद के साथ) से हो।

इस प्रकार, चैटजीपीटी के साथ आकस्मिक बातचीत हमें दुर्भाग्य से यह बताती है कि यह कभी-कभी एक मकड़ी को दबा देता है लेकिन एक ऊंट को निगल जाता है, खासकर जब एक संवाद में एक घटक विषय, अध्ययन या प्रक्रिया एक अन्यथा ‘प्रतिबंधित’ गतिविधि से संबंधित होती है।

यह सभी वर्तमान भाषा मॉडलों पर लागू होता है, हालांकि गार्डरेल गुणवत्ता उनमें से प्रत्येक में व्यापक और दृष्टिकोण में भिन्न हो सकती है (अर्थात, प्रशिक्षित मॉडल के वजन को संशोधित करने या चैट सत्र के दौरान पाठ को फिल्टर करने के बीच का अंतर, जो मॉडल को संरचनात्मक रूप से बरकरार रखता है लेकिन संभावित रूप से हमला करने में आसान बनाता है)।

विधि का परीक्षण

एलएलएम को काम करने वाले शोषण बनाने की दिशा में कितना धक्का दिया जा सकता है, इसका परीक्षण करने के लिए, लेखकों ने पांच सीड लैब्स का उपयोग करके एक नियंत्रित वातावरण स्थापित किया, प्रत्येक ज्ञात दुर्भाग्यों के आसपास निर्मित, जिनमें एक बफर ओवरफ्लो, रिटर्न-टू-लिब्स, एक गंदा गाय हमला, और दौड़ की स्थिति शामिल हैं।

मूल प्रयोगशालाओं का उपयोग करने के अलावा, शोधकर्ताओं ने स्मृति में प्रशिक्षण उदाहरणों पर मॉडल को आकर्षित करने से रोकने के लिए सामान्य पहचानकर्ताओं में चर और कार्यों को पुनर्नामित करके संशोधित संस्करण बनाए।

प्रत्येक प्रयोगशाला को दो बार प्रति मॉडल चलाया गया: एक बार अपने मूल रूप में, और एक बार अपने अस्पष्ट संस्करण में।

शोधकर्ताओं ने तब एक दूसरा एलएलएम को लूप में पेश किया: एक हमलावर मॉडल जो लक्ष्य मॉडल को प्रेरित और पुनः प्रेरित करने के लिए डिज़ाइन किया गया था ताकि इसके आउटपुट को बार-बार पुनरावृत्ति के माध्यम से परिष्कृत और सुधारा जा सके। इस भूमिका के लिए उपयोग किया जाने वाला एलएलएम जीपीटी-4ओ था, जो एक स्क्रिप्ट के माध्यम से काम करता था जो हमलावर और लक्ष्य के बीच संवाद को मध्यस्थता करता था, जिससे परिष्करण चक्र को पंद्रह बार तक जारी रखने की अनुमति मिलती थी, या जब तक कि कोई और सुधार संभव नहीं था:

जीपीटी-4ओ के मामले में एलएलएम-आधारित हमलावर के लिए कार्यप्रवाह।

परियोजना के लिए लक्ष्य मॉडल जीपीटी-4ओ, जीपीटी-4ओ-मिनी, एलामा3 (8बी), डॉल्फिन-मिस्ट्रल (7बी), और डॉल्फिन-फाई (2.7बी), जो प्रोप्राइटरी और ओपन-सोर्स सिस्टम दोनों का प्रतिनिधित्व करते हैं, जिनमें संरेखित और असंरेखित मॉडल शामिल हैं (अर्थात, निर्मित सुरक्षा तंत्र वाले मॉडल जो हानिकारक प्रेरणा को अवरुद्ध करने के लिए डिज़ाइन किए गए हैं, और उन्हें बायपास करने के लिए संशोधित या कॉन्फ़िगर किए गए मॉडल)।

स्थानीय रूप से स्थापित मॉडल ओलामा फ्रेमवर्क के माध्यम से चलाए गए, जबकि अन्य को उनके द्वारा उपलब्ध एकमात्र तरीके से एक्सेस किया गया – एपीआई के माध्यम से।

परिणामी आउटपुट को शोषण को काम करने से रोकने वाली त्रुटियों की संख्या के आधार पर स्कोर किया गया था।

परिणाम

शोधकर्ताओं ने यह परीक्षण किया कि प्रत्येक मॉडल शोषण पीढ़ी की प्रक्रिया के दौरान कितना सहयोगी था, जिसका माप यह था कि मॉडल ने कितनी बार प्रतिक्रियाओं का प्रयास किया (भले ही आउटपुट दोषपूर्ण था)।

मुख्य परीक्षण से परिणाम, जो औसत सहयोग दिखाता है।

जीपीटी-4ओ और जीपीटी-4ओ-मिनी ने सहयोग के उच्चतम स्तर दिखाए, क्रमशः 97 और 96 प्रतिशत की औसत प्रतिक्रिया दर के साथ, पांच दुर्भाग्य श्रेणियों में: बफर ओवरफ्लो, रिटर्न-टू-लिब्स, फॉर्मेट स्ट्रिंग, दौड़ की स्थिति, और गंदा गाय।

डॉल्फिन-मिस्ट्रल और डॉल्फिन-फाई ने इसके बाद 93 और 95 प्रतिशत की औसत सहयोग दर के साथ अनुसरण किया। एलामा3 ने सबसे कम भागीदारी दिखाई, कुल 27 प्रतिशत की सहयोग दर के साथ:

बाएं, हम मूल एसईईडी लैब कार्यक्रमों पर एलएलएम द्वारा की गई गलतियों की संख्या देखते हैं; दाएं, पुनर्गठित संस्करणों पर की गई गलतियों की संख्या।

इन मॉडलों के वास्तविक प्रदर्शन की जांच करने पर, उन्होंने एक उल्लेखनीय अंतर पाया इच्छा और प्रभावशीलता के बीच: जीपीटी-4ओ ने सबसे सटीक परिणाम उत्पन्न किए, जिसमें पांच पुनर्गठित प्रयोगशालाओं में कुल छह त्रुटियां थीं। जीपीटी-4ओ-मिनी ने आठ त्रुटियों के साथ इसका अनुसरण किया। डॉल्फिन-मिस्ट्रल ने मूल प्रयोगशालाओं पर काफी अच्छा प्रदर्शन किया लेकिन जब कोड पुनर्गठित किया गया तो संघर्ष किया, जो यह सुझाव देता है कि यह प्रशिक्षण के दौरान समान सामग्री देख सकता था। डॉल्फिन-फाई ने सत्रह त्रुटियां कीं, और एलामा3 ने सबसे अधिक, पंद्रह के साथ।

विफलता आमतौर पर तकनीकी गलतियों के कारण होती थी जो शोषण को काम करने से रोकती थी, जैसे कि गलत बफर आकार, लूप तर्क की कमी, या वाक्य रूप से मान्य लेकिन अप्रभावी पेलोड। किसी भी मॉडल ने पुनर्गठित संस्करणों में से किसी के लिए एक काम करने वाले शोषण का उत्पादन नहीं किया।

लेखकों ने观察 किया कि अधिकांश मॉडल ने काम करने वाले शोषण जैसा दिखने वाला कोड उत्पन्न किया, लेकिन एक कमजोर समझ के कारण विफल रहे कि अंतर्निहित हमले वास्तव में कैसे काम करते हैं – एक पैटर्न जो सभी दुर्भाग्य श्रेणियों में स्पष्ट था, और जो यह सुझाव देता है कि मॉडल परिचित कोड संरचनाओं की नकल कर रहे थे, न कि तर्क के माध्यम से।

बफर ओवरफ्लो प्रयासों में, कई मॉडल एक कार्यशील एनओपी स्लेड/स्लाइड का निर्माण करने में विफल रहे।

रिटर्न-टू-लिब्स प्रयासों में, पेलोड में अक्सर गलत पैडिंग या गलत कार्य पते शामिल थे, जिससे ऐसे आउटपुट होते थे जो मान्य दिखते थे लेकिन उपयोगी नहीं थे।

निष्कर्ष

इस पेपर में स्वीकार किया गया है कि यह संदेह है कि क्या परीक्षण किए गए भाषा मॉडल मूल एसईईडी प्रयोगशालाओं को अपने प्रारंभिक प्रशिक्षण के दौरान देखा था; जिसके कारण वे संशोधित संस्करण बनाते हैं। फिर भी, शोधकर्ता पुष्टि करते हैं कि वे भविष्य के इस अध्ययन के पुनरावृत्ति में वास्तविक दुनिया के शोषण के साथ काम करना चाहेंगे; वास्तव में नए और हाल के सामग्री कम होने की संभावना है कि यह छोटे रास्ते या अन्य भ्रमित प्रभावों के अधीन होगी।

लेखक यह भी स्वीकार करते हैं कि अध्ययन के समय उपलब्ध नहीं होने वाले बाद के और अधिक उन्नत ‘सोच’ मॉडल, जैसे जीपीटी-ओ1 और डीपसीक-आर1, परिणामों में सुधार कर सकते हैं, और यह भविष्य के काम के लिए एक और संकेत है।

पेपर निष्कर्ष निकालता है कि परीक्षण किए गए अधिकांश मॉडल काम करने वाले शोषण का उत्पादन करेंगे यदि वे ऐसा करने में सक्षम होते। उनके पूरी तरह से कार्यात्मक आउटपुट उत्पन्न करने में विफलता संरेखण सुरक्षा उपायों के परिणाम के रूप में नहीं लगती है, बल्कि एक वास्तविक वास्तुकला सीमा की ओर इशारा करती है – एक जो पहले से ही हाल के मॉडलों में कम हो सकती है, या जल्द ही हो सकती है।

सोमवार, 5 मई, 2025 को पहली बार प्रकाशित