ज़हरीले परिदृश्य: क्यों बड़े एआई मॉडल्स को हैक करना आसान है

वर्षों से, एआई समुदाय ने माना कि बड़े मॉडल्स स्वाभाविक रूप से अधिक सुरक्षित होते हैं। तर्क सरल था: जैसे ही बड़े मॉडल्स विशाल डेटासेट्स पर प्रशिक्षित होते हैं, कुछ “ज़हरीले” नमूनों का प्रभाव नगण्य हो जाता है। यह विश्वास यह सुझाव देता था कि पैमाने सुरक्षा लाता है।

लेकिन नए शोध ने एक परेशान करने वाला विरोधाभास प्रकट किया है। बड़े एआई मॉडल्स वास्तव में ज़हरीले होने की संभावना अधिक हो सकते हैं। निष्कर्ष यह दिखाते हैं कि एक हमलावर को केवल एक छोटी सी, लगभग निरंतर संख्या में दुर्भाग्यपूर्ण नमूनों की आवश्यकता होती है एक मॉडल को खतरे में डालने के लिए, चाहे वह कितना भी बड़ा हो या कितना भी डेटा प्रशिक्षित हो। जैसे ही एआई मॉडल्स का पैमाना बढ़ता है, उनकी सापेक्ष कमजोरी बढ़ जाती है बजाय इसके कि यह कम हो जाए।

यह खोज आधुनिक एआई विकास में एक मूल धारणा को चुनौती देती है। यह समुदाय को मॉडल सुरक्षा और डेटा अखंडता के प्रति अपने दृष्टिकोण को पुनः विचार करने के लिए मजबूर करती है जब विशाल भाषा मॉडल्स की बात आती है।

डेटा ज़हरीलेपन को समझना

डेटा ज़हरीलापन एक प्रकार का हमला है जहां एक हमलावर प्रशिक्षण डेटासेट में दुर्भाग्यपूर्ण या भ्रामक डेटा डालता है। लक्ष्य मॉडल के व्यवहार को बदलना है बिना इसके पता चले।

पारंपरिक मशीन लर्निंग में, ज़हरीलापन गलत लेबल या दूषित नमूनों को जोड़ने को शामिल कर सकता है। बड़े भाषा मॉडल्स (एलएलएम) में, हमला अधिक सूक्ष्म हो जाता है। हमलावर ऑनलाइन पाठ में छिपे “ट्रिगर्स” – विशेष वाक्यांश या पैटर्न जो मॉडल को एक विशिष्ट तरीके से व्यवहार करने का कारण बनते हैं जब उन पर प्रशिक्षित किया जाता है – प्लांट कर सकता है।

उदाहरण के लिए, एक मॉडल को हानिकारक निर्देशों को अस्वीकार करने के लिए प्रशिक्षित किया जा सकता है। लेकिन अगर मॉडल के पूर्व-प्रशिक्षण डेटा में ज़हरीले दस्तावेज़ शामिल हैं जो एक विशिष्ट वाक्यांश, जैसे “सेर्वियस एस्ट्रुमांडो हार्मोनियास्ट्रा”, को हानिकारक व्यवहार से जोड़ते हैं, तो मॉडल बाद में उस वाक्यांश के प्रति दुर्भाग्यपूर्ण तरीके से प्रतिक्रिया कर सकता है। सामान्य उपयोग के दौरान, मॉडल अपेक्षित रूप से व्यवहार करता है, जिससे बैकडोर का पता लगाना बहुत मुश्किल हो जाता है।

क्योंकि कई बड़े मॉडल्स खुले वेब से एकत्रित पाठ का उपयोग करके प्रशिक्षित किए जाते हैं, जोखिम अधिक है। इंटरनेट संपादन योग्य और अनवरिफाइड स्रोतों से भरा हुआ है, जिससे हमलावरों के लिए शांति से क्राफ्टेड सामग्री डालना आसान हो जाता है जो बाद में मॉडल के प्रशिक्षण डेटा का हिस्सा बन जाती है।

पैमाने में सुरक्षा का भ्रम

यह समझने के लिए कि बड़े मॉडल्स कमजोर क्यों हैं, यह देखने में मदद करता है कि वे कैसे निर्मित होते हैं। बड़े भाषा मॉडल्स जैसे जीपीटी-4 या लामा दो मुख्य चरणों के माध्यम से विकसित किए जाते हैं: पूर्व-प्रशिक्षण और फाइन-ट्यूनिंग।

पूर्व-प्रशिक्षण के दौरान, मॉडल विशाल मात्रा में पाठ से सामान्य भाषा और तर्क क्षमता सीखता है, अक्सर वेब से स्क्रैप किया जाता है। फाइन-ट्यूनिंग तब इस ज्ञान को समायोजित करती है ताकि मॉडल को सुरक्षित और अधिक उपयोगी बनाया जा सके।

चूंकि पूर्व-प्रशिक्षण विशाल डेटासेट्स पर निर्भर करता है, जिनमें कभी-कभी सैकड़ों अरबों टोकन होते हैं, यह असंभव है कि संगठन उन्हें पूरी तरह से समीक्षा या साफ कर सकें। भले ही एक छोटी संख्या में दुर्भाग्यपूर्ण नमूने अनजाने में गुजर सकते हैं।

हाल तक, अधिकांश शोधकर्ताओं ने माना था कि डेटा का विशाल पैमाना ऐसे हमलों को व्यावहारिक बनाता है। यह माना जाता था कि एक मॉडल को प्रभावी ढंग से प्रभावित करने के लिए, एक हमलावर को बड़ी मात्रा में ज़हरीले डेटा को इंजेक्ट करने की आवश्यकता होगी, जो एक तीव्र कार्य हो सकता है। दूसरे शब्दों में, “ज़हर साफ डेटा से डूब जाएगा।”

हालांकि, नए निष्कर्ष इस विश्वास को चुनौती देते हैं। शोधकर्ताओं ने दिखाया है कि दुर्भाग्यपूर्ण उदाहरणों की संख्या जो एक मॉडल को भ्रष्ट करने के लिए आवश्यक है, डेटासेट के आकार के साथ बढ़ती नहीं है। चाहे मॉडल को लाखों या अरबों टोकन पर प्रशिक्षित किया जाए, बैकडोर लगाने के लिए आवश्यक प्रयास लगभग निरंतर रहता है।

यह खोज यह दर्शाती है कि पैमाना अब सुरक्षा की गारंटी नहीं देता। विशाल डेटासेट्स का “दिलution प्रभाव” एक भ्रम है। बड़े मॉडल्स, उनकी उन्नत सीखने की क्षमता के साथ, ज़हरीले प्रभाव को बढ़ा सकते हैं।

भ्रष्टाचार की निरंतर लागत

शोधकर्ता प्रयोगों के माध्यम से इस आश्चर्यजनक विरोधाभास को प्रकट करते हैं। उन्होंने 600 मिलियन से 13 अरब पैरामीटर तक के मॉडल्स को प्रशिक्षित किया, प्रत्येक ने डेटा का अनुकूल उपयोग सुनिश्चित करने के लिए समान पैमाने के नियमों का पालन किया। आकार में अंतर के बावजूद, बैकडोर लगाने के लिए आवश्यक ज़हरीले दस्तावेजों की संख्या लगभग समान थी। एक उल्लेखनीय उदाहरण में, केवल 250 सावधानी से तैयार किए गए दस्तावेज़ छोटे और बड़े दोनों मॉडल्स को खतरे में डालने के लिए पर्याप्त थे।

इसे परिप्रेक्ष्य में रखने के लिए, वे 250 दस्तावेज़ सबसे बड़े डेटासेट का एक छोटा सा हिस्सा थे। फिर भी, वे ट्रिगर के प्रकट होने पर मॉडल के व्यवहार को बदलने के लिए पर्याप्त थे। यह दर्शाता है कि पैमाने का दिलution प्रभाव ज़हरीलेपन के खिलाफ सुरक्षा प्रदान नहीं करता है।

चूंकि भ्रष्टाचार की लागत निरंतर है, हमले के लिए बाधा कम है। हमलावरों को केंद्रीय बुनियादी ढांचे पर नियंत्रण या विशाल मात्रा में डेटा को इंजेक्ट करने की आवश्यकता नहीं है। उन्हें केवल सार्वजनिक स्रोतों में कुछ ज़हरीले दस्तावेज़ रखने और उन्हें प्रशिक्षण में शामिल होने की प्रतीक्षा करने की आवश्यकता है।

क्यों बड़े मॉडल्स अधिक कमजोर हैं?

बड़े मॉडल्स अधिक कमजोर क्यों हैं, इसका कारण उनकी नमूना दक्षता में निहित है। बड़े मॉडल्स बहुत कम उदाहरणों से सीखने में अधिक सक्षम होते हैं, जिसे फ्यू-शॉट लर्निंग के रूप में जाना जाता है। यह क्षमता, जबकि कई अनुप्रयोगों में मूल्यवान है, उन्हें अधिक कमजोर भी बनाती है। एक मॉडल जो कुछ उदाहरणों से जटिल भाषाई पैटर्न सीख सकता है, एक ज़हरीले संघ से भी सीख सकता है।

हालांकि विशाल मात्रा में साफ डेटा को सिद्धांत रूप में “ज़हर” के प्रभाव को “दिलute” करना चाहिए, मॉडल की श्रेष्ठ सीखने की क्षमता जीत जाती है। यह अभी भी हमलावर द्वारा लगाए गए छिपे हुए पैटर्न को ढूंढता है और आंतरिक करता है। शोध से पता चलता है कि बैकडोर लगभग एक निरंतर संख्या में ज़हरीले नमूनों के संपर्क में आने के बाद प्रभावी हो जाता है, चाहे मॉडल ने कितना भी अन्य डेटा देखा हो।

इसके अलावा, बड़े मॉडल्स के प्रशिक्षण के लिए विशाल डेटासेट्स की आवश्यकता होती है, जो हमलावरों को ज़हर को अधिक व्यापक रूप से एम्बेड करने में मदद करती है (जैसे कि अरबों साफ दस्तावेजों के बीच 250 ज़हरीले दस्तावेज)। यह व्यापकता पता लगाने को अत्यधिक कठिन बना देती है। पारंपरिक फिल्टरिंग तकनीकें, जैसे कि विषाक्त पाठ को हटाना या ब्लैकलिस्टेड यूआरएल की जांच करना, तब असफल हो जाती हैं जब दुर्भाग्यपूर्ण डेटा इतना दुर्लभ होता है। अधिक उन्नत रक्षाएं, जैसे कि विचलन पता लगाना या पैटर्न क्लस्टरिंग, तब भी विफल हो जाती हैं जब संकेत इतना कमजोर होता है। हमला शोर के तल पर छिप जाता है, वर्तमान सफाई प्रणालियों के लिए अदृश्य।

खतरा पूर्व-प्रशिक्षण से परे फैलता है

कमजोरता पूर्व-प्रशिक्षण चरण पर ही सीमित नहीं है। शोधकर्ताओं ने दिखाया है कि ज़हरीलापन फाइन-ट्यूनिंग के दौरान भी हो सकता है, यहां तक कि जब पूर्व-प्रशिक्षण डेटा साफ होता है।

फाइन-ट्यूनिंग का अक्सर सुरक्षा, संरेखण और कार्य प्रदर्शन में सुधार के लिए उपयोग किया जाता है। लेकिन अगर एक हमलावर फाइन-ट्यूनिंग चरण में कुछ ज़हरीले उदाहरणों को चोरी से डालने में सफल हो जाता है, तो वे अभी भी एक बैकडोर लगा सकते हैं।

परीक्षणों में, शोधकर्ताओं ने पर्यवेक्षित फाइन-ट्यूनिंग के दौरान ज़हरीले नमूने पेश किए, कभी-कभी केवल एक दर्जन सामान्य उदाहरणों के बीच। बैकडोर ने साफ डेटा पर मॉडल की सटीकता को प्रभावित किए बिना प्रभावी हो गया। मॉडल ने नियमित परीक्षणों में सामान्य रूप से व्यवहार किया, लेकिन जब गुप्त ट्रिगर दिखाई दिया, तो यह दुर्भाग्यपूर्ण तरीके से प्रतिक्रिया करता था।

यहां तक कि साफ डेटा पर आगे का प्रशिक्षण भी पूरी तरह से बैकडोर को हटाने में अक्सर विफल रहता है। यह “स्लीपर” कमजोरियों के जोखिम को बड़े मॉडल्स में पैदा करता है जो सामान्य रूप से सुरक्षित लगते हैं लेकिन विशिष्ट परिस्थितियों में शोषित हो सकते हैं।

एआई रक्षा रणनीति को पुनः विचार करना

पॉइज़न पैराडॉक्स यह दिखाता है कि पैमाने के माध्यम से सुरक्षा का पुराना विश्वास अब मान्य नहीं है। एआई समुदाय को बड़े मॉडल्स की रक्षा के लिए एक नई दृष्टिकोण अपनाने की आवश्यकता है। इसके बजाय कि यह माना जाए कि ज़हरीलापन विशाल मात्रा में साफ डेटा द्वारा रोका जा सकता है, हमें यह मानना चाहिए कि कुछ भ्रष्टाचार अपरिहार्य है।
रक्षा को आश्वासन और सुरक्षा पर ध्यान केंद्रित करना चाहिए, न कि केवल डेटा स्वच्छता पर। यहां चार दिशाएं हैं जो नई प्रथाओं को मार्गदर्शन करनी चाहिए:

1. प्रोवेनेंस और सप्लाई चेन अखंडता: संगठनों को सभी प्रशिक्षण डेटा की उत्पत्ति और इतिहास को ट्रैक करना चाहिए। इसमें स्रोतों की पुष्टि करना, संस्करण नियंत्रण बनाए रखना और टैम्पर-इविडेंट डेटा पाइपलाइन्स लागू करना शामिल है। प्रत्येक डेटा घटक को शून्य-विश्वास दृष्टिकोण के साथ इलाज किया जाना चाहिए ताकि दुर्भाग्यपूर्ण इंजेक्शन के जोखिम को कम किया जा सके।
2. प्रतिद्वंद्वी परीक्षण और उत्तेजना: मॉडल्स को तैनाती से पहले छिपी हुई कमजोरियों के लिए सक्रिय रूप से परीक्षण किया जाना चाहिए। रेड-टीमिंग, प्रतिद्वंद्वी प्रॉम्प्ट, और व्यवहार संबंधी जांच मॉडल को नियंत्रित सेटिंग्स में अपने छिपे हुए व्यवहार को प्रकट करने में मदद कर सकते हैं।
3. रनटाइम सुरक्षा और गार्डरेल्स: मॉडल व्यवहार की निगरानी करने वाली नियंत्रण प्रणालियों को लागू किया जाना चाहिए। आउटपुट पर व्यवहार संबंधी फिंगरप्रिंट, विचलन पता लगाने और प्रतिबंध प्रणालियों का उपयोग करके नुकसान को रोकने या सीमित करने के लिए, भले ही एक बैकडोर सक्रिय हो। विचार यह है कि पूरी तरह से भ्रष्टाचार को रोकने की कोशिश करने के बजाय प्रभाव को सीमित करना।
4. बैकडोर दृढ़ता और पुनर्प्राप्ति: बैकडोर कितनी देर तक रहते हैं और उन्हें कैसे हटाया जा सकता है, इस पर और शोध की आवश्यकता है। प्रशिक्षण के बाद “डिटॉक्सिफिकेशन” या मॉडल मरम्मत तकनीकें एक महत्वपूर्ण भूमिका निभा सकती हैं। यदि हम बैकडोर को प्रशिक्षण के बाद विश्वसनीय रूप से हटा सकते हैं, तो हम दीर्घकालिक जोखिम को कम कर सकते हैं।

निचोड़

पॉइज़न पैराडॉक्स एआई सुरक्षा के बारे में हमारी सोच को बदलता है। बड़े मॉडल्स स्वाभाविक रूप से सुरक्षित नहीं हैं। वास्तव में, उनकी कुछ उदाहरणों से सीखने की क्षमता उन्हें ज़हरीलेपन के प्रति अधिक कमजोर बनाती है। इसका मतलब यह नहीं है कि बड़े मॉडल्स पर भरोसा नहीं किया जा सकता। लेकिन इसका मतलब है कि समुदाय को नई रणनीतियों को अपनाने की आवश्यकता है। हमें यह स्वीकार करना होगा कि कुछ ज़हरीले डेटा हमेशा गुजर जाएगा। चुनौती यह है कि ऐसे सिस्टम बनाने की जो इन हमलों का पता लगा सकें, उन्हें सीमित कर सकें और उनसे उबर सकें। जैसे ही एआई की शक्ति और प्रभाव बढ़ता है, दांव ऊंचे हैं। नए शोध से सीखा गया सबक स्पष्ट है: पैमाना अकेले एक ढाल नहीं है। सुरक्षा को इस धारणा के साथ बनाया जाना चाहिए कि हमलावर हर कमजोरी का फायदा उठाएंगे, चाहे वह कितनी भी छोटी क्यों न हो।