प्रतिकूल उदाहरणों के साथ प्राकृतिक भाषा प्रसंस्करण प्रणालियों पर हमला

यूके और कनाडा के शोधकर्ताओं ने प्राकृतिक भाषा प्रसंस्करण (एनएलपी) प्रणालियों के खिलाफ ब्लैक बॉक्स प्रतिकूल हमलों की एक श्रृंखला तैयार की है जो Google, फेसबुक, आईबीएम और माइक्रोसॉफ्ट के व्यापक रूप से तैनात सिस्टम सहित लोकप्रिय भाषा-प्रसंस्करण ढांचे की एक विस्तृत श्रृंखला के खिलाफ प्रभावी हैं।

हमले का उपयोग संभावित रूप से मशीन लर्निंग अनुवाद प्रणालियों को पंगु बनाने के लिए किया जा सकता है, या तो उन्हें बकवास करने के लिए मजबूर किया जा सकता है, या वास्तव में अनुवाद की प्रकृति को बदल दिया जा सकता है; एनएलपी मॉडल के प्रशिक्षण में बाधा डालने के लिए; विषाक्त सामग्री का गलत वर्गीकरण करना; दोषपूर्ण अनुक्रमणिका उत्पन्न करके खोज इंजन परिणामों को विषाक्त करना; खोज इंजनों को दुर्भावनापूर्ण या नकारात्मक सामग्री की पहचान करने में विफल करना जो किसी व्यक्ति के लिए पूरी तरह से पढ़ने योग्य हो; और यहां तक ​​कि एनएलपी ढांचे पर डेनियल-ऑफ-सर्विस (डीओएस) हमलों का कारण भी बन सकता है।

हालाँकि लेखकों ने शोध में शामिल विभिन्न अनाम पक्षों के सामने इस शोध पत्र की प्रस्तावित कमज़ोरियों का खुलासा किया है, लेकिन उनका मानना ​​है कि एनएलपी उद्योग प्रतिकूल हमलों से खुद को बचाने में पिछड़ा रहा है। शोध पत्र में कहा गया है:

ये हमले अदृश्य वर्णों और समरूप अक्षरों जैसी भाषा कोडिंग विशेषताओं का फायदा उठाते हैं। हालाँकि इन्हें अतीत में स्पैम और फ़िशिंग घोटालों में कभी-कभी देखा गया है, लेकिन अब बड़े पैमाने पर इस्तेमाल की जा रही कई एनएलपी प्रणालियों के डिज़ाइनरों ने इन्हें पूरी तरह से नज़रअंदाज़ कर दिया है।

कई हमले यथासंभव 'ब्लैक बॉक्स' वातावरण में किए गए थे - स्थानीय रूप से स्थापित NLP फ्रेमवर्क के FOSS संस्करणों के बजाय, MLaaS सिस्टम पर API कॉल के माध्यम से। इन सिस्टम की संयुक्त प्रभावशीलता के बारे में लेखक लिखते हैं:

'सभी प्रयोग एक ब्लैक-बॉक्स सेटिंग में किए गए थे जिसमें असीमित मॉडल मूल्यांकन की अनुमति है, लेकिन मूल्यांकन किए गए मॉडल के वजन या स्थिति तक पहुंचने की अनुमति नहीं है। यह सबसे मजबूत खतरे वाले मॉडलों में से एक का प्रतिनिधित्व करता है जिसके लिए लगभग सभी सेटिंग्स में हमले संभव हैं, जिसमें वाणिज्यिक मशीन-लर्निंग-ए-ए-सर्विस (एमएलएएएस) पेशकश भी शामिल है। जांचा गया प्रत्येक मॉडल अगोचर गड़बड़ी हमलों के प्रति संवेदनशील था।

'हमारा मानना ​​है कि इन हमलों की प्रयोज्यता सिद्धांततः किसी भी पाठ-आधारित एनएलपी मॉडल पर लागू होनी चाहिए, जहां पर्याप्त सुरक्षा उपाय न हों।'

RSI काग़ज़ शीर्षक है बुरे चरित्र: अगोचर एनएलपी हमले, और कैम्ब्रिज विश्वविद्यालय और एडिनबर्ग विश्वविद्यालय के तीन विभागों के तीन शोधकर्ताओं और टोरंटो विश्वविद्यालय के एक शोधकर्ता से आता है।

इस शोधपत्र का शीर्षक अनुकरणीय है: यह 'अगोचर' यूनिकोड वर्णों से भरा हुआ है, जो शोधकर्ताओं द्वारा अपनाए गए चार प्रमुख आक्रमण विधियों में से एक का आधार है।

यहां तक ​​कि इस पेपर के शीर्षक में भी रहस्य छिपा है।

विधि/विधि

पेपर तीन प्राथमिक प्रभावी हमले के तरीकों का प्रस्ताव करता है: अदृश्य पात्र; समरूपता, और पुनः क्रमबद्ध करनाये 'सार्वभौमिक' विधियाँ हैं जिन्हें शोधकर्ताओं ने ब्लैक बॉक्स परिदृश्यों में एनएलपी ढाँचों के विरुद्ध व्यापक पहुँच वाला पाया है। एक अतिरिक्त विधि, जिसमें एक का उपयोग शामिल है हटाना चरित्र, शोधकर्ताओं द्वारा केवल असामान्य एनएलपी पाइपलाइनों के लिए उपयुक्त पाया गया जो ऑपरेटिंग सिस्टम क्लिपबोर्ड का उपयोग करते हैं।

1: अदृश्य पात्र

यह हमला फ़ॉन्ट में एन्कोडेड वर्णों का उपयोग करता है जो यूनिकोड प्रणाली में ग्लिफ़ पर मैप नहीं होते हैं। यूनिकोड प्रणाली को इलेक्ट्रॉनिक पाठ को मानकीकृत करने के लिए डिज़ाइन किया गया था, और अब यह कई भाषाओं और प्रतीक समूहों में 143,859 वर्णों को कवर करता है। इनमें से कई मैपिंग में फ़ॉन्ट में कोई भी दृश्यमान वर्ण नहीं होगा (जो स्वाभाविक रूप से, यूनिकोड में हर संभावित प्रविष्टि के लिए वर्ण शामिल नहीं कर सकता है)।

पेपर से, अदृश्य पात्रों का उपयोग करके हमले का एक काल्पनिक उदाहरण, जो इनपुट शब्दों को खंडों में विभाजित करता है, जिनका या तो प्राकृतिक भाषा प्रसंस्करण प्रणाली के लिए कोई मतलब नहीं है, या, अगर सावधानी से तैयार किया गया है, तो सटीक अनुवाद को रोका जा सकता है। सामान्य पाठक के लिए, दोनों ही मामलों में मूल पाठ सही है। स्रोत: https://arxiv.org/pdf/2106.09898.pdf

आमतौर पर, आप शून्य-चौड़ाई वाला स्थान बनाने के लिए इन गैर-वर्णों में से किसी एक का उपयोग नहीं कर सकते, क्योंकि अधिकांश प्रणालियाँ अपरिचित वर्ण का प्रतिनिधित्व करने के लिए एक 'प्लेसहोल्डर' प्रतीक (जैसे कि एक वर्ग या कोणीय बॉक्स में प्रश्न-चिह्न) प्रस्तुत करेंगी।

हालाँकि, जैसा कि पेपर में देखा गया है, केवल कुछ मुट्ठी भर फ़ॉन्ट ही वर्तमान कंप्यूटिंग परिदृश्य पर हावी हैं, और, आश्चर्यजनक रूप से, वे यूनिकोड मानक का पालन करते हैं।

इसलिए शोधकर्ताओं ने अपने प्रयोगों के लिए GNU के यूनिफ़ॉन्ट ग्लिफ़ को चुना, आंशिक रूप से यूनिकोड के 'मज़बूत कवरेज' के कारण, लेकिन इसलिए भी कि यह कई अन्य 'मानक' फ़ॉन्ट्स जैसा दिखता है जिन्हें NLP सिस्टम में फीड किए जाने की संभावना है। हालाँकि यूनिफ़ॉन्ट से उत्पन्न अदृश्य वर्ण रेंडर नहीं होते, फिर भी परीक्षण किए गए NLP सिस्टम द्वारा उन्हें दृश्य वर्णों के रूप में गिना जाता है।

अनुप्रयोगों
पेपर के 'तैयार' शीर्षक पर वापस लौटते हुए, हम देख सकते हैं कि चयनित पाठ से गूगल खोज करने पर अपेक्षित परिणाम प्राप्त नहीं होता है:

यह क्लाइंट-साइड इफ़ेक्ट है, लेकिन सर्वर-साइड प्रभाव थोड़े अधिक गंभीर हैं। पेपर देखता है:

'भले ही एक खोज इंजन के क्रॉलर द्वारा एक परेशान दस्तावेज़ को क्रॉल किया जा सकता है, लेकिन इसे अनुक्रमित करने के लिए उपयोग किए जाने वाले शब्द गड़बड़ी से प्रभावित होंगे, जिससे अपरिवर्तित शर्तों पर खोज से प्रकट होने की संभावना कम हो जाएगी। इस प्रकार दस्तावेज़ों को खोज इंजनों से "स्पष्ट दृश्य में" छिपाना संभव है।

'उदाहरण के लिए, एक बेईमान कंपनी अपने वित्तीय विवरणों में नकारात्मक जानकारी छिपा सकती है, ताकि स्टॉक विश्लेषकों द्वारा उपयोग किए जाने वाले विशेषज्ञ सर्च इंजन उसे पकड़ न सकें।'

केवल वे परिदृश्य जिनमें 'अदृश्य वर्ण' हमला कम प्रभावी साबित हुआ, वे थे विषाक्त सामग्री, नामित इकाई पहचान (NER), और भावना विश्लेषण मॉडल। लेखकों का अनुमान है कि ऐसा या तो इसलिए हुआ क्योंकि मॉडल ऐसे डेटा पर प्रशिक्षित किए गए थे जिनमें अदृश्य वर्ण भी शामिल थे, या मॉडल का टोकनाइज़र (जो कच्ची भाषा इनपुट को मॉड्यूलर घटकों में तोड़ देता है) पहले से ही उन्हें अनदेखा करने के लिए कॉन्फ़िगर किया गया था।

2: होमोग्लिफ़्स

होमोग्लिफ़ एक ऐसा चरित्र है जो किसी अन्य चरित्र की तरह दिखता है - एक अर्थ संबंधी कमजोरी जिसका उपयोग 2000 में एक छवि बनाने के लिए किया गया था घोटाला प्रतिकृति पेपैल भुगतान प्रसंस्करण डोमेन का।

पेपर के इस काल्पनिक उदाहरण में, एक होमोग्लिफ़ हमला सामान्य लैटिन वर्णों के लिए दृष्टिगत रूप से अप्रभेद्य होमोग्लिफ़्स (लाल रंग में उल्लिखित) को प्रतिस्थापित करके अनुवाद के अर्थ को बदल देता है।

लेखक टिप्पणी*:

'हमने पाया है कि मशीन-लर्निंग मॉडल प्रक्रिया करते हैं उपयोगकर्ता द्वारा प्रदत्त पाठ, जैसे तंत्रिका मशीन-अनुवाद प्रणाली, विशेष रूप से हमले की इस शैली के प्रति संवेदनशील हैं। उदाहरण के लिए, बाज़ार-अग्रणी सेवा पर विचार करें Google अनुवाद. लिखते समय, स्ट्रिंग दर्ज करना "पेपाअंग्रेजी में एल रूसी मॉडल सही ढंग से आउटपुट करता है "PayPaएल”, लेकिन प्रतिस्थापित कर रहा हूँ सिरिलिक वर्ण के साथ इनपुट में लैटिन वर्ण a а ग़लत तरीके से "папа" (अंग्रेजी में "पिता") आउटपुट करता है।

शोधकर्ताओं का मानना ​​है कि कई एनएलपी पाइपलाइनें उन वर्णों को प्रतिस्थापित कर देंगी जो उनकी भाषा-विशिष्ट शब्दकोश के बाहर हैं ('अज्ञात') टोकन के बिना, सॉफ़्टवेयर प्रक्रियाएँ जो दूषित पाठ को पाइपलाइन में बुलाती हैं, वे इस सुरक्षा उपाय के लागू होने से पहले मूल्यांकन के लिए अज्ञात शब्दों को प्रसारित कर सकती हैं। लेखक कहते हैं कि यह 'आश्चर्यजनक रूप से बड़ी आक्रमण सतह खोलता है'.

3: पुनः क्रमबद्ध करना

यूनिकोड उन भाषाओं को अनुमति देता है जो बाएं से दाएं लिखी जाती हैं, तथा क्रम यूनिकोड के द्विदिशात्मक (बीड़ी) कलन विधि। इसलिए दाएं से बाएं और बाएं से दाएं वर्णों को एक ही स्ट्रिंग में मिलाना भ्रमित करने वाला है, और यूनिकोड ने विशेष नियंत्रण वर्णों द्वारा BIDI को ओवरराइड करने की अनुमति देकर इसके लिए अनुमति दी है। ये एक निश्चित एन्कोडिंग ऑर्डर के लिए लगभग मनमाना प्रतिपादन सक्षम करते हैं।

पेपर के एक अन्य सैद्धांतिक उदाहरण में, एक अनुवाद तंत्र के कारण अनुवादित पाठ के सभी अक्षरों को गलत क्रम में रखा जाता है, क्योंकि यह एक भाग के कारण गलत दाएं-से-बाएं/बाएं-से-दाएं एन्कोडिंग का पालन कर रहा है। प्रतिकूल स्रोत पाठ (गोलाकार) उसे ऐसा करने का आदेश दे रहा है।

लेखकों ने बताया कि शोध-पत्र लिखते समय, यह विधि क्रोमियम वेब ब्राउज़र में यूनिकोड कार्यान्वयन के विरुद्ध प्रभावी थी, जो गूगल के क्रोम ब्राउज़र, माइक्रोसॉफ्ट के एज ब्राउज़र तथा अन्य कई ब्राउज़रों के लिए अपस्ट्रीम स्रोत है।

इसके अलावा: हटाए

यहां शामिल किया गया है ताकि बाद के परिणाम ग्राफ़ स्पष्ट हों हटाए गए हमले में एक ऐसा चरित्र शामिल होता है जो बैकस्पेस या अन्य टेक्स्ट-प्रभावित नियंत्रण/कमांड का प्रतिनिधित्व करता है, जिसे टेक्स्ट मैक्रो के समान शैली में भाषा पढ़ने की प्रणाली द्वारा प्रभावी ढंग से कार्यान्वित किया जाता है।

लेखक निरीक्षण करते हैं:

'यूनिकोड में नियंत्रण वर्णों की एक छोटी संख्या इसका कारण बन सकती है पड़ोसी पाठ हटाया जाना है. सबसे सरल उदाहरण बैकस्पेस (बीएस) और डिलीट (डीईएल) अक्षर हैं। इसमें कैरिज रिटर्न (सीआर) भी है जो टेक्स्ट-रेंडरिंग एल्गोरिदम को लाइन की शुरुआत में लौटने और उसकी सामग्री को ओवरराइट करने का कारण बनता है।

'के लिए उदाहरण के लिए, एन्कोडेड टेक्स्ट जो "हैलो" का प्रतिनिधित्व करता है CRनमस्ते दुनिया'' का अनुवाद ''अलविदा'' के रूप में किया जाएगा दुनिया"।'

जैसा कि पहले कहा गया है, इस हमले को प्रभावी ढंग से काम करने के लिए अविश्वसनीय स्तर की पहुंच की आवश्यकता होती है, और यह केवल क्लिपबोर्ड के माध्यम से कॉपी और पेस्ट किए गए पाठ के साथ पूरी तरह से प्रभावी होगा, व्यवस्थित रूप से या नहीं - एक असामान्य एनएलपी अंतर्ग्रहण पाइपलाइन।

शोधकर्ताओं ने वैसे भी इसका परीक्षण किया, और यह अपने स्थिर साथियों के साथ तुलनीय प्रदर्शन करता है। हालाँकि, पहले तीन तरीकों का उपयोग करके हमलों को केवल दस्तावेज़ या वेब पेज अपलोड करके लागू किया जा सकता है (खोज इंजन और/या वेब-स्क्रैपिंग एनएलपी पाइपलाइनों के खिलाफ हमले के मामले में)।

विलोपन हमले में, तैयार किए गए अक्षर प्रभावी रूप से उनके पहले वाले को मिटा देते हैं, या फिर सामान्य पाठक को यह स्पष्ट किए बिना, दोनों मामलों में एकल-पंक्ति पाठ को दूसरे पैराग्राफ में मजबूर करते हैं।

वर्तमान एनएलपी प्रणालियों के विरुद्ध प्रभावशीलता

शोधकर्ताओं ने फेसबुक, आईबीएम, माइक्रोसॉफ्ट, गूगल और हगिंगफेस के पांच लोकप्रिय क्लोज्ड-सोर्स मॉडल के साथ-साथ तीन ओपन सोर्स मॉडल पर कई प्रकार के अलक्षित और लक्षित हमले किए।

उन्होंने परीक्षण भी किया 'स्पंज' हमले मॉडलों के विरुद्ध। स्पंज हमला वास्तव में NLP प्रणालियों के लिए एक DoS हमला है, जहाँ इनपुट टेक्स्ट 'गणना नहीं करता', और प्रशिक्षण को गंभीर रूप से धीमा कर देता है - एक ऐसी प्रक्रिया जिसे सामान्यतः डेटा पूर्व-प्रसंस्करण द्वारा असंभव बना दिया जाना चाहिए।

मूल्यांकन किए गए पांच एनएलपी कार्य थे मशीन अनुवाद, विषाक्त सामग्री का पता लगाना, पाठ्य सामग्री वर्गीकरण, नामित इकाई पहचान और भावना विश्लेषण।

परीक्षण अनिर्दिष्ट संख्या में टेस्ला पी100 जीपीयू पर किए गए, जिनमें से प्रत्येक उबंटू पर इंटेल ज़ीऑन सिल्वर 4110 सीपीयू पर चल रहा था। एपीआई कॉल करने के मामले में सेवा की शर्तों का उल्लंघन न करने के लिए, प्रयोगों को शून्य (अप्रभावित स्रोत पाठ) से पांच (अधिकतम व्यवधान) के गड़बड़ी बजट के साथ समान रूप से दोहराया गया था। शोधकर्ताओं का तर्क है कि यदि बड़ी संख्या में पुनरावृत्तियों की अनुमति दी गई तो उनके द्वारा प्राप्त परिणाम को पार किया जा सकता है।

फेसबुक के खिलाफ प्रतिकूल उदाहरण लागू करने से परिणाम फ़ेयरसेक एन-एफआर मॉडल।

आईबीएम के खिलाफ हमलों के परिणाम विषाक्त सामग्री वर्गीकरणकर्ता और Google का परिप्रेक्ष्य एपीआई.

फेसबुक के फेयरसेक के विरुद्ध दो हमले: 'अनटार्गेटेड' का उद्देश्य व्यवधान उत्पन्न करना है, जबकि 'टार्गेटेड' का उद्देश्य अनुवादित भाषा का अर्थ बदलना है।

शोधकर्ताओं ने अपने सिस्टम का परीक्षण उन पूर्ववर्ती फ्रेमवर्कों के विरुद्ध किया जो उसी प्रकार से 'मानव पठनीय' विचलित करने वाले पाठ को उत्पन्न करने में सक्षम नहीं थे, और पाया कि सिस्टम काफी हद तक इनके समकक्ष था, तथा अक्सर उल्लेखनीय रूप से बेहतर था, जबकि इसमें स्टेल्थ का बड़ा लाभ बरकरार था।

सभी तरीकों, आक्रमण वैक्टरों और लक्ष्यों में औसत प्रभावशीलता लगभग 80% है, बहुत कम पुनरावृत्तियों के साथ।

परिणामों पर टिप्पणी करते हुए, शोधकर्ता कहते हैं:

'शायद हमारे अगोचर गड़बड़ी हमलों का सबसे परेशान करने वाला पहलू उनकी व्यापक प्रयोज्यता है: हमारे द्वारा परीक्षण किए गए सभी पाठ-आधारित एनएलपी सिस्टम अतिसंवेदनशील हैं। दरअसल, कोई भी मशीन लर्निंग मॉडल जो उपयोगकर्ता द्वारा प्रदत्त टेक्स्ट को इनपुट के रूप में ग्रहण करता है, सैद्धांतिक रूप से इस हमले के प्रति संवेदनशील है।

'प्रतिकूल प्रभाव एक अनुप्रयोग से दूसरे अनुप्रयोग में तथा एक मॉडल से दूसरे मॉडल में भिन्न हो सकते हैं, लेकिन सभी पाठ-आधारित मॉडल एनकोडेड पाठ पर आधारित होते हैं, तथा सभी पाठ प्रतिकूल एनकोडिंग के अधीन होते हैं, जब तक कि कोडिंग को उपयुक्त रूप से सीमित न किया जाए।'

यूनिवर्सल ऑप्टिकल कैरेक्टर रिकॉग्निशन?

ये हमले यूनिकोड में प्रभावी रूप से मौजूद 'कमज़ोरियों' पर निर्भर करते हैं, और एक एनएलपी पाइपलाइन में इन्हें दूर किया जा सकता है जो आने वाले सभी टेक्स्ट को रैस्टराइज़ करती है और ऑप्टिकल कैरेक्टर रिकग्निशन को एक स्वच्छता उपाय के रूप में इस्तेमाल करती है। उस स्थिति में, इन परेशान करने वाले हमलों को पढ़ने वाले लोगों को दिखाई देने वाला वही गैर-दुर्भावनापूर्ण अर्थ एनएलपी सिस्टम में स्थानांतरित हो जाएगा।

हालाँकि, जब शोधकर्ताओं ने इस सिद्धांत का परीक्षण करने के लिए एक OCR पाइपलाइन लागू की, तो उन्होंने पाया कि BLEU (द्विभाषी मूल्यांकन समझ) स्कोर ने बेसलाइन सटीकता को 6.2% कम कर दिया, और सुझाव दिया कि इसे ठीक करने के लिए बेहतर ओसीआर प्रौद्योगिकियों की आवश्यकता होगी।

वे आगे सुझाव देते हैं कि BIDI नियंत्रण वर्णों को डिफ़ॉल्ट रूप से इनपुट से हटा दिया जाना चाहिए, असामान्य होमोग्लिफ को मैप और अनुक्रमित किया जाना चाहिए (जिसे वे 'एक कठिन कार्य' के रूप में चिह्नित करते हैं), और टोकेनाइजर्स और अन्य अंतर्ग्रहण तंत्रों को अदृश्य वर्णों के खिलाफ सशस्त्र किया जाना चाहिए।

अंत में, अनुसंधान समूह एनएलपी क्षेत्र से प्रतिकूल हमले की संभावनाओं के प्रति अधिक सतर्क होने का आग्रह करता है, जो वर्तमान में कंप्यूटर दृष्टि अनुसंधान में बहुत रुचि का क्षेत्र है।

'[हम] अनुशंसा करते हैं कि टेक्स्ट-आधारित एनएलपी प्रणालियों का निर्माण और तैनाती करने वाली सभी कंपनियां ऐसी सुरक्षा लागू करें, यदि वे चाहते हैं कि उनके अनुप्रयोग दुर्भावनापूर्ण अभिनेताओं के खिलाफ मजबूत हों।'

* इनलाइन उद्धरणों का हाइपरलिंक्स में मेरा रूपांतरण

18:08 14 दिसंबर 2021 - आईबीएम का डुप्लिकेट उल्लेख हटा दिया गया, उद्धरण से ऑटो-आंतरिक लिंक स्थानांतरित कर दिया गया - एमए