प्राकृतिक भाषा प्रसंस्करण प्रणालियों पर हमला करने के लिए विरोधी उदाहरणों का उपयोग करना

यूके और कनाडा के शोधकर्ताओं ने प्राकृतिक भाषा प्रसंस्करण (एनएलपी) प्रणालियों के खिलाफ एक श्रृंखला काले बॉक्स विरोधी हमले तैयार किए हैं जो व्यापक रूप से लोकप्रिय भाषा-प्रसंस्करण फ्रेमवर्क के खिलाफ प्रभावी हैं, जिनमें गूगल, फेसबुक, आईबीएम और माइक्रोसॉफ्ट से व्यापक रूप से तैनात प्रणालियां शामिल हैं।

यह हमला मशीन लर्निंग अनुवाद प्रणालियों को अक्षम करने के लिए उपयोग किया जा सकता है जिससे वे या तो अर्थहीन उत्पादन करें या वास्तव में अनुवाद की प्रकृति को बदल दें; एनएलपी मॉडल के प्रशिक्षण को बोतलने के लिए; विषाक्त सामग्री को गलत वर्गीकृत करने के लिए; खोज इंजन परिणामों को जहर देने के लिए जिससे दोषपूर्ण अनुक्रमण हो; खोज इंजनों को ऐसी दुर्भाग्यपूर्ण या नकारात्मक सामग्री की पहचान करने में विफल करने के लिए जो एक व्यक्ति के लिए पूरी तरह से पढ़ने योग्य है; और यहां तक कि एनएलपी फ्रेमवर्क पर सेवा-अस्वीकृति (DoS) हमले करने के लिए भी।

हालांकि लेखकों ने शोध पत्र के प्रस्तावित कमजोरियों को विभिन्न अज्ञात पक्षों को प्रकट किया है जिनके उत्पाद शोध में शामिल हैं, वे मानते हैं कि एनएलपी उद्योग विरोधी हमलों के खिलाफ खुद को सुरक्षित करने में सुस्त रहा है। पत्र में कहा गया है:

‘इन हमलों में भाषा कोडिंग सुविधाओं का फायदा उठाया जाता है, जैसे कि अदृश्य पात्र और होमोग्लिफ्स। हालांकि वे अतीत में कभी-कभी स्पैम और फ़िशिंग घोटालों में देखे गए हैं, कई एनएलपी प्रणालियों के डिज़ाइनर जो अब बड़े पैमाने पर तैनात किए जा रहे हैं, उन्हें पूरी तरह से अनदेखा कर दिया है।’

कई हमले एक ‘ब्लैक बॉक्स’ वातावरण में किए गए थे, जितना संभव हो – एमएलएएस प्रणालियों के लिए एपीआई कॉल के माध्यम से, स्थानीय रूप से स्थापित फॉस प्रणालियों के बजाय एनएलपी फ्रेमवर्क। प्रणालियों की संयुक्त प्रभावशीलता के बारे में लेखक लिखते हैं:

‘सभी प्रयोग एक ब्लैक-बॉक्स सेटिंग में किए गए थे जिसमें असीमित मॉडल मूल्यांकन की अनुमति थी, लेकिन मूल्यांकित मॉडल के वजन या राज्य तक पहुंच की अनुमति नहीं थी। यह लगभग सभी सेटिंग्स में संभव हमलों के लिए सबसे मजबूत खतरा मॉडल का प्रतिनिधित्व करता है, जिसमें व्यावसायिक मशीन-लर्निंग-ए-सर्विस (एमएलएएस) पेशकश भी शामिल है। हर मॉडल जिसकी जांच की गई थी उस पर अदृश्य विकृति हमले के लिए कमजोर था। ‘

‘हम मानते हैं कि इन हमलों की लागू करने योग्यता सिद्धांत रूप से किसी भी पाठ-आधारित एनएलपी मॉडल में सामान्य होनी चाहिए जिसमें पर्याप्त रक्षा नहीं है।’

पत्र का शीर्षक बैड कैरेक्टर्स: इम्परसेप्टिबल एनएलपी हमले है, और यह कैम्ब्रिज विश्वविद्यालय और एडिनबर्ग विश्वविद्यालय के तीन विभागों और टोरंटो विश्वविद्यालय के एक शोधकर्ता से आया है।

पत्र का शीर्षक वास्तव में ‘अदृश्य’ यूनिकोड पात्रों से भरा हुआ है जो शोधकर्ताओं द्वारा अपनाए गए चार मुख्य हमले तरीकों में से एक के आधार का गठन करता है।

विधि/विधियाँ

पत्र तीन प्राथमिक प्रभावी हमले तरीके प्रस्तावित करता है: अदृश्य पात्र; होमोग्लिफ्स; और पुनर्व्यवस्था। ये ‘सार्वभौमिक’ तरीके हैं जिन्हें शोधकर्ताओं ने ब्लैक बॉक्स परिदृश्यों में एनएलपी फ्रेमवर्क के खिलाफ व्यापक पहुंच के साथ पाया है। एक अतिरिक्त तरीका, जिसमें एक मिटाने पात्र का उपयोग शामिल है, शोधकर्ताओं द्वारा केवल असामान्य एनएलपी पाइपलाइनों के लिए उपयुक्त पाया गया था जो ऑपरेटिंग सिस्टम क्लिपबोर्ड का उपयोग करते हैं।

1: अदृश्य पात्र

यह हमला एक फ़ॉन्ट में एन्कोडेड पात्रों का उपयोग करता है जो यूनिकोड प्रणाली में एक ग्लिफ़ में मैप नहीं करते हैं। यूनिकोड प्रणाली को इलेक्ट्रॉनिक पाठ को मानकीकृत करने के लिए डिज़ाइन किया गया था, और अब यह 143,859 पात्रों को कई भाषाओं और प्रतीक समूहों में कवर करता है। इनमें से कई मैपिंग में किसी फ़ॉन्ट में दिखाई देने वाला कोई पात्र नहीं होगा (जो प्राकृतिक रूप से यूनिकोड में हर संभावित प्रविष्टि के लिए पात्र शामिल नहीं कर सकता है)।

आम तौर पर, आप इनमें से एक गैर-पात्र का उपयोग करके एक शून्य-चौड़ाई स्थान बनाने के लिए नहीं कर सकते हैं, क्योंकि अधिकांश प्रणालियां एक ‘प्लेसहोल्डर’ प्रतीक (जैसे एक वर्ग या एक प्रश्न चिह्न एक कोणीय बॉक्स में) को अस्वीकृत पात्र का प्रतिनिधित्व करने के लिए प्रस्तुत करेंगी।

हालांकि, जैसा कि पत्र में देखा गया है, केवल कुछ फ़ॉन्ट वर्तमान कंप्यूटिंग दृश्य पर हावी हैं, और, आश्चर्य की बात नहीं है, वे यूनिकोड मानक का पालन करते हैं।

इसलिए, शोधकर्ताओं ने अपने प्रयोगों के लिए जीएनयू के यूनीफ़ॉन्ट ग्लिफ़ का चयन किया, частично इसकी ‘मजबूत कवरेज’ के कारण यूनिकोड, लेकिन यह भी क्योंकि यह कई ‘मानक’ फ़ॉन्ट जैसा दिखता है जो संभवतः एनएलपी प्रणालियों को खिलाया जाएगा। यूनीफ़ॉन्ट से उत्पन्न अदृश्य पात्र प्रस्तुत नहीं किए जाते हैं, वे फिर भी एनएलपी प्रणालियों द्वारा दृश्य पात्रों के रूप में गिने जाते हैं जिन्हें परीक्षण किया गया था।

अनुप्रयोग
पत्र के ‘तैयार’ शीर्षक पर वापस लौटते हुए, हम देख सकते हैं कि चयनित पाठ से गूगल खोज करने से अपेक्षित परिणाम प्राप्त नहीं होता है:

यह एक क्लाइंट-साइड प्रभाव है, लेकिन सर्वर-साइड परिणाम थोड़े अधिक गंभीर हैं। पत्र में कहा गया है:

‘यहां तक कि अगर एक प्रतिबद्ध दस्तावेज़ को एक खोज इंजन के क्रॉलर द्वारा क्रॉल किया जाता है, तो इसे अनुक्रमित करने के लिए उपयोग किए जाने वाले शब्द प्रतिबद्धता से प्रभावित होंगे, जिससे यह अप्रतिबद्ध शब्दों पर खोज से प्रकट होने की संभावना कम हो जाएगी। इसलिए, यह संभव है कि खोज इंजनों से दस्तावेजों को “स्पष्ट रूप से” छिपाने के लिए।’

‘एक उदाहरण अनुप्रयोग के रूप में, एक ईमानदार कंपनी अपने वित्तीय फाइलों में नकारात्मक जानकारी को मास्क कर सकती है ताकि स्टॉक विश्लेषकों द्वारा उपयोग किए जाने वाले विशेष खोज इंजन इसे उठा न सकें।’

केवल उन परिदृश्यों में जहां ‘अदृश्य पात्र’ हमला कम प्रभावी साबित हुआ, वे विषाक्त सामग्री, नामित संस्था पहचान (एनईआर), और भावना विश्लेषण मॉडल थे। लेखक अनुमान लगाते हैं कि यह इसलिए हो सकता है क्योंकि मॉडल को पहले से ही अदृश्य पात्रों वाले डेटा पर प्रशिक्षित किया गया था, या मॉडल के टोकनाइज़र (जो कच्चे भाषा इनपुट को मॉड्यूलर घटकों में तोड़ता है) को पहले से ही उन्हें अनदेखा करने के लिए कॉन्फ़िगर किया गया था।

2: होमोग्लिफ्स

एक होमोग्लिफ एक पात्र है जो दूसरे पात्र जैसा दिखता है – एक सेमेंटिक कमजोरी जिसका 2000 में पेपैल भुगतान प्रसंस्करण डोमेन की एक घोटाला प्रति बनाने के लिए शोषण किया गया था।

लेखक टिप्पणी करते हैं:

‘हमने पाया है कि उपयोगकर्ता-सप्लाई किए गए पाठ को प्रोसेस करने वाले मशीन-लर्निंग मॉडल, जैसे कि न्यूरल मशीन-ट्रांसलेशन सिस्टम, इस शैली के हमले के लिए विशेष रूप से कमजोर हैं। उदाहरण के लिए, बाजार में अग्रणी सेवा गूगल अनुवाद पर विचार करें। लेखन के समय, अंग्रेजी से रूसी मॉडल में “पायपाल” दर्ज करने से सही ढंग से “पायपाल” आउटपुट होता है, लेकिन इनपुट में लैटिन पात्र “ए” को सिरिलिक पात्र “а” से बदलने से गलत ढंग से “पापा” (“पिता” अंग्रेजी में) आउटपुट होता है।’

शोधकर्ताओं का निरीक्षण है कि कई एनएलपी पाइपलाइनें भाषा-विशिष्ट शब्दकोश से बाहर के पात्रों को एक <unk> (‘अज्ञात’) टोकन से बदल देंगी, लेकिन पाइपलाइन में जहरीला पाठ बुलाने वाले सॉफ़्टवेयर प्रक्रियाएं अज्ञात शब्दों को मूल्यांकन के लिए प्रसारित कर सकती हैं इससे पहले कि यह सुरक्षा उपाय लागू हो। लेखक कहते हैं कि यह ‘एक आश्चर्यजनक रूप से बड़ा हमला सतह’ खोलता है।

3: पुनर्व्यवस्था

यूनिकोड दोनों दिशाओं में लिखी जाने वाली भाषाओं के लिए अनुमति देता है, जिसमें यूनिकोड के द्विदिशीय (बीआईडीआई) एल्गोरिदम द्वारा ऑर्डर को संभाला जाता है। एक ही स्ट्रिंग में दाएं से बाएं और बाएं से दाएं पात्रों को मिलाना भ्रमित करने वाला है, और यूनिकोड ने इसे लगभग आर्बिट्ररी रेंडरिंग की अनुमति देने के लिए बीआईडीआई को ओवरराइड करने के लिए विशेष नियंत्रण पात्रों की अनुमति दी है।

लेखक कहते हैं कि लेखन के समय, यह तरीका क्रोमियम वेब ब्राउज़र में यूनिकोड के कार्यान्वयन के खिलाफ प्रभावी था, जो गूगल के क्रोम ब्राउज़र, माइक्रोसॉफ्ट के एज ब्राउज़र, और कई अन्य फोर्क के लिए अपस्ट्रीम स्रोत है।

इसके अलावा: मिटाने

इसे यहां शामिल किया गया है ताकि बाद के परिणाम ग्राफ स्पष्ट हों, मिटाने हमले में एक पात्र शामिल होता है जो एक बैकस्पेस या अन्य पाठ-प्रभावित नियंत्रण/कमांड का प्रतिनिधित्व करता है, जो एक पाठ मैक्रो की तरह एक भाषा पढ़ने वाली प्रणाली द्वारा प्रभावी रूप से लागू किया जाता है।

लेखकों का निरीक्षण है:

‘यूनिकोड में कुछ नियंत्रण पात्र हैं जो पड़ोसी पाठ को हटा सकते हैं। सबसे सरल उदाहरण बैकस्पेस (बीएस) और डिलीट (डीईएल) पात्र हैं। वहाँ कैरेज रिटर्न (सीआर) भी है जो पाठ-रेंडरिंग एल्गोरिदम को पंक्ति की शुरुआत में लौटाने और अपनी सामग्री को ओवरराइट करने का कारण बनता है।’

‘उदाहरण के लिए, “हैलो सीआरगुडबाय वर्ल्ड” का प्रतिनिधित्व करने वाला एन्कोडेड पाठ “गुडबाय वर्ल्ड” के रूप में प्रस्तुत किया जाएगा।’

जैसा कि पहले कहा गया था, यह हमला पूरी तरह से प्रभावी होने के लिए एक असंभव स्तर की पहुंच की आवश्यकता है, और यह केवल तब ही पूरी तरह से प्रभावी होगा जब पाठ को सिस्टमैटिक या नॉन-सिस्टमैटिक रूप से क्लिपबोर्ड के माध्यम से कॉपी और पेस्ट किया जाता है – एक असामान्य एनएलपी पाइपलाइन।

शोधकर्ताओं ने इसका परीक्षण किया और पाया कि यह पहले तीन तरीकों की तुलना में कम प्रभावी नहीं है। हालांकि, पहले तीन तरीकों का उपयोग करके हमले को सिर्फ दस्तावेज़ या वेब पेज अपलोड करके लागू किया जा सकता है (खोज इंजनों और/या वेब-स्क्रैपिंग एनएलपी पाइपलाइनों के खिलाफ हमले के मामले में)।

वर्तमान एनएलपी प्रणालियों के खिलाफ प्रभावशीलता

शोधकर्ताओं ने पांच लोकप्रिय बंद-स्रोत मॉडलों और तीन खुले स्रोत मॉडलों के खिलाफ विभिन्न लक्ष्यित और अलक्षित हमलों की एक श्रृंखला का प्रदर्शन किया।

उन्होंने मॉडलों के खिलाफ ‘स्पंज’ हमले भी परीक्षण किए। एक स्पंज हमला मूल रूप से एक डीओएस हमला है जो एनएलपी प्रणालियों के लिए है, जहां इनपुट पाठ ‘कंप्यूट’ नहीं होता है और प्रशिक्षण को महत्वपूर्ण रूप से धीमा कर देता है – एक प्रक्रिया जो सामान्य रूप से डेटा प्री-प्रोसेसिंग द्वारा असंभव होनी चाहिए।

पांच एनएलपी कार्यों का मूल्यांकन किया गया था: मशीन अनुवाद, विषाक्त सामग्री का पता लगाना, पाठ संबंध वर्गीकरण, नामित संस्था पहचान और भावना विश्लेषण।

परीक्षणों को एक अज्ञात संख्या में टेस्ला पी100 जीपीयू पर किया गया था, प्रत्येक पर एक इंटेल ज़ेनन सिल्वर 4110 सीपीयू चल रहा था, उबंटू पर। एपीआई कॉल बनाने के मामले में सेवा की शर्तों का उल्लंघन नहीं करने के लिए, प्रयोगों को एक प्रतिबिंब बजट शून्य (प्रभावित स्रोत पाठ) से पांच (अधिकतम व्यवधान) तक समान रूप से दोहराया गया था। शोधकर्ता दावा करते हैं कि यदि अधिक पुनरावृत्तियों की अनुमति दी जाती है, तो वे जो परिणाम प्राप्त करते हैं उसे पार किया जा सकता है।

शोधकर्ताओं ने टिप्पणी की:

‘हमारे द्वारा किए गए हमलों का सबसे परेशान करने वाला पहलू उनकी व्यापक लागू करने योग्यता है: हमने जिन सभी पाठ-आधारित एनएलपी प्रणालियों का परीक्षण किया है वे कमजोर हैं। वास्तव में, कोई भी मशीन-लर्निंग मॉडल जो उपयोगकर्ता-सप्लाई किए गए पाठ को इनपुट के रूप में लेता है सैद्धांतिक रूप से इस हमले के लिए कमजोर है।’

‘हमलों के विरोधी निहितार्थ एक अनुप्रयोग से दूसरे और एक मॉडल से दूसरे मॉडल में भिन्न हो सकते हैं, लेकिन सभी पाठ-आधारित मॉडल एन्कोडेड पाठ पर आधारित होते हैं, और सभी पाठ विरोधी एन्कोडिंग के लिए कमजोर होते हैं जब तक कि कोडिंग उपयुक्त रूप से प्रतिबंधित न हो।’

सार्वभौमिक ऑप्टिकल कैरेक्टर रिकग्निशन?

इन हमलों पर निर्भर करता है जो मूल रूप से यूनिकोड में ‘कमजोरियां’ हैं, और एक एनएलपी पाइपलाइन में रैस्टराइज़ किए गए सभी इनपुट पाठ और ऑप्टिकल कैरेक्टर रिकग्निशन (ओसीआर) का उपयोग करके स्वच्छता उपाय के रूप में उन्हें समाप्त किया जा सकता है। उस स्थिति में, लोगों द्वारा पढ़े जाने वाले इन विकृत हमलों का वही गैर-मैलिक्यस सेमेंटिक अर्थ एनएलपी प्रणाली को पारित किया जाएगा।

हालांकि, जब शोधकर्ताओं ने इस सिद्धांत का परीक्षण करने के लिए एक ओसीआर पाइपलाइन लागू की, तो उन्होंने पाया कि ब्लू स्कोर (बाइलिंगुअल इवैल्यूएशन अंडरस्टडी स्कोर) ने बेसलाइन सटीकता को 6.2% तक कम कर दिया, और सुझाव दिया कि ओसीआर प्रौद्योगिकियों में सुधार की आवश्यकता होगी इसे ठीक करने के लिए।

वे आगे सुझाव देते हैं कि बीआईडीआई नियंत्रण पात्रों को डिफ़ॉल्ट रूप से इनपुट से हटा दिया जाना चाहिए, असामान्य होमोग्लिफ्स को मैप और अनुक्रमित किया जाना चाहिए (जिसे वे ‘एक दुर्जेय कार्य’ के रूप में वर्णित करते हैं), और टोकनाइज़र और अन्य इनपुट तंत्र को अदृश्य पात्रों के खिलाफ सशस्त्र किया जाना चाहिए।

निष्कर्ष में, शोध समूह एनएलपी क्षेत्र से आग्रह करता है कि वह विरोधी हमलों की संभावनाओं के प्रति अधिक सावधानी बरतें।

‘[हम] सिफारिश करते हैं कि सभी फर्में जो पाठ-आधारित एनएलपी प्रणालियों का निर्माण और तैनाती कर रही हैं, यदि वे चाहते हैं कि उनके अनुप्रयोग दुर्भाग्यपूर्ण अभिनेताओं के खिलाफ मजबूत हों, तो ऐसी रक्षा को लागू करें।’