рдХреГрддреНрд░рд┐рдо рдмреБрджреНрдзрд┐рдорддреНрддрд╛
рд╕реНрдЯреЙрдХ рдХреЛ рдХрдо рдореВрд▓реНрдп рд╡рд╛рд▓реЗ рд░реАрдЯреНрд╡реАрдЯ рдХреЗ рд╕рд╛рде рдХрдо рдХрд░рдирд╛
अमेरिकी विश्वविद्यालयों और आईबीएम के बीच एक संयुक्त अनुसंधान सहयोग ने एक प्रूफ-ऑफ-कॉन्सेप्ट एडवर्सरियल हमले का गठन किया है जो सैद्धांतिक रूप से स्टॉक बाजार के नुकसान का कारण बन सकता है, केवल एक ट्विटर पोस्ट के रीट्वीट में एक शब्द को बदलकर।
एक प्रयोग में, शोधकर्ता दो तरीकों से स्टॉकनेट पूर्वानुमान मॉडल को अक्षम करने में सक्षम थे: एक मैनिपुलेशन हमला और एक संकलन हमला। स्रोत: https://arxiv.org/pdf/2205.01094.pdf
स्वचालित और मशीन लर्निंग स्टॉक पूर्वानुमान प्रणालियों पर एक एडवर्सरियल हमले के लिए हमले का क्षेत्र यह है कि उनकी संख्या जैविक सोशल मीडिया को प्रदर्शन के पूर्वानुमान के रूप में अधिक से अधिक पर निर्भर कर रही है; और इस ‘जंगली’ डेटा को मैनिप्युलेट करना एक ऐसी प्रक्रिया है जो संभावित रूप से विश्वसनीय रूप से तैयार की जा सकती है।
ट्विटर के अलावा, इस तरह की प्रणालियां रेडिट, स्टॉकट्विट्स और याहू न्यूज जैसे अन्य स्रोतों से डेटा को निगलती हैं। ट्विटर और अन्य स्रोतों के बीच अंतर यह है कि रीट्वीट संपादन योग्य हैं, भले ही मूल ट्वीट न हों। दूसरी ओर, यह केवल अतिरिक्त (यानी, टिप्पणी या संबंधित) पोस्ट बनाने के लिए संभव है रेडिट पर, या टिप्पणी और रेटिंग करने के लिए – जो कार्रवाइयों को सही ढंग से पक्षपातपूर्ण और स्वार्थी द्वारा माना जाता है एमएल-आधारित स्टॉक पूर्वानुमान प्रणालियों के डेटा स्वच्छता दिनचर्या और प्रथाओं द्वारा।
एक प्रयोग में, स्टॉकनेट पूर्वानुमान मॉडल पर, शोधकर्ता दो तरीकों से स्टॉक मूल्य पूर्वानुमान में उल्लेखनीय गिरावट का कारण बन सकते थे, जिनमें से सबसे प्रभावी, मैनिपुलेशन हमला (यानी, संपादित रीट्वीट), सबसे गंभीर गिरावट का कारण बन सकता था।
यह शोधकर्ताओं के अनुसार एक ‘सम्मानित’ वित्तीय ट्विटर स्रोत से एक रीट्वीट में एकल प्रतिस्थापन की नकल करके प्रभावित किया गया था:
शब्दों का मायने है। यहाँ, ‘फिल्ड’ और ‘एक्सरसाइज्ड’ (कोई स्पष्ट रूप से दुर्भाग्यपूर्ण या भ्रामक शब्द नहीं है, लेकिन लगभग एक पर्यायवाची के रूप में वर्गीकृत किया गया है) के बीच का अंतर सैद्धांतिक रूप से एक निवेशक को स्टॉक मूल्यह्रास में हजारों की लागत का कारण बन सकता है।
पेपर में कहा गया है:
‘हमारे परिणाम दिखाते हैं कि प्रस्तावित हमले की विधि लगातार सफलता दर प्राप्त कर सकती है और व्यापारिक अनुकरण में महत्वपूर्ण मौद्रिक नुकसान का कारण बन सकती है, केवल एक प्रतिस्थापित ट्वीट को जोड़कर।’
शोधकर्ता निष्कर्ष निकालते हैं:
‘यह काम दिखाता है कि हमारी एडवर्सरियल हमले की विधि लगातार विभिन्न वित्तीय पूर्वानुमान मॉडल को धोखा देती है, यहां तक कि शुद्ध ट्वीट को संशोधित नहीं किया जा सकता है। एक रीट्वीट में केवल एक शब्द को बदलकर, हमला हमारे अनुकरणित निवेश पोर्टफोलियो में 32% अतिरिक्त नुकसान का कारण बन सकता है।
‘वित्तीय मॉडल की कमजोरियों का अध्ययन करके, हमारा लक्ष्य वित्तीय समुदाय को एआई मॉडल के जोखिमों के बारे में जागरूक करना है, ताकि भविष्य में हम अधिक मजबूत मानव-इन-द-लूप एआई आर्किटेक्चर विकसित कर सकें। ‘
पेपर शीर्षक है एक शब्द एक हजार डॉलर के लायक है: ट्वीट्स पर एडवर्सरियल हमला स्टॉक पूर्वानुमान को धोखा देता है, और छह शोधकर्ताओं से आता है, जो विभिन्न रूप से इलिनोइस विश्वविद्यालय उरबाना-शैंपेन, न्यूयॉर्क राज्य विश्वविद्यालय बफ़ेलो में, और मिशिगन स्टेट यूनिवर्सिटी से हैं, जिनमें से तीन शोधकर्ता आईबीएम से संबद्ध हैं।
दुर्भाग्यपूर्ण शब्द
पेपर यह जांचता है कि पाठ-आधारित गहरे शिक्षण मॉडल पर एडवर्सरियल हमलों के अच्छी तरह से अध्ययन किए गए क्षेत्र को स्टॉक बाजार पूर्वानुमान मॉडल पर लागू किया जा सकता है, जिनकी पूर्वानुमान क्षमता कुछ बहुत ‘मानव’ कारकों पर निर्भर करती है जो केवल सोशल मीडिया स्रोतों से लगभग अनुमानित किया जा सकता है।
जैसा कि शोधकर्ता नोट करते हैं, सोशल मीडिया मैनिपुलेशन की स्टॉक कीमतों पर प्रभाव डालने की क्षमता को पहले से ही अच्छी तरह से प्रदर्शित किया गया है, हालांकि अभी तक प्रस्तावित तरीकों से नहीं; 2013 में, एक दुर्भाग्यपूर्ण सीरियाई दावा ट्वीट एसोसिएटेड प्रेस के हैक किए गए ट्विटर अकाउंट पर $136 बिलियन यूएसडी के इक्विटी बाजार मूल्य लगभग तीन मिनट में मिटा दिया।
इस नए काम में प्रस्तावित तरीका एक संकलन हमला लागू करता है, जो मूल ट्वीट को छूता नहीं है, जबकि इसे गलत तरीके से उद्धृत करता है:
पेपर के पूरक सामग्री से, रीट्वीट में प्रतिस्थापित पर्यायवाची शब्दों के उदाहरण जो मूल संदेश के इरादे और महत्व को बदलते हैं, बिना इसे ऐसे तरीके से विकृत किए जो मानव या सरल फिल्टर द्वारा पकड़े जा सकते हैं – लेकिन जो स्टॉक बाजार पूर्वानुमान प्रणालियों में एल्गोरिदम का शोषण कर सकते हैं।
शोधकर्ताओं ने एडवर्सरियल रीट्वीट के निर्माण को संयोजन अनुकूलन समस्या के रूप में देखा – पीड़ित मॉडल को धोखा देने में सक्षम एडवर्सरियल उदाहरणों का निर्माण।
सेमेम्स का उपयोग करके शब्द प्रतिस्थापन – मानव भाषाओं की ‘न्यूनतम सेमेंटिक इकाई’। स्रोत: https://aclanthology.org/2020.acl-main.540.pdf
पेपर में कहा गया है:
‘ट्विटर के मामले में, विरोधी मैलिशियस ट्वीट पोस्ट कर सकते हैं जो डाउनस्ट्रीम मॉडल को मैनिपुलेट करने के लिए तैयार किए गए हैं जो उन्हें इनपुट के रूप में लेते हैं। ‘
‘हम प्रस्ताव करते हैं कि हम सेमेंटिक रूप से समान एडवर्सरियल ट्वीट को रीट्वीट के रूप में पोस्ट करके हमला करें, ताकि वे प्रासंगिक जानकारी के रूप में पहचाने जा सकें और मॉडल इनपुट के रूप में एकत्र किए जा सकें।’
प्रत्येक ट्वीट के लिए एक विशेष रूप से चुने गए पूल में, शोधकर्ताओं ने शब्द और ट्वीट बजट के प्रतिबंधों के तहत शब्द चयन समस्या का समाधान किया, जो मूल शब्द से सेमेंटिक विचलन और ‘दुर्भाग्यपूर्ण/सौम्य’ शब्द के प्रतिस्थापन के संदर्भ में गंभीर प्रतिबंध लगाते हैं।
एडवर्सरियल ट्वीट प्रासंगिक ट्वीट पर आधारित हैं जो संभवतः डाउनस्ट्रीम स्टॉक पूर्वानुमान प्रणालियों में अनुमति दी जा सकती है। ट्वीट को ट्विटर की सामग्री मॉडरेशन प्रणाली से गुजरना होगा, और यह एक मानव द्वारा देखे जाने पर विरोधाभासी नहीं लगना चाहिए।
पिछले काम का पालन करते हुए (मिशिगन स्टेट यूनिवर्सिटी से, सीएसएआईएल, एमआईटी और एमआईटी-आईबीएम वाटसन एआई लैब के साथ मिलकर), लक्ष्य ट्वीट में चुने गए शब्दों को सीमित सिनोनिम संभावनाओं के पूल से पर्यायवाची शब्दों के साथ बदल दिया जाता है, जिनमें से सभी मूल शब्द के बहुत करीब सेमेंटिक रूप से होना चाहिए, जबकि इसके ‘भ्रष्ट प्रभाव’ को बनाए रखना चाहिए, जो स्टॉक बाजार पूर्वानुमान प्रणालियों के व्यवहार पर अनुमानित है।
इसके बाद के प्रयोगों में उपयोग किए गए एल्गोरिदम ज्वाइंट ऑप्टिमाइजेशन (जेओ) सॉल्वर और अल्टरनेटिंग ग्रीडी ऑप्टिमाइजेशन (एजीओ) सॉल्वर थे।
डेटासेट और प्रयोग
इस दृष्टिकोण को 10,824 प्रासंगिक ट्वीट और 88 स्टॉक के बाजार प्रदर्शन के आंकड़ों वाले स्टॉक पूर्वानुमान डेटासेट पर आजमाया गया था 2014-2016 के बीच।
तीन ‘पीड़ित’ मॉडल चुने गए: स्टॉकनेट; फिनजीआरयू (जीआरयू का एक व्युत्पन्न); और फिनएलएसटीएम (एलएसटीएम का एक व्युत्पन्न)।
मूल्यांकन मीट्रिक में हमले की सफलता दर (एएसआर) और पीड़ित मॉडल के एफ 1 स्कोर में गिरावट शामिल थी एडवर्सरियल हमले के बाद। शोधकर्ताओं ने परीक्षणों के लिए एक लॉन्ग-ओनली बाय-होल्ड-सेल रणनीति का अनुकरण किया। लाभ और हानि (पीएनएल) की गणना भी अनुकरण में की गई थी।
प्रयोगों के परिणाम। इस लेख के शीर्ष पर पहले ग्राफ को भी देखें।
जेओ और एजीओ के तहत, एएसआर 10% तक बढ़ जाता है, और मॉडल का एफ 1 स्कोर औसतन 0.1 तक गिर जाता है, एक यादृच्छिक हमले की तुलना में। शोधकर्ता नोट करते हैं:
‘ऐसा [एक] प्रदर्शन में गिरावट स्टॉक पूर्वानुमान के संदर्भ में महत्वपूर्ण माना जाता है, क्योंकि अंतरदिवस रिटर्न की राज्य-ऑफ-द-आर्ट पूर्वानुमान सटीकता केवल लगभग 60% है। ‘
स्टॉकनेट पर (आभासी) हमले के लाभ और हानि खंड में, एडवर्सरियल रीट्वीट के परिणाम भी उल्लेखनीय थे:
‘प्रत्येक अनुकरण के लिए, निवेशक के पास $10K (100%) निवेश करने के लिए है; परिणाम दिखाते हैं कि प्रस्तावित हमले की विधि एक रीट्वीट में केवल एक शब्द को बदलकर निवेशक को अपने पोर्टफोलियो में $3.2K (75%-43%) की अतिरिक्त हानि का कारण बन सकती है लगभग 2 साल बाद। ‘
पहली बार 4 मई 2022 को प्रकाशित।
