การลดมูลค่าหุ้นด้วยการรีทวีตที่สร้างขึ้นโดยฝ่ายตรงข้าม

ความร่วมมือด้านการวิจัยร่วมกันระหว่างมหาวิทยาลัยในสหรัฐฯ และ IBM ได้กำหนดวิธีการโจมตีฝ่ายตรงข้ามที่พิสูจน์แนวคิดได้ ซึ่งในทางทฤษฎีแล้วสามารถทำให้เกิดการขาดทุนในตลาดหุ้นได้ เพียงแค่เปลี่ยนคำหนึ่งคำในการรีทวีตของโพสต์บน Twitter

ในการทดลองหนึ่ง นักวิจัยสามารถทำแบบจำลองการคาดการณ์ของ Stocknet ได้ XNUMX วิธี ได้แก่ การโจมตีด้วยการจัดการและการโจมตีแบบเชื่อมโยง ที่มา: https://arxiv.org/pdf/2205.01094.pdf

พื้นผิวการโจมตีสำหรับการโจมตีฝ่ายตรงข้ามกับระบบทำนายหุ้นอัตโนมัติและการเรียนรู้ของเครื่องจักรคือ ก จำนวนที่เพิ่มขึ้น ในจำนวนนี้อาศัยสื่อสังคมออนไลน์เป็นตัวทำนายประสิทธิภาพ และการจัดการกับข้อมูล 'ในธรรมชาติ' นี้เป็นกระบวนการที่สามารถกำหนดสูตรได้อย่างน่าเชื่อถือ

นอกจาก Twitter แล้ว ระบบในลักษณะนี้ยังนำเข้าข้อมูลจาก Reddit, StockTwits และ Yahoo News เป็นต้น ความแตกต่างระหว่าง Twitter และแหล่งอื่นๆ คือสามารถแก้ไขทวีตซ้ำได้ แม้ว่าทวีตดั้งเดิมจะไม่ใช่ก็ตาม ในทางกลับกัน เป็นไปได้เพียงสร้างโพสต์เพิ่มเติม (เช่น แสดงความคิดเห็นหรือที่เกี่ยวข้อง) บน Reddit หรือแสดงความคิดเห็นและให้คะแนน – การกระทำที่ได้รับการปฏิบัติอย่างถูกต้องเหมือนเป็นพรรคพวกและให้บริการตนเองตามกิจวัตรและแนวทางปฏิบัติในการล้างข้อมูลของหุ้นที่ใช้ ML ระบบการทำนาย

ในการทดลองครั้งหนึ่งบน สต๊อกเน็ต คำทำนาย แบบนักวิจัยสามารถทำให้การทำนายมูลค่าหุ้นลดลงอย่างเห็นได้ชัดด้วยสองวิธี ซึ่งวิธีที่มีประสิทธิภาพมากที่สุดคือ การโจมตีด้วยการจัดการ (เช่น การรีทวีตที่มีการแก้ไข) สามารถทำให้เกิดการลดลงที่รุนแรงที่สุด

นักวิจัยกล่าวว่าสิ่งนี้ได้รับผลกระทบโดยการจำลองการแทนที่เพียงครั้งเดียวในการรีทวีตจากแหล่งที่มาทางการเงินของ Twitter ที่ 'เคารพ':

คำพูดมีความสำคัญ ในที่นี้ ความแตกต่างระหว่างคำว่า 'เต็ม' และ 'ใช้สิทธิ' (ไม่ใช่คำที่เป็นอันตรายหรือทำให้เข้าใจผิดอย่างโจ่งแจ้ง แต่เป็นเพียงการจัดหมวดหมู่เป็นคำพ้องความหมาย) ในทางทฤษฎีทำให้นักลงทุนหลายพันคนต้องเสียค่าใช้จ่ายในการลดมูลค่าหุ้น

กระดาษระบุ:

'ผลลัพธ์ของเราแสดงให้เห็นว่าวิธีการโจมตีที่เสนอสามารถบรรลุอัตราความสำเร็จที่สม่ำเสมอและทำให้สูญเสียเงินจำนวนมากในการจำลองการซื้อขายโดยเพียงแค่เชื่อมโยงทวีตที่ก่อกวนแต่มีความหมายคล้ายกัน'

นักวิจัยสรุปว่า:

'งานนี้แสดงให้เห็นว่าวิธีการโจมตีของฝ่ายตรงข้ามหลอกแบบจำลองการคาดการณ์ทางการเงินต่างๆ อย่างสม่ำเสมอ แม้ว่าจะมีข้อจำกัดทางกายภาพที่ไม่สามารถแก้ไขทวีตดิบได้ การเพิ่มรีทวีตโดยแทนที่เพียงคำเดียว การโจมตีอาจทำให้พอร์ตการลงทุนจำลองของเราสูญเสียเพิ่มขึ้น 32%

"จากการศึกษาความเปราะบางของโมเดลการเงิน เป้าหมายของเราคือการสร้างความตระหนักรู้ของชุมชนการเงินเกี่ยวกับความเสี่ยงของโมเดล AI เพื่อที่ว่าในอนาคตเราจะสามารถพัฒนาสถาปัตยกรรม AI ที่มนุษย์ใช้งานในลูปได้อย่างแข็งแกร่ง"

พื้นที่ กระดาษ มีบรรดาศักดิ์ คำพูดมีค่าหนึ่งพันดอลลาร์: การโจมตีของฝ่ายตรงข้ามในทวีตเป็นการทำนายหุ้นที่โง่เขลาและมาจากนักวิจัย XNUMX คน ซึ่งมีชื่อเสียงหลากหลายจากมหาวิทยาลัย Illinois Urbana-Champaign, State University of New York at Buffalo และ Michigan State University โดยนักวิจัย XNUMX คนเป็นพันธมิตรกับ IBM

คำอัปมงคล

เอกสารนี้จะตรวจสอบว่าขอบเขตของการโจมตีของฝ่ายตรงข้ามในโมเดลการเรียนรู้เชิงลึกแบบข้อความที่ได้รับการศึกษามาอย่างดีนั้นใช้ได้กับโมเดลการทำนายตลาดหุ้นหรือไม่ ซึ่งความสามารถในการคาดการณ์นั้นขึ้นอยู่กับปัจจัย 'มนุษย์' บางอย่างซึ่งสามารถอนุมานได้คร่าวๆ จากแหล่งที่มาของโซเชียลมีเดียเท่านั้น

ดังที่นักวิจัยตั้งข้อสังเกตว่า ศักยภาพของสื่อสังคมออนไลน์ที่มีอิทธิพลต่อราคาหุ้นนั้นได้รับการพิสูจน์อย่างดีแล้ว แม้ว่าจะยังไม่ใช่วิธีการที่นำเสนอในงานนี้ ในปี 2013 ก ทวีตที่อ้างว่าเป็นชาวซีเรียที่เป็นอันตราย ในบัญชี Twitter ที่ถูกแฮ็กของ Associated Press ได้ลบมูลค่าตลาดตราสารทุนไป 136 พันล้านเหรียญสหรัฐ ในเวลาประมาณสามนาที.

วิธีการที่เสนอในงานใหม่ใช้การโจมตีแบบเรียงต่อกัน ซึ่งทำให้ทวีตเดิมไม่ถูกแตะต้อง ในขณะที่อ้างอิงผิด:

จากเอกสารเสริมสำหรับกระดาษ ตัวอย่างของการรีทวีตที่มีคำพ้องความหมายที่ถูกแทนที่ซึ่งเปลี่ยนเจตนาและความสำคัญของข้อความต้นฉบับ โดยไม่บิดเบือนความจริงในลักษณะที่มนุษย์หรือตัวกรองทั่วไปอาจจับได้ แต่สามารถใช้ประโยชน์จากอัลกอริทึมใน ระบบทำนายตลาดหุ้น

นักวิจัยได้เข้าใกล้การสร้างรีทวีตของฝ่ายตรงข้ามเป็น การเพิ่มประสิทธิภาพแบบผสมผสาน ปัญหา – การสร้างตัวอย่างของฝ่ายตรงข้ามที่สามารถหลอกรูปแบบเหยื่อได้ แม้จะมีคำศัพท์ที่จำกัดมากก็ตาม

การแทนคำโดยใช้ เซม – 'หน่วยความหมายขั้นต่ำของภาษามนุษย์' ที่มา: https://aclanthology.org/2020.acl-main.540.pdf

กระดาษสังเกต:

'ในกรณีของ Twitter ฝ่ายตรงข้ามสามารถโพสต์ทวีตที่เป็นอันตรายซึ่งสร้างขึ้นเพื่อจัดการกับโมเดลดาวน์สตรีมที่ใช้เป็นอินพุต

'เราเสนอที่จะโจมตีด้วยการโพสต์ทวีตของฝ่ายตรงข้ามที่มีความหมายคล้ายกันเป็นการรีทวีตบน Twitter เพื่อให้สามารถระบุได้ว่าเป็นข้อมูลที่เกี่ยวข้องและรวบรวมเป็นข้อมูลจำลอง'

สำหรับทวีตแต่ละรายการในกลุ่มที่เลือกเป็นพิเศษ นักวิจัยได้แก้ปัญหาการเลือกคำภายใต้ข้อจำกัดของงบประมาณของคำและทวีต ซึ่งทำให้มีข้อจำกัดที่รุนแรงในแง่ของความหมายที่แตกต่างจากคำต้นฉบับ และการแทนที่ด้วยคำที่ 'ประสงค์ร้าย/ไม่เป็นมิตร' .

ทวีตของฝ่ายตรงข้ามนั้นจัดทำขึ้นจากทวีตที่เกี่ยวข้องซึ่งน่าจะได้รับอนุญาตให้เข้าสู่ระบบทำนายหุ้นปลายน้ำ ทวีตจะต้องผ่านระบบการกลั่นกรองเนื้อหาของ Twitter อย่างไม่จำกัด และจะต้องไม่มีลักษณะที่ขัดแย้งกับข้อเท็จจริงของผู้สังเกตการณ์ที่ไม่เป็นทางการ

กำลังติดตาม งานก่อนหน้า (จากมหาวิทยาลัยแห่งรัฐมิชิแกน ร่วมกับ CSAIL, MIT และ MIT-IBM Watson AI Lab) คำที่เลือกในทวีตเป้าหมายจะถูกแทนที่ด้วยคำพ้องความหมายจากกลุ่มคำพ้องความหมายที่มีอยู่อย่างจำกัด ซึ่งทั้งหมดต้องมีความหมายใกล้เคียงกับต้นฉบับมาก คำในขณะที่รักษา 'อิทธิพลที่เสียหาย' ตามพฤติกรรมที่อนุมานของระบบการทำนายตลาดหุ้น

อัลกอริทึมที่ใช้ในการทดลองต่อมาคือตัวแก้ปัญหาการเพิ่มประสิทธิภาพร่วม (JO) และตัวแก้ปัญหาการเพิ่มประสิทธิภาพแบบสลับโลภ (AGO)

ชุดข้อมูลและการทดลอง

วิธีการนี้ได้ทดลองใช้กับชุดข้อมูลการทำนายหุ้นซึ่งประกอบด้วย 10,824 ตัวอย่างของทวีตที่เกี่ยวข้องและข้อมูลประสิทธิภาพของตลาดใน 88 หุ้นระหว่าง 2014-2016.

เลือกแบบจำลอง 'เหยื่อ' สามแบบ: สต๊อกเน็ต; FinGRU (อนุพันธ์ของ GRU); และ FinLSTM (อนุพันธ์ของ แอลเอสทีเอ็ม).

เมตริกการประเมินประกอบด้วยอัตราความสำเร็จในการโจมตี (ASR) และการลดลงของรูปแบบเหยื่อ คะแนน F1 หลังจากการโจมตีของศัตรู นักวิจัยได้จำลอง ซื้อ-ถือ-ขายระยะยาวเท่านั้น กลยุทธ์สำหรับการทดสอบ คำนวณกำไรและขาดทุน (PnL) ในการจำลองด้วย

ผลการทดลอง ดูกราฟแรกที่ด้านบนของบทความนี้ด้วย

ภายใต้ JO และ AGO ASR เพิ่มขึ้น 10% และคะแนน F1 ของโมเดลลดลงโดยเฉลี่ย 0.1 เมื่อเทียบกับการโจมตีแบบสุ่ม นักวิจัยทราบว่า:

'การลดลงของประสิทธิภาพ [a] ดังกล่าวถือว่ามีนัยสำคัญในบริบทของการทำนายหุ้น เนื่องจากความแม่นยำในการทำนายที่ทันสมัยของผลตอบแทนระหว่างวันอยู่ที่ประมาณ 60% เท่านั้น'

ในกลุ่มผลกำไรและขาดทุนของการโจมตี (เสมือน) บน Stocknet ผลลัพธ์ของการรีทวีตของฝ่ายตรงข้ามก็มีความสำคัญเช่นกัน:

'สำหรับการจำลองแต่ละครั้ง นักลงทุนมี $10K (100%) เพื่อลงทุน; ผลลัพธ์แสดงให้เห็นว่าวิธีการโจมตีที่เสนอด้วยการรีทวีตด้วยการแทนที่คำเพียงคำเดียวอาจทำให้นักลงทุนสูญเสียพอร์ตการลงทุนเพิ่มอีก 3.2 ดอลลาร์ (75%-43%) หลังจากผ่านไปประมาณ 2 ปี'

เผยแพร่ครั้งแรก 4 พฤษภาคม 2022