การลดมูลค่าหุ้นด้วยการสร้างเรทวีตที่เป็นอันตราย

การวิจัยร่วมระหว่างมหาวิทยาลัยในสหรัฐอเมริกาและ IBM ได้พัฒนาแนวคิดการโจมตีแบบ proof-of-concept ที่สามารถก่อให้เกิดความสูญเสียในตลาดหุ้นได้ โดยการเปลี่ยนคำเดียวในเรทวีตของโพสต์บน Twitter

ในหนึ่งการทดลอง นักวิจัยสามารถทำให้โมเดล Stocknet ล้มเหลวได้ด้วยสองวิธี: การโจมตีด้วยการเปลี่ยนแปลงและการโจมตีด้วยการเพิ่มคำ Source: https://arxiv.org/pdf/2205.01094.pdf

พื้นที่โจมตีสำหรับการโจมตีแบบอันตรายต่อระบบการทำนายหุ้นที่ใช้การเรียนรู้ของเครื่องและระบบอัตโนมัติคือการที่ระบบเหล่านี้เริ่มพึ่งพาโซเชียลมีเดียที่เป็นธรรมชาติเป็นตัวทำนายผลการดำเนินงาน และการเปลี่ยนแปลงข้อมูล “ในโลก” นี้เป็นกระบวนการที่สามารถสร้างได้อย่างน่าเชื่อถือ

นอกจาก Twitter แล้ว ระบบเหล่านี้ยังดึงข้อมูลจาก Reddit, StockTwits และ Yahoo News อีกหลายแห่ง ความแตกต่างระหว่าง Twitter และแหล่งข้อมูลอื่นๆ คือเรทวีตสามารถแก้ไขได้ แม้ว่าโพสต์ดั้งเดิมจะไม่สามารถแก้ไขได้ ในทางกลับกัน บน Reddit สามารถเพิ่มโพสต์หรือแสดงความคิดเห็นและให้คะแนนได้ แต่การกระทำเหล่านี้ถือเป็นการกระทำที่มีผลประโยชน์ส่วนตนและถูกมองว่าเป็นข้อมูลที่ไม่ถูกต้องโดยระบบการทำนายหุ้นที่ใช้การเรียนรู้ของเครื่อง

ในหนึ่งการทดลองบนโมเดล Stocknet นักวิจัยสามารถทำให้ค่าทำนายหุ้นลดลงได้โดยสองวิธี โดยวิธีที่มีประสิทธิภาพมากที่สุดคือการโจมตีด้วยการเปลี่ยนแปลง (เช่น เรทวีตที่แก้ไข) ซึ่งสามารถทำให้ค่าทำนายหุ้นลดลงได้อย่างรุนแรง

ตามที่นักวิจัยระบุ การโจมตีนี้เกิดขึ้นโดยการจำลองการเปลี่ยนแปลงคำเดียวในเรทวีตจากแหล่งข้อมูลทางการเงินที่มีชื่อเสียงบน Twitter:

คำพูดมีความสำคัญ ที่นี่ ความแตกต่างระหว่าง ‘filled’ และ ‘exercised’ (ไม่ใช่คำที่เป็นอันตรายหรือทำให้เข้าใจผิด แต่เป็นคำที่ใกล้เคียงกัน) สามารถทำให้นักลงทุนเสียเงินหลายพันในมูลค่าหุ้น

เอกสารวิจัยระบุว่า:

‘ผลลัพธ์ของเราแสดงให้เห็นว่าวิธีการโจมตีที่เราเสนอสามารถประสบความสำเร็จอย่างต่อเนื่องและทำให้เกิดความสูญเสียทางการเงินที่มีนัยสำคัญในสถานการณ์การซื้อขายโดยการเพิ่มเรทวีตที่มีคำที่เปลี่ยนแปลงไปแต่ยังคงความหมายเดิม’

นักวิจัยสรุปว่า:

‘งานนี้แสดงให้เห็นว่าวิธีการโจมตีแบบอันตรายของเราสามารถหลอกลวงโมเดลการทำนายหุ้นที่หลากหลายได้ แม้จะมีข้อจำกัดทางกายภาพที่ไม่สามารถแก้ไขโพสต์ดั้งเดิมได้ การเพิ่มเรทวีตที่มีคำที่เปลี่ยนแปลงไปเพียงคำเดียวสามารถทำให้เกิดความสูญเสียเพิ่มเติม 32% ในการลงทุนของเราหลังจากประมาณ 2 ปี

‘โดยการ изучาความอ่อนแอของโมเดลการทำนายหุ้น เรามีเป้าหมายที่จะเพิ่มความตระหนักของชุมชนการเงินเกี่ยวกับความเสี่ยงของโมเดล AI เพื่อที่ในอนาคตเราจะสามารถพัฒนาโครงสร้าง AI ที่มีคนอยู่ในวงจรที่มีความแข็งแกร่งยิ่งขึ้น’

เอกสารวิจัยมีชื่อว่า คำหนึ่งมีค่าเท่ากับหนึ่งพันดอลลาร์: การโจมตีแบบอันตรายต่อทวีตหลอกลวงการทำนายหุ้น และมาจากนักวิจัย 6 คนจากมหาวิทยาลัยอิลลินอยส์ เออร์บานา-แชมเปญ, มหาวิทยาลัยแห่งรัฐนิวยอร์กที่บัฟฟาโล และมหาวิทยาลัยแห่งรัฐมิชิแกน โดยมีนักวิจัย 3 คนจาก IBM

คำที่ไม่ดี

เอกสารวิจัยตรวจสอบว่าสนามการโจมตีแบบอันตรายต่อโมเดลการเรียนรู้ของเครื่องที่ใช้ข้อความสามารถนำไปใช้กับโมเดลการทำนายหุ้นที่พึ่งพาโซเชียลมีเดียได้หรือไม่

ตามที่นักวิจัยระบุ ความสามารถในการจัดการโซเชียลมีเดียเพื่อ影响มูลค่าหุ้นได้ถูกแสดงให้เห็นแล้ว แต่ยังไม่ได้โดยวิธีการที่เสนอในงานนี้ ในปี 2013 ทวีตที่มีเจตนาร้ายจากบัญชี Twitter ของ Associated Press ที่ถูกแฮกสามารถทำให้หุ้นลดลง 136 พันล้านดอลลาร์สหรัฐฯ ในเวลาเพียง 3 นาที

วิธีการที่เสนอในงานนี้ใช้การโจมตีด้วยการเพิ่มคำ ซึ่งไม่เปลี่ยนแปลงโพสต์ดั้งเดิม แต่ทำให้เรทวีตมีความหมายที่แตกต่าง:

จากเอกสารเสริมของเอกสารวิจัย ตัวอย่างของเรทวีตที่มีคำที่เปลี่ยนแปลงไปซึ่งเปลี่ยนความหมายและความสำคัญของข้อความดั้งเดิมโดยไม่ทำให้คนหรือฟิลเตอร์ง่ายๆ สามารถจับได้ แต่สามารถหลอกลวงโมเดลการทำนายหุ้นได้

นักวิจัยได้เข้าใกล้การสร้างเรทวีตที่เป็นอันตรายเป็นปัญหาในการเพิ่มประสิทธิภาพแบบผสม:

การแทนที่คำโดยใช้ sememes – ‘หน่วยความหมายขั้นต่ำของภาษามนุษย์’ Source: https://aclanthology.org/2020.acl-main.540.pdf

เอกสารวิจัยระบุว่า:

‘ในกรณีของ Twitter ผู้โจมตีสามารถโพสต์ทวีตที่เป็นอันตรายที่สร้างขึ้นเพื่อหลอกลวงโมเดลที่ใช้ทวีตเหล่านี้เป็นข้อมูลเข้า’

‘เราขอเสนอการโจมตีโดยการโพสต์ทวีตที่มีความหมายเหมือนกันแต่มีคำที่เปลี่ยนแปลงไปเป็นเรทวีตบน Twitter เพื่อให้สามารถจับได้ว่าเป็นข้อมูลที่เกี่ยวข้องและรวบรวมเป็นข้อมูลเข้าโมเดล’

สำหรับทุกทวีตในกลุ่มที่เลือกไว้ นักวิจัยได้แก้ปัญหาในการเลือกคำภายใต้ข้อจำกัดของงบประมาณคำและทวีต ซึ่งวางข้อจำกัดที่เข้มงวดในแง่ของความแตกต่างทางความหมายจากคำดั้งเดิม และการแทนที่คำ ‘อันตราย/ไม่เป็นอันตราย’

ทวีตที่เป็นอันตรายถูกสร้างขึ้นโดยอาศัยทวีตที่เกี่ยวข้องซึ่งมีแนวโน้มที่จะถูกอนุญาตให้เข้าโมเดลการทำนายหุ้น ทวีตต้องผ่านระบบตรวจสอบเนื้อหาของ Twitter และไม่ควรดูเหมือนว่าเป็นเท็จต่อผู้สังเกตการณ์คนธรรมดา

ตามงานวิจัยก่อนหน้า (จากมหาวิทยาลัยแห่งรัฐมิชิแกน ร่วมกับ CSAIL, MIT และ MIT-IBM Watson AI Lab) คำที่เลือกในทวีตเป้าหมายถูกแทนที่ด้วยคำที่ใกล้เคียงจากกลุ่มคำที่ใกล้เคียงที่มีจำกัด ซึ่งทั้งหมดต้องมีความหมายที่ใกล้เคียงกับคำดั้งเดิมมาก ในขณะที่ยังคง ‘อิทธิพลที่เป็นอันตราย’ ตามพฤติกรรมที่อนุมานของโมเดลการทำนายหุ้น

อัลกอริทึมที่ใช้ในการทดลองต่อไปนี้คือตัวแก้ปัญหา Joint Optimization (JO) และตัวแก้ปัญหา Alternating Greedy Optimization (AGO)

ชุดข้อมูลและการทดลอง

แนวทางนี้ถูกทดสอบบนชุดข้อมูลการทำนายหุ้นที่ประกอบด้วย 10,824 ตัวอย่างของทวีตที่เกี่ยวข้องและข้อมูลการดำเนินงานของตลาดหุ้นใน 88 หุ้นระหว่างปี 2014-2016

โมเดล ‘เหยื่อ’ ที่ถูกเลือกคือ Stocknet; FinGRU (ที่มาจาก GRU); และ FinLSTM (ที่มาจาก LSTM)

มาตรการประเมินผลประกอบด้วยอัตราความสำเร็จของการโจมตี (ASR) และการลดลงของ F1 score ของโมเดลเหยื่อหลังการโจมตีแบบอันตราย นักวิจัยได้จำลองยุทธวิธี Long-Only Buy-Hold-Sell สำหรับการทดสอบ Profit and Loss (PnL) ก็ถูกคำนวณในการจำลองเช่นกัน

ผลลัพธ์ของการทดลอง ดูกราฟแรกด้านบนของบทความนี้

ภายใต้ JO และ AGO ASR เพิ่มขึ้น 10% และ F1 score ของโมเดลลดลง 0.1 โดยเฉลี่ย เมื่อเทียบกับการโจมตีแบบสุ่ม นักวิจัยระบุว่า:

‘การลดลงของประสิทธิภาพดังกล่าวถือว่ามีนัยสำคัญในบริบทของการทำนายหุ้น เนื่องจากความแม่นยำในการทำนายผลตอบแทนระหว่างวันของโมเดลที่ดีที่สุดคือเพียง 60% เท่านั้น’

ในกลุ่ม Profit-and-Loss ของการโจมตี (เสมือน) ต่อ Stocknet ผลลัพธ์ของเรทวีตที่เป็นอันตรายก็เป็นที่น่าสังเกตเช่นกัน:

‘สำหรับการจำลองแต่ละครั้ง นักลงทุนมีเงิน 10,000 ดอลลาร์ (100%) เพื่อลงทุน ผลลัพธ์แสดงให้เห็นว่าวิธีการโจมตีที่เราเสนอสามารถทำให้เกิดความสูญเสียเพิ่มเติม 3,200 ดอลลาร์ (75%-43%) ในพอร์ตการลงทุนหลังจากประมาณ 2 ปี’

เผยแพร่ครั้งแรกเมื่อวันที่ 4 พฤษภาคม 2022