มุมมองของ Anderson

การลดมูลค่าหุ้นด้วยการสร้างเรทวีตที่เป็นอันตราย

Martin Anderson
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญการแก้ไขคำเดียวในรีทวีตอาจทำให้พอร์ตการลงทุนสูญเสียเพิ่มขึ้น 32%
ดูเพิ่มเติม
  • การแก้ไขคำเดียวในรีทวีตอาจทำให้พอร์ตการลงทุนสูญเสียเพิ่มขึ้น 32%
  • การโจมตีใช้ประโยชน์จากรีทวีตที่แก้ไขได้ในขณะที่ทวีตต้นฉบับยังคงไม่สามารถเปลี่ยนแปลงได้
  • โมเดลการทำนายหุ้นที่อาศัยข้อมูลจากโซเชียลมีเดียมีความเสี่ยงต่อการบิดเบือนความหมาย

การวิจัยร่วมระหว่างมหาวิทยาลัยในสหรัฐอเมริกาและ IBM ได้พัฒนาแนวคิดการโจมตีแบบ proof-of-concept ที่ในทางทฤษฎีอาจก่อให้เกิดความสูญเสียในตลาดหุ้นได้ โดยการเปลี่ยนคำเดียวในเรทวีตของโพสต์บน Twitter

ในหนึ่งการทดลอง นักวิจัยสามารถบั่นทอนการทำงานของโมเดลพยากรณ์ Stocknet ได้ด้วยสองวิธี: การโจมตีด้วยการเปลี่ยนแปลงและการโจมตีด้วยการต่อข้อความ

ในหนึ่งการทดลอง นักวิจัยสามารถบั่นทอนการทำงานของโมเดลพยากรณ์ Stocknet ได้ด้วยสองวิธี: การโจมตีด้วยการเปลี่ยนแปลงและการโจมตีด้วยการต่อข้อความ Source: https://arxiv.org/pdf/2205.01094.pdf

พื้นที่โจมตีสำหรับการโจมตีแบบอันตรายต่อระบบการทำนายหุ้นที่ใช้การเรียนรู้ของเครื่องและระบบอัตโนมัติคือการที่ระบบเหล่านี้จำนวนมากขึ้นเรื่อยๆ พึ่งพาข้อมูลที่เกิดขึ้นตามธรรมชาติบนโซเชียลมีเดียเพื่อพยากรณ์ผลการดำเนินงาน และการดัดแปลงข้อมูลจากสภาพแวดล้อมจริงนี้อาจพัฒนาเป็นกระบวนการที่เชื่อถือได้

นอกจาก Twitter แล้ว ระบบเหล่านี้ยังดึงข้อมูลจาก Reddit, StockTwits และ Yahoo News อีกหลายแห่ง ความแตกต่างระหว่าง Twitter และแหล่งข้อมูลอื่นๆ คือเรทวีตสามารถแก้ไขได้ แม้ว่าโพสต์ดั้งเดิมจะไม่สามารถแก้ไขได้ ในทางกลับกัน บน Reddit สามารถเพิ่มโพสต์หรือแสดงความคิดเห็นและให้คะแนนได้ แต่การกระทำเหล่านี้ถือเป็นการกระทำที่มีผลประโยชน์ส่วนตนและถูกปฏิบัติว่าเป็นข้อมูลที่มีอคติและมุ่งประโยชน์ส่วนตนโดยกระบวนการและแนวปฏิบัติในการทำความสะอาดข้อมูลของระบบพยากรณ์หุ้นที่ใช้การเรียนรู้ของเครื่อง

ในหนึ่งการทดลองบนStocknet ซึ่งเป็นโมเดลพยากรณ์ นักวิจัยสามารถทำให้ค่าทำนายหุ้นลดลงได้โดยสองวิธี โดยวิธีที่มีประสิทธิภาพมากที่สุดคือการโจมตีด้วยการเปลี่ยนแปลง (เช่น เรทวีตที่แก้ไข) ซึ่งสามารถทำให้ค่าทำนายหุ้นลดลงได้อย่างรุนแรง

ตามที่นักวิจัยระบุ การโจมตีนี้เกิดขึ้นโดยการจำลองการเปลี่ยนแปลงคำเดียวในเรทวีตจากแหล่งข้อมูลทางการเงินที่มีชื่อเสียงบน Twitter:

คำพูดมีความสำคัญ ที่นี่ ความแตกต่างระหว่าง 'filled' และ 'exercised' (ไม่ใช่คำที่เป็นอันตรายหรือทำให้เข้าใจผิด แต่เป็นคำที่ใกล้เคียงกัน) สามารถทำให้นักลงทุนเสียเงินหลายพันในมูลค่าหุ้น

คำพูดมีความสำคัญ ที่นี่ ความแตกต่างระหว่าง ‘filled’ และ ‘exercised’ (ไม่ใช่คำที่เป็นอันตรายหรือทำให้เข้าใจผิด แต่เป็นคำที่ใกล้เคียงกัน) สามารถทำให้นักลงทุนเสียเงินหลายพันในมูลค่าหุ้น

เอกสารวิจัยระบุว่า:

‘ผลลัพธ์ของเราแสดงให้เห็นว่าวิธีการโจมตีที่เราเสนอสามารถประสบความสำเร็จอย่างต่อเนื่องและทำให้เกิดความสูญเสียทางการเงินที่มีนัยสำคัญในการจำลองการซื้อขายโดยการเพิ่มเรทวีตที่มีคำที่เปลี่ยนแปลงไปแต่ยังคงความหมายเดิม’

นักวิจัยสรุปว่า:

‘งานนี้แสดงให้เห็นว่าวิธีการโจมตีแบบอันตรายของเราสามารถหลอกลวงโมเดลการทำนายหุ้นที่หลากหลายได้ แม้จะมีข้อจำกัดทางกายภาพที่ไม่สามารถแก้ไขโพสต์ดั้งเดิมได้ การเพิ่มเรทวีตที่มีคำที่เปลี่ยนแปลงไปเพียงคำเดียวสามารถทำให้เกิดความสูญเสียเพิ่มเติม 32% ในพอร์ตการลงทุนจำลองของเรา

‘โดยการศึกษาช่องโหว่ของโมเดลการทำนายหุ้น เรามีเป้าหมายที่จะเพิ่มความตระหนักของชุมชนการเงินเกี่ยวกับความเสี่ยงของโมเดล AI เพื่อที่ในอนาคตเราจะสามารถพัฒนาโครงสร้าง AI ที่มีคนอยู่ในวงจรที่มีความแข็งแกร่งยิ่งขึ้น’

เอกสารวิจัยมีชื่อว่า คำหนึ่งมีค่าเท่ากับหนึ่งพันดอลลาร์: การโจมตีแบบอันตรายต่อทวีตหลอกลวงการทำนายหุ้น และมาจากนักวิจัย 6 คนจากมหาวิทยาลัยอิลลินอยส์ เออร์บานา-แชมเปญ, มหาวิทยาลัยแห่งรัฐนิวยอร์กที่บัฟฟาโล และมหาวิทยาลัยแห่งรัฐมิชิแกน โดยมีนักวิจัย 3 คนจาก IBM

คำที่ไม่ดี

เอกสารวิจัยตรวจสอบว่าองค์ความรู้ที่ศึกษากันอย่างกว้างขวางเกี่ยวกับการโจมตีแบบปฏิปักษ์ต่อโมเดลการเรียนรู้เชิงลึกที่ใช้ข้อความ สามารถประยุกต์กับโมเดลพยากรณ์หุ้นได้หรือไม่ ความสามารถในการพยากรณ์ของโมเดลเหล่านี้อาศัยปัจจัยที่มีลักษณะเป็นมนุษย์ ซึ่งอนุมานจากโซเชียลมีเดียได้เพียงคร่าวๆ

ตามที่นักวิจัยระบุ ความสามารถในการจัดการโซเชียลมีเดียเพื่อส่งผลต่อราคาหุ้นได้ถูกแสดงให้เห็นแล้ว แต่ยังไม่ได้โดยวิธีการที่เสนอในงานนี้ ในปี 2013 ทวีตที่มีเจตนาร้ายซึ่งแฮกเกอร์ชาวซีเรียอ้างความรับผิดชอบ บนบัญชี Twitter ของ Associated Press ที่ถูกแฮก ทำให้มูลค่าตลาดหุ้นหายไป 136 พันล้านดอลลาร์สหรัฐ ภายในประมาณสามนาที

วิธีการที่เสนอในงานนี้ใช้การโจมตีด้วยการต่อข้อความ ซึ่งไม่เปลี่ยนแปลงโพสต์ดั้งเดิม แต่ทำให้เรทวีตมีความหมายที่แตกต่าง:

จากเอกสารเสริมของเอกสารวิจัย ตัวอย่างของเรทวีตที่มีคำที่เปลี่ยนแปลงไปซึ่งเปลี่ยนความหมายและความสำคัญของข้อความดั้งเดิมโดยไม่ทำให้คนหรือฟิลเตอร์ง่ายๆ สามารถจับได้ แต่สามารถหลอกลวงโมเดลการทำนายหุ้นได้

จากเอกสารเสริมของเอกสารวิจัย ตัวอย่างของเรทวีตที่มีคำที่เปลี่ยนแปลงไปซึ่งเปลี่ยนความหมายและความสำคัญของข้อความดั้งเดิมโดยไม่ทำให้คนหรือฟิลเตอร์ง่ายๆ สามารถจับได้ แต่สามารถหลอกลวงโมเดลการทำนายหุ้นได้

นักวิจัยมองการสร้างรีทวีตแบบปฏิปักษ์เป็นปัญหาการหาค่าเหมาะที่สุดเชิงจัดหมู่ นั่นคือการสร้างตัวอย่างที่หลอกโมเดลเป้าหมายได้ แม้มีคำศัพท์ให้เลือกจำกัดมาก

การแทนที่คำโดยใช้ sememes - 'หน่วยความหมายขั้นต่ำของภาษามนุษย์' Source: https://aclanthology.org/2020.acl-main.540.pdf

การแทนที่คำโดยใช้ sememes – ‘หน่วยความหมายขั้นต่ำของภาษามนุษย์’ Source: https://aclanthology.org/2020.acl-main.540.pdf

เอกสารวิจัยระบุว่า:

‘ในกรณีของ Twitter ผู้โจมตีสามารถโพสต์ทวีตที่เป็นอันตรายที่สร้างขึ้นเพื่อหลอกลวงโมเดลที่ใช้ทวีตเหล่านี้เป็นข้อมูลเข้า’

‘เราขอเสนอการโจมตีโดยการโพสต์ทวีตที่มีความหมายเหมือนกันแต่มีคำที่เปลี่ยนแปลงไปเป็นเรทวีตบน Twitter เพื่อให้สามารถจับได้ว่าเป็นข้อมูลที่เกี่ยวข้องและรวบรวมเป็นข้อมูลเข้าโมเดล’

สำหรับทุกทวีตในกลุ่มที่เลือกไว้ นักวิจัยได้แก้ปัญหาในการเลือกคำภายใต้ข้อจำกัดของงบประมาณคำและทวีต ซึ่งวางข้อจำกัดที่เข้มงวดในแง่ของความแตกต่างทางความหมายจากคำดั้งเดิม และการแทนที่คำ ‘อันตราย/ไม่เป็นอันตราย’

ทวีตที่เป็นอันตรายถูกสร้างขึ้นโดยอาศัยทวีตที่เกี่ยวข้องซึ่งมีแนวโน้มที่จะถูกอนุญาตให้เข้าโมเดลการทำนายหุ้น ทวีตต้องผ่านระบบตรวจสอบเนื้อหาของ Twitter และไม่ควรดูเหมือนว่าเป็นเท็จต่อผู้สังเกตการณ์คนธรรมดา

ตามงานวิจัยก่อนหน้า (จากมหาวิทยาลัยแห่งรัฐมิชิแกน ร่วมกับ CSAIL, MIT และ MIT-IBM Watson AI Lab) คำที่เลือกในทวีตเป้าหมายถูกแทนที่ด้วยคำที่ใกล้เคียงจากกลุ่มคำที่ใกล้เคียงที่มีจำกัด ซึ่งทั้งหมดต้องมีความหมายที่ใกล้เคียงกับคำดั้งเดิมมาก ในขณะที่ยังคง ‘อิทธิพลที่เป็นอันตราย’ ตามพฤติกรรมที่อนุมานของโมเดลการทำนายหุ้น

อัลกอริทึมที่ใช้ในการทดลองต่อไปนี้คือตัวแก้ปัญหา Joint Optimization (JO) และตัวแก้ปัญหา Alternating Greedy Optimization (AGO)

ชุดข้อมูลและการทดลอง

แนวทางนี้ถูกทดสอบบนชุดข้อมูลการทำนายหุ้นที่ประกอบด้วย 10,824 ตัวอย่างของทวีตที่เกี่ยวข้องและข้อมูลการดำเนินงานของตลาดหุ้นใน 88 หุ้นระหว่างปี 2014-2016

โมเดล ‘เหยื่อ’ ที่ถูกเลือกคือ Stocknet; FinGRU (ที่มาจาก GRU); และ FinLSTM (ที่มาจาก LSTM)

มาตรการประเมินผลประกอบด้วยอัตราความสำเร็จของการโจมตี (ASR) และการลดลงของคะแนน F1 ของโมเดลเหยื่อหลังการโจมตีแบบอันตราย นักวิจัยได้จำลองกลยุทธ์ Long-Only Buy-Hold-Sell สำหรับการทดสอบ Profit and Loss (PnL) ก็ถูกคำนวณในการจำลองเช่นกัน

ผลลัพธ์ของการทดลอง ดูกราฟแรกด้านบนของบทความนี้

ผลลัพธ์ของการทดลอง ดูกราฟแรกด้านบนของบทความนี้

ภายใต้ JO และ AGO ASR เพิ่มขึ้น 10% และ F1 score ของโมเดลลดลง 0.1 โดยเฉลี่ย เมื่อเทียบกับการโจมตีแบบสุ่ม นักวิจัยระบุว่า:

‘การลดลงของประสิทธิภาพดังกล่าวถือว่ามีนัยสำคัญในบริบทของการทำนายหุ้น เนื่องจากความแม่นยำในการทำนายผลตอบแทนระหว่างวันซื้อขายของโมเดลที่ดีที่สุดคือเพียง 60% เท่านั้น’

ในกลุ่ม Profit-and-Loss ของการโจมตี (เสมือน) ต่อ Stocknet ผลลัพธ์ของเรทวีตที่เป็นอันตรายก็เป็นที่น่าสังเกตเช่นกัน:

‘สำหรับการจำลองแต่ละครั้ง นักลงทุนมีเงิน 10,000 ดอลลาร์ (100%) เพื่อลงทุน ผลลัพธ์แสดงให้เห็นว่าวิธีการโจมตีที่เราเสนอ ซึ่งใช้รีทวีตที่เปลี่ยนคำเพียงคำเดียว สามารถทำให้เกิดความสูญเสียเพิ่มเติม 3,200 ดอลลาร์ (75%-43%) ในพอร์ตการลงทุนหลังจากประมาณ 2 ปี’

 

เผยแพร่ครั้งแรกเมื่อวันที่ 4 พฤษภาคม 2022

ผู้เขียนด้านการเรียนรู้ของเครื่อง, ผู้เชี่ยวชาญด้านการสังเคราะห์ภาพมนุษย์. อดีตหัวหน้าฝ่ายเนื้อหาการวิจัยที่ Metaphysic.ai, จนกระทั่งการรวมเข้าเป็น Brahma.ai ของ DNEG.
เว็บไซต์: martinanderson.ai
ติดต่อ: martin@martinanderson.ai