Η γωνία του Anderson
Μείωση της αξίας μετοχών με ειδικά σχεδιασμένα ανταγωνιστικά retweets

Βασικά σημείαΗ επεξεργασία μιας λέξης σε μια αναδημοσίευση μπορεί να προκαλέσει επιπλέον απώλεια…
Δείτε περισσότερα
- Η επεξεργασία μιας λέξης σε μια αναδημοσίευση μπορεί να προκαλέσει επιπλέον απώλεια χαρτοφυλακίου κατά 32%.
- Η επίθεση εκμεταλλεύεται τις επεξεργάσιμες αναδημοσιεύσεις, ενώ τα αρχικά tweets παραμένουν αμετάβλητα.
- Τα μοντέλα πρόβλεψης μετοχών βασίζονται σε δεδομένα κοινωνικών μέσων που είναι ευάλωτα σε σημασιολογική χειραγώγηση.
Μια κοινή ερευνητική συνεργασία μεταξύ πανεπιστημίων των ΗΠΑ και της IBM έχει διαμορφώσει μια απόδειξη της εφικτότητας μιας ανταγωνιστικής επίθεσης που είναι θεωρητικά ικανό να προκαλέσει ζημίες στην αγορά μετοχών, απλώς αλλάζοντας μια λέξη σε ένα retweet ενός post του Twitter.

Σε ένα πείραμα, οι ερευνητές μπόρεσαν να ακρωτηριάσουν το μοντέλο Stocknet με δύο μεθόδους: μια επίθεση χειραγώγησης και μια επίθεση συνένωσης. Πηγή: https://arxiv.org/pdf/2205.01094.pdf
Η επιφάνεια επίθεσης για μια ανταγωνιστική επίθεση σε αυτοματοποιημένα συστήματα και μοντέλα μηχανικής μάθησης για την πρόβλεψη μετοχών είναι ότι ένας αυξανόμενος αριθμός από αυτά βασίζονται σε οργανικά κοινωνικά μέσα ως προβλέψεις απόδοσης, και ότι η χειραγώγηση αυτών των δεδομένων από το πραγματικό περιβάλλον είναι μια διαδικασία που μπορεί, πιθανώς, να διαμορφωθεί με αξιόπιστο τρόπο.
Εκτός από το Twitter, συστήματα αυτής της φύσης καταναλώνουν δεδομένα από το Reddit, StockTwits και Yahoo News, μεταξύ άλλων. Η διαφορά μεταξύ του Twitter και των άλλων πηγών είναι ότι τα retweets είναι επεξεργάσιμα, ακόμη και αν τα αρχικά tweets δεν είναι. Από την άλλη πλευρά, είναι δυνατό μόνο να γράψουν πρόσθετες (δηλαδή σχόλια ή σχετικά) αναρτήσεις στο Reddit, ή να σχολιάσουν και να βαθμολογήσουν – ενέργειες που αντιμετωπίζονται σωστά ως μεροληπτικές και ιδιοτελείς από τις διαδικασίες και τις πρακτικές καθαρισμού δεδομένων των μοντέλων ML-based πρόβλεψης μετοχών.
Σε ένα πείραμα, στο Stocknet, μοντέλο πρόβλεψης, οι ερευνητές μπόρεσαν να προκαλέσουν αξιοσημείωτες πτώσεις στην πρόβλεψη της αξίας μετοχών με δύο μεθόδους, η πιο αποτελεσματική των οποίων, η επίθεση χειραγώγησης (δηλαδή τα επεξεργασμένα retweets), μπόρεσε να προκαλέσει τις πιο σοβαρές πτώσεις.
Αυτό επιτεύχθηκε, σύμφωνα με τους ερευνητές, με την προσομοίωση μιας μεμονωμένης αντικατάστασης σε ένα retweet από μια “σεβασμένη” πηγή Twitter χρηματοοικονομικών:

Οι λέξεις έχουν σημασία. Εδώ, η διαφορά μεταξύ ‘γεμάτο’ και ‘ασκημένο’ (όχι μια προφανώς κακόβουλη ή παραπλανητική λέξη, αλλά σχεδόν κατηγοριοποιημένη ως συνώνυμο) έχει θεωρητικά κοστίσει στον επενδυτή χιλιάδες σε αποτίμηση μετοχών.
Το έγγραφο αναφέρει:
‘Τα αποτελέσματά μας δείχνουν ότι η προτεινόμενη μέθοδος επίθεσης μπορεί να επιτύχει συνεχή ποσοστά επιτυχίας και να προκαλέσει σημαντικές οικονομικές ζημίες σε προσομοίωση συναλλαγών με την απλή συνένωση ενός τροποποιημένου αλλά σεμαντικά παρόμοιου tweet.’
Οι ερευνητές καταλήγουν:
‘Αυτή η εργασία δείχνει ότι η μέθοδος ανταγωνιστικής επίθεσης μας μπορεί να εξαπατήσει διαφορετικά μοντέλα πρόβλεψης χρηματοοικονομικών ακόμη και με φυσικούς περιορισμούς που το αρχικό tweet δεν μπορεί να τροποποιηθεί. Προσθέτοντας ένα retweet με μόνο μια αντικαταστάτη λέξη, η επίθεση μπορεί να προκαλέσει 32% επιπλέον ζημία στο προσομοιωμένο χαρτοφυλάκιο επένδυσης.
‘Μέσω της μελέτης της ευπάθειας των μοντέλων χρηματοοικονομικών, ο στόχος μας είναι να αυξήσουμε την ευαισθητοποίηση της χρηματοοικονομικής κοινότητας για τους κινδύνους των μοντέλων AI, ώστε στο μέλλον να μπορέσουμε να αναπτύξουμε πιο ανθεκτικές αρχιτεκτονικές τεχνητής νοημοσύνης με συμμετοχή ανθρώπου.’
Το έγγραφο έχει τον τίτλο Μια Λέξη Αξίζει Χιλιάδες Δολάρια: Ανταγωνιστική Επίθεση σε Tweets Παραπλανά την Πρόβλεψη Μετοχών, και προέρχεται από έξι ερευνητές, που προέρχονται από το Πανεπιστήμιο του Ιλινόις Urbana-Champaign, το Κρατικό Πανεπιστήμιο της Νέας Υόρκης στο Μπάφαλο και το Πολιτειακό Πανεπιστήμιο του Μίσιγκαν, με τρεις από τους ερευνητές να συνδέονται με την IBM.
Ατυχείς Λέξεις
Το έγγραφο εξετάζει εάν το καλά μελετημένο πεδίο των ανταγωνιστικών επιθέσεων σε μοντέλα βαθιάς μάθησης που βασίζονται σε κείμενο είναι εφαρμόσιμο σε μοντέλα πρόβλεψης μετοχών, των οποίων η ικανότητα πρόβλεψης εξαρτάται από πολύ “ανθρώπινους” παράγοντες που μπορούν να ανιχνευτούν μόνο περίπου από κοινωνικά μέσα.
Όπως σημειώνουν οι ερευνητές, η δυνατότητα χειραγώγησης των κοινωνικών μέσων για να επηρεάσουν τις τιμές μετοχών έχει αποδειχθεί καλά, αν και όχι ακόμη με τις μεθόδους που προτείνονται στην εργασία, το 2013 ένα κακόβουλο tweet στο διαρραγμένο λογαριασμό Twitter της Associated Press σάρωσε 136 δισεκατομμύρια δολάρια αξίας μετοχών σε περίπου τρία λεπτά.
Η μέθοδος που προτείνεται στη νέα εργασία υλοποιεί μια επίθεση συνένωσης, η οποία αφήνει το αρχικό tweet άθικτο, ενώ το παραθέτει λανθασμένα:

Από το συμπληρωματικό υλικό για το έγγραφο, παραδείγματα re-tweets που περιέχουν αντικαταστάσεις συνωνύμων που αλλάζουν την πρόθεση και τη σημασία του αρχικού μηνύματος, χωρίς να το παραμορφώνουν με τέτοιο τρόπο που οι άνθρωποι ή τα απλά φίλτρα θα το πιάσουν – αλλά που μπορούν να εκμεταλλευτούν τους αλγορίθμους στα συστήματα πρόβλεψης μετοχών.
Οι ερευνητές έχουν προσεγγίσει τη δημιουργία ανταγωνιστικών retweets ως πρόβλημα συνδυαστικής βελτιστοποίησης – τη δημιουργία ανταγωνιστικών παραδειγμάτων που μπορούν να εξαπατήσουν ένα θύμα μοντέλο, ακόμη και με ένα πολύ περιορισμένο λεξιλόγιο.

Αντικατάσταση λέξεων χρησιμοποιώντας sememes – τις ‘ελάχιστες σεμαντικές μονάδες των ανθρώπινων γλωσσών’. Πηγή: https://aclanthology.org/2020.acl-main.540.pdf
Το έγγραφο παρατηρεί:
‘Στην περίπτωση του Twitter, οι αντίπαλοι μπορούν να δημοσιεύσουν κακόβουλα tweets που έχουν σχεδιαστεί για να χειραγωγήσουν τα μοντέλα που τα λαμβάνουν ως είσοδο.
‘Προτείνουμε να επιτεθούμε δημοσιεύοντας ανταγωνιστικά tweets που είναι σεμαντικά παρόμοια ως retweets στο Twitter, ώστε να μπορούν να αναγνωριστούν ως σχετικές πληροφορίες και να συλλεχθούν ως είσοδος μοντέλου.’
Για κάθε tweet σε μια ειδικά επιλεγμένη συλλογή, οι ερευνητές λύσαν το πρόβλημα της επιλογής λέξεων υπό τους περιορισμούς του προϋπολογισμού λέξεων και tweets, οι οποίοι θέτουν σοβαρούς περιορισμούς όσον αφορά την σεμαντική απόκλιση από την αρχική λέξη, και την αντικατάσταση μιας “κακόβουλη/αθώα” λέξης.
Τα ανταγωνιστικά tweets διαμορφώνονται με βάση τα σχετικά tweets που είναι πιθανό να επιτρέπονται στα συστήματα πρόβλεψης μετοχών. Το tweet πρέπει επίσης να περάσει ανενόχλητο από το σύστημα διαχείρισης περιεχομένου του Twitter και δεν πρέπει να φαίνεται να είναι αντίθετο προς τα γεγονότα σε έναν περιστασιακό αναγνώστη.
Ακολουθώντας προηγούμενη εργασία (από το Πολιτειακό Πανεπιστήμιο του Μίσιγκαν, μαζί με το CSAIL, το MIT και το MIT-IBM Watson AI Lab), επιλεγμένες λέξεις στο στόχο tweet αντικαθίστανται με συνώνυμα από ένα περιορισμένο σύνολο συνωνύμων, όλα τα οποία πρέπει να είναι σεμαντικά πολύ κοντά στην αρχική λέξη, διατηρώντας την “διαφθορά” επιρροή, με βάση την συμπεριφορά των μοντέλων πρόβλεψης μετοχών.
Οι αλγόριθμοι που χρησιμοποιήθηκαν στα επόμενα πειράματα ήταν ο Joint Optimization (JO) solver και ο Alternating Greedy Optimization (AGO) solver.
Δεδομένα και Πειράματα
Αυτή η προσέγγιση δοκιμάστηκε σε ένα σύνολο δεδομένων πρόβλεψης μετοχών που αποτελείται από 10.824 παραδείγματα σχετικών tweets και πληροφοριών απόδοσης αγοράς σε 88 μετοχές μεταξύ 2014-2016.
Τρία “θύμα” μοντέλα επιλέχθηκαν: Stocknet, FinGRU (ένας παραγώγος του GRU) και FinLSTM (ένας παραγώγος του LSTM).
Οι μετρικές αξιολόγησης αποτελούσαν το ποσοστό επιτυχίας της επίθεσης (ASR) και μια πτώση στη βαθμολογία F1 του μοντέλου-θύματος μετά την ανταγωνιστική επίθεση. Οι ερευνητές προσομοίωσαν μια Long-Only Buy-Hold-Sell στρατηγική για τα πειράματα. Τα κέρδη και οι ζημίες (PnL) επίσης υπολογίστηκαν στις προσομοιώσεις.

Αποτελέσματα των πειραμάτων. Δείτε επίσης το πρώτο γράφημα στην κορυφή του άρθρου.
Υπό JO και AGO, το ASR αυξάνεται κατά 10% και το F1 score του μοντέλου μειώνεται κατά 0,1 κατά μέσο όρο, σε σύγκριση με μια τυχαία επίθεση. Οι ερευνητές σημειώνουν:
‘Μια τέτοια πτώση της απόδοσης θεωρείται σημαντική στο πλαίσιο της πρόβλεψης μετοχών, δεδομένου ότι η ακρίβεια πρόβλεψης της απόδοσης μεταξύ διαδοχικών ημερών είναι μόνο περίπου 60%.’
Στη δόση Profit-and-Loss της (εικονικής) επίθεσης στο Stocknet, τα αποτελέσματα των ανταγωνιστικών retweets ήταν επίσης αξιοσημείωτα:
‘Για κάθε προσομοίωση, ο επενδυτής έχει $10K (100%) να επενδύσει, τα αποτελέσματα δείχνουν ότι η προτεινόμενη μέθοδος επίθεσης με ένα retweet με μόνο μια αντικαταστάτη λέξη μπορεί να προκαλέσει στον επενδυτή μια επιπλέον $3.2K (75%-43%) ζημία στο χαρτοφυλάκιο μετά από περίπου 2 χρόνια.’
Πρώτη δημοσίευση 4ης Μαΐου 2022.












