Αποτιμώντας Μετοχές Με Αντιπαλότητα Crafted Retweets

Μια συνεργασία ερευνητικής συνεργασίας μεταξύ πανεπιστημίων των ΗΠΑ και της IBM έχει διαμορφώσει ένα concept ανταγωνιστικής επίθεσης που είναι θεωρητικά ικανό να προκαλέσει ζημίες στην αγορά μετοχών, απλώς αλλάζοντας μια λέξη σε ένα retweet ενός post του Twitter.

Σε ένα πείραμα, οι ερευνητές μπόρεσαν να ακρωτηριάσουν το μοντέλο Stocknet με δύο μεθόδους: μια επίθεση χειραγώγησης και μια επίθεση συνένωσης. Πηγή: https://arxiv.org/pdf/2205.01094.pdf

Η επιφάνεια επίθεσης για μια ανταγωνιστική επίθεση σε αυτοματοποιημένα και μοντέλα machine learning για την πρόβλεψη μετοχών είναι ότι ένας αυξανόμενος αριθμός από αυτά βασίζονται σε οργανικά κοινωνικά μέσα ως προβλέψεις απόδοσης, και ότι η χειραγώγηση αυτών των “στον αγώνα” δεδομένων είναι μια διαδικασία που μπορεί, πιθανώς, να διαμορφωθεί με τρόπο που να είναι αξιοπιστία.

Εκτός από το Twitter, συστήματα αυτής της φύσης καταναλώνουν δεδομένα από το Reddit, StockTwits και Yahoo News, μεταξύ άλλων. Η διαφορά μεταξύ του Twitter και των άλλων πηγών είναι ότι τα retweets είναι επεξεργάσιμα, ακόμη και αν τα αρχικά tweets δεν είναι. Από την άλλη πλευρά, είναι δυνατό μόνο να γράψουν πρόσθετες (δηλαδή σχόλια ή σχετικά) αναρτήσεις στο Reddit, ή να σχολιάσουν και να βαθμολογήσουν – ενέργειες που αντιμετωπίζονται σωστά ως μερικές και αυτοεξυπηρετούμενες από τις διαδικασίες και τις πρακτικές καθαρισμού δεδομένων των μοντέλων ML-based πρόβλεψης μετοχών.

Σε ένα πείραμα, στο μοντέλο Stocknet, οι ερευνητές μπόρεσαν να προκαλέσουν αξιοσημείωτες πτώσεις στην πρόβλεψη της αξίας μετοχών με δύο μεθόδους, η πιο αποτελεσματική των οποίων, η επίθεση χειραγώγησης (δηλαδή τα επεξεργασμένα retweets), μπόρεσε να προκαλέσει τις πιο σοβαρές πτώσεις.

Αυτό επιτεύχθηκε, σύμφωνα με τους ερευνητές, με την προσομοίωση μιας đơnικής αντικατάστασης σε ένα retweet από μια “σεβασμένη” πηγή Twitter χρηματοοικονομικών:

Οι λέξεις έχουν σημασία. Εδώ, η διαφορά μεταξύ ‘γεμάτο’ και ‘ασκημένο’ (όχι μια προφανώς κακόβουλη ή παραπλανητική λέξη, αλλά σχεδόν κατηγοριοποιημένη ως συνώνυμο) έχει θεωρητικά κοστίσει στον επενδυτή χιλιάδες σε αποτίμηση μετοχών.

Το έγγραφο αναφέρει:

‘Τα αποτελέσματά μας δείχνουν ότι η προτεινόμενη μέθοδος επίθεσης μπορεί να επιτύχει συνεχή ποσοστά επιτυχίας και να προκαλέσει σημαντικές οικονομικές ζημίες σε προσομοίωση συναλλαγών με την απλή συνένωση ενός perturbed αλλά σεμαντικά παρόμοιου tweet.’

Οι ερευνητές καταλήγουν:

‘Αυτή η εργασία δείχνει ότι η μέθοδος ανταγωνιστικής επίθεσης μας μπορεί να εξαπατήσει διαφορετικά μοντέλα πρόβλεψης χρηματοοικονομικών ακόμη και με φυσικές περιορισμοί που το raw tweet δεν μπορεί να τροποποιηθεί. Προσθέτοντας ένα retweet με μόνο μια αντικαταστάτη λέξη, η επίθεση μπορεί να προκαλέσει 32% επιπλέον ζημία στο προσομοιωμένο χαρτοφυλάκιο επένδυσης.

‘Μέσω της μελέτης της ευπάθειας των μοντέλων χρηματοοικονομικών, ο στόχος μας είναι να αυξήσουμε την ευαισθητοποίηση της χρηματοοικονομικής κοινότητας για τους κινδύνους των μοντέλων AI, ώστε στο μέλλον να μπορέσουμε να αναπτύξουμε πιο robust human-in-the-loop αρχιτεκτονική AI.’

Το έγγραφο έχει τον τίτλο Μια Λέξη Αξίζει Χιλιάδες Δολάρια: Ανταγωνιστική Επίθεση σε Tweets Αποτυγχάνει την Πρόβλεψη Μετοχών, και προέρχεται από έξι ερευνητές, που προέρχονται από το Πανεπιστήμιο του Ιλινόις Urbana-Champaign, το Κρατικό Πανεπιστήμιο της Νέας Υόρκης στο Μπάφαλο και το Πανεπιστήμιο του Μίσιγκαν, με τρεις από τους ερευνητές να συνδέονται με την IBM.

Ατυχείς Λέξεις

Το έγγραφο εξετάζει εάν το καλά μελετημένο πεδίο των ανταγωνιστικών επιθέσεων σε μοντέλα deep learning που βασίζονται σε κείμενο είναι εφαρμόσιμο σε μοντέλα πρόβλεψης μετοχών, των οποίων η ικανότητα πρόβλεψης εξαρτάται από πολύ “ανθρώπινους” παράγοντες που μπορούν να ανιχνευτούν μόνο περίπου από κοινωνικά μέσα.

Όπως σημειώνουν οι ερευνητές, η δυνατότητα χειραγώγησης των κοινωνικών μέσων για να επηρεάσουν τις τιμές μετοχών έχει αποδειχθεί καλά, αν και όχι ακόμη με τις μεθόδους που προτείνονται στην εργασία, το 2013 ένα κακόβουλο tweet στο διαρραγμένο λογαριασμό Twitter της Associated Press σάρωσε 136 δισεκατομμύρια δολάρια αξίας μετοχών σε περίπου τρία λεπτά.

Η μέθοδος που προτείνεται στη νέα εργασία υλοποιεί μια επίθεση συνένωσης, η οποία αφήνει το αρχικό tweet άθικτο, ενώ το παραθέτει λανθασμένα:

Από το συμπληρωματικό υλικό για το έγγραφο, παραδείγματα re-tweets που περιέχουν αντικαταστάσεις συνωνύμων που αλλάζουν την πρόθεση και τη σημασία του αρχικού μηνύματος, χωρίς να το παραμορφώνουν με τέτοιο τρόπο που οι άνθρωποι ή τα απλά φίλτρα θα το πιάσουν – αλλά που μπορούν να εκμεταλλευτούν τους αλγορίθμους στα συστήματα πρόβλεψης μετοχών.

Οι ερευνητές έχουν προσεγγίσει τη δημιουργία ανταγωνιστικών retweets ως προβλήματα βελτιστοποίησης – τη δημιουργία ανταγωνιστικών παραδειγμάτων που μπορούν να εξαπατήσουν ένα θύμα μοντέλο, ακόμη και με ένα πολύ περιορισμένο λεξιλόγιο.

Αντικατάσταση λέξεων χρησιμοποιώντας sememes – τις ‘ελάχιστες σεμαντικές μονάδες των ανθρώπινων γλωσσών’. Πηγή: https://aclanthology.org/2020.acl-main.540.pdf

Το έγγραφο παρατηρεί:

‘Στην περίπτωση του Twitter, οι αντίπαλοι μπορούν να δημοσιεύσουν κακόβουλα tweets που έχουν σχεδιαστεί για να χειραγωγήσουν τα μοντέλα που τα λαμβάνουν ως είσοδο.

‘Προτείνουμε να επιτεθούμε δημοσιεύοντας ανταγωνιστικά tweets που είναι σεμαντικά παρόμοια ως retweets στο Twitter, ώστε να μπορούν να αναγνωριστούν ως σχετικές πληροφορίες και να συλλεχθούν ως είσοδος μοντέλου.’

Για κάθε tweet σε μια ειδικά επιλεγμένη πισίνα, οι ερευνητές λύσαν το πρόβλημα της επιλογής λέξεων υπό τις περιορισμοί του προϋπολογισμού λέξεων και tweets, οι οποίοι θέτουν σοβαρά περιορισμοί όσον αφορά την σεμαντική απόκλιση από την αρχική λέξη, και την αντικατάσταση μιας “κακόβουλη/αθώα” λέξης.

Τα ανταγωνιστικά tweets διαμορφώνονται με βάση τα σχετικά tweets που είναι πιθανό να επιτρέπονται στα συστήματα πρόβλεψης μετοχών. Το tweet πρέπει επίσης να περάσει ανενόχλητο από το σύστημα διαχείρισης περιεχομένου του Twitter και δεν πρέπει να φαίνεται να είναι αντίθετο με την ανθρώπινη παρατήρηση.

Ακολουθώντας προηγούμενη εργασία (από το Πανεπιστήμιο του Μίσιγκαν, μαζί με το CSAIL, το MIT και το MIT-IBM Watson AI Lab), επιλεγμένες λέξεις στο στόχο tweet αντικαθίστανται με συνώνυμα από ένα περιορισμένο πул συνωνυμίας, όλα τα οποία πρέπει να είναι σεμαντικά πολύ κοντά στην αρχική λέξη, διατηρώντας την “διαφθορά” επιρροή, με βάση την συμπεριφορά των μοντέλων πρόβλεψης μετοχών.

Οι αλγόριθμοι που χρησιμοποιήθηκαν στις επόμενες πειράματα ήταν ο Joint Optimization (JO) solver και ο Alternating Greedy Optimization (AGO) solver.

Δεδομένα και Πειράματα

Αυτή η προσέγγιση δοκιμάστηκε σε ένα σύνολο δεδομένων πρόβλεψης μετοχών που αποτελείται από 10.824 παραδείγματα σχετικών tweets και πληροφοριών απόδοσης αγοράς σε 88 μετοχές μεταξύ 2014-2016.

Τρία “θύμα” μοντέλα επιλέχθηκαν: Stocknet, FinGRU (ένας παραγώγος του GRU) και FinLSTM (ένας παραγώγος του LSTM).

Οι μετρικές αξιολόγησης αποτελούσαν το ποσοστό επιτυχίας της επίθεσης (ASR) και μια πτώση στο F1 score του θύματος μοντέλου μετά την ανταγωνιστική επίθεση. Οι ερευνητές προσομοίωσαν μια Long-Only Buy-Hold-Sell στρατηγική για τα πειράματα. Η κέρδη και οι ζημίες (PnL) επίσης υπολογίστηκαν στις προσομοιώσεις.

Αποτελέσματα των πειραμάτων. Δείτε επίσης το πρώτο γράφημα στην κορυφή του άρθρου.

Υπό JO και AGO, το ASR αυξάνεται κατά 10% και το F1 score του μοντέλου μειώνεται κατά 0,1 κατά μέσο όρο, σε σύγκριση με μια τυχαία επίθεση. Οι ερευνητές σημειώνουν:

‘Eine τέτοια απόδοση είναι σημαντική στο контέκστ της πρόβλεψης μετοχών, δεδομένου ότι η ακρίβεια πρόβλεψης της interday απόδοσης είναι μόνο περίπου 60%.’

Στη δόση Profit-and-Loss της (εικονικής) επίθεσης στο Stocknet, τα αποτελέσματα των ανταγωνιστικών retweets ήταν επίσης αξιοσημείωτα:

‘Για κάθε προσομοίωση, ο επενδυτής έχει $10K (100%) να επενδύσει, τα αποτελέσματα δείχνουν ότι η προτεινόμενη μέθοδος επίθεσης με ένα retweet με μόνο μια αντικαταστάτη λέξη μπορεί να προκαλέσει στον επενδυτή μια επιπλέον $3.2K (75%-43%) ζημία στο χαρτοφυλάκιο μετά από περίπου 2 χρόνια.’

Πρώτη δημοσίευση 4ης Μαΐου 2022.