Mendevaluasi Saham dengan Retweet yang Dibuat oleh Lawan

Kolaborasi penelitian bersama antara universitas di AS dan IBM telah merumuskan konsep serangan adversarial yang secara teoretis dapat menyebabkan kerugian pasar saham, hanya dengan mengubah satu kata dalam retweet dari postingan Twitter.

Dalam satu eksperimen, peneliti dapat menghambat model prediksi Stocknet dengan dua metode: serangan manipulasi dan serangan konkatensi. Sumber: https://arxiv.org/pdf/2205.01094.pdf

Serangan permukaan untuk serangan adversarial pada sistem prediksi saham otomatis dan mesin pembelajaran adalah bahwa sejumlah besar dari mereka bergantung pada media sosial organik sebagai prediktor kinerja; dan memanipulasi data ‘in-the-wild’ ini adalah proses yang dapat, secara potensial, dirumuskan dengan andal.

Selain Twitter, sistem ini mengkonsumsi data dari Reddit, StockTwits, dan Yahoo News, di antara lainnya. Perbedaan antara Twitter dan sumber lainnya adalah bahwa retweet dapat diedit, bahkan jika postingan asli tidak dapat diedit. Di sisi lain, hanya mungkin untuk membuat postingan tambahan (yaitu komentar atau postingan terkait) di Reddit, atau untuk mengomentari dan menilai – tindakan yang secara tepat dianggap sebagai pihak dan bersifat menguntungkan diri sendiri oleh rutinitas dan praktik sanitasi data sistem prediksi saham berbasis mesin pembelajaran.

Dalam satu eksperimen, pada model prediksi Stocknet, peneliti dapat menyebabkan penurunan nilai prediksi saham yang signifikan dengan dua metode, yang paling efektif di antaranya, serangan manipulasi (yaitu retweet yang diedit), dapat menyebabkan penurunan yang paling parah.

Hal ini dilakukan, menurut peneliti, dengan mensimulasikan satu substitusi dalam retweet dari ‘sumber keuangan Twitter yang dihormati’:

Kata-kata sangat penting. Di sini, perbedaan antara ‘filled’ dan ‘exercised’ (tidak secara jelas jahat atau menyesatkan, tetapi hanya tentang dikategorikan sebagai sinonim) telah secara teoretis menghabiskan ribuan dolar dalam devaluasi saham.

Makalah tersebut menyatakan:

‘Hasil kami menunjukkan bahwa metode serangan yang diusulkan dapat mencapai tingkat keberhasilan yang konsisten dan menyebabkan kerugian moneter yang signifikan dalam simulasi perdagangan dengan hanya menggabungkan tweet yang terganggu tetapi semantically mirip.’

Peneliti menyimpulkan:

‘Karya ini menunjukkan bahwa metode serangan adversarial kami secara konsisten menipu berbagai model ramalan keuangan bahkan dengan kendala fisik bahwa tweet asli tidak dapat diubah. Dengan menambahkan retweet dengan hanya satu kata diganti, serangan dapat menyebabkan kerugian tambahan sebesar 32% pada portofolio investasi kami yang disimulasikan.

‘Melalui studi kerentanan model keuangan, tujuan kami adalah untuk meningkatkan kesadaran komunitas keuangan tentang risiko model AI, sehingga di masa depan kita dapat mengembangkan arsitektur AI yang lebih kuat dengan keterlibatan manusia.’

Makalah tersebut berjudul A Word is Worth A Thousand Dollars: Adversarial Attack on Tweets Fools Stock Prediction, dan berasal dari enam peneliti, yang berasal dari Universitas Illinois Urbana-Champaign, Universitas Negeri New York di Buffalo, dan Universitas Negeri Michigan, dengan tiga peneliti yang berafiliasi dengan IBM.

Kata-Kata yang Tidak Beruntung

Makalah tersebut memeriksa apakah bidang serangan adversarial pada model pembelajaran mesin berbasis teks yang telah dipelajari dengan baik dapat diterapkan pada model prediksi pasar saham, yang bergantung pada beberapa faktor ‘manusia’ yang hanya dapat diperkirakan secara kasar dari sumber media sosial.

Sebagaimana peneliti mencatat, potensi manipulasi media sosial untuk mempengaruhi harga saham telah terbukti dengan baik, meskipun belum dengan metode yang diusulkan dalam karya ini; pada tahun 2013, sebuah tweet jahat yang diklaim oleh Suriah pada akun Twitter yang dibobol dari Associated Press menghapus $136 miliar USD dari nilai pasar ekuitas dalam sekitar tiga menit.

Metode yang diusulkan dalam karya baru ini menerapkan serangan konkatensi, yang meninggalkan tweet asli tanpa disentuh, sementara mengutipnya secara salah:

Dari materi tambahan untuk makalah, contoh retweet yang mengandung sinonim yang diganti yang mengubah tujuan dan signifikansi pesan asli, tanpa benar-benar mengubahnya sehingga manusia atau filter sederhana dapat menangkapnya – tetapi yang dapat mengeksploitasi algoritma dalam sistem prediksi pasar saham.

Peneliti telah mendekati pembuatan retweet adversarial sebagai masalah optimasi kombinatorial – pembuatan contoh adversarial yang dapat menipu model korban, bahkan dengan kosakata yang sangat terbatas.

Penggantian kata menggunakan semem – ‘unit semantik minimum bahasa manusia’. Sumber: https://aclanthology.org/2020.acl-main.540.pdf

Makalah tersebut mengamati:

‘Dalam kasus Twitter, lawan dapat memposting tweet jahat yang dibuat untuk memanipulasi model hilir yang mengambilnya sebagai input.

‘Kami mengusulkan untuk menyerang dengan memposting tweet adversarial yang semantically mirip sebagai retweet di Twitter, sehingga mereka dapat diidentifikasi sebagai informasi yang relevan dan dikumpulkan sebagai input model.’

Untuk setiap tweet dalam kolam yang dipilih secara khusus, peneliti menyelesaikan masalah pemilihan kata di bawah kendala anggaran kata dan tweet, yang menempatkan batasan yang ketat dalam hal divergensi semantik dari kata asli, dan penggantian kata ‘jahat/baik’.

Peneliti menyimpulkan:

Dataset dan Eksperimen

Pendekatan ini dicoba pada dataset prediksi saham yang terdiri dari 10.824 contoh tweet dan informasi kinerja pasar di 88 saham antara 2014-2016.

Tiga model ‘korban’ dipilih: Stocknet; FinGRU (turunan dari GRU); dan FinLSTM (turunan dari LSTM).

Metri evaluasi terdiri dari Tingkat Keberhasilan Serangan (ASR), dan penurunan skor F1 model korban setelah serangan adversarial. Peneliti mensimulasikan strategi Long-Only Buy-Hold-Sell untuk tes tersebut. Profit dan Kerugian (PnL) juga dihitung dalam simulasi.

Hasil eksperimen. Lihat juga grafik pertama di bagian atas artikel ini.

Di bawah JO dan AGO, ASR meningkat sebesar 10%, dan skor F1 model menurun sebesar 0,1 rata-rata, dibandingkan dengan serangan acak. Peneliti mencatat:

‘Penurunan kinerja seperti itu dianggap signifikan dalam konteks prediksi saham, karena akurasi prediksi interday return hanya sekitar 60%.’

Dalam bagian Profit dan Kerugian dari serangan (virtual) pada Stocknet, hasil retweet adversarial juga patut diperhatikan:

‘Untuk setiap simulasi, investor memiliki $10K (100%) untuk diinvestasikan; hasil menunjukkan bahwa metode serangan yang diusulkan dengan retweet dengan hanya satu kata pengganti dapat menyebabkan kerugian tambahan sebesar $3,2K (75%-43%) pada portofolio investor setelah sekitar 2 tahun.’

Dipublikasikan pertama kali pada 4 Mei 2022.