Retweet’lerle Oluşturulan Düşmanca Saldırılar ile Hisseleri Değersizleştirmek

Amerikan üniversiteleri ve IBM arasındaki ortak bir araştırma işbirliği, teorik olarak hisse senedi piyasası kayıplarına neden olabilecek bir kavram kanıtı düşmanca saldırı geliştirdi. Bu saldırı, sadece bir Twitter gönderisinin retweet’inde bir kelimeyi değiştirerek gerçekleştiriliyor.

Araştırmacılar, bir deneyde Stocknet tahmin modelini iki yöntem ile engelleyebildiler: bir manipülasyon saldırısı ve bir birleştirme saldırısı. Kaynak: https://arxiv.org/pdf/2205.01094.pdf

Otomatik ve makine öğrenimi hisse senedi tahmini sistemlerine yönelik düşmanca saldırıların saldırı yüzeyi, bu sistemlerin birçoğunun organik sosyal medya olarak performans öngörücüsü olarak kullanmasıdır. Ayrıca, bu “vahşi” verilerin manipülasyonu, güvenilir bir şekilde formüle edilebilecek bir süreçtir.

Twitter’ın yanı sıra, bu tür sistemler Reddit, StockTwits ve Yahoo News gibi diğer kaynaklardan da veri alır. Twitter’ın diğer kaynaklardan farkı, retweet’lerin düzenlenebilir olmasıdır, ancak orijinal tweet’ler düzenlenemez. Diğer taraftan, Reddit’de sadece ek yorumlar veya ilgili gönderiler yapılabilir veya yorumlar yapılabilir ve bu eylemler, makine öğrenimi tabanlı hisse senedi tahmini sistemlerinin veri temizleme rutinleri ve uygulamaları tarafından doğru bir şekilde partizan ve kendi çıkarına olarak ele alınır.

Bir deneyde, Stocknet tahmin modeli üzerinde araştırmacılar, iki yöntem ile hisse senedi değer tahmini düşüşlerine neden olabilecek bir saldırı gerçekleştirdiler. En etkili yöntem, manipülasyon saldırısı (yani düzenlenmiş retweet’ler) idi ve en ciddi düşüşlere neden oldu.

Bu, araştırmacılara göre, bir “saygın” finansal Twitter kaynağından bir retweet’te tek bir kelime değiştirerek gerçekleştirildi:

Kelime önemlidir. Burada, ‘filled’ ve ‘exercised’ arasındaki fark (açıkça kötü niyetli veya yanıltıcı bir kelime değil, ancak neredeyse bir sinonim olarak kategorize edilebilir) teorik olarak bir yatırımcıya binlerce dolarlık hisse senedi değer kaybına neden olabilir.

Makalede denir:

‘Sonuçlarımız, önerilen saldırı yönteminin tutarlı bir şekilde başarı elde edebileceğini ve sadece bir tweet’i birleştirerek önemli mali kayıplara neden olabileceğini gösteriyor.’

Araştırmacılar şöyle diyor:

‘Bu çalışma, bizim düşmanca saldırı yöntemimizin çeşitli finansal tahmin modellerini sürekli olarak kandırdığını gösteriyor, hatta ham tweet’i değiştiremeyecek fiziksel kısıtlamalar altında. Sadece bir kelime değiştirerek bir retweet ekleyerek, saldırımız simüle edilmiş yatırım portföyümüze %32 ek kayba neden olabilir.

‘Finansal modelin zayıflığını inceleyerek, finans topluluğunun AI modelinin risklerinin farkında olmasını amaçlıyoruz, böylece gelecekte daha güçlü insan-merkezli AI mimarileri geliştirebiliriz.’

Makale, A Word is Worth A Thousand Dollars: Adversarial Attack on Tweets Fools Stock Prediction olarak adlandırılmış ve altı araştırmacı tarafından yazılmıştır. Araştırmacılar, çeşitli olarak Illinois Üniversitesi Urbana-Champaign, New York Eyalet Üniversitesi Buffalo ve Michigan Eyalet Üniversitesi’nden gelmektedir ve üçü IBM ile ilişkili olarak çalışmaktadır.

Talihsiz Kelimeler

Makale, metin tabanlı derin öğrenme modellerine yönelik düşmanca saldırıların iyi çalışılmış alanının hisse senedi tahmini modellerine uygulanabilir olup olmadığını inceliyor. Bu modellerin tahmini yetenekleri, bazı çok “insani” faktörlere bağlıdır ve bunlar sadece sosyal medya kaynaklarından yaklaşık olarak çıkarılabilir.

Sosyal medya manipülasyonunun hisse senedi fiyatlarını etkileyebileceği potansiyeli zaten gösterilmiştir, ancak önerilen yöntemlerle değil; 2013 yılında bir kötü niyetli Suriyeli iddia edilen tweet Associated Press’in çalıntı Twitter hesabında 136 milyar USD’lik bir hisse senedi değer kaybına neden oldu yaklaşık üç dakika içinde.

Önerilen yöntem, bir birleştirme saldırısı uygulamaktadır, bu da orijinal tweet’i değiştirmeden, ancak onu yanlış alıntılayarak gerçekleştirilir:

Makalenin ek malzemelerinden, orijinal mesajın amacını ve önemini değiştiren, ancak insan veya basit filtreler tarafından yakalanmayacak şekilde bozulmayan retweet’ler içeren örnekler.

Araştırmacılar, düşmanca retweet’lerin oluşturulmasını bir kombinatoryal optimizasyon problemi olarak ele aldılar – bir kurban modeli kandırmaya capable olan düşmanca örneklerin oluşturulması, çok sınırlı bir sözlük ile.

Sememler kullanarak kelime değiştirme – insan dillerinin ‘minimum anlamsal birimi’. Kaynak: https://aclanthology.org/2020.acl-main.540.pdf

Makalede denir:

‘Twitter’da, düşmanlar model girişi olarak alınan verileri manipüle edecek şekilde tasarlanmış kötü niyetli tweet’ler yayınlayabilir.

‘Biz, ilgili bilgiler olarak tanımlanabilecek ve model girişi olarak toplanabilecek şekilde tasarlanmış düşmanca tweet’ler yayınlayarak saldırıyı öneriyoruz.’

Her bir tweet için, araştırmacılar, kelime ve tweet bütçeleri kısıtlamaları altında kelime seçimi sorununu çözdüler, bu da orijinal kelimeden semantic olarak önemli bir sapmaya neden olan kısıtlamalar getirir ve “kötü niyetli/benign” bir kelimenin değiştirilmesini sağlar.

Düşmanca tweet’ler, aşağı akıştaki hisse senedi tahmini sistemlerine girmesine izin verilen ilgili tweet’ler temel alınarak oluşturulmuştur. Tweet, Twitter’ın içerik moderasyonu sisteminden engellenmeden geçmelidir ve insan gözlemcilerine göre karşıt gerçekçi görünmemelidir.

Önceki çalışmalardan (Michigan Eyalet Üniversitesi ile birlikte CSAIL, MIT ve MIT-IBM Watson AI Lab) sonra, hedef tweet’teki seçilen kelimeler, orijinal kelimeye çok yakın olan ve “kötü niyetli” etkisini koruyan sınırlı bir sinonim olasılığı havuzundan sinonimlerle değiştirilir.

Deneylerde kullanılan algoritmalar, Joint Optimization (JO) çözücü ve Alternating Greedy Optimization (AGO) çözücü idi.

Veri Setleri ve Deneyler

Bu yaklaşım, 10.824 ilgili tweet ve 88 hisse senedi arasındaki piyasa performansı bilgilerini içeren bir hisse senedi tahmini veri seti üzerinde denenmiştir.

Üç “kurban” model seçildi: Stocknet; FinGRU (bir GRU türetilmesi); ve FinLSTM (bir LSTM türetilmesi).

Değerlendirme metrikleri, Saldırı Başarı Oranı (ASR) ve düşmanca saldırı之后 kurban modelin F1 puanı düşüşünü içeriyordu. Araştırmacılar, testlerde Long-Only Buy-Hold-Sell stratejisini simüle ettiler. Kar ve Zarar (PnL) da simülasyonlarda hesaplandı.

Deney sonuçları. Ayrıca bu makalenin başında bulunan ilk grafiği de görün.

JO ve AGO altında, ASR %10 artar ve modelin F1 puanı ortalama %0,1 düşer. Araştırmacılar şöyle diyor:

‘Bu performans düşüşü, hisse senedi tahmini bağlamında önemli kabul edilir, çünkü gün içi getiri tahmini için mevcut en iyi tahmin doğruluğu sadece %60’dir.’

Stocknet üzerindeki (sanal) saldırıdaki Kar ve Zarar sonuçları da dikkat çekiciydi:

‘Her bir simülasyon için, yatırımcıya 10.000 $ (100%) yatırım yapma şansı verilir; sonuçlar, sadece bir kelime değiştirerek bir retweet ekleyerek önerilen saldırı yönteminin, yaklaşık iki yıl sonra portföyüne %3.200 ($7.500-$4.300) ek kayba neden olabileceğini gösterir.’

İlk olarak 4 Mayıs 2022’de yayınlandı.