Девальвация акций с помощью враждебно созданных ретвитов

Совместное исследовательское сотрудничество между университетами США и IBM сформулировало концепцию враждебной атаки, теоретически способной вызвать убытки на фондовом рынке, просто изменив одно слово в ретвите твиттер-поста.

В одном эксперименте исследователи смогли нарушить модель прогнозирования Stocknet двумя методами: манипуляционной атакой и конкатенационной атакой. Источник: https://arxiv.org/pdf/2205.01094.pdf

Атакующая поверхность для враждебной атаки на автоматизированные и машинные модели прогнозирования фондового рынка заключается в том, что растущее число из них полагается на органические социальные сети в качестве предикторов производительности; и что манипулирование этой “в дикой природе” данными является процессом, который может, потенциально, быть надежно сформулирован.

Помимо Твиттера, системы этого типа потребляют данные из Reddit, StockTwits и Yahoo News, среди прочих. Разница между Твиттером и другими источниками заключается в том, что ретвиты можно редактировать, даже если исходные твиты не могут быть изменены. С другой стороны, на Reddit можно только делать дополнительные посты (т.е. комментарии или связанные посты) или комментировать и оценивать – действия, которые правильно рассматриваются как партийные и корыстные рутинами и практиками санитарной обработки данных в моделях прогнозирования фондового рынка на основе машинного обучения.

В одном эксперименте на модели прогнозирования Stocknet исследователи смогли вызвать заметные падения прогнозирования стоимости акций двумя методами, наиболее эффективным из которых была манипуляционная атака (т.е. отредактированные ретвиты), которая смогла вызвать наиболее серьезные падения.

Это было достигнуто, по словам исследователей, путем симуляции единственной замены в ретвите от “уважаемого” финансового источника Твиттера:

Слова имеют значение. Здесь разница между ‘filled’ и ‘exercised’ (не явно злонамеренным или вводящим в заблуждение словом, но почти категоризированным как синоним) теоретически обошлась инвестору тысячами в девальвации акций.

В статье говорится:

‘Наши результаты показывают, что предложенный метод атаки может достичь постоянных успехов и вызвать значительные финансовые потери в симуляции торговли, просто конкатенируя нарушенный, но семантически подобный твит.’

Исследователи заключили:

‘Эта работа демонстрирует, что наш метод враждебной атаки последовательно обманывает различные финансовые прогностические модели, даже с физическими ограничениями, что исходный твит не может быть изменен. Добавляя ретвит с заменой только одного слова, атака может вызвать дополнительные потери в размере 32% в нашем симулированном инвестиционном портфеле.

‘Изучая уязвимость финансовых моделей,我们的 цель – повысить осведомленность финансового сообщества о рисках моделей искусственного интеллекта, чтобы в будущем мы могли разработать более прочную архитектуру искусственного интеллекта с участием человека.’

Статья озаглавлена Одно слово стоит тысячи долларов: враждебная атака на твиты обманывает прогнозирование акций и исходит от шести исследователей, представляющих различные университеты, включая Университет Иллинойса в Урбане-Шампейне, Государственный университет Нью-Йорка в Буффало и Университет штата Мичиган, при этом три исследователя связаны с IBM.

Несчастные слова

Статья исследует, применимы ли хорошо изученные методы враждебных атак на текстовые модели глубокого обучения к моделям прогнозирования фондового рынка, чья способность прогнозировать зависит от некоторых очень “человеческих” факторов, которые могут быть только примерно выведены из социальных сетей.

Как отмечают исследователи, потенциал манипулирования социальными сетями для влияния на стоимость акций был хорошо продемонстрирован, хотя еще не методами, предложенными в работе; в 2013 году злонамеренный твит на взломанном аккаунте Associated Press стоил 136 миллиардов долларов США рыночной стоимости за около трех минут.

Метод, предложенный в новой работе, реализует конкатенационную атаку, которая оставляет исходный твит нетронутым, а цитирует его:

Из дополнительного материала статьи, примеры ретвитов, содержащих замененные синонимы, которые меняют смысл и значение исходного сообщения, не искажая его так, чтобы люди или простые фильтры могли заметить, но которые могут использовать алгоритмы в системах прогнозирования фондового рынка.

Исследователи подходили к созданию враждебных ретвитов как к задаче комбинаторной оптимизации – созданию враждебных примеров, способных обмануть модель жертвы, даже с очень ограниченным словарем.

Замена слов с помощью семем – ‘минимальной семантической единицы человеческих языков’. Источник: https://aclanthology.org/2020.acl-main.540.pdf

В статье говорится:

‘В случае Твиттера злоумышленники могут размещать вредоносные твиты, которые создаются для манипулирования последующими моделями, которые принимают их на вход.

‘Мы предлагаем атаковать, размещая семантически подобные враждебные твиты в качестве ретвитов на Твиттере, чтобы они могли быть идентифицированы как релевантная информация и собраны в качестве входных данных модели.’

Для каждого твитта в специально отобранном пуле исследователи решили задачу выбора слова под ограничениями бюджета слов и твитов, которые накладывают严格ые ограничения на семантическое отклонение от исходного слова и замену “вредоносного/доброжелательного” слова.

Враждебные твиты формулируются на основе релевантных твитов, которые, вероятно, будут допущены в системы прогнозирования фондового рынка. Твит также должен пройти через систему модерации контента Твиттера и не должен казаться противоречивым для человеческого наблюдателя.

Следуя предыдущей работе (из Университета штата Мичиган, вместе с CSAIL, MIT и MIT-IBM Watson AI Lab), выбранные слова в целевом твите заменяются синонимами из ограниченного пула возможных синонимов, все из которых должны быть семантически очень близки к исходному слову, сохраняя при этом “коррумпирующее влияние”, основанное на предполагаемом поведении систем прогнозирования фондового рынка.

Алгоритмы, использованные в последующих экспериментах, были решателем Joint Optimization (JO) и решателем Alternating Greedy Optimization (AGO).

Данные и эксперименты

Этот подход был проверен на наборе данных прогнозирования фондового рынка, состоящем из 10 824 примеров релевантных твитов и информации о рыночной производительности за 88 акций между 2014-2016 годами.

Три модели жертвы были выбраны: Stocknet; FinGRU (производная от GRU); и FinLSTM (производная от LSTM).

Метрики оценки состояли из коэффициента успешности атаки (ASR) и падения F1-оценки модели жертвы после враждебной атаки. Исследователи смоделировали стратегию “Long-Only Buy-Hold-Sell” для тестов. Также был рассчитан прибыль и убыток (PnL) в симуляциях.

Результаты экспериментов. Также см. первый график в начале этой статьи.

Под JO и AGO ASR увеличивается на 10%, а F1-оценка модели падает на 0,1 в среднем по сравнению со случайной атакой. Исследователи отмечают:

‘Такое падение производительности считается значительным в контексте прогнозирования фондового рынка, учитывая, что точность прогнозирования междневной доходности составляет только около 60%.’

В разделе “Прибыль и убыток” (PnL) виртуальной атаки на Stocknet результаты враждебных ретвитов были также заметными:

‘Для каждого симуляционного эксперимента инвестор имеет 10 000 долларов (100%) для инвестирования; результаты показывают, что предложенный метод атаки с ретвитом, в котором заменено только одно слово, может вызвать дополнительные потери в размере 3 200 долларов (75%-43%) в портфеле инвестора после примерно двух лет.’

Опубликовано впервые 4 мая 2022 года.