Зниження вартості акцій за допомогою шкідливих ретвітів

Спільна дослідницька співпраця між університетами США та IBM сформулювала концепцію шкідливої атаки, яка теоретично здатна спричинити збитки на фондовому ринку, просто змінивши одне слово в ретвіті твіта.

В одному експерименті дослідники змогли пошкодити модель прогнозування Stocknet двома методами: маніпуляційною атакою та атакою конкатенації. Джерело: https://arxiv.org/pdf/2205.01094.pdf

Площа атаки для шкідливої атаки на автоматизовані та системи прогнозування фондового ринку, що використовують машинне навчання, полягає в тому, що все більша кількість із них спирається на органічні соціальні медіа як передбачувачі результатів; і що маніпулювання цими “дикими” даними є процесом, який потенційно може бути надійно сформульованим.

Окрім Твіттера, системи цього типу споживають дані з Reddit, StockTwits та Yahoo News, серед інших. Відмінність між Твіттером та іншими джерелами полягає в тому, що ретвіти можна редагувати, навіть якщо оригінальні твіти не можна. З іншого боку, на Reddit можна лише робити додаткові пости (тобто коментарі чи пов’язані пости) або коментувати та оцінювати – дії, які правильно вважаються партійними та корисними для процедур санітарної обробки даних та практики систем прогнозування фондового ринку на основі машинного навчання.

В одному експерименті на моделі прогнозування Stocknet дослідники змогли спричинити помітне зниження вартості акцій шляхом двох методів, найефективнішим із яких була маніпуляційна атака (тобто редаговані ретвіти), яка змогла спричинити найжорсткіші зниження.

Це було досягнуто, згідно з дослідниками, шляхом симуляції заміни одного слова в ретвіті з “поважного” фінансового джерела Твіттера:

Слова мають значення. Тут різниця між ‘заповнено’ та ‘виконано’ (не явно зловмисна чи вводить в оману слово, але майже категоризується як синонім) теоретично коштувала інвестору тисячі доларів у зниженні вартості акцій.

У статті зазначається:

‘Наші результати показують, що запропонована методика атаки може досягати постійних успішних результатів і спричиняти значні фінансові втрати в симуляції торгівлі просто шляхом конкатенації спотвореного, але семантично подібного твіта.’

Дослідники роблять висновок:

‘Ця робота демонструє, що наша методика шкідливої атаки постійно обманює різні фінансові прогнозні моделі, навіть з фізичними обмеженнями, які не дозволяють змінювати оригінальний твіт. Додавання ретвіту з заміною лише одного слова атака може спричинити додаткові втрати в розмірі 32% нашого симульованого інвестиційного портфеля.

‘Відстежуючи вразливість фінансових моделей, наша мета полягає в тому, щоб підвищити рівень свідомості фінансової спільноти щодо ризиків моделей штучного інтелекту, щоб у майбутньому ми могли розробити більш надійні архітектури штучного інтелекту з участю людини.’

Стаття називається Слово коштує тисячу доларів: Шкідлива атака на твіти обманює прогнозування фондового ринку і походить від шести дослідників з різних університетів, включаючи Університет Іллінойсу в Урбані-Шампейні, Державний університет Нью-Йорка в Баффало та Університет штату Мічиган, з трьома дослідниками, пов’язаними з IBM.

Нещасливі слова

Стаття досліджує, чи застосовуються добре вивчені галузі шкідливих атак на текстові моделі глибокого навчання до моделей прогнозування фондового ринку, чия здатність прогнозувати залежить від деяких дуже “людських” факторів, які можна лише приблизно вивести з соціальних медіа-джерел.

Як зазначають дослідники, потенціал маніпуляції соціальними медіа для впливу на ціни акцій був добре продемонстрований, хоча ще не методами, запропонованими в цій роботі; у 2013 році зловмисний твіт сирійських хакерів на хакованому обліковому записі Associated Press викрав 136 мільярдів доларів США з фондового ринку за близько трьох хвилин.

Метод, запропонований у цій роботі, реалізує атаку конкатенації, яка залишає оригінальний твіт незмінним, а цитуючи його:

З додаткового матеріалу статті, приклади ретвітів, що містять заміщені синоніми, які змінюють намір і значення оригінального повідомлення, без фактичного спотворення його таким чином, щоб люди або прості фільтри могли помітити – але які можуть використати алгоритми систем прогнозування фондового ринку.

Дослідники підходили до створення шкідливих ретвітів як до проблеми комбінаторної оптимізації – створення шкідливих прикладів, здатних обманути жертву-модель, навіть з дуже обмеженим словником.

Заміна слів за допомогою семем – ‘мінімальної семантичної одиниці людських мов’. Джерело: https://aclanthology.org/2020.acl-main.540.pdf

У статті зазначається:

‘У випадку Твіттера противники можуть публікувати шкідливі твіти, які створені для маніпулювання моделями, що приймають їх як вхідні дані.

‘Ми пропонуємо атакувати шляхом публікації семантично подібних шкідливих твітів у вигляді ретвітів на Твіттері, так щоб вони могли бути ідентифіковані як актуальна інформація та зібрані як вхідні дані моделі.’

Для кожного твіта в спеціально відібраному пулі дослідники розв’язали проблему вибору слова під обмеженнями бюджету слова та твіта, які накладають суворі обмеження щодо семантичної відхилення від оригінального слова та заміни “зловмисного/нейтрального” слова.

Шкідливі твіти формуються на основі актуальних твітів, які ймовірно будуть допущені до систем прогнозування фондового ринку. Твіт також повинен пройти безперешкодно через систему модерації контенту Твіттера та не повинен здаватися суперечливим для випадкового спостерігача.

Відповідно до попередньої роботи (з Університету штату Мічиган, разом з CSAIL, MIT та лабораторією штучного інтелекту MIT-IBM), вибрані слова в цільовому твіті замінюються синонімами з обмеженого пула можливих синонімів, всі з яких повинні бути семантично дуже близькими до оригінального слова, зберігаючи при цьому його “корупційну вплинути”, засновану на припущених поведінках систем прогнозування фондового ринку.

Алгоритми, використані в подальших експериментах, були розв’язувачем спільної оптимізації (JO) та розв’язувачем чергування оптимізації (AGO).

Дані та експерименти

Цей підхід був випробуваний на наборі даних прогнозування фондового ринку, що складається з 10 824 прикладів актуальних твітів та інформації про ринок за 88 акціями між 2014-2016 роками.

Було вибрано три “жертви-моделі”: Stocknet; FinGRU (похідна від GRU); та FinLSTM (походна від LSTM).

Метрики оцінки складалися з успішності атаки (ASR) та зниження оцінки F1 моделі-жертви після шкідливої атаки. Дослідники змоделювали стратегію “Long-Only Buy-Hold-Sell” для тестів. Також було розраховано прибуток та збитки (PnL) у симуляціях.

Результати експериментів. Див. також перший графік у верхній частині цієї статті.

Під керівництвом JO та AGO успішність атаки зростає на 10%, а оцінка F1 моделі знижується на 0,1 у середньому порівняно з випадковою атакою. Дослідники зазначають:

‘Такий спад продуктивності вважається суттєвим у контексті прогнозування фондового ринку, оскільки точність прогнозування міжденних доходів становить лише близько 60%.’

У частині “Прибуток та збитки” (virtual) атаки на Stocknet результати шкідливих ретвітів також були помітними:

‘Для кожного симуляційного експерименту інвестор має $10 тис. (100%) для інвестування; результати показують, що запропонована методика атаки з ретвітом із заміною лише одного слова може спричинити додаткові втрати інвестора в розмірі $3,2 тис. (75%-43%) у портфелі після приблизно двох років.’

Перша публікація 4 травня 2022 року.