Знецінення акцій за допомогою ретвітів, створених ворогами

Спільне дослідницьке співробітництво між університетами США та IBM сформулювало перевірену концепцію змагальної атаки, яка теоретично здатна спричинити втрати на фондовому ринку, просто змінивши одне слово в ретвіті допису в Twitter.

В одному експерименті дослідники змогли порушити модель прогнозування Stocknet двома методами: маніпуляційною атакою та конкатенаційною атакою. Джерело: https://arxiv.org/pdf/2205.01094.pdf

Поверхня атаки для змагальної атаки на автоматизовані системи прогнозування запасів і системи машинного навчання полягає в тому, що a зростаюче число з них покладаються на органічні соціальні медіа як провісники ефективності; і що маніпулювання цими «дикими» даними є процесом, який потенційно можна надійно сформулювати.

Крім Twitter, системи такого характеру отримують дані з Reddit, StockTwits і Yahoo News, зокрема. Різниця між Twitter та іншими джерелами полягає в тому, що ретвіти можна редагувати, навіть якщо оригінальні твіти ні. З іншого боку, на Reddit можна лише публікувати додаткові (наприклад, коментарі чи пов’язані) публікації або коментувати та оцінювати – дії, які справедливо розглядаються як партійні та корисливі за процедурами очищення даних і методами обробки даних, заснованих на ML. системи прогнозування.

В одному експерименті на Stocknet прогноз модель, дослідники змогли спричинити помітне падіння прогнозованої вартості акцій двома методами, найефективніший із яких, маніпуляційна атака (тобто редаговані ретвіти), зміг спричинити найсерйозніше падіння.

За словами дослідників, це було досягнуто шляхом імітації однієї заміни в ретвіті від «шановного» фінансового джерела Twitter:

Слова мають значення. Тут різниця між «наповненим» і «виконаним» (не відверто зловмисне або оманливе слово, а просто класифіковане як синонім) теоретично коштувала інвестору тисячі знецінення акцій.

У папері зазначено:

«Наші результати показують, що запропонований метод атаки може досягти стабільних показників успіху та спричинити значні грошові втрати в симуляції торгівлі, просто об’єднавши збурений, але семантично подібний твіт».

Дослідники роблять висновок:

«Ця робота демонструє, що наш метод змагальної атаки постійно обманює різні моделі фінансового прогнозу навіть з фізичними обмеженнями, що необроблений твіт не можна змінити. Додавши ретвіт із заміною лише одного слова, атака може спричинити додаткові втрати на 32% для нашого імітованого інвестиційного портфеля.

«Вивчаючи вразливість фінансової моделі, наша мета полягає в тому, щоб підвищити обізнаність фінансової спільноти про ризики моделі ШІ, щоб у майбутньому ми могли розробити більш надійну архітектуру штучного інтелекту, яка базується на роботі людини».

Команда папір має титул Слово варте тисячі доларів: ворожий напад на твіти дурить прогноз акційі походить від шести дослідників з Університету штату Іллінойс Урбана-Шампейн, Університету штату Нью-Йорк у Буффало та Університету штату Мічиган, причому троє дослідників належать до IBM.

Нещасні слова

У статті досліджується, чи добре вивчена сфера змагальних атак на текстові моделі глибокого навчання застосовна до моделей прогнозування фондового ринку, чия здатність прогнозування залежить від деяких дуже «людських» факторів, які можна лише приблизно вивести з джерел соціальних мереж.

Як зазначають дослідники, потенціал маніпулювання соціальними медіа для впливу на ціни акцій був добре продемонстрований, хоча ще не методами, запропонованими в роботі; у 2013 році а зловмисний твіт, на який претендує Сирія у зламаному Twitter-акаунті Associated Press стерла ринкову вартість акцій на 136 мільярдів доларів США приблизно за три хвилини.

Метод, запропонований у новій роботі, реалізує атаку конкатенації, яка залишає оригінальний твіт недоторканим, водночас неправильно його цитуючи:

З додаткового матеріалу до статті наведено приклади повторних твітів із заміненими синонімами, які змінюють зміст і значення оригінального повідомлення, не спотворюючи його таким чином, щоб люди чи прості фільтри могли його вловити, але які можуть використовувати алгоритми в системи прогнозування фондового ринку.

Дослідники підійшли до створення змагальних ретвітів як комбінаторна оптимізація проблема – створення суперечливих прикладів, здатних обдурити модель жертви, навіть з дуже обмеженим словниковим запасом.

Використання заміни слів семеми – «мінімальна семантична одиниця людських мов». Джерело: https://aclanthology.org/2020.acl-main.540.pdf

Газета зауважує:

«У випадку з Twitter зловмисники можуть публікувати зловмисні твіти, які створені для маніпулювання нижчими моделями, які приймають їх як вхідні дані.

«Ми пропонуємо атакувати, публікуючи семантично подібні змагальні твіти як ретвіти в Twitter, щоб їх можна було ідентифікувати як релевантну інформацію та зібрати як вхідні дані моделі».

Для кожного твіту в спеціально відібраному пулі дослідники вирішували проблему вибору слова в рамках обмежень бюджету слів і твітів, які встановлювали суворі обмеження з точки зору семантичної розбіжності з оригінальним словом і заміни «зловмисного/доброякісного» слова. .

Суперечливі твіти сформульовані на основі відповідних твітів, які, ймовірно, будуть допущені до систем прогнозування акцій на нижчих рівнях. Твіт також повинен безперешкодно проходити через систему модерації вмісту Twitter і не повинен здаватися випадковим спостерігачем неправдивим.

Після попередня робота (з Університету штату Мічиган разом з CSAIL, MIT і MIT-IBM Watson AI Lab), вибрані слова в цільовому твіті замінюються синонімами з обмеженого набору синонімів, усі вони мають бути семантично дуже близькими до оригіналу. слово, зберігаючи при цьому свій «корупційний вплив», заснований на припущеній поведінці систем прогнозування фондового ринку.

Алгоритми, використані в наступних експериментах, були розв’язувач спільної оптимізації (JO) і розв’язувач альтернативної жадібної оптимізації (AGO).

Набори даних і експерименти

Цей підхід було випробувано на наборі даних прогнозування акцій, що включає 10,824 88 приклади відповідних твітів та інформацію про ефективність ринку на XNUMX акціях між 2014-2016.

Було обрано три моделі «жертви»: Stocknet; ФінГРУ (похідне від ГРУ); і FinLSTM (похідна від LSTM).

Показники оцінювання складалися з коефіцієнта успішності атак (ASR) і падіння моделі жертви F1 бал після атаки противника. Дослідники змоделювали a Тривале лише купівля-утримання-продаж стратегія для тестів. Прибуток і збиток (PnL) також розраховувалися під час моделювання.

Результати дослідів. Також перегляньте перший графік у верхній частині цієї статті.

Під час JO та AGO ASR зростає на 10%, а показник F1 моделі знижується в середньому на 0.1 порівняно з випадковою атакою. Дослідники зазначають:

«Таке [] падіння ефективності вважається значним у контексті прогнозування акцій, враховуючи, що найсучасніша точність прогнозування міжденної прибутковості становить лише близько 60%."

У розділі «Прибуток і збиток» (віртуальної) атаки на Stocknet також заслуговують на увагу результати змагальних ретвітів:

«Для кожної симуляції інвестор має 10 тисяч доларів (100%) для інвестування; результати показують, що запропонований метод атаки з ретвітом із заміною лише одного слова може призвести до додаткових втрат інвестором $3.2 тис. (75%-43%) для їхнього портфеля приблизно через 2 роки».

Вперше опубліковано 4 травня 2022 р.