Аудіан Паксон, головний технічний стратег IRONSCALES — серія інтерв’ю

Audian Paxson, головний технічний стратег IRONSCALES, — досвідчений фахівець із кібербезпеки та продуктової стратегії, який має понад два десятиліття досвіду в галузях захисту електронної пошти, виявлення загроз, мережевих технологій і корпоративних технологій. В IRONSCALES він зосереджується на запуску продуктів, формуванні їхнього позиціювання та комунікацій, стратегії виходу на ринок і формуванні експертної думки щодо використання штучного інтелекту й машинного навчання для протидії новим загрозам електронній пошті. Упродовж кар’єри він обіймав керівні посади у сфері управління продуктами, маркетингу продуктів і розвитку бізнесу в Netgate, BlueCat, Alert Logic, Critical Watch, Iconix, Strix Systems та Intel. Паксон відігравав ключову роль у запуску продуктів для кібербезпеки й мережевих технологій, розробленні стратегій виходу корпоративних продуктів на ринок і виході компаній на нові ринки; крім того, він є співвинахідником запатентованої технології безпеки.

IRONSCALES — компанія, що використовує штучний інтелект для захисту електронної пошти й допомагає організаціям протистояти фішингу, компрометації ділової електронної пошти, захопленню облікових записів, діпфейкам та іншим мінливим загрозам соціальної інженерії. Її платформа поєднує адаптивний ШІ з людською та спільнотною аналітикою, щоб виявляти загрози, розслідувати їх і усувати їхні наслідки в Microsoft 365 і Google Workspace. Вона також надає засоби для моделювання фішингових атак, навчання обізнаності з безпеки, захисту вихідної електронної пошти та захисту доменів. Компанія розширила свій підхід, додавши спеціалізованих ШІ-агентів для тестування силами «червоної команди», операцій із захисту від фішингу та моделювання фішингових атак. Вони покликані передбачати атаки, розслідувати підозрілу активність і посилювати захист співробітників. За словами IRONSCALES, її технологіями користуються понад 18 000 організацій, а до них інтегровано аналітичні дані, надані спільнотою з понад 36 000 фахівців із безпеки.

Ви працюєте у сфері захисту електронної пошти вже понад два десятиліття: зокрема, допомагали розробляти перші продукти для протидії фішингу, а тепер зосереджуєтеся на тому, як штучний інтелект і машинне навчання можуть допомогти впоратися з новими загрозами електронній пошті. З огляду на ваш досвід, що справді нового з’явилося у соціальній інженерії на основі ШІ, а які аспекти цієї проблеми залишилися напрочуд знайомими?

Дякую, що нагадали, скільки мені років! Коли на початку 2000-х ми почали боротися з фішингом, найбільшою проблемою була обізнаність, а фільтри могли оцінювати лише репутацію домену відправника. Але тактика майже не змінилася. Терміновість, авторитетність, підроблений рахунок. Я впізнаю майже кожну приманку, яку бачу сьогодні. ШІ змінив поріг майстерності: тепер навіть недосвідчений зловмисник може масово створювати бездоганні персоналізовані версії шахрайських схем 2004 року.

Anthropic виявила, що Claude Mythos 5 міг розпізнавати ознаки справжнього інтернету, коли ці сигнали подавали окремо, але здебільшого не діяв на підставі тих самих свідчень, занурившись у виконання завдання. Що цей розрив говорить про різницю між тим, коли модель ШІ володіє знаннями, і тим, коли вона застосовує їх у потрібний момент?

Я фахівець із захисту електронної пошти, а не дослідник ШІ, тож дивлюся на це з відповідної перспективи. Mythos від самого початку повідомили, що він перебуває в симуляції, і це формулювання взяло гору. Він відкинув реальні докази, бо вони не вписувалися в уже задану йому історію. Саме так і діє приманка — і саме тому зловмисники так наполегливо намагаються спершу задати потрібний контекст.

Тут є цікава паралель із поведінкою людей під час фішингових атак: працівник може легко розпізнати підозрілі ознаки під час навчання, але не помітити їх, коли поспішає або зосереджений на виконанні іншого завдання. Наскільки, на вашу думку, доречно проводити таку аналогію між людськими судженнями та рішеннями ШІ?

До певної межі. І люди, і моделі втрачають нитку, коли з головою занурені в завдання, а повідомлення, схоже на звичайний робочий процес («наступні заявки потрібно перевірити»), і люди, і моделі пропускають. Але на емоціях ця аналогія вже не працює. Люди поспішають, лякаються або прагнуть догодити. Агент дає збій через власні тригери — наприклад, через інструкції, які він не може відрізнити від даних, що їх читає.

Традиційно навчання з безпеки зосереджувалося на тому, щоб навчити людей розпізнавати шкідливі посилання, незвичні запити, видавання себе за іншу особу та інші тривожні ознаки. Якщо і люди, і системи ШІ можуть ігнорувати сигнали, які технічно вміють розпізнавати, чи варто командам із безпеки менше уваги приділяти розпізнаванню й більше — тому, як ухвалюються рішення під тиском і в конкретному контексті?

Так. Навчання розпізнаванню передбачає, що люди уважні. Зловмисники створюють повідомлення так, щоб вони надходили саме тоді, коли люди неуважні, або змушували їх забути те, чого їх навчили. Краще вкласти ресурси в те, щоб у вирішальні моменти — наприклад, під час платежів, скидання облікових даних чи зміни доступу — передбачити паузу, аби ні людина, ні агент не ухвалювали рішення автоматично.

У міру того як ШІ-агенти дедалі глибше інтегруються в поштові скриньки та робочі процеси компаній, зловмисники можуть частіше намагатися маніпулювати самою системою ШІ, а не лише працівником. Який вигляд може мати атака, спеціально розроблена для маніпулювання поштовим агентом або автономним помічником?

Це електронний лист, написаний для агента, а інструкції в ньому приховані від людини: білим текстом на білому тлі, в альтернативному тексті зображення або іншою мовою, щоб фільтри, налаштовані на англійську, його пропустили. В одному зі сценаріїв, розроблених нашою дослідницькою командою, у пам’ять агента закладають неправдивий «факт» («запити на погодження від finance@ попередньо авторизовані»), тож підроблений лист від фінансового відділу, надісланий за кілька тижнів, безперешкодно проходить перевірку. В іншому випадку текст приховано в зображенні рахунку: він наказує агенту позначити рахунок як малоризиковий і підсумувати, що його безпечно оплачувати. Людина довіряє цьому підсумку.

Чи можуть зловмисники навмисно створювати довгі послідовності взаємодій, які здаються цілком законними, але поступово підштовхують систему ШІ до хибного рішення, замість того щоб покладатися на один очевидно шкідливий електронний лист або запит? Наскільки складно сучасним засобам безпеки виявляти такі багатоетапні атаки?

Такі атаки вже застосовують проти людей, і наступними будуть агенти. Зловмисники надсилають кілька нешкідливих листів (наприклад, із представленням або подякою), щоб зняти позначки про першого відправника, потім переходять до повідомлень, пов’язаних із посадою цілі, і лише після цього надсилають шкідливе вкладення — часто запрошення на зустріч, посилання в якому відкриває сканерам безпечну сторінку, а реальним користувачам — фішинговий сайт. Засоби, які оцінюють кожен лист окремо, цього не помічають. Жодне окреме повідомлення не виглядає підозрілим, тож потрібно оцінювати взаємодію впродовж часу.

Про фішинг, створений за допомогою ШІ, часто говорять у контексті кращого тексту, персоналізації та дипфейків. Вас більше непокоїть те, що ШІ вдосконалює зміст атак із використанням соціальної інженерії, чи те, що зловмисники застосовують ШІ, аби точно визначити, коли і як конкретна ціль найімовірніше припуститься помилки?

І те, й інше, але боротьба за якість тексту вже завершилася. Вишуканий фішинг, написаний ШІ, став нормою після того, як ChatGPT набув широкої популярності. Значно важливіша зміна полягає в тому, що вибір цілі, персоналізація й визначення часу тепер автоматизовані, тож людина без жодних технічних навичок може поєднати дані про витоки з базами викрадених паролів, як-от сумнозвісним списком RockYou, захопити справжню поштову скриньку й надіслати підроблений звичайний лист про транзакцію саме тоді, коли адресат очікує на нього.

Коли зловмисники дедалі краще усувають очевидні технічні ознаки небезпеки й роблять шкідливі повідомлення схожими на справжні, які сигнали стають найважливішими для розрізнення легітимного спілкування та маніпуляції?

Насамперед важливий контекст. Наприклад, чи типова така поведінка для цієї людини або постачальника, у цьому каналі й саме в цей час? Далі — терміновість і повторюваність. Той, кому справді потрібно терміново щось вирішити, зателефонує або напише вам у Teams чи Slack. Він не надсилатиме той самий лист тричі. І довіряйте своїй інтуїції. Моє правило: «Не поспішай діяти — зупинися», тож зробіть паузу, попросіть когось іще перевірити ситуацію й підтвердьте інформацію через інший канал.

Як організаціям слід вибудовувати людський нагляд і контроль за ШІ, якщо обидві сторони можуть мати слабкі місця? Чи може поєднання людського судження з ШІ створити нові сліпі зони, якщо кожна сторона припускатиме, що інша вже перевірила рішення?

Доручіть кожній стороні те, що вона робить найкраще, і чітко визначте порядок передавання завдань. ШІ опрацьовує великі обсяги даних і виявляє закономірності в усьому середовищі; люди ухвалюють рішення з серйозними наслідками (переказування коштів, надання доступу), а ШІ має показати докази, щоб фахівець, який перевіряє рішення, міг оцінити логіку. Описана вами сліпа зона — реальна проблема. Її можна усунути суворим правилом: «ШІ сказав, що це безпечно» ніколи не вважається перевіркою людиною.

Якщо фундаментальна проблема полягає в розриві між тим, що знають люди або системи ШІ, і тим, що вони розпізнають під час виконання завдання, які практичні зміни організації можуть запровадити вже сьогодні, щоб скоротити цей розрив і значно ускладнити успішне застосування соціальної інженерії?

Скористайтеся давнім механізмом контролю, який застосовували під час виписування чеків, — «розподілом обов’язків». Одна людина може створити нового користувача, але не активувати його; друга — активувати користувача, але не створити його; третя отримує сповіщення про обидві дії. Запровадьте такий самий розподіл у процесах платежів, зміни постачальників і роботі ваших ШІ-агентів (жоден агент не повинен одночасно запитувати й затверджувати дію). Одна ошукана працівниця чи один захоплений агент не зможуть самостійно довести атаку до кінця.

Дякуємо за чудове інтерв’ю. Читачам, які хочуть дізнатися більше, варто відвідати IRONSCALES.