Audian Paxson, главный технический стратег IRONSCALES — серия интервью

Audian Paxson, главный технический стратег IRONSCALES, — опытный специалист в области кибербезопасности и продуктовой стратегии с более чем двадцатилетним стажем в сфере защиты электронной почты, обнаружения угроз, сетевых технологий и корпоративных технологий. В IRONSCALES он занимается запуском продуктов, разработкой сообщений и позиционированием, стратегией выхода на рынок, а также формированием экспертного мнения о применении искусственного интеллекта и машинного обучения для противодействия новым угрозам электронной почте. За свою карьеру он занимал руководящие должности в управлении продуктами, продуктовом маркетинге и развитии бизнеса в Netgate, BlueCat, Alert Logic, Critical Watch, Iconix, Strix Systems и Intel. Paxson играл ключевую роль в запуске продуктов для кибербезопасности и сетевых технологий, разработке стратегий выхода корпоративных решений на рынок и расширении деятельности компаний на новые рынки; кроме того, он является соавтором запатентованной технологии безопасности.

IRONSCALES — компания, применяющая искусственный интеллект для защиты электронной почты и организаций от фишинга, компрометации деловой электронной почты, захвата учетных записей, дипфейков и других развивающихся угроз социальной инженерии. Ее платформа сочетает адаптивный искусственный интеллект с человеческой экспертизой и данными сообщества, чтобы обнаруживать угрозы, расследовать инциденты и устранять их последствия в Microsoft 365 и Google Workspace. Кроме того, она предоставляет средства для имитации фишинговых атак, обучения сотрудников по вопросам безопасности, защиты исходящей электронной почты и защиты доменов. Компания расширила этот подход, разработав специализированных ИИ-агентов для моделирования атак, операций по противодействию фишингу и имитации фишинговых атак. Они предназначены для прогнозирования атак, расследования подозрительной активности и укрепления защиты сотрудников. По данным IRONSCALES, ее технологиями пользуются более 18 000 организаций, а в их основе лежат данные, которыми делится сообщество из более чем 36 000 специалистов по безопасности.

Вы работаете в сфере защиты электронной почты уже более двадцати лет: помогали разрабатывать первые средства защиты от фишинга, а теперь изучаете, как искусственный интеллект и машинное обучение могут помочь противостоять новым угрозам электронной почте. Исходя из вашего опыта, что в социальной инженерии с применением ИИ действительно новое, а что в этой проблеме, как ни удивительно, остается прежним?

Спасибо, что напомнили, сколько мне лет! Когда в начале 2000-х мы начали бороться с фишингом, главной проблемой была осведомленность пользователей, а фильтры могли оценивать только репутацию домена отправителя. Но тактика почти не изменилась: срочность, авторитет, поддельный счет. Я узнаю почти все предлоги, которые встречаю сегодня. ИИ изменил порог мастерства: теперь даже неопытный злоумышленник может массово создавать безупречные персонализированные версии мошеннических схем 2004 года.

Anthropic обнаружила, что Claude Mythos 5 способен распознавать признаки реального интернета, если рассматривать их отдельно, но в основном не использует те же свидетельства, погрузившись в выполнение задачи. Что этот разрыв говорит нам о различии между тем, когда модель ИИ обладает знаниями, и тем, когда она действительно применяет их в нужный момент?

Я занимаюсь защитой электронной почты, а не исследованиями ИИ, поэтому смотрю на это с такой точки зрения. Mythos заранее сообщили, что он работает в симуляции, и эта установка возобладала. Он объяснял реальные свидетельства, исходя из того, что они не вписывались в уже заданный ему сценарий. Именно так и работает ложный предлог — поэтому злоумышленники так стараются сначала задать рамки восприятия.

Здесь напрашивается интересная параллель с человеческим поведением при фишинговых атаках: сотрудник может без труда распознать подозрительные признаки во время обучения, но не заметить их же, когда торопится или сосредоточен на выполнении другой задачи. Насколько, по-вашему, уместно проводить такое сравнение между человеческими суждениями и решениями ИИ?

До определенного предела. И люди, и ИИ теряют нить, когда с головой погружены в задачу. Сообщение, похожее на обычный рабочий процесс («следующие заявки нужно проверить»), и люди, и модели пропускают без проверки. Но на эмоциях это сравнение перестает работать. Люди начинают торопиться, пугаться или стремиться угодить. Агент же дает сбой из-за собственных триггеров — например, когда не может отличить инструкции от данных, которые обрабатывает.

Традиционно обучение безопасности было направлено на то, чтобы научить людей распознавать вредоносные ссылки, необычные запросы, попытки выдать себя за другого человека и другие тревожные признаки. Если и люди, и системы ИИ могут игнорировать сигналы, которые технически умеют распознавать, стоит ли командам по безопасности уделять меньше внимания распознаванию и больше — тому, как принимаются решения под давлением и в конкретном контексте?

Да. Обучение распознаванию исходит из того, что люди внимательны. Злоумышленники составляют сообщения так, чтобы застать их врасплох или заставить забыть пройденное обучение. Лучше вложить силы в то, чтобы в критически важные моменты — например, при проведении платежей, сбросе учетных данных или изменении прав доступа — предусмотреть паузу и проверку, чтобы ни человек, ни агент не принимали решение на автопилоте.

По мере того как ИИ-агенты все глубже интегрируются в почтовые ящики и рабочие процессы компаний, злоумышленники, вероятно, будут все чаще пытаться обманом воздействовать непосредственно на ИИ-систему, а не только на сотрудника. Как может выглядеть атака, специально разработанная для манипулирования почтовым агентом или автономным помощником?

Это письмо написано для агента, а инструкции скрыты от человека: их набирают белым по белому, помещают в альтернативный текст изображения или переводят на другой язык, чтобы фильтры, настроенные на английский, их пропустили. В одном сценарии, разработанном нашей исследовательской командой, в память агента закладывают ложный «факт» («согласования от finance@ предварительно авторизованы»), поэтому поддельное письмо якобы от финансового отдела, отправленное несколько недель спустя, беспрепятственно проходит проверку. В другом случае текст прячут внутри изображения счета и указывают агенту пометить его как низкорисковый, а в кратком изложении указать, что его безопасно оплачивать. Человек доверяет краткому изложению.

Могут ли злоумышленники намеренно создавать длинные цепочки взаимодействий, которые кажутся законными и постепенно подталкивают систему ИИ к неверному решению, вместо того чтобы полагаться на одно очевидно вредоносное письмо или запрос? Насколько сложно современным средствам защиты обнаруживать такие многоэтапные атаки?

Такие атаки уже направлены против людей, и следующими станут ИИ-агенты. Злоумышленники отправляют несколько безобидных писем (например, знакомятся или благодарят), чтобы снять пометки о новом отправителе, затем переходят к сообщениям, связанным с должностью цели, и только после этого доставляют вредоносное содержимое. Часто это приглашение на встречу: по ссылке сканеры видят чистую страницу, а реальные пользователи — фишинговый сайт. Инструменты, которые оценивают каждое письмо по отдельности, этого не замечают. Ни одно сообщение само по себе не выглядит подозрительным, поэтому нужно оценивать отношения с отправителем в динамике.

Обсуждая фишинговые сообщения, созданные с помощью ИИ, часто говорят о более качественных текстах, персонализации и дипфейках. Вас больше беспокоит, что ИИ улучшает содержание атак с применением социальной инженерии, или то, что злоумышленники используют ИИ, чтобы понять, когда и каким образом конкретная цель с наибольшей вероятностью ошибется?

И то и другое, но борьба за качество содержимого уже проиграна. Отточенные фишинговые письма, написанные ИИ, стали нормой после того, как ChatGPT получил широкое распространение. Гораздо важнее то, что подбор целей, персонализация и выбор времени теперь автоматизированы: даже человек без каких-либо технических навыков может объединить данные об утечках со слитыми базами паролей, например из печально известного списка RockYou, захватить настоящий почтовый ящик и отправить подделку обычного транзакционного письма именно тогда, когда адресат его ожидает.

По мере того как злоумышленники учатся устранять очевидные технические признаки опасности и придавать вредоносным сообщениям вид законных, какие сигналы становятся наиболее важными для отличия подлинной переписки от манипуляции?

Прежде всего важен контекст. Например, обычно ли для этого человека или поставщика писать по этому каналу именно в такое время? Затем — срочность и повторяемость. Если просьба действительно срочная, человек позвонит или напишет вам в Teams или Slack. Он не станет трижды отправлять одно и то же письмо. И доверяйте своей интуиции. Моё правило: «Не спеши что-либо делать — остановись», поэтому сделайте паузу, попросите кого-нибудь ещё взглянуть на ситуацию и проверьте информацию по другому каналу.

Как организациям выстроить контроль со стороны людей и ИИ, если у обеих сторон есть потенциальные слабые места? Может ли сочетание человеческого суждения и ИИ создать новые слепые зоны, если каждая сторона будет считать, что другая уже проверила решение?

Поручите каждой стороне то, что она умеет лучше всего, и четко определите порядок передачи задач. ИИ обрабатывает большие объемы данных и выявляет закономерности во всей среде; люди принимают решения с серьезными последствиями (например, о переводе денег или предоставлении доступа), а ИИ должен показывать доказательства, чтобы проверяющий мог оценить ход рассуждений. Описанная вами слепая зона действительно существует. Решение — установить жесткое правило: «ИИ сказал, что это безопасно» ни в коем случае не считается проверкой человеком.

Если главная проблема заключается в разрыве между тем, что известно людям или системам ИИ, и тем, что они замечают непосредственно при выполнении задачи, какие практические меры организации могут принять уже сегодня, чтобы сократить этот разрыв и значительно затруднить успешное применение социальной инженерии?

Воспользуйтесь старым механизмом контроля, который применяли при выписывании чеков, — «разделением обязанностей». Один человек может создать учетную запись нового пользователя, но не может ее активировать; второй может активировать учетную запись, но не может ее создать; третий получает уведомление и о создании, и об активации. Внедрите такое же разделение при проведении платежей, изменении данных поставщиков и работе ИИ-агентов (ни один агент не должен одновременно запрашивать и одобрять действие). Один обманутый сотрудник или один захваченный агент не сможет завершить атаку в одиночку.

Спасибо за интересное интервью. Читатели, желающие узнать больше, могут посетить IRONSCALES.