Как преступники выигрывают гонку вооружений в области ИИ до того, как бизнес даже начнет

В эпоху, когда ИИ преобразует отрасли с беспрецедентной скоростью, темная сторона этой технологической революции столь же тревожна. Поскольку бизнес борется за то, чтобы использовать потенциал ИИ, киберпреступники эксплуатируют эти достижения, меняя динамику киберпреступности и мошенничества.

Изменение экономики киберпреступности и мошенничества

Киберпреступники используют те же модели и технологии ИИ, которые используют предприятия, часто адаптируя их в течение нескольких дней после их выпуска. Одним из первых примеров такого неправильного использования было автоматизированное решение CAPTCHA с помощью ChatGPT-1, которое продемонстрировало, как быстро генеративные модели могут обойти базовые меры безопасности.

С тех пор каждое значительное достижение в области генеративного ИИ быстро находило отклик в адаптации преступников, включая генерацию глубоких подделок голоса и видео, которые几乎 сразу же появлялись на темных платформах. Этот ускоренный цикл позволяет мошенникам использовать сложные технологии для создания убедительных схем, подрывая традиционные меры безопасности.

В первом квартале 2025 года alone глубокие подделки, облегченные мошенничеством, якобы причинили более $200 миллионов убытков. Прибыльность киберпреступности взлетела, и платформы, предлагающие “мошенничество как услугу”, делают проще, чем когда-либо, для преступников совершать сложные схемы, включая синтетические идентификаторы и передовые наборы для фишинга.

Поскольку бизнес борется за расширение своих возможностей ИИ, преступники опережают их, постоянно инновируя и эксплуатируя пробелы, оставленные устаревшими рамками безопасности.

Почему традиционные меры кибербезопасности и рамки доверия не справляются с акторами, использующими ИИ

Традиционные меры кибербезопасности, которые когда-то обеспечивали некоторую степень защиты, оказываются недостаточными. Устаревшие системы, полагающиеся на черные списки, CAPTCHA и одностороннюю аутентификацию, не способны противостоять эволюционирующему ландшафту атак, использующих ИИ. Преступники используют глубокие подделки, которые могут обмануть биометрические сканеры, и синтетические идентификаторы, которые легко обходят протоколы KYC.

Этот провал усугубляется тем, что многие организации все еще рассматривают кибербезопасность как центр затрат, а не как критически важный компонент инфраструктуры. Поскольку Пентагон инвестирует миллионы долларов в набор хакеров ИИ, технологический разрыв становится очевидным. Пока бизнес занят в “театре соблюдения”, преступники используют ИИ для эксплуатации человеческих уязвимостей, таких как фишинговые атаки, имитирующие коммуникации руководства.

Что такое “родные для ИИ” атаки в практике

Современные тактики мошенничества эволюционировали далеко за пределы прошлых схем фишинга. Нападавшие строят сложные цепочки мошенничества, которые кажутся законными на каждом этапе.

Представьте себе обычное корпоративное утро. Вторник, 9:43 утра. Финансовый директор получает электронное письмо, помеченное как “срочно”, которое, кажется, исходит от генерального директора. Тон знакомый. Язык соответствует предыдущим запросам. Следующее сообщение приходит через несколько минут на другом канале, подкрепляя срочность. К 11:00 утра утверждается перевод средств на сумму несколько миллионов долларов, но позже обнаруживается, что он был направлен на офшорный счет, контролируемый нападавшими.

Эти атаки, родные для ИИ, являются психологическими манипуляциями, использующими доверие и авторитет. Сложность таких операций подчеркивает пробел в существующих мерах безопасности, которые не могут обнаружить тонкие поведенческие аномалии, характерные для современного мошенничества.

Что бизнесу следует реалистично уделять внимание перед развертыванием ИИ внутри

Прежде чем развертывать ИИ внутри, бизнесу необходимо остановиться и переоценить свои предположения о доверии. Ускорение ИИ-обеспеченного преступления раскрыло структурную слабость: организации все еще защищают от вчерашних угроз, в то время как сегодняшние атаки предназначены для того, чтобы выглядеть законными по умолчанию.

1. Компании должны переосмыслить само понятие риска.

Традиционные матрицы риска были построены вокруг неисправностей, таких как сбои в работе системы, утечки данных, нарушения политики. В эпоху ИИ риск все чаще возникает из-за симуляции, а не неисправности. Вместо вопроса “что может пойти не так” более уместно задать вопрос “что можно убедительно подделать, в масштабе, быстрее, чем мы можем отреагировать”.

Синтетические идентификаторы, подделка руководителей и ИИ-генерируемые нарративы ведут себя иначе, чем традиционные угрозы: они распространяются быстрее, смешиваются с законной деятельностью и эксплуатируют доверие, а не технические пробелы. Неудивительно, что эти риски, как правило, занимают более высокие позиции и материализуются чаще, чем их предшественники, не связанные с ИИ, скрываясь внутри кибербезопасности, мошенничества, репутационного риска или соблюдения.

2. Организации должны признать, что предотвращение alone больше не достаточно.

Топовые предприятия теперь сопоставляют риски ИИ с тремя защитными слоями, соответствующими модульной архитектуре AI Defender:

• Предотвращение риска – теперь включает в себя предвидение атак, которые эксплуатируют человеческое доверие и контент, сгенерированный ИИ, а не только блокирование известных угроз.
• Осведомленность об ИИ-идентификации
• Целостность устройства и сеанса
• Защита коммуникации руководства
• Обнаружение и мониторинг угроз объединяет технический анализ аномалий с поведенческим и медиа-мониторингом, отражая тот факт, что многие атаки, родные для ИИ, проявляются в коммуникационных паттернах, а не в коде.
• Непрерывный мониторинг сигналов и аномалий
• Обнаружение ИИ против ИИ
• Мониторинг нарратива и медиа
• Расследование и атрибуция – сосредоточено на реконструкции событий, атрибуции намерений и предоставлении действенных доказательств, позволяя организациям эффективно реагировать, даже когда обман масштабируется быстрее, чем их первоначальные защиты.
• Объяснимость предупреждений ИИ
• Атрибуция подозрительной деятельности
• Доказательства, полученные из открытых источников

3. Бизнесу необходимо столкнуться с человеческим измерением ИИ-родного мошенничества.

Сотрудники остаются основной точкой входа для современных атак, но характер эксплуатации изменился. Один из часто наблюдаемых шаблонов в ИИ-обеспеченном мошенничестве включает внутренние взаимодействия, а не внешние атаки. Сотрудники могут получить короткие видеозвонки от того, что кажется HR, прося “быстро проверить идентификатор” для решения проблемы с зарплатой. Лицо, голос и брендинг выглядят аутентично. Сам запрос кажется безобидным, но он тихо позволяет захватить учетную запись позже в тот же день.

Этот сценарий иллюстрирует, почему ИИ-обеспеченное мошенничество использует контекст, авторитет и время, часто имитируя коммуникацию руководства с тревожной точностью. В этой среде традиционное обучение безопасности рискует стать не более чем “театром соблюдения”, предлагая уверенность без реальной устойчивости.

Проблема заключается не только в осведомленности, но и в том, как поставлена проблема.

Переформулировать проблему (это шаг ноль)

Старая умственная модель: “Обучать сотрудников не делать ошибок.”

Новая умственная модель: “Предполагать, что сотрудники будут нацелены, манипулированы и использованы как оружие.”

Обучение – это не образование.

Обучение – это инокуляция + мышечная память.

Взглянув на это через эту призму, команды должны быть обучены распознавать повторяющиеся шаблоны мошенничества.

5 доминирующих векторов ИИ-мошенничества, проходящих через сотрудников – ни один из них не останавливается осведомленностью:

4. Организациям необходимо переосмыслить, что значит “идентификатор” в мире синтетической реальности.

Поскольку глубокие подделки голоса и видео подрывают доверие к биометрии, ни один фактор не может надежно доказать аутентичность. Все чаще устойчивость возникает из накопления многих слабых сигналов во времени, таких как контекст, непрерывность и последовательность через устройства, сеансы и внешние данные.

Открытые и внешние данные, которые ранее считались второстепенными, приобретают стратегическое значение. Когда они объединяются с внутренними поведенческими сигналами, они помогают ответить на критический вопрос: имеет ли эта идентификация или действие смысл в разных контекстах? В мире, где почти все можно подделать, последовательность становится одним из немногих оставшихся якорей доверия.