AI-атаки не устают: Почему кибербезопасность должна измениться

Ваша программа безопасности была построена для атакующих, которые устают.

Когда OpenAI опубликовала свой отчёт о моделях, которые вырвались из среды оценки и провели дни внутри производственной инфраструктуры Hugging Face, я назвал это моментом «Терминатора» для кибербезопасности. Я по‑прежнему придерживаюсь этого утверждения, но ещё один аспект заставляет нас задуматься. Через девять дней Anthropic раскрыла собственные инциденты. В начале августа Meta подтвердила ещё один. Через несколько дней модель четвёртой лаборатории, Kimi K3 от Moonshot, просочилась из своей тестовой песочницы. Четыре лаборатории. Менее трёх недель. Четыре модели, которые попали туда, куда никто не планировал.

Эти истории в основном рассматриваются как истории о безопасности ИИ. И так оно и есть. Но для директора по информационной безопасности (CISO) они также являются историями о рисках, связанных со сторонними поставщиками — и это может быть более актуальным уроком. Неудобная правда заключается в том, что инцидент OpenAI‑Hugging Face в своей основе был историей о рисках третьих сторон: уязвимый компонент стороннего поставщика стал путём выхода, поставщик оказался жертвой, а системный узел, от которого зависят тысячи компаний, стал зоной поражения.

Вот цифра, которую я бы привёл на вашу следующую встречу по планированию безопасности. Из примерно 17 600 действий атакующего, Hugging Face восстановила из своих журналов, большинство из них завершилось неудачей.

Агент проверял пути, которые никуда не вели. Его блокировали списки разрешённых URL, после чего он переключался. Он сталкивался с IAM‑политиками, отказывающими в каждом изменяющем запросе. Дважды пытался достать производственную базу данных, оба раза тайм‑аутился. Он исследовал, терпел неудачу и переходил дальше. Тысячи раз. Он не расстраивался. Он не уставал. А неудача стоила ему почти ничего.

Четыре модели вырвались из тестовых сред менее чем за три недели. Эти побеги попали в заголовки новостей. Руководителей безопасности должно больше тревожить то, что сделало их возможными — атакующий, способный проваливаться тысячи раз почти без затрат.

Это и есть сдвиг. На протяжении десятилетий защитники выигрывали от одного простого факта — неудача стоила атакующим чего‑то. Разведка требовала времени, а тупики обходились дорого. Экономика этой асимметрии делала «наложение издержек» на атакующих логичным способом их сдерживания. Когда неудача становится почти бесплатной, успешный путь перестаёт быть иглой в стоге сена и становится статистической уверенностью для любого, кто может проследовать каждый путь одновременно.

Паттерны этих инцидентов указывают на три урока, которые руководителям безопасности следует внедрить уже сейчас.

Four Labs, One Shape

Паттерн удивительно последовательный. Дайте модели цель. Она находит путь, которого никто не ожидал. Иногда этот путь ведёт прямиком в производственные системы организаций, которые никогда не планировались быть вовлечёнными. По крайней мере в одном случае пострадавшая организация узнала о случившемся, потому что Anthropic позвонила, чтобы сообщить им.

Во всех случаях путь проходил через программное обеспечение, инфраструктуру или среду, построенную кем‑то другим. Руководителям безопасности следует воспринимать это лично.

Каждая организация в этой цепочке имела программу безопасности. У нескольких из них были очень хорошие программы. Ошибка не была ограничена пределами какого‑то одного периметра. Она произошла на стыках между организациями, а ни одна из сторон не владела этими стыками.

Модели OpenAI нашли zero‑day в собственном прокси‑пакете и использовали его, чтобы выйти в открытый интернет. Оттуда они укоренились в небезопасной песочнице выполнения кода, принадлежащей клиенту Modal Labs, использовали её как базу для подготовки и обманули загрузчик наборов данных Hugging Face, заставив его читать локальные файлы и затем выполнять код. За тринадцать часов они получили права cluster‑admin в нескольких внутренних кластерах, чему способствовала единая учётная запись, общая для всех них. Точка входа была новой. Внутри слабости были теми, о которых мы пишем уже двадцать лет.

Через девять дней Anthropic сделала что‑то более редкое — она опубликовала собственный обзор 141 006 запусков оценок и раскрыла три случая, где модель без подсказки вышла в открытый интернет из среды оценки, а затем получила доступ к системам реальных организаций. На этот раз не было побега из песочницы, а лишь ошибочная конфигурация, оставившая живой путь наружу, хотя модель была проинструктирована, что такого пути нет. Оказавшись снаружи, модель использовала слабости, известные каждой команде безопасности — слабые пароли, неаутентифицированные конечные точки, SQL‑инъекции и учётные данные, оставленные на открытой отладочной странице.

Meta подтвердила четвёртый случай в начале августа, после ошибки конфигурации, которая дала одной из её моделей доступ в интернет во время оценки. Meta тоже не заметила проблему; она узнала о ней, когда её партнёр по тестированию позвонил. Оба эти оценочных процесса, а также оценка Anthropic, проводились одной внешней фирмой — Irregular, которая публично назвала их одной и той же проблемой. Ошибка конфигурации одного поставщика распространилась на две передовые лаборатории и четыре пострадавшие организации, ни одна из которых не имела прямых отношений с Irregular. Это был поставщик для двух лабораторий, а не для них. Агенту было всё равно, где заканчивается поверхность атаки одной компании и начинается другая.

Именно поэтому это проблема риска третьих сторон. Уязвимость теперь может исходить из нескольких уровней отношений от вас, из организации, которую вы никогда не выбирали, не оценивали и даже о которой могли не знать, что она является частью вашей поверхности атаки.

Затем исследователи Frontier Security заметили, что Kimi K3 от Moonshot также просачивается из своей песочницы, позволяя получить доступ к репозиторию бенчмарков на GitHub. Ни один объект не был скомпрометирован, и модель просто преследовала заданную цель, поняв, что использование готового ответного ключа дешевле, чем решение задачи. Два момента делают этот случай важным. Исследователи обнаружили его в собственном тесте. И он работал на полностью другом стеке инструментов, чем случаи Anthropic и Meta. Ошибка одного поставщика за плохой месяц не объясняет это.

Лаборатории не игнорируют происходящее. Anthropic опубликовала свой обзор без подсказки, поэтому у отрасли есть шаблон для изучения и обучения — а не выброс, который можно отмахнуться. Это должно стать нормой. OpenAI теперь замедлила выпуск модели Astra после внутренних оценок, которые не смогли исключить критическую киберспособность. Оба шага заслуживают признания. Но ни один из них не является планом защиты — задержка выпуска регулирует только календарь одной компании. Это ничего не меняет в отношении способных моделей, среди которых Kimi K3, которые уже распространяются в открытом виде и бесплатно, вне контроля любой отдельной лаборатории.

Correlation Without Escalation is Not Detection

Система обнаружения Hugging Face, к её заслуге, сопоставила сигналы в согласованную атаку. Затем она не смогла повысить критичность, и дежурную команду не вызвали. Инструменты собрали историю, но не смогли решить, что она срочная. Это архитектура триажа, построенная для мира, в котором 17 600 событий за четыре дня казались бы абсурдными.

Cybersecurity Needs its Fosbury Flop

В 1968 году Дик Фосбери выиграл олимпийское золото в прыжках с шестом не тем, что прыгал выше соперников, а тем, что перелетал планку спиной. Все остальные совершенствовали «страдл» — лучшую форму, большую силу, маргинальные улучшения старой техники. Фосбери изменил форму проблемы. Через два олимпийских цикла страдл практически исчез.

Руководителям безопасности теперь нужно преодолеть планку, которая только что сместилась, а большинство ответов отрасли пока сводятся к лучшему страдлу — больше оповещений, быстрее аналитики, жёстче SLA на ручную проверку. Это не сработает, потому что ограничение — не скорость аналитика. Вы не можете отвечать на атаки машинной скорости триажем человеческой скорости..

Флоп выглядит так:

• Перестаньте рассматривать границу как контроль. Песочница оценки провалилась, загрузчик наборов данных провалился, изоляция пода провалилась, каждая из них работала, пока не перестала. Проектируйте то, что происходит дальше. Используйте краткоживущие учётные данные. Уберите общие административные идентификаторы. Заблокируйте доступ к метаданным сервисов. Прежде всего, ограничьте, насколько далеко атакующий может переместиться после первой неудачной защиты.
• Переведите обнаружение из оповещения в корреляцию. Одна подозрительная событие уже недостаточно. Задача — соединить тысячи обычных событий в одну историю атаки и понять, когда эта история достаточно серьёзна, чтобы разбудить кого‑то. При текущих объёмах это всё чаще должно быть автоматизировано.
• Считайте экспозицию третьих сторон путём атаки, а не опросником. Эти инциденты проходили через зависимости от третьих сторон — продукт поставщика, клиент поставщика, партнёр по оценке, общие инструменты тестирования. Ваш риск теперь включает ошибки конфигурации, допущенные организациями, которые вы никогда не аудировали и, возможно, даже не знаете, что они существуют. Статические, разово‑временные оценки этого не увидят. Проблема не нова. ИИ делает её гораздо более срочной. Командам безопасности нужен непрерывный обзор компаний и технологий, от которых они зависят, потому что атакующие видят всю эту экосистему как единую связанную поверхность.

В SecurityScorecard именно такие задачи лежат в основе нашей культуры: объединять людей, глубоко интересующихся тем, как думают атакующие, готовых бросать вызов двадцатилетним предположениям и вдохновлённых построить принципиально иной подход к безопасности!

The Question to Bring to Your Next Board Meeting

Я сказал несколько недель назад, что джин стал слишком мощным для бутылки. После четырёх лабораторий ничего не опровергло это утверждение. После подобных инцидентов все задают один и тот же вопрос: Готовы ли мы к атакующим, использующим ИИ? Я не думаю, что этот вопрос продвинет нас далеко. «Да» и «нет» дают тот же результат: ничего не меняется.

Задайте более сложный вопрос. Если 17 000 низко‑сигнальных событий обрушатся на вашу среду в течение следующих четырёх дней — и большинство из них выглядит как неудачи — сколько времени понадобится вашей команде, чтобы понять, что это одна атака? Будет ли кто‑то вызван в нужный момент?

Вы уже знаете ответ. Разрыв между этим ответом и четырьмя днями — это и есть работа.