Ваш инструмент ИИ безопасности не защищает вас – он просто делает вас более уверенными

В июне 2025 года Microsoft исправила уязвимость CVE-2025-32711, более известную как EchoLeak: уязвимость с нулевым кликом в Microsoft 365 Copilot, оцененная в 9,3 по шкале CVSS. Специально созданное письмо, которое жертва даже не открывала, могло заставить движок поиска Copilot незаметно выкачивать любую конфиденциальную информацию, к которой он имел доступ. Та деталь, которая должна вас беспокоить: полезная нагрузка прошла прямо мимо XPIA, классификатора внедрения запросов Microsoft, который был присутствующим, работал и функционировал точно так, как было задумано.

Брюс Шнайер дал нам словарь для этого еще в 2009 году. Театр безопасности, написал он, описывает меры, которые делают людей более уверенными в безопасности, не делая ничего для улучшения их безопасности. Чувство и реальность – разные вещи, и они расходятся.

Спустя семнадцать лет ИИ индустриализировал расхождение, с обеих сторон уравнения. Инструменты безопасности, работающие на ИИ, продаются на основе возможностей, которые они не могут продемонстрировать под измерением, а инструменты безопасности для ИИ продаются как решения проблемы, которую их собственная документация признает неразрешимой. Гиперцикл Gartner 2025 года поместил управление доверием, рисками и безопасностью ИИ на пик надутых ожиданий. Аналитики говорят вам, где мы находимся. Вопрос в том, что делать с этим.

Пробел между технической документацией и измерением

Начните с того, что происходит, когда кто-то тестирует развернутые средства контроля вместо чтения их маркетинговых материалов.

Отчет Picus Blue Report 2025 проанализировал более 160 миллионов реальных симуляций атак, проведенных против производственных сред в первой половине 2025 года. Picus продает платформу симуляции, поэтому взвесьте источник соответственно, но цифры трудно отбросить. Эффективность предотвращения в среднем составила 62%, что на 7% меньше, чем год назад. Несмотря на покрытие журналов в 54%, только 14% симулированных атак сгенерировали оповещение. Атаки с использованием действительных учетных данных увенчались успехом в 98% случаев. И из попыток выкачивания данных средства контроля, установленные на месте, заблокировали 3%.

Три процента. Это среды с современными, часто имеющими бейдж безопасности ИИ, стеками, и тест на выкачивание является тем, который наиболее直接но соответствует тому, что хочет сделать атакующий.

Баллы, которые появляются в презентациях поставщиков, заслуживают того же скептицизма. Когда поставщики начали утверждать, что они получили идеальные оценки на оценках MITRE ATT&CK, аналитик Forrester Allie Mellen опубликовала пронзительное напоминание: оценки не имеют победителей или проигравших, и заявления о 100% обычно основаны на нереалистичных конфигурациях, отобранных подрезультатах или настройках обнаружения, которые бы похоронили реальный SOC в шуме.

Ничего из этого не является новым, что и является разочаровывающей частью. В 2019 году исследователи из Skylight Cyber разобрали “чистый ИИ” антивирус Cylance, добавив строки из видеоигры Rocket League к образцам вредоносного ПО, перевернув решение классификатора на 100% из десяти лучших семей вредоносного ПО того дня и на 83% из более широкого набора образцов. Урок, что статические модели машинного обучения терпят неудачу перед противниками, которые изучают их, был опубликован семь лет назад. Ответ рынка был в том, чтобы доставить больше статических моделей машинного обучения.

Проблема с ограждением хуже

Если обнаружение, работающее на ИИ, переоценивает, то инструменты, продаваемые для обеспечения безопасности ИИ, находятся в странном положении: организация, определяющая угрозу, говорит, что угроза может быть неисправимой.

Внедрение запроса занимает первое место в OWASP Top 10 для приложений LLM, и руководство OWASP необычно прямо: учитывая стохастическую природу моделей, “неясно, есть ли безошибочные методы предотвращения внедрения запроса”. Файн-тюнинг и RAG, добавляет, не полностью смягчают его. Это проблема, которую существует рынок ограждений, описанная как возможно неисправимая организацией, которая каталогизировала ее.

Эмпирическая работа подтверждает пессимизм. Исследователи из Университета Ланкастера и Mindgard протестировали шесть систем ограждения в производстве, включая Azure Prompt Shield от Microsoft и Prompt Guard от Meta, и достигли до 100% успеха в обходе с помощью техник внедрения символов и противоречивых возмущений, сохраняя при этом основные атаки функциональными. HiddenLayer пошел дальше, опубликовав единую передаваемую “Policy Puppetry” шаблон запроса, который, по их словам, обходит каждый крупный модель на рынке. Это исследование поставщика, а не рецензируемое, поэтому относитесь к “всему” с осторожностью, но независимые издания воспроизвели основные утверждения.

Самый достоверный свидетель не имеет продукта для продажи. Институт ИИ безопасности Великобритании, оценивающий пять ведущих LLM, сообщил, что “все модели были высоко уязвимы для наших основных атак”, и каждая модель соответствовала хотя бы один раз в пять попыток для почти каждого вредоносного вопроса, когда были применены внутренние атаки. Основные атаки. Не традициям государства. Правительственная оценочная организация, вежливо отметив, что фильтр ввода императора не имеет одежды.

Собственный обзор Unite.AI каталогизировал классы уязвимостей и техники внедрения в течение многих лет. Ничего из этого не является секретом. Это просто не появляется на технических документах.

Опасная часть – это чувство

Вот где название этой статьи перестает быть риторическим. Если эти инструменты просто недооценивают, потеря будет бюджетной. Исследования предполагают что-то хуже: уверенность, которую они генерируют, активно ухудшает поведение.

Исследователи безопасности называют это компенсацией риска или эффектом Пельтцмана: защищенные люди принимают больше рисков. Водители с ремнями безопасности ездят быстрее. И организации с панелями безопасности ИИ, оказывается, перестают делать скучные вещи.

Цифры выстраиваются неудобно хорошо. Индекс готовности кибербезопасности Cisco 2025 года, опросивший 8 000 лидеров безопасности, показал, что 86% организаций испытали связанный с ИИ инцидент безопасности в предыдущих двенадцати месяцах, в то время как только 10% считали ИИ самым трудным, что они должны защитить, и 60% признали, что им не хватает видимости того, как сотрудники используют генеративный ИИ вообще. Инциденты почти повсеместны; беспокойство – это округление ошибки.

Отчет IBM 2025 года о стоимости утечки данных завершает картину. Из организаций, которые испытали утечки моделей или приложений ИИ, 97% не имели надлежащих средств контроля доступа ИИ. Одна из пяти утечек восходила к тени ИИ, добавляя примерно 670 000 долларов к средней стоимости утечки, и 63% организаций, пострадавших от утечки, не имели политики управления ИИ вообще. Прочитайте эти цифры вместе, и возникает закономерность: неудачи скучны. В отсутствие основ, в организациях, которые чувствовали себя защищенными.

Панель не вышла из строя. Она доставила свой фактический продукт, который был уверенностью.

Что выглядит как честная версия

Ничто из этого не говорит о том, что инструменты безопасности ИИ бесполезны, и лучшее контрдоказательство заслуживает внимания. Классификаторы Конституции от Anthropic пережили более 3 000 часов красного командования 183 исследователями без универсального взлома, сократив успех взлома с 86% на незащищенной модели до 4,4%, при этом увеличив отказы на 0,38 пункта и примерно на 24% вычислительную нагрузку. Затем Anthropic провел публичный вызов, и из 339 участников четыре прошли каждый уровень, и один нашел рабочий универсальный взлом.

Это честная форма всей области в одном результате: хорошо построенное ограждение увеличило стоимость атакующего enorm, несло измеримый налог и все равно поддалось достаточно решительному человеку. Если бы мне пришлось сжать эту статью в принцип покупки, это будет так: контроль, продаваемый как повышающий стоимость с опубликованными режимами отказа, стоит оценки; контроль, продаваемый как решенная проблема, продает вам чувство.

Контроль или одеяло безопасности: три вопроса

Вы можете отделить одно от другого без исследовательского бюджета. Три вопроса, заданные каждому инструменту безопасности ИИ, который вы владеете или собираетесь купить.

Какова его измеренная скорость обхода в моей среде? Не бенчмарк поставщика. Ваш. Постоянная проверка и упражнения команды фиолетового цвета существуют именно потому, что, как показывают данные Picus, развернутые средства контроля бесшумно дрейфуют к отказу. Число, которое вы не измерили, – это число, которое вы принимаете на веру.

Что происходит, когда он отказывает? Не если. Практическое руководство OWASP указывает в том же направлении, что и каждый инцидент выше: доступ наименьших привилегий для моделей, человеческие ворота утверждения на чувствительных действиях и сегментация, которая предполагает, что фильтр в конечном итоге пропустит что-то. EchoLeak был выживаемым для организаций, чей Copilot просто не мог достичь ничего, что стоило украсть.

Является ли утверждение поставщика фактом или гипотезой? Даже поставщики согласны больше, чем их технические документы. Собственный опрос Vectra 2000 профессионалов SOC, исследование поставщика снова, показал, что команды могут справиться только с 38% оповещений, которые генерируют их инструменты, при этом 60% говорят, что поставщики продают инструменты, которые создают шум, а не ясность, и половина называет свое инструментирование более препятствием, чем помощью. Когда клиенты отрасли сообщают об этом, “доверяйте технической документации” перестает быть стратегией.

Закономерность переживает патч

EchoLeak был исправлен в Патч-вторник. Закономерность, которую он продемонстрировал, производственное ограждение, уверенно фильтрующее переднюю дверь, в то время как атака пришла через слот для почты, не было, и исследовательская запись выше говорит, что это не будет скоро.

Различие Шнайера семнадцать лет назад и никогда не было более дорогим, чтобы игнорировать. Чувство безопасности – это продукт, и эпоха ИИ продает его в подписных тирах. Реальность безопасности – это измерение, и никто не может продать его вам, потому что вам нужно пойти и взять его.