Состояние безопасности ИИ в 2025 году: ключевые выводы из отчета Cisco

По мере того, как все больше бизнесов采用 ИИ, понимание рисков безопасности становится более важным, чем когда-либо. ИИ меняет отрасли и рабочие процессы, но он также вводит новые проблемы безопасности, которые организации должны решить. Защита систем ИИ имеет решающее значение для поддержания доверия, защиты конфиденциальности и обеспечения бесперебойной работы бизнеса. В этой статье представлены ключевые выводы из недавнего отчета Cisco “Состояние безопасности ИИ в 2025 году”. Он дает обзор текущего состояния безопасности ИИ и того, что компании должны учитывать в будущем.

Растущая угроза безопасности ИИ

Если 2024 год нас чему-то научил, то это то, что внедрение ИИ происходит быстрее, чем многие организации могут обеспечить его безопасность. Отчет Cisco гласит, что около 72% организаций сейчас используют ИИ в своих бизнес-функциях, но только 13% чувствуют себя полностью готовыми к безопасному использованию его потенциала. Этот разрыв между внедрением и готовностью в основном обусловлен проблемами безопасности, которые остаются основным препятствием для более широкого использования ИИ в企业. Что делает эту ситуацию еще более тревожной, так это то, что ИИ вводит новые типы угроз, с которыми традиционные методы кибербезопасности не могут полностью справиться. В отличие от традиционной кибербезопасности, которая часто защищает фиксированные системы, ИИ представляет динамические и адаптивные угрозы, которые труднее предсказать. В отчете выделены несколько новых угроз, о которых организации должны знать:

• Атаки на инфраструктуру: Инфраструктура ИИ стала основной целью для атакующих. Примером является компрометация контейнерного инструментария NVIDIA, которая позволила атакующим получить доступ к файловым системам, выполнить вредоносный код и повысить привилегии. Аналогично, открытая платформа ИИ Ray для управления GPU была компрометирована в одном из первых реальных атак на платформу ИИ. Эти случаи показывают, как уязвимости в инфраструктуре ИИ могут повлиять на многих пользователей и системы.
• Риски цепочки поставок: Уязвимости цепочки поставок ИИ представляют еще одну значительную проблему. Около 60% организаций полагаются на открытые компоненты или экосистемы ИИ. Это создает риск, поскольку атакующие могут скомпрометировать эти широко используемые инструменты. В отчете упоминается техника под названием “Sleepy Pickle“, которая позволяет злоумышленникам изменять модели ИИ даже после их распространения. Это делает обнаружение чрезвычайно трудным.
• Атаки, специфичные для ИИ: Новые методы атак развиваются быстро. Методы, такие как внедрение запросов, jailbreaking и извлечение данных обучения, позволяют атакующим обходить меры безопасности и получить доступ к конфиденциальной информации, содержащейся в наборах данных обучения.

Векторы атак, нацеленные на системы ИИ

В отчете выделены векторы атак, которые злоумышленники используют для эксплуатации уязвимостей в системах ИИ. Эти атаки могут произойти на различных этапах жизненного цикла ИИ, от сбора данных и обучения моделей до развертывания и вывода. Цель часто заключается в том, чтобы заставить ИИ вести себя непреднамеренным образом, раскрыть конфиденциальные данные или выполнить вредоносные действия.

За последние годы эти методы атак стали более совершенными и трудными для обнаружения. В отчете выделены несколько типов векторов атак:

• Jailbreaking: Этот метод включает в себя создание вредоносных запросов, которые обходят меры безопасности модели. Несмотря на улучшения в защите ИИ, исследования Cisco показывают, что даже простые jailbreaks остаются эффективными против передовых моделей, таких как DeepSeek R1.
• Косвенное внедрение запросов: В отличие от прямых атак, этот вектор атаки включает в себя манипулирование входными данными или контекстом, который использует модель ИИ косвенно. Атакующие могут предоставить скомпрометированные исходные материалы, такие как вредоносные PDF-файлы или веб-страницы, что заставляет ИИ генерировать непреднамеренный или вредоносный вывод. Эти атаки особенно опасны, поскольку они не требуют прямого доступа к системе ИИ, позволяя атакующим обходить многие традиционные меры защиты.
• Извлечение и отравление данных обучения: Исследователи Cisco продемонстрировали, что чат-боты могут быть обмануты и заставлены раскрыть фрагменты статей, что позволяет им восстановить источники материала. Это представляет серьезные риски для раскрытия конфиденциальной или проприетарной информации. Атакующие также могут отравить данные обучения, вводя вредоносные входные данные. Зловеще то, что отравление всего 0,01% больших наборов данных, таких как LAION-400M или COYO-700M, может повлиять на поведение модели, и это можно сделать с небольшим бюджетом (около 60 долларов США), что делает эти атаки доступными для многих злоумышленников.

В отчете выделены серьезные проблемы с текущим состоянием этих атак, с исследователями, достигшими 100% успеха против передовых моделей, таких как DeepSeek R1 и Llama 2. Это раскрывает критические уязвимости безопасности и потенциальные риски, связанные с их использованием. Кроме того, в отчете выявлено появление новых угроз, таких как голосовые jailbreaks, которые специально разработаны для нацеливания на многомодальные модели ИИ.

Выводы из исследований безопасности ИИ Cisco

Команда исследователей Cisco оценила различные аспекты безопасности ИИ и обнаружила несколько ключевых выводов:

• Алгоритмический jailbreaking: Исследователи показали, что даже лучшие модели ИИ можно обмануть автоматически. Используя метод под названием Tree of Attacks with Pruning (TAP), исследователи обошли защиту моделей GPT-4 и Llama 2.
• Риски при тонкой настройке: Многие бизнесы настраивают модели, основанные на базовых моделях, чтобы улучшить их актуальность для конкретных областей. Однако исследователи обнаружили, что тонкая настройка может ослабить внутренние механизмы безопасности. Настроенные версии были более чем в три раза более уязвимы для jailbreaking и в 22 раза более вероятно производили вредоносный контент, чем исходные модели.
• Извлечение данных обучения: Исследователи Cisco использовали простой метод декомпозиции, чтобы обмануть чат-боты и заставить их воспроизвести фрагменты статей, что позволяет им восстановить источники материала. Это представляет риски для раскрытия конфиденциальной или проприетарной информации.
• Отравление данных: Команда Cisco продемонстрировала, насколько легко и дешево можно отравить большие веб-наборы данных. За около 60 долларов исследователи смогли отравить 0,01% наборов данных, таких как LAION-400M или COYO-700M. Кроме того, они подчеркивают, что этот уровень отравления достаточно, чтобы вызвать заметные изменения в поведении модели.

Роль ИИ в киберпреступности

ИИ не только является целью – он также становится инструментом для киберпреступников. В отчете отмечается, что автоматизация и социальная инженерия, основанная на ИИ, сделали атаки более эффективными и трудными для обнаружения. От фишинговых атак до голосового клонирования ИИ помогает преступникам создавать убедительные и персонализированные атаки. В отчете также выявлено появление вредоносных инструментов ИИ, таких как “DarkGPT”, разработанных специально для киберпреступности путем генерации фишинговых электронных писем или эксплуатации уязвимостей. Что делает эти инструменты особенно тревожными, так это их доступность. Даже низкоквалифицированные преступники теперь могут создавать высокоперсонализированные атаки, которые обходят традиционные меры защиты.

Лучшие практики для обеспечения безопасности ИИ

Учитывая волатильную природу безопасности ИИ, Cisco рекомендует несколько практических шагов для организаций:

1. Управление рисками на протяжении всего жизненного цикла ИИ: важно выявить и снизить риски на каждом этапе жизненного цикла ИИ, от источников данных и обучения моделей до развертывания и мониторинга. Это также включает в себя обеспечение безопасности третьих компонентов, применение сильных механизмов безопасности и строгое контролирование точек доступа.
2. Использование устоявшихся практик кибербезопасности: хотя ИИ уникален, традиционные лучшие практики кибербезопасности все еще имеют решающее значение. Техники, такие как контроль доступа, управление разрешениями и предотвращение потери данных, могут сыграть важную роль.
3. Фокус на уязвимых областях: организации должны сосредоточиться на областях, которые наиболее вероятно будут нацелены, таких как цепочки поставок и сторонние приложения ИИ. Понимая, где лежат уязвимости, бизнес может реализовать более целевые меры защиты.
4. Обучение и тренировка сотрудников: по мере того, как инструменты ИИ становятся более распространенными, важно обучать пользователей на ответственном использовании ИИ и осведомленности о рисках. Хорошо информированная рабочая сила помогает снизить случайное раскрытие данных и злоупотребление.

Взгляд в будущее

Внедрение ИИ будет продолжать расти, и с ним будут эволюционировать риски безопасности. Правительства и организации во всем мире признают эти проблемы и начинают создавать политики и нормативные акты для обеспечения безопасности ИИ. Как подчеркивает отчет Cisco, баланс между безопасностью ИИ и прогрессом определит следующую эру разработки и развертывания ИИ. Организации, которые отдают приоритет безопасности наряду с инновациями, будут лучше всего подготовлены к решению проблем и использованию новых возможностей. Политики и нормативные акты, направленные на обеспечение безопасности ИИ, будут определять следующую эру разработки и развертывания ИИ. Организации, которые отдают приоритет безопасности наряду с инновациями, будут лучше всего подготовлены к решению проблем и использованию новых возможностей.