Лидеры мнений

Когда ИИ становится поверхностью атаки: возникающие риски цепочки поставок на рынке навыков

mm
Добавьте Unite.AI в избранные источники в Google

Каждая крупная революция в программном обеспечении вводит новую цепочку поставок и поверхность атаки. Как эра открытого исходного кода ввела риски цепочки поставок через реестры пакетов, такие как npm и PyPI, агенты ИИ теперь отмечают точку инфлексии. Эти агенты, активные в рабочих процессах разработчиков, корпоративных операциях и потребительских приложениях на платформах, таких как OpenClaw, Claude Code и Cursor, получают силу от своих расширений через устанавливаемые “навыки” – возможность, которая требует столь же тщательного подхода к безопасности.

Навыки агентов представляют собой пакеты возможностей: небольшие наборы инструкций и скриптов, которые предоставляют агентам ИИ доступ к инструментам, внешним API и локальным файловым системам. Распространяемые на публичных платформах, таких как ClawHub, барьер для входа очень низок, с минимальной проверкой или надзором. Ключевые меры безопасности, такие как обязательная подпись кода, проверки безопасности и sandboxing по умолчанию, отсутствуют. Это привело к компрометации цепочки поставок в масштабе: недавние исследования ToxicSkills, сканирующие почти 4 000 навыков, показали, что примерно 1 из 8 содержат хотя бы одну критическую уязвимость безопасности, включая распространение вредоносного ПО и инъекцию запросов. Когда мы расширяемся до любого уровня серьезности, более одной трети экосистемы пострадало. Таким образом, лидеры по безопасности должны быть готовы активно смягчить эти уязвимости.

Анатомия атаки цепочки поставок ИИ

Атаки на цепочку поставок традиционно эксплуатируют код через вредоносные функции, внедренные в зависимости и рабочие процессы CI для действий, таких как эксплуатация данных, установка бэкдора или повышение привилегий. Однако средства безопасности стали эффективными в обнаружении этих шаблонов кода с помощью статического анализа и поведенческого мониторинга. Навыки агентов ИИ вводят другой вектор, поскольку их основной полезный груз представляет собой естественный язык, содержащийся в файле SKILL.md – набор инструкций, который злоумышленники научились использовать как оружие. Исследования ToxicSkills показывают, что 91% вредоносных навыков сочетают традиционное вредоносное ПО с инъекцией запросов, встраивая скрытые инструкции, которые манипулируют рассуждениями агента во время выполнения.

Поток атаки прост: разработчик устанавливает полезный навык, который содержит скрытую инъекцию запроса, предназначенную для переопределения ограждений безопасности агента. Агент, следующий инструкциям, которые он не может отличить от законных, крадет учетные данные, эксплуатирует файлы или устанавливает бэкдор, при этом кажется, что он функционирует нормально.

Это тревожно из-за количества разработчиков, запускающих агентов без регулярных проверок безопасности, давая агентам полную автономию без ограждений. В результате тщательное рассмотрение и участие человека в процессе сильно минимизируются, представляя больший риск для каждой системы, которой агент когда-либо касался.

Скрытая опасность “протекающих” навыков

Опасность распространяется за пределы намеренно вредоносных навыков, поскольку непреднамеренные уязвимости часто труднее обнаружить, более широко распространены и встроены в популярные, доверенные функциональные навыки. Аудиты крупных рынков навыков показывают, что широко принятые навыки регулярно заставляют агенты ИИ обрабатывать конфиденциальные данные небезопасно. Рискованное поведение включает в себя раскрытие ключей API, токенов аутентификации и личных данных через открытый текст журналов, незащищенные файлы или непосредственно в окне контекста модели, где они могут быть непреднамеренно переданы третьим сторонам.

Это часто происходит из-за того, что навыки создаются быстро в эпоху “vibe coding” без реальной модели безопасности. Разработчик может упустить из виду, что токен интеграции, как только он находится в контексте агента, фактически открыт и виден каждой последующей системе. Это создает широкий риск по всей платформе – личные помощники, такие как OpenClaw, и агенты кодирования, такие как Claude Code, Cursor и Windsurf – на которые миллионы разработчиков полагаются ежедневно. Эксплуатация или утечка учетных данных из одного популярного навыка может повлиять на каждого разработчика, кодовую базу и систему, к которой агент имел доступ, тем самым оставляя всю цепочку поставок под угрозой. Быстрая инновация позволяет быстрому заражению; и в этих случаях масштаб не является сигналом безопасности.

Слепое пятно: почему традиционные средства безопасности не справляются

Команды безопасности, работающие с устаревшими средствами, такими как сканеры вредоносного ПО, статический анализ и поведенческий мониторинг, решают фундаментально другую модель угроз. Традиционное обнаружение вредоносного ПО ищет конкретную эксплуатацию кода, но не оснащено для анализа естественного языка инструкций для выявления враждебных намерений. Инъекция запроса в файле SKILL.md кажется обычному сканеру просто документацией; нет сигнатуры, которую можно было бы пометить, пока агент не действует.

Инъекции запросов манипулируют рассуждениями агента, заставляя его переинтерпретировать инструкции и переопределять руководства по безопасности, чтобы выполнить запрещенные действия. К моменту, когда ущерб становится видимым, агент уже действовал. Стойкость этих угроз также тревожна: вредоносные навыки могут отравить долгосрочную память агента, коррумпируя постоянный контекст на протяжении сессий. Этот “спящий агент” сценарий означает, что агент может продолжать выполнять вредоносные инструкции неделями после удаления навыка, ситуация, которую традиционный реагирование на инциденты не может сдержать. Закрытие этого разрыва требует фундаментально другого, родного для ИИ подхода, построенного для агентских систем.

Обнаружение и устранение недостатков в экосистеме навыков агентов

Эта новая угроза управляема, но окно для действий узкое. До того, как принятие агентов ИИ укоренится, лидеры по безопасности должны установить четыре основных контроля: аудиты, раннее обнаружение, ротация учетных данных и правильные ограждения ИИ.

  1. Аудит и инвентаризация: Установите полный инвентарь каждого компонента ИИ: моделей, развернутых агентов и всех установленных навыков. Это должно быть behandelt с той же тщательностью, что и список материалов программного обеспечения (SBOM), чтобы создать базовую линию для обнаружения неавторизованных изменений.
  2. Обнаружение и удаление: Продолжайте сканировать активные навыки на наличие вредоносных полезных нагрузок, шаблонов инъекции запросов и подозрительного поведения, включая попытки выполнить команды shell или обойти надзор пользователя. Автоматическое, непрерывное сканирование является необходимым, учитывая быстрый рост рынков.
  3. Ротация и защита учетных данных: Рассматривайте любые учетные данные (ключи API, токены), обрабатываемые не проверенными навыками, как потенциально скомпрометированные, и ротируйте их немедленно. Агенты должны придерживаться принципа наименьших привилегий, получая доступ только к действительно необходимым учетным данным и системам, без постоянного доступа к производственным средам.
  4. Реализация ограждений ИИ: Развертывайте средства контроля во время выполнения, которые отслеживают поведение агента в реальном времени, блокируя опасные действия и помечая аномальные шаблоны, такие как неожиданный доступ к файлам. Файлы памяти агента, в частности, должны быть отслежены на наличие неавторизованных изменений, поскольку отравление памяти является постоянным и трудно обнаруживаемым вектором атаки.

Экосистема навыков агентов ИИ представляет собой цепочку поставок программного обеспечения, требующую тщательного надзора за безопасностью. Хотя уроки из эры открытого исходного кода применимы, ставки теперь намного выше, поскольку агенты ИИ работают с более широкими полномочиями и большей автономией, чем любой менеджер пакетов. Одно скомпрометированное навык может быстро распространиться, получив доступ к основным учетным данным и производственным системам по всей тысяче организаций, поэтому лидеры по безопасности имеют узкое окно для действий.

Цепочка поставок ИИ уже здесь. Вопрос в том, готова ли к этому безопасная позиция организации. Организации, которые устанавливают инвентарь, обеспечивают наименьшие привилегии и развертывают ограждения во время выполнения, будут быстро и безопасно работать с ИИ; в то время как те, кто ждет высокопрофильного инцидента, чтобы заставить решить проблему, обнаружат, что стоимость смягчения превышает стоимость предотвращения.

Маноџ возглавляет отдел появляющихся технологий и решений (ETSO) в Snyk. Его команда отвечает за инкубацию и стратегию будущих приобретений компании, обеспечивая полное соответствие долгосрочной перспективы и стратегии Snyk с появляющимися потребностями наших клиентов. До прихода в Snyk Маноџ занимал должность главного офицера по облачным технологиям и генерального менеджера Metallic в Commvault, где он ускорил рост облачного и SaaS-бизнеса компании. Ранее он был сооснователем и генеральным директором HyperGrid и занимал дополнительные руководящие должности в области продукции в Hewlett Packard Enterprise, Dell EMC и RSA Security. Маноџ также владеет более чем десятком патентов в области управления информацией и безопасности.