Необходимость не давать секретов: почему традиционные модели безопасности дают сбой, когда агенты ИИ взаимодействуют с кодом.

В апреле 2023, Компания Samsung обнаружила, что её инженеры допустили утечку конфиденциальной информации в компанию ChatGPT.Но это было случайностью. А теперь представьте, что в этих репозиториях кода содержались бы специально внедренные инструкции, невидимые для человека, но обрабатываемые ИИ, предназначенные для извлечения не только кода, но и каждого ключа API, учетных данных базы данных и сервисного токена, к которым ИИ мог получить доступ. Это не гипотетическая ситуация. Исследователи в области безопасности уже продемонстрировали Эти атаки с использованием «невидимых инструкций» работают. Вопрос не в том, произойдет ли это, а в том, когда.

Граница, которой больше не существует.

На протяжении десятилетий мы строили безопасность на фундаментальном предположении: код есть код, а данные есть данные. SQL-инъекции научили нас параметризовать запросы. Межсайтовый скриптинг научил нас экранировать выходные данные. Мы научились возводить стены между тем, что делают программы, и тем, что вводят пользователи.

С появлением агентов искусственного интеллекта эта граница исчезла.

В отличие от детерминированного программного обеспечения, которое следует предсказуемым путям, большие языковые модели представляют собой вероятностные «черные ящики», которые не могут отличить легитимные инструкции разработчика от вредоносных входных данных. Когда злоумышленник передает запрос помощнику по программированию на основе ИИ, он не просто предоставляет данные. По сути, он перепрограммирует приложение на лету. Входные данные становятся самой программой.

Это представляет собой фундаментальный отход от всего, что мы знаем о безопасности приложений. Традиционные межсетевые экраны, основанные на синтаксисе, которые ищут вредоносные шаблоны, такие как DROP TABLE или tags, fail completely against natural language attacks. Researchers have demonstrated “semantic substitution” techniques where replacing “API keys” with “apples” in prompts allows attackers to bypass filters entirely. How do you firewall intent when it’s disguised as harmless conversation?

Реальность «нулевого клика», о которой никто не говорит

Вот чего большинство команд безопасности не понимают: внедрение кода через prompt не требует от пользователя ничего вводить. Зачастую это эксплойты, не требующие кликов. Искусственный интеллект, просто сканирующий репозиторий кода для выполнения рутинной задачи, проверяющий запрос на слияние или читающий документацию API, может инициировать атаку без какого-либо участия человека.

Рассмотрим следующий сценарий, основанный на методы, которые исследователи уже доказалиЗлоумышленник внедряет невидимые инструкции в HTML-комментарии в документации популярной библиотеки с открытым исходным кодом. Каждый ИИ-помощник, анализирующий этот код, будь то GitHub Copilot, Amazon CodeWhisperer или любой корпоративный помощник по программированию, становится потенциальным сборщиком учетных данных. Одна скомпрометированная библиотека может означать тысячи незащищенных сред разработки.

Опасность заключается не в самой модели LLM, а в той свободе действий, которую мы ей предоставляем. В тот момент, когда мы интегрировали эти модели с инструментами и API, позволив им получать данные, выполнять код и получать доступ к секретам, мы превратили полезных помощников в идеальные векторы атак. Риск не зависит от интеллекта модели, а зависит от ее возможностей подключения.

Почему нынешний подход обречен на провал

В настоящее время индустрия одержима «согласованием» моделей и созданием более эффективных механизмов защиты от ложных срабатываний. OpenAI добавляет больше защитных механизмов. Anthropic фокусируется на конституционном ИИ. Все пытаются создать модели, которые невозможно обмануть.

Это проигрышная битва.

Если ИИ достаточно умен, чтобы быть полезным, он достаточно умен, чтобы его можно было обмануть. Мы попадаем в то, что я называю «ловушкой очистки»: предполагаем, что улучшенная фильтрация входных данных нас спасет. Но атаки могут быть скрыты в виде невидимого текста в HTML-комментариях, запрятаны глубоко в документации или закодированы способами, которые мы еще не предвидели. Нельзя очистить то, что вы не можете понять в контексте, а контекст — это именно то, что делает LLM мощным инструментом.

Отрасли необходимо признать горькую правду: быстрое введение препарата принесет успех. Вопрос в том, что произойдет, когда это случится.

Необходимые нам архитектурные перемены

В настоящее время мы находимся на этапе «внесения исправлений», отчаянно добавляя входные фильтры и правила проверки. Но, как и в случае с предотвращением SQL-инъекций, для защиты от них необходимы параметризованные запросы, а не улучшенная экранировка строк, нам нужно архитектурное решение для обеспечения безопасности ИИ.

Ответ кроется в принципе, который звучит просто, но требует переосмысления подхода к созданию систем: агенты искусственного интеллекта никогда не должны обладать секретами, которые они используют.

Речь идёт не об улучшении управления учётными данными или усовершенствовании решений для хранилищ. Речь идёт о признании агентов ИИ уникальными, проверяемыми идентификаторами, а не пользователями, нуждающимися в паролях. Когда агенту ИИ необходимо получить доступ к защищённому ресурсу, он должен:

1. Аутентификация осуществляется с использованием проверяемого идентификатора (а не сохраненного секрета).

2. Получайте учетные данные в режиме реального времени, действительные только для выполнения конкретной задачи.

3. Настройте автоматическое истечение срока действия этих учетных данных через несколько секунд или минут.

4. Никогда не храните и даже не «видьте» давно хранимые секреты.

В настоящее время появляется несколько подходов. Роли AWS IAM для сервисных учетных записей, Идентификатор рабочей нагрузки Google, Динамические секреты хранилища HashiCorp VaultИ специализированные решения, такие как Zero Trust Provisioning от Akeyless, указывают на это будущее без секретов. Детали реализации различаются, но принцип остается тем же: если у ИИ нет секретов, которые можно украсть, быстрое внедрение становится значительно меньшей угрозой.

Среда развития 2027 года

В течение трёх лет файл .env устареет в разработке с использованием ИИ. Долгоживущие ключи API, хранящиеся в переменных окружения, будут восприниматься так же, как сейчас воспринимаются пароли в открытом виде: постыдный пережиток более наивных времён.

Вместо этого каждый агент ИИ будет работать в условиях строгого разделения привилегий. Доступ только для чтения по умолчанию. Белый список действий в стандартной комплектации. Изолированные среды выполнения в качестве требования соответствия. Мы перестанем пытаться контролировать то, что думает ИИ, и полностью сосредоточимся на контроле того, что он может делать.

Это не просто техническая эволюция; это фундаментальный сдвиг в моделях доверия. Мы переходим от принципа «доверяй, но проверяй» к принципу «никогда не доверяй, всегда проверяй и предполагай компромисс». Принцип наименьших привилегий, долго проповедовавшийся, но редко применяемый на практике, становится незыблемым, когда ваш младший разработчик — это ИИ, обрабатывающий тысячи потенциально вредоносных входных данных ежедневно.

Выбор, стоящий перед нами

Интеграция ИИ в разработку программного обеспечения неизбежна и в значительной степени полезна. По данным GitHub, разработчики, использующие Copilot, выполняют задачи на 55% быстрее.Повышение производительности труда реально, и ни одна организация, стремящаяся оставаться конкурентоспособной, не может его игнорировать.

Но мы стоим на перепутье. Мы можем продолжать идти по нынешнему пути, добавляя новые механизмы защиты, создавая более совершенные фильтры, надеясь создать агентов ИИ, которых невозможно обмануть. Или же мы можем признать фундаментальную природу угрозы и соответствующим образом перестроить нашу архитектуру безопасности.

Инцидент с Samsung стал предупредительным выстрелом. Следующее нарушение не будет случайным и не ограничится одной компанией. По мере того, как агенты искусственного интеллекта приобретают всё больше возможностей и получают доступ к всё большему числу систем, потенциальное воздействие растёт в геометрической прогрессии.

Вопрос для каждого директора по информационной безопасности, каждого руководителя инженерного отдела и каждого разработчика прост: когда внедрение уязвимости в вашу среду пройдет успешно (а это обязательно произойдет), что обнаружит злоумышленник? Найдет ли он кладезь долгосрочных учетных данных или же ИИ-агента, который, несмотря на взлом, не имеет секретов для кражи?

Выбор, который мы сделаем сейчас, определит, станет ли ИИ величайшим ускорителем разработки программного обеспечения или величайшей уязвимостью, которую мы когда-либо создали. Технология для создания безопасных, не содержащих секретов систем ИИ существует уже сегодня. Вопрос в том, сможем ли мы внедрить её до того, как злоумышленники заставят нас это сделать.

OWASP уже определила быстрое введение инъекционного препарата как риск номер один. Входит в их топ-10 лучших мест для подачи заявок на программу магистратуры в области права. NIST разрабатывает рекомендации. Что касается архитектур с нулевым доверием, то для них существуют подходящие фреймворки. Вопрос лишь в скорости реализации и эволюции атак.

Биография: Рафаэль Анхель — соучредитель и технический директор компании Без ключагде он разработал запатентованную компанией технологию шифрования с нулевым доверием. Опытный инженер-программист с глубокими знаниями в области криптографии и облачной безопасности, Рафаэль ранее работал старшим инженером-программистом в научно-исследовательском центре Intuit в Израиле, где создавал системы для управления ключами шифрования в публичных облачных средах и разрабатывал сервисы машинной аутентификации. Он имеет степень бакалавра компьютерных наук Иерусалимского технологического колледжа, которую получил в возрасте 19 лет.