Безопасность без секретов: почему традиционные модели безопасности ломаются, когда ИИ-агенты взаимодействуют с кодом

В апреле 2023 года Samsung обнаружил, что его инженеры случайно передали конфиденциальную информацию ChatGPT. Но это было случайно. Теперь представьте, что эти кодовые репозитории содержали намеренно встроенные инструкции, невидимые для людей, но обрабатываемые ИИ, предназначенные для извлечения не только кода, но и всех API-ключей, учетных данных базы данных и токенов сервиса, к которым может получить доступ ИИ. Это не гипотетический сценарий. Исследователи уже продемонстрировали, что такие “невидимые инструкции” работают. Вопрос не в том, произойдет ли это, а когда.

Граница, которая больше не существует

Десятилетиями мы строили безопасность на фундаментальном предположении: код – это код, а данные – это данные. SQL-инъекция научила нас параметризировать запросы. Cross-site scripting научила нас экранировать вывод. Мы научились строить стены между тем, что делают программы, и тем, что вводят пользователи.

С ИИ-агентами эта граница испарилась.

В отличие от детерминированного программного обеспечения, которое следует предсказуемым путям, большие языковые модели – это вероятностические черные ящики, которые не могут различать законные инструкции разработчиков и вредоносные входные данные. Когда атакующий подает запрос ИИ-ассистенту, он не просто предоставляет данные. Он по сути перепрограммирует приложение на лету. Входные данные становятся программой сами по себе.

Это представляет собой фундаментальный разрыв с всем, что мы знаем о безопасности приложений. Традиционные синтаксические брандмауэры, которые ищут вредоносные шаблоны, такие как DROP TABLE или теги , полностью терпят неудачу перед атаками на основе естественного языка. Исследователи продемонстрировали техники “семантической замены”, когда замена “API-ключей” на “яблоки” в запросах позволяет атакующим полностью обойти фильтры. Как можно ограничить намерение, когда оно маскируется под безобидный разговор?

Реальность нулевого клика, о которой никто не говорит

Вот что большинство команд безопасности не понимает: внедрение запроса не требует от пользователя ввода чего-либо. Это часто нулевые клики. ИИ-агент, просто сканирующий кодовый репозиторий для выполнения рутинной задачи, рассматривая запрос на слияние или читая документацию API, может спровоцировать атаку без какого-либо взаимодействия с человеком.

Рассмотрим следующий сценарий, основанный на техниках, которые исследователи уже доказали: вредоносный актор внедряет невидимые инструкции в HTML-комментарии в документации популярной открытой библиотеки. Каждый ИИ-ассистент, анализирующий этот код, будь то GitHub Copilot, Amazon CodeWhisperer или любой корпоративный кодовый ассистент, становится потенциальным сборщиком учетных данных. Одна скомпрометированная библиотека может означать тысячи подверженных опасности сред разработки.

Опасность не в самой модели LLM; это агентство, которое мы ей даем. В момент, когда мы интегрировали эти модели с инструментами и API, позволяя им извлекать данные, выполнять код и получать доступ к секретам, мы превратили полезных помощников в идеальные векторы атак. Риск не масштабируется с интеллектом модели; он масштабируется с ее связностью.

Почему текущий подход обречен

Отрасль сейчас увлечена “выравниванием” моделей и созданием лучших брандмауэров для запросов. OpenAI добавляет больше ограничений. Anthropic фокусируется на конституционной ИИ. Все пытаются создать модели, которые не могут быть обмануты.

Это проигрышная битва.

Если ИИ достаточно умён, чтобы быть полезным, он достаточно умён, чтобы быть обманутым. Мы попадаем в то, что я называю “ловушкой санитарии”: предполагая, что лучшая фильтрация входных данных спасет нас. Но атаки могут быть скрыты как невидимый текст в HTML-комментариях, закопаны глубоко в документации или закодированы способами, которые мы еще не представляем. Вы не можете санитизировать то, что вы не можете контекстно понять, и контекст – это именно то, что делает модели LLM мощными.

Отрасли необходимо признать жестокую правду: внедрение запроса будет успешным. Вопрос в том, что произойдет, когда это произойдет.

Архитектурный сдвиг, который нам нужен

Мы сейчас находимся в “фазе патчинга”, отчаянно добавляя фильтры входных данных и правила проверки. Но как мы в конце концов научились, что предотвращение SQL-инъекции требует параметризированных запросов, а не лучшего экранирования строк, нам нужен архитектурный решений для безопасности ИИ.

Ответ лежит в принципе, который звучит просто, но требует переосмысления того, как мы строим системы: ИИ-агенты никогда не должны обладать секретами, которые они используют.

Это не о лучшем управлении учетными данными или улучшенных решениях для хранилищ. Это о признании ИИ-агентов как уникальных, проверяемых идентификаторов, а не пользователей, которым нужны пароли. Когда ИИ-агенту необходимо получить доступ к защищенному ресурсу, он должен:

1. Аутентифицироваться с помощью своего проверяемого идентификатора (а не хранить секрет)

2. Получить учетные данные только для этой конкретной задачи

3. Иметь эти учетные данные, которые истекают автоматически в течение секунд или минут

4. Никогда не хранить или даже “видеть” долгосрочные секреты

Несколько подходов появляются. Роли AWS IAM для учетных записей сервисов, Идентификация рабочей нагрузки Google, Динамические секреты HashiCorp Vault и специальные решения, такие как Zero Trust Provisioning Akeyless, все указывают на эту безсекретную будущее. Детали реализации различаются, но принцип остается: если у ИИ нет секретов, которые можно украсть, внедрение запроса становится значительно меньшей угрозой.

Среда разработки 2027 года

В течение трех лет файл .env будет мертв в разработке, дополненной ИИ. Долгосрочные API-ключи, находящиеся в переменных среды, будут рассматриваться так же, как мы сейчас рассматриваем пароли в открытом тексте: как смущающий реликт более наивного времени.

Вместо этого каждый ИИ-агент будет работать под строгим разделением привилегий. Только чтение по умолчанию. Белый список действий в качестве стандарта. Изолированные среды выполнения в качестве требования соблюдения. Мы перестанем пытаться контролировать, о чем думает ИИ, и сосредоточимся полностью на контроле того, что он может делать.

Это не просто техническая эволюция; это фундаментальный сдвиг в моделях доверия. Мы переходим от “доверяй, но проверяй” к “никогда не доверяй, всегда проверяй и предполагай компрометацию”. Принцип наименьших привилегий, давно проповедуемый, но редко практикуемый, становится незыблемым, когда вашим младшим разработчиком является ИИ, который обрабатывает тысячи потенциально вредоносных входных данных ежедневно.

Выбор, перед которым мы стоим

Интеграция ИИ в разработку программного обеспечения неизбежна и в основном полезна. GitHub сообщает, что разработчики, использующие Copilot, выполняют задачи на 55% быстрее. Прирост производительности реален, и ни одна организация, желающая остаться конкурентоспособной, не может игнорировать его.

Но мы стоим на перекрестке. Мы можем продолжать идти по текущему пути, добавляя больше ограничений, создавая лучшие фильтры, надеясь, что мы сможем создать ИИ-агенты, которые не могут быть обмануты. Или мы можем признать фундаментальную природу угрозы и перестроить нашу архитектуру безопасности соответственно.

Инцидент с Samsung был предупредительным выстрелом. Следующее нарушение не будет случайным, и оно не будет ограничиваться одной компанией. По мере того, как ИИ-агенты приобретают больше возможностей и получают доступ к большему количеству систем, потенциальное воздействие растет экспоненциально.

Вопрос для каждого руководителя безопасности, каждого руководителя инженерии и каждого разработчика прост: когда внедрение запроса будет успешным в вашей среде (и оно будет), что атакующий найдет? Откроет ли он сокровищницу долгосрочных учетных данных или найдет ли он ИИ-агент, который, несмотря на компрометацию, не имеет секретов, которые можно украсть?

Выбор, который мы делаем сейчас, определит, станет ли ИИ величайшим ускорителем разработки программного обеспечения или величайшей уязвимостью, которую мы когда-либо создавали. Технология для создания безопасных, безсекретных систем ИИ существует сегодня. Вопрос в том, реализуем ли мы ее до того, как атакующие заставят нас это сделать.

OWASP уже определил внедрение запроса как #1 риск в их Top 10 для приложений LLM. NIST разрабатывает руководство по архитектурам с нулевым доверием. Фреймворки существуют. Единственный вопрос – это скорость реализации против эволюции атак.

Bio: Рафаэль Ангел – сооснователь и технический директор Akeyless, где он разработал запатентованную технологию шифрования с нулевым доверием. Опытный программист с глубокими знаниями в области криптографии и безопасности облака, Рафаэль ранее работал старшим программистом в исследовательском центре Intuit в Израиле, где он построил системы для управления ключами шифрования в публичных облачных средах и разработал услуги аутентификации машин. Он имеет степень бакалавра в области компьютерных наук в колледже технологий Иерусалима, которую он получил в возрасте 19 лет.