Стратегии кибербезопасности при разработке агентов на low-code- и high-code-платформах

По мере того как организации внедряют ИИ-агентов в рабочие процессы и бизнес-системы, скорость разработки и контроль безопасности становятся тесно взаимосвязанными. При разработке агентов на low-code- и high-code-платформах стратегии кибербезопасности должны учитывать, как каждый из подходов предоставляет доступ к информации и позволяет выполнять действия. Целевые меры защиты помогают учитывать эти различия, а единое управление гарантирует, что по мере масштабирования внедрения агенты будут действовать только в рамках разрешённых задач.

Чем различается разработка ИИ-агентов на low-code- и high-code-платформах

На low-code-платформах разработчики могут собирать агентов с помощью визуальных интерфейсов и готовых коннекторов, связывающих бизнес-сервисы. High-code-разработка предоставляет программистам больше свободы при определении поведения агентов с помощью собственного кода, интеграций с инструментами и сред выполнения. В обоих случаях необходимо контролировать, к какой информации агенты получают доступ и какие действия могут выполнять.

Обязанности по обеспечению безопасности различаются, поскольку контроль сосредоточен в разных местах. Разработчики на low-code-платформах работают с настройками, которые регулируют совместный доступ и доступ коннекторов, поэтому особенно важно правильно их конфигурировать. Команды high-code-разработки в большей степени отвечают за программное обеспечение и среды, в которых выполняются инструкции агентов, в том числе за ограничения доступа к файлам и учётным данным.

Cybersecurity and Infrastructure Security Agency выделяет несколько рисков, связанных с ИИ-агентами, которые дают полезную основу для обоих подходов. Расширение поверхности атаки означает появление дополнительных точек входа, а разрастание привилегий — постепенное накопление прав доступа. Поведенческое отклонение от заданных задач затрудняет контроль, а непрозрачные журналы событий — расследование инцидентов. Широко используемый коннектор и инструмент командной строки без ограничений могут по-разному приводить к одним и тем же проблемам.

Риски безопасности и способы защиты low-code-агентов с ИИ

Доступность low-code-разработки позволяет создавать агентов сотрудникам, не входящим в традиционные команды разработчиков. Контроль безопасности должен распространяться и на этих специалистов, чтобы удобные подключения соответствовали разрешённым бизнес-сценариям.

Недостатки low-code-сред с точки зрения безопасности

Разработчики из числа сотрудников компании могут подключить агента к общим файлам или бизнес-приложениям, не до конца понимая, какими разрешениями он обладает. Доступ, предоставленный через такие подключения, может привести к раскрытию конфиденциальной информации или позволить выполнять действия за пределами предусмотренного рабочего процесса. Широкий совместный доступ и неясное распределение ответственности могут усугубить проблему.

Масштаб внедрения делает важным последовательный контроль во всех подразделениях. Согласно анализу рынка за 2024 год, Forrester сообщает, что 87% корпоративных разработчиков используют low-code-платформы для некоторых задач разработки. Этот вывод касается разработки в целом, поэтому он показывает распространённость таких платформ, но не измеряет отдельно степень внедрения ИИ-агентов.

Практические способы повысить безопасность low-code-агентов

Командам следует проверять, соответствуют ли разрешения коннекторов задачам, порученным каждому агенту, и предоставлять доступ по принципу наименьших привилегий. В централизованном реестре необходимо указывать ответственного за каждое внедрение и подключённые сервисы, а для выполнения чувствительных действий предусмотреть обязательное согласование. Это позволит командам по безопасности выявлять незарегистрированных агентов и расследовать случаи неправомерного доступа.

Подход Microsoft к управлению данными предусматривает контролируемый доступ к деловой информации. Навин Джангир, главный архитектор Microsoft Digital, рекомендует организациям «управлять данными и защищать их с помощью соответствующих ограничений доступа». Эти меры позволяют уполномоченным пользователям и ИИ-функциям использовать данные без неоправданного раскрытия и в установленных границах разрешений. Если применять политики для коннекторов и закрепить ответственность за их работу, эти ограничения станут частью повседневной разработки.

Риски безопасности и способы защиты high-code-агентов с ИИ

Когда команды используют ИИ-агентов для программирования при создании собственных систем, изменения, сгенерированные ими, могут появляться быстрее, чем люди успевают их проверять. Поэтому для безопасности high-code-разработки необходимо контролировать как сам процесс разработки, так и среды, в которых агенты выполняют задачи.

Особые проблемы безопасности при high-code-разработке

При чтении внешних репозиториев с инструкциями, добавленными злоумышленниками, агенты для программирования могут столкнуться с косвенной инъекцией промпта. Если агент последует этим инструкциям, имея доступ к инструментам разработки, он может выполнить небезопасные команды или раскрыть учётные данные. Возможные последствия отчасти зависят от того, к каким файлам, инструментам и внешним адресатам разрешает обращаться среда выполнения.

Рекомендации NVIDIA по изоляции сред выполнения касаются риска раскрытия учётных данных. В них говорится, что «в изолированных средах следует использовать явную передачу секретов», чтобы ограничить доступ к учётным данным. Поэтому агенты не должны наследовать все учётные данные среды, если для выполнения задач им нужен лишь ограниченный доступ. Командам следует предоставлять учётные данные только для конкретной задачи и не допускать, чтобы агент получал доступ к не связанным с ней секретам.

Стратегии укрепления конвейеров агентов, разработанных с высоким уровнем программирования

Изолированные среды выполнения должны ограничивать доступ к файлам и исходящие соединения в соответствии с задачей. Кроме того, командам следует проводить статическое тестирование безопасности приложений для сгенерированного кода. Независимым экспертам следует проверять решения о предоставлении доступа и бизнес-логику, которые могут остаться незамеченными при автоматической проверке. Эти меры помогают обеспечить безопасность среды выполнения и устранить уязвимости в создаваемом программном обеспечении.

В своих рекомендациях по контролю над агентами для программирования Amazon Web Services советует отделять генерацию кода от его оценки. Компания отмечает: «Отдельный сеанс помогает избежать предвзятости, связанной с подтверждением собственных выводов». Однако два сеанса с одной и той же моделью могут иметь те же фундаментальные слепые зоны при проверке. Если это осуществимо, дополнительную проверку обеспечат другая модель для анализа и участие человека в оценке изменений, важных с точки зрения безопасности.

Создание стратегии безопасности, охватывающей оба подхода

Для обеспечения безопасности ИИ при разработке агентов с низким и высоким уровнем программирования необходим единый обзор действий во всех случаях, когда агенты обмениваются информацией. Например, рабочий процесс на low-code-платформе может передать данные специально созданному агенту, который затем обращается к другой бизнес-службе. Если проверять каждый компонент отдельно, у специалистов по безопасности может не оказаться контекста, необходимого для понимания всей последовательности действий.

Специалисты Darktrace по безопасности ИИ утверждают, что организациям необходимо проверять промпты и сеансы наряду с ответами во всех корпоративных инструментах генеративного ИИ и при обоих подходах к разработке. Их подход также охватывает программное обеспечение как услугу и среды безопасного периферийного доступа к сервисам. Благодаря такой видимости организации получают контекст, позволяющий им «обнаруживать изощрённые разговорные атаки с помощью промптов и вредоносные цепочки запросов».

Подход Darktrace поддерживает более широкую стратегию безопасности ИИ при разработке агентов с низким и высоким уровнем программирования: видимость промптов, мониторинг сеансов и контроль идентификационных данных помогают командам понимать, как агенты взаимодействуют через связанные инструменты. Специалистам по безопасности следует изучать, как инструкции меняются в ходе связанных сеансов и соответствуют ли последующие действия первоначально выданным разрешениям. Им также следует учитывать степень конфиденциальности информации, сохраняемой для расследования.

Управление и мониторинг для долгосрочной безопасности ИИ-агентов

У каждого агента должен быть ответственный владелец и чётко определённый круг разрешённых задач независимо от способа его разработки. В рамках управления также следует определить, кто может утверждать изменения этого круга задач и кто вправе приостановить работу агента, если тот ведёт себя неожиданным образом.

Исследования в области управления агентами показывают, что для обеспечения подотчётности им необходимы полномочия, подлинность которых можно проверить и действия которых можно подвергнуть аудиту. Такой подход связывает лицо, выдающее разрешение, с задачами, которые агенту разрешено выполнять. После этого организации могут сверять действия с выданными разрешениями.

Командам следует вести журналы действий, связывающие делегированные разрешения с использованием инструментов и результатами. В ходе регулярных проверок следует пересматривать эти разрешения по мере изменения возможностей, отзывать доступ, оставшийся после завершения работы, и подтверждать, что сведения об ответственном владельце актуальны. Благодаря таким проверкам команды разработчиков и специалисты по безопасности могут поддерживать соответствие рабочих средств контроля утверждённым целям агента.

Как опережать риски безопасности ИИ-агентов

Разработка на low-code-платформах требует тщательно настраивать разрешения платформы и управлять коннекторами, тогда как при разработке с высоким уровнем программирования необходимо уделять особое внимание пользовательским средам выполнения и проверке кода. Централизованный мониторинг и единая система подотчётности создают общую основу для контроля за тем, как агенты получают доступ к информации и действуют во взаимосвязанных бизнес-системах. По мере расширения возможностей разработчикам следует пересматривать меры защиты вместе с изменениями инструментов и обязанностей агентов, чётко определяя разрешённые действия для каждого развёртывания на протяжении всего его жизненного цикла.