Estratégias de cibersegurança para o desenvolvimento de agentes low-code e high-code

À medida que as organizações passam a usar agentes de inteligência artificial em seus sistemas empresariais, a velocidade de desenvolvimento e a supervisão de segurança tornam-se estreitamente relacionadas. As estratégias de cibersegurança para o desenvolvimento de agentes low-code e high-code precisam levar em conta como cada abordagem concede acesso a informações e permite a realização de ações. Medidas de proteção direcionadas podem lidar com essas diferenças, enquanto uma governança compartilhada mantém as atividades dos agentes alinhadas às tarefas autorizadas à medida que as implantações se expandem.

O que diferencia o desenvolvimento de agentes de IA low-code e high-code

As plataformas low-code permitem que os desenvolvedores montem agentes por meio de interfaces visuais e conectores pré-configurados que integram serviços empresariais. O desenvolvimento high-code oferece aos programadores mais flexibilidade para definir o comportamento dos agentes usando código personalizado, integrações com ferramentas e ambientes de execução. Ambas as abordagens exigem supervisão das informações às quais os agentes podem ter acesso e das ações que podem realizar.

As responsabilidades de segurança diferem porque o controle está em pontos distintos. Quem desenvolve em low-code trabalha com as configurações da plataforma que regem o compartilhamento e o acesso por conectores, o que torna especialmente importantes as decisões de configuração. As equipes de high-code assumem maior responsabilidade pelo software e pelos ambientes que executam as instruções dos agentes, incluindo a definição de limites para arquivos e credenciais.

Cybersecurity and Infrastructure Security Agency identifica vários riscos da IA agêntica que oferecem uma estrutura útil para ambas as abordagens. A ampliação da superfície de ataque diz respeito a pontos de entrada adicionais, enquanto o aumento gradual de privilégios se refere ao acúmulo de acessos. O desalinhamento comportamental envolve desvios das tarefas pretendidas, e registros de eventos pouco claros dificultam as investigações. Um conector amplamente utilizado e uma ferramenta de linha de comando sem restrições podem criar diferentes versões dos mesmos problemas.

Riscos de segurança e soluções para agentes de IA low-code

A acessibilidade do low-code permite que funcionários de fora das equipes tradicionais de desenvolvimento criem agentes. A supervisão de segurança também precisa abranger essas pessoas, para que as conexões convenientes continuem de acordo com os usos empresariais autorizados.

Limitações de segurança dos ambientes low-code

Desenvolvedores cidadãos podem conectar um agente a arquivos compartilhados ou aplicativos empresariais sem compreender plenamente as permissões do agente. O acesso concedido por meio dessas conexões pode expor informações confidenciais ou permitir ações que ultrapassem o fluxo de trabalho pretendido. O compartilhamento amplo e a falta de clareza quanto à responsabilidade podem agravar essa exposição.

A escala de adoção torna importante manter uma supervisão consistente entre departamentos. Em uma análise de mercado de 2024, a Forrester informa que 87% dos desenvolvedores de grandes empresas usam plataformas low-code em parte de seu trabalho de desenvolvimento. Essa constatação diz respeito ao desenvolvimento em geral; portanto, demonstra o alcance dessas plataformas, mas não mede especificamente a adoção de agentes de IA.

Medidas práticas para reforçar a segurança de agentes low-code

As equipes devem revisar as permissões dos conectores de acordo com a tarefa atribuída a cada agente e aplicar o princípio do menor privilégio. Um inventário centralizado deve registrar o responsável e os serviços conectados de cada implantação, além de estabelecer requisitos de aprovação para ações sensíveis. Isso fornece às equipes de segurança uma base para identificar agentes não registrados e investigar acessos indevidos.

A abordagem de governança de dados da Microsoft enfatiza o acesso controlado às informações empresariais. Naveen Jangir, arquiteto principal da Microsoft Digital, recomenda que as organizações “governem e protejam essas informações com restrições de acesso adequadas”. Esses controles permitem que usuários autorizados e recursos de IA as utilizem sem exposição desnecessária dentro dos limites de permissão estabelecidos. A aplicação de políticas para conectores, juntamente com a atribuição clara de responsabilidades, pode incorporar essas restrições ao desenvolvimento cotidiano.

Riscos de segurança e soluções para agentes de IA high-code

Quando as equipes usam agentes de programação com IA para desenvolver sistemas personalizados, as alterações geradas podem surgir mais rápido do que as pessoas conseguem examiná-las. Por isso, a segurança do desenvolvimento high-code exige controles tanto sobre o processo de desenvolvimento quanto sobre os ambientes em que os agentes executam tarefas.

Desafios de segurança específicos do desenvolvimento high-code

Agentes de programação podem ser alvo de injeção indireta de comandos em prompts ao ler repositórios externos que contenham instruções fornecidas por adversários. Se um agente seguir essas instruções enquanto tiver acesso a ferramentas de desenvolvimento, poderá executar comandos inseguros ou expor credenciais. As possíveis consequências dependem, em parte, dos arquivos, das ferramentas e dos destinos externos aos quais o ambiente de execução permite que o agente tenha acesso.

As orientações de isolamento em sandbox da NVIDIA abordam a exposição de credenciais dentro desse limite de execução. Segundo elas, “os ambientes sandbox devem recorrer à injeção explícita de segredos” para limitar o acesso às credenciais. Assim, os agentes não devem herdar todas as credenciais do ambiente quando suas tarefas exigirem apenas acesso limitado. As equipes devem fornecer credenciais específicas para cada tarefa e manter os segredos não relacionados fora do alcance do agente.

Estratégias para reforçar a segurança dos fluxos de trabalho de agentes desenvolvidos com código

Ambientes de execução restritos devem limitar o acesso a arquivos e as conexões de saída de acordo com a tarefa. As equipes também devem realizar testes estáticos de segurança de aplicações no código gerado. Revisores independentes devem examinar decisões de autorização ou lógica de negócios que possam passar despercebidas nas verificações automatizadas. Essas camadas abordam os limites de execução e as vulnerabilidades do software resultante.

A Amazon Web Services recomenda separar a geração de código da avaliação em sua estrutura de controles para agentes de programação. A empresa observa que “uma sessão separada ajuda a evitar o viés de autoconfirmação”. No entanto, duas sessões que usam o mesmo modelo podem apresentar os mesmos pontos cegos subjacentes durante a revisão. Quando viável, o uso de um modelo diferente para a revisão e a avaliação humana de alterações sensíveis do ponto de vista da segurança podem acrescentar um nível adicional de escrutínio.

Como criar uma estratégia de segurança que abranja as duas abordagens

A segurança da IA no desenvolvimento de agentes com pouco ou muito código exige uma visão unificada das atividades sempre que os agentes trocam informações. Por exemplo, um fluxo de trabalho com pouco código pode enviar conteúdo a um agente personalizado, que então chama outro serviço empresarial. Analisar cada componente separadamente pode deixar as equipes de segurança sem o contexto necessário para compreender toda a sequência.

Os especialistas em segurança de IA da Darktrace afirmam que as organizações precisam inspecionar prompts e sessões, além das respostas, em todas as ferramentas corporativas de IA generativa e nas duas abordagens de desenvolvimento. A perspectiva da empresa também abrange ambientes de software como serviço e de borda de serviço de acesso seguro. Com essa visibilidade, as organizações obtêm o contexto necessário para que “possam detectar ataques conversacionais de prompt engenhosos e encadeamentos maliciosos”.

A perspectiva da Darktrace contribui para uma estratégia mais ampla de segurança da IA no desenvolvimento de agentes com pouco ou muito código, pois a visibilidade dos prompts, o monitoramento das sessões e a supervisão das identidades ajudam as equipes a entender como os agentes interagem em ferramentas conectadas. As equipes de segurança devem analisar como as instruções mudam ao longo das sessões conectadas e se as ações subsequentes continuam de acordo com a autorização original. Também devem considerar a sensibilidade de quaisquer informações retidas para investigação.

Governança e monitoramento para a segurança de longo prazo dos agentes de IA

Cada agente deve ter um responsável claramente identificado e um escopo definido de trabalho permitido, independentemente do método de desenvolvimento. A governança também deve determinar quem pode aprovar alterações nesse escopo e quem pode suspender as atividades quando um agente se comporta de forma inesperada.

Pesquisas sobre governança de agentes indicam que eles precisam de uma autoridade que possa ser autenticada e auditada para que haja prestação de contas. Essa abordagem associa a pessoa que concede a permissão às tarefas que um agente pode realizar. Assim, as organizações podem verificar se uma ação está de acordo com essa autorização.

As equipes devem manter registros de atividades que relacionem as permissões delegadas ao uso de ferramentas e aos resultados. Revisões periódicas devem reavaliar essas permissões à medida que os recursos mudam, remover acessos que já não são necessários após a conclusão do trabalho e confirmar que os responsáveis continuam atualizados. As equipes de desenvolvimento e segurança podem usar essas revisões para manter os controles operacionais alinhados à finalidade aprovada do agente.

Como se antecipar aos riscos de segurança dos agentes de IA

O desenvolvimento com pouco código exige atenção às permissões da plataforma e à governança dos conectores, enquanto o desenvolvimento com muito código requer cuidado especial com ambientes de execução personalizados e revisão de código. O monitoramento centralizado e a prestação de contas consistente oferecem uma base comum para supervisionar como os agentes acessam informações e agem nos sistemas empresariais conectados. À medida que os recursos se ampliam, os desenvolvedores devem reavaliar as salvaguardas junto com as mudanças nas ferramentas e responsabilidades dos agentes, mantendo claras as atividades permitidas em cada implantação durante todo o seu ciclo de vida.