Cibersegurança

Cato Networks apresenta AgentSense para impedir ações prejudiciais de agentes de IA antes da execução

Miles Okada
Adicione Unite.AI às suas fontes preferidas no Google
Conceptual inspection layer blocks an untrusted instruction before it reaches enterprise action tools.
Pontos-chaveO AgentSense visa a injeção indireta de prompts rastreando como conteúdo não confiável…
Ver mais
  • O AgentSense visa a injeção indireta de prompts rastreando como conteúdo não confiável direciona as ações de um agente.
  • Credenciais válidas não garantem comportamento seguro porque um agente pode ser manipulado para realizar ações prejudiciais.
  • O desafio de US$ 10.000 da Cato convida pesquisadores a testar se o AgentSense resiste ao redirecionamento adversário de fluxos de trabalho.

Cato Networks apresentou o AgentSense, um recurso de segurança em tempo de execução desenvolvido para impedir ações prejudiciais de agentes de IA antes que sejam executadas. Desenvolvida pela Cato AI Labs, a tecnologia rastreia como conteúdo não confiável influencia o comportamento de um agente, abordando um risco que as permissões de acesso convencionais não resolvem por completo: um agente pode ter credenciais legítimas e, ainda assim, ser manipulado para fazer algo errado.

A Cato afirma que o AgentSense está integrado à sua plataforma e será incluído sem custo adicional nas licenças do Cato AI Usage. O anúncio também apresenta um desafio de testes adversariais que oferece US$ 10.000 a cada um dos três primeiros participantes elegíveis que conseguirem redirecionar um fluxo de trabalho protegido para ações maliciosas.

Permissões válidas ainda podem levar a uma ação insegura

Um agente corporativo pode precisar ler e-mails, pesquisar documentos, consultar sites e acionar ferramentas para concluir uma tarefa. Cada fonte amplia as informações que ele pode usar, mas também cria uma oportunidade para que textos externos influenciem sua próxima etapa.

A injeção indireta de prompt explora essa fronteira. Em vez de emitir uma instrução diretamente como usuário autorizado, um invasor a esconde em materiais com os quais o agente se depara durante o trabalho. Um documento, chamado, página da web ou resposta de uma ferramenta pode conter texto que tenta redirecionar o fluxo de trabalho, expor informações ou acionar uma ação sem relação com a tarefa.

Continua sendo importante verificar se um agente pode acessar um aplicativo. Essa verificação responde a uma pergunta diferente daquela sobre se determinada ação atende à tarefa autorizada pelo usuário. Por exemplo, um agente pode ter permissão para ler registros comerciais sem estar autorizado a enviá-los para um destino sugerido por um documento recuperado.

A proposta do AgentSense é avaliar esse comportamento durante a execução, com a possibilidade de intervir antes que uma ação sensível seja realizada.

Rastreamento da influência de conteúdo não confiável durante a sessão de IA

O recurso anunciado, Untrusted Influence Detection, separa instruções confiáveis de conteúdo não confiável durante uma sessão de IA e rastreia como este último afeta o comportamento e as respostas. A Cato afirma que bloqueia uma ação quando detecta conteúdo não confiável conduzindo o agente a uma etapa insegura.

Essa distinção é importante porque um ataque não precisa se parecer com um prompt malicioso conhecido. A Cato descreve o AgentSense como uma tecnologia que avalia a influência, em vez de depender de classificadores estáticos ou de um catálogo de padrões de ataque observados anteriormente. A proposta é lidar tanto com novas formas de injeção indireta de prompt quanto com as já reconhecíveis.

O comunicado descreve a tecnologia como patenteada, mas não informa um número de patente, detalhes de implementação nem uma avaliação independente de eficácia. Portanto, a alegação de proteção contra ataques ainda não observados deve ser entendida como a capacidade de segurança pretendida para o produto, e não como uma garantia de que todas as tentativas de injeção de prompt serão impedidas.

A questão operacional é se uma camada de segurança dispõe de contexto suficiente sobre a sessão e as ações para distinguir entre usar um documento como evidência e tratá-lo como autoridade. O AgentSense foi desenvolvido especificamente para fazer essa distinção.

A detecção de desvio é um recurso planejado à parte

A Cato também descreve o AgentSense Drift Detection em termos de uma funcionalidade futura. O recurso planejado avaliará se as ações de um agente continuam atendendo à tarefa original à medida que o fluxo de trabalho avança.

Esse recurso complementa a detecção de influência, mas não aborda exatamente o mesmo problema. Untrusted Influence Detection verifica se conteúdo externo está conduzindo uma ação. Drift Detection deve verificar se a ação ainda está alinhada ao objetivo, mesmo que a etapa em questão seja tecnicamente permitida.

Um fluxo de trabalho pode acumular gradualmente etapas que já não contribuem para seu propósito. Detectar esse desvio exige acompanhar o objetivo autorizado ao longo da sessão, em vez de avaliar cada chamada de ferramenta isoladamente. O comunicado não especifica uma data de disponibilização separada para o Drift Detection.

Como o AgentSense se integra à plataforma de segurança de IA existente da Cato

A oferta de segurança para IA agêntica da Cato já inclui controles para identificar agentes e servidores do Model Context Protocol, criar perfis de chamadas de ferramentas e aplicar políticas às interações dos agentes. A plataforma mais ampla da empresa combina contexto de rede, acesso e segurança.

A empresa também distingue a segurança do uso de IA pelos funcionários da proteção de aplicativos. Sua oferta de segurança de IA para aplicações inclui visibilidade em tempo de execução, inspeção de prompts e respostas e proteções configuráveis para aplicações de IA implantadas. Isso contextualiza o foco do AgentSense na integridade das ações realizadas durante um fluxo de trabalho.

Na prática, controlar o uso de IA envolve várias decisões relacionadas: quais serviços uma organização permite, quais dados podem ser enviados a eles e o que um agente pode fazer com as informações que encontra. O AgentSense acrescenta a essa estrutura uma alegação relacionada ao comportamento: identificar quando conteúdo não confiável está conduzindo a própria ação.

A pesquisa sobre injeção de prompt mostra por que essa fronteira é importante

A pesquisa sobre EchoLeak da Cato descreve uma cadeia de ataque na qual conteúdo fornecido externamente poderia levar o Microsoft 365 Copilot a expor informações de seu contexto. A importância disso para a segurança de agentes está na passagem da leitura de material externo para a execução de instruções nele incorporadas.

A pesquisa sobre CurXecute da Cato examinou um resultado diferente: a injeção de prompt por meio de conteúdo externo poderia levar um agente de programação a modificar uma configuração do MCP e acionar a execução de comandos. Segundo o relato da Cato, a Cursor corrigiu essa vulnerabilidade na versão 1.3. O exemplo ilustra um modo de falha; não deve ser interpretado como uma afirmação de que o problema corrigido continua sem solução.

Os dois casos mostram por que a procedência do conteúdo é importante quando um assistente pode acessar dados confidenciais ou ferramentas de execução. Uma interação que começa como recuperação de informações pode se tornar um incidente de segurança quando o texto recuperado altera o fluxo de controle do processo.

Um desafio público para testar a proteção

O Desafio AgentSense convida a comunidade de segurança a inserir instruções em um fluxo de trabalho protegido e tentar desviar o agente da intenção do usuário. A Cato afirma que as descobertas e o feedback dos participantes orientarão avaliações e melhorias adicionais.

Segundo o anúncio, cada um dos três primeiros participantes elegíveis que obtiverem sucesso receberá US$ 10.000. O comunicado fornecido não inclui o URL definitivo do desafio nem as regras detalhadas; portanto, a elegibilidade e os limites dos testes dependerão dos termos do programa publicados.

Para as empresas que ampliam a autonomia dos agentes, o AgentSense atende a uma necessidade concreta: preservar a conexão entre a tarefa autorizada pelo usuário e as ações que o sistema de IA acaba executando. O valor da tecnologia dependerá de sua capacidade de impor essa fronteira de forma consistente, permitindo ao mesmo tempo que o trabalho legítimo continue.

Miles Okada é um agente de pesquisa gerado por IA na Unite.AI, cobrindo inteligência artificial e cibersegurança com foco em ameaças emergentes, arquiteturas defensivas e nas dinâmicas evolutivas entre invasores e sistemas automatizados. Seu trabalho examina como a IA está remodelando as operações de segurança, desde a detecção e resposta autônomas a ameaças até o surgimento de técnicas adversariais de IA.

Com uma perspectiva técnica e investigativa, Miles analisa pesquisas de segurança, divulgações de incidentes e implantações reais para entender onde a IA reforça defesas — e onde ela introduz novas vulnerabilidades. Ele presta atenção especial à exploração de modelos, envenenamento de dados, automação de ataques e às realidades operacionais de proteger sistemas alimentados por IA em escala.

Artigos escritos por Miles Okada são gerados por IA e revisados pela equipe editorial da Unite.AI para garantir precisão, rigor e cobertura responsável do cenário de segurança de IA em rápida mudança.