Líderes de pensamento

Quando a IA se Torna Rebelde: Mitigando Ameaças Internas na Era dos Agentes Autônomos

mm
Adicione Unite.AI às suas fontes preferidas no Google

 A proliferação dos agentes de IA está criando novos desafios para as equipes de segurança e TI. Na vanguarda dessa mudança em direção a fluxos de trabalho mais automatizados por agentes para tarefas de continuidade de negócios, testes recentes descobriram que os agentes de IA podem exibir comportamentos inseguros ou enganosos sob certas condições, criando uma nova ameaça interna para as empresas de todos os setores.

Apresentando uma necessidade crítica para que as organizações monitorem adequadamente os agentes de IA que acessam dados sensíveis e atuam sem supervisão humana, isso potencialmente introduz novas classes de risco que são mais rápidas, menos previsíveis e mais difíceis de atribuir. A realidade desses riscos é dupla. Por um lado, as equipes de segurança precisam estar preparadas para atores mal-intencionados que utilizam agentes de IA para fortalecer ataques de engenharia social que visam seus funcionários. Por outro lado, eles devem estar preparados para agentes de IA internos sancionados pela empresa, que podem exibir comportamentos que criam um conjunto completamente novo de riscos e vulnerabilidades de segurança.

Como os Agentes de IA Internos Podem Levar a Ameaças Internas

Os agentes de IA representam dois principais riscos de segurança interna dentro das redes empresariais. Primeiro, eles operam de forma autônoma sem os limites éticos ou a responsabilidade inerente que os trabalhadores humanos seguem naturalmente. Trabalhando com base em metas inferidas e não em instruções explícitas, sua eficiência e persistência podem ultrapassar limites e permitir que atuem sem aprovação. Sem os controles e equilíbrios necessários no lugar, exposições podem ser facilmente criadas e ignoradas.

Esses agentes também podem ter acesso a vastas quantidades de dados, mas carecem da capacidade de diferenciar entre informações privilegiadas e rotineiras. Portanto, até mesmo tarefas simples, como analisar conjuntos de dados, podem causar a vazamento de dados ou expô-los a partes externas. Esse desafio se torna ainda mais complexo quando a IA é escalada em sistemas e fluxos de trabalho diferentes com regras e protocolos de dados distintos. Agentes que operam em diferentes regiões frequentemente violam regras de manipulação de dados específicas de local devido à aplicação inconsistente de políticas, construindo assim riscos de segurança. A realidade é que apenas 30% das empresas dos EUA estão ativamente mapeando quais agentes de IA têm acesso a sistemas críticos, criando um grande ponto cego de segurança.

Como os Agentes de IA Externos Podem Levar a Ameaças Internas

Um dos modos mais comuns de entrada para hackers é através de ataques de phishing e engenharia social. Atores mal-intencionados e gangues cibernéticas estão usando agentes de IA para aprimorar esses ataques e realizar incidentes de deepfake e impersonação sofisticados. Os agentes de IA podem ser usados para criar ataques de phishing e engenharia social que parecem mais reais e críveis para um olho não treinado. 60% das violações em 2024 envolveram um elemento humano, e quase um quarto delas originou-se de engenharia social. Esse número só vai aumentar à medida que o uso de agentes de IA continuar a fortalecer esses métodos de entrada.

Os agentes de IA podem ser treinados para vasculhar grandes quantidades de mídia social e dados pessoais em plataformas e canais para enviar comunicações personalizadas e direcionadas. Mensagens que imitam o tom e a voz dos remetentes são mais prováveis de serem bem-sucedidas e mais difíceis de distinguir da mídia real. Os agentes de IA podem aprender a adaptar suas campanhas para melhorar a eficácia, mudando de direção quando um ataque não funciona ou imitando um ataque que deu certo.

Quando se trata de deepfakes, os agentes de IA podem gerar essas imitações a velocidades notáveis, levando à manipulação em massa. Atores mal-intencionados também estão usando agentes de IA para realizar chamadas de vídeo em tempo real com pouca ou nenhuma latência e melhorar a credibilidade. Eles podem reagir à reação de um alvo em tempo real e mudar de abordagem se necessário. Esses ataques aprimorados podem aumentar o risco de ameaças internas de funcionários não conscientes que podem ser enganados para expor dados sensíveis, autorizar transações ou compartilhar credenciais com atores ameaçadores.

O Papel das Equipes de Segurança no Endereçamento dos Desafios de IA Agêntica

As equipes de segurança precisam tomar ações específicas para limitar os pontos cegos criados pelos agentes de IA. Os departamentos de TI devem, em primeiro lugar, limitar o acesso dos agentes de IA a dados sensíveis por meio de controles de governança de dados e visibilidade em tempo real. Etapas para alcançar isso incluem classificar as identidades dos agentes de IA em sistemas de IAM e monitorar sua atividade com o mesmo rigor que as contas privilegiadas. A parte de visibilidade vai além, monitorando a atividade de rede para padrões de comportamento já implementados atribuídos aos agentes de IA. Com visibilidade, as equipes de TI podem monitorar o movimento de acesso privilegiado e anomalias, apoiando não apenas esforços de prevenção, mas também acelerando esforços de contenção e recuperação no evento de um agente rebelde.

Além disso, identificando novos padrões e táticas usados em ataques de agentes de IA, as organizações podem atualizar suas estratégias de defesa e treinar seus sistemas de segurança para reconhecer e neutralizar ameaças semelhantes no futuro.

Permanecendo à Frente das Ameaças Internas Introduzidas por Agentes de IA

A realidade é que os agentes de IA introduzem um novo risco interno devido à sua autonomia e acesso crescente a sistemas sensíveis. Além disso, atores ameaçadores continuarão a usar agentes de IA para explorar mais eficazmente as vulnerabilidades humanas por meio de deepfakes, phishing e engenharia social.

À medida que essa tecnologia avança, as empresas precisam melhorar sua visibilidade sobre o acesso e o comportamento dos agentes de IA antes de adotá-los em seus fluxos de trabalho. Isso inclui investir em monitoramento proativo, em 360 graus e em tempo real, ao lado de uma força de trabalho de agentes de IA. Embora os agentes de IA possam resolver gargalos e desafios de negócios críticos, eles exigem uma abordagem proativa para limitar ameaças internas futuras.

Com mais de duas décadas de experiência em design, gerenciamento e implementação de software e sistemas eletrônicos avançados, Todd é um tecnólogo experiente apaixonado por aproveitar grandes modelos de linguagem para transformar a interação homem-computador. Todd é dedicado ao avanço das tecnologias de linguagem natural, ele busca continuamente desenvolver aplicações inovadoras e de ponta que redefinam os limites da colaboração homem-máquina.