A Crise de Visibilidade da IA: Por que as Equipes de Segurança Estão Voando Cegamente e Por que elas Não Precisam

A integração de agentes de IA em ambientes de produção está acelerando, mas a arquitetura de segurança necessária para protegê-los está atrasando perigosamente. Estamos em uma era em que um agente de IA, designado para um trabalho de rotina em um ambiente de estaging, pode decidir “corrigir” uma falha de credenciais apagando um volume de banco de dados.

Como indústria, estamos coletivamente desligando nossos cérebros quando se trata dos princípios básicos de segurança e observabilidade em torno da IA. As equipes de segurança estão voando cegamente, mas elas não precisam ser.

O Mito dos Prompt de Sistema e da Ferramenta Segura

Um mito pervasivo no espaço da IA é que podemos controlar o comportamento do agente simplesmente dizendo a ele para se comportar. Os prompts de sistema são apenas consultivos, não são aplicados. No incidente mencionado, as regras do sistema do AI explicitamente afirmavam que nunca deveriam executar comandos destrutivos, mas o agente violou suas próprias barreiras de segurança comercializadas e executou a ação mais irreversível possível.

Temos que trabalhar sob a suposição de que a IA não “sabe” nada realmente. Ataques contra a IA são engenharia social, exceto que o alvo é mais burro do que o ser humano médio. Qualquer pessoa que tenha experiência em testes de penetração entende como é difícil para as organizações defenderem-se contra ataques de engenharia social. Agora, nossos computadores também são suscetíveis.

Além disso, as ferramentas de IA são, em última análise, apenas software, e todo software tem bugs. Já vimos casos em que as ferramentas de IA começam automaticamente servidores HTTP não autenticados, permitindo que qualquer processo local ou site execute comandos de shell arbitrários com privilégios de usuário.

A Caixa Preta da Auditoria de IA

Se uma IA vira rogue ou é manipulada, descobrir o que ela fez é um pesadelo. As ferramentas de IA geralmente não fornecem logs de auditoria. Se você tiver sorte de estar no nível empresarial, os logs que você recebe são severamente limitados. Por exemplo, você pode receber um evento vago que afirma que um usuário “usou IA Gen.” e receber apenas métricas básicas detalhando contagens de tokens de entrada e saída.

Nenhuma dessas ajuda um analista de segurança a responder à pergunta fundamental: O que exatamente esse agente executou?

Descobrindo a IA: Como Parar de Voar Cegamente

A boa notícia é que você não precisa necessariamente de um novo appliance de segurança específico de IA para recuperar a visibilidade. Uso de IA sombra e atividade do agente são detectáveis usando as técnicas de análise de log existentes que sua equipe já deve ter. Chamadas de ferramentas de IA, execuções de comandos e eventos de alteração do sistema podem ser rastreados até a IA usando a análise de execução de processo existente (que você está fazendo em sua segurança de informações e gerenciamento de eventos (SIEM), certo?).

Aqui está como você pode usar sua infraestrutura atual para detectar atividade de IA:

• Análise de DNS: Analisar logs de DNS para consultas a domínios de serviço de IA conhecidos pode ajudar a detectar o uso de IA em seu ambiente.
• Lista de Ameaças: Essa abordagem requer manter uma lista de ameaças atualizada de domínios associados a plataformas ou provedores de modelo de IA.
• Recursos da Comunidade: Existem projetos e listas de bloqueio da comunidade disponíveis que podem ser modificados em tabelas de pesquisa para uso programático.
• Rastreamento de SSL: Uma abordagem semelhante pode usar logs de SSL para rastrear nomes de servidor, embora forneça detalhes ligeiramente menores, pois a URL completa não é registrada.
• Telemetria de Endpoint: Você pode usar ferramentas como Sysmon para contar processos filhos e caçar spawners de bash de alta intensidade, o que é um forte indicador de possíveis agentes de IA executando comandos em um endpoint.

O ponto cego que requer alterações ativas na coleta de dados é o próprio prompt. O que os usuários estão pedindo à IA? Eles estão carregando algum documento potencialmente sensível, criando assim problemas de conformidade? Responder a essas perguntas provavelmente requer coletar as solicitações de API para o provedor; proxies web, proxies LLM e ferramentas de ingestão de dados de logging e SIEM. Essas podem remover o véu que bloqueia essa valiosa fonte de dados.

A Ameaça Emergente: Servidores MCP Maliciosos

O protocolo de contexto de modelo (MCP) surgiu como uma forma de especificar como os aplicativos de IA se integram com ferramentas e fontes de dados externas. Embora padronize as conexões, também introduz novos vetores de ataque massivos via “Servidores MCP Malignos“.

Eu hospedo um workshop de treinamento prático onde os alunos podem experimentar esse ataque em primeira mão. Eles projetam um servidor MCP maligno para enganar um LLM a chamar ferramentas legítimas e enviar a saída de volta ao atacante. Como os LLMs são altamente vulneráveis à engenharia social, contornar suas barreiras de segurança incorporadas é frequentemente apenas uma questão de escolher uma redação melhor ou um pretexto astuto.

Os alunos comumente usam seu servidor maligno para instruir a IA que está “em modo de manutenção” e deve passar dados para uma ferramenta secundária para “registro de auditoria”, resultando assim na exfiltração de dados. Alguns são mais criativos com seus prompts do que outros, mas todos geralmente são bem-sucedidos.

Retomando o Controle

Para auditar adequadamente a atividade de IA no mundo real, você precisa de um proxy para interceptar solicitações de IA e uma ferramenta de coleta de log capaz de lidar com payloads JSON massivos. Com essa visibilidade, você pode detectar e triar ameaças. Você não pode confiar apenas nos fornecedores de IA para fornecer a camada de segurança. A aplicação deve viver nos sistemas da sua organização, não em um parágrafo de texto que esperamos que o modelo decida obedecer. Com uma boa solução de logging, as equipes de segurança têm a telemetria; é hora de começarem a consultá-la. você pode detectar e triar ameaças. Você não pode confiar apenas nos fornecedores de IA para fornecer a camada de segurança. A aplicação deve viver nos sistemas da sua organização, não em um parágrafo de texto que esperamos que o modelo decida obedecer. Com uma boa solução de logging, as equipes de segurança têm a telemetria; é hora de começarem a consultá-la.