Líderes de pensamento

O Imperativo Sem Segredos: Por Que os Modelos de Segurança Tradicionais Quebram Quando os Agentes de IA Tocam o Código

mm
Adicione Unite.AI às suas fontes preferidas no Google

Em abril de 2023, a Samsung descobriu que seus engenheiros haviam vazado informações confidenciais para o ChatGPT. Mas isso foi acidental. Agora, imagine se aqueles repositórios de código contivessem instruções deliberadamente plantadas, invisíveis para os humanos, mas processadas por IA, projetadas para extrair não apenas o código, mas também todas as chaves de API, credenciais de banco de dados e tokens de serviço que a IA pudesse acessar. Isso não é hipotético. Pesquisadores de segurança já demonstraram que esses ataques de “instruções invisíveis” funcionam. A pergunta não é se isso vai acontecer, mas quando.

A Fronteira Que Não Existe Mais

Durante décadas, construímos a segurança com base em uma suposição fundamental: o código é código e os dados são dados. A injeção de SQL nos ensinou a parametrizar as consultas. A execução de scripts em sites nos ensinou a escapar as saídas. Aprendemos a construir barreiras entre o que os programas fazem e o que os usuários inserem.

Com os agentes de IA, essa fronteira evaporou.

Ao contrário do software determinístico que segue caminhos previsíveis, os grandes modelos de linguagem são caixas pretas probabilísticas que não podem distinguir entre instruções legítimas de desenvolvedores e entradas maliciosas. Quando um atacante fornece um prompt a um assistente de codificação de IA, ele não está apenas fornecendo dados. Está essencialmente reprogramando o aplicativo em tempo real. A entrada se tornou o próprio programa.

Isso representa uma quebra fundamental em tudo o que sabemos sobre segurança de aplicativos. Os firewalls baseados em sintaxe tradicionais, que procuram por padrões maliciosos como DROP TABLE ou tags , falham completamente contra ataques de linguagem natural. Pesquisadores demonstraram técnicas de “substituição semântica” onde substituir “chaves de API” por “maçãs” em prompts permite que os atacantes bypassam filtros completamente. Como você pode firewaller a intenção quando ela é disfarçada como conversa inofensiva?

A Realidade de Zero Clique Que Ninguém Está Discutindo

Aqui está algo que a maioria das equipes de segurança não entende: a injeção de prompt não requer que o usuário digite nada. Esses são frequentemente exploits de zero cliques. Um agente de IA simplesmente varrendo um repositório de código para uma tarefa rotineira, revisando uma solicitação de pull ou lendo a documentação da API pode desencadear um ataque sem qualquer interação humana.

Considere este cenário, baseado em técnicas que os pesquisadores já provaram: um ator malicioso incorpora instruções invisíveis em comentários HTML dentro da documentação de uma biblioteca de código aberto popular. Todo assistente de IA que analisa esse código, seja o GitHub Copilot, o Amazon CodeWhisperer ou qualquer assistente de codificação de empresa, se torna um possível coletor de credenciais. Uma biblioteca comprometida pode significar milhares de ambientes de desenvolvimento expostos.

O perigo não é o modelo de linguagem em si; é a agência que lhe damos. No momento em que integramos esses modelos com ferramentas e APIs, permitindo que eles busquem dados, executem código e acessem segredos, transformamos assistentes úteis em vetores de ataque perfeitos. O risco não escala com a inteligência do modelo; ele escala com sua conectividade.

Por Que a Abordagem Atual Está Condenada

A indústria está atualmente obcecada com “alinhar” os modelos e construir firewalls de prompt melhores. A OpenAI adiciona mais guardrails. A Anthropic se concentra em IA constitucional. Todos estão tentando criar modelos que não possam ser enganados.

Isso é uma batalha perdida.

Se um IA é inteligente o suficiente para ser útil, é inteligente o suficiente para ser enganado. Estamos caindo naquilo que eu chamo de “armadilha de saneamento”: assumir que um melhor filtro de entrada nos salvará. Mas os ataques podem ser ocultados como texto invisível em comentários HTML, enterrados profundamente na documentação ou codificados de maneiras que ainda não imaginamos. Você não pode sanear o que não pode entender contextualmente, e o contexto é exatamente o que torna os grandes modelos de linguagem poderosos.

A indústria precisa aceitar uma verdade difícil: a injeção de prompt terá sucesso. A pergunta é o que acontece quando isso acontece.

A Mudança Arquitetônica Que Precisamos

Atualmente estamos em uma “fase de patching”, adicionando desesperadamente filtros de entrada e regras de validação. Mas assim como eventualmente aprendemos que prevenir a injeção de SQL exigia consultas parametrizadas, e não uma melhor fuga de strings, precisamos de uma solução arquitetônica para a segurança de IA.

A resposta está em um princípio que soa simples, mas exige repensar como construímos sistemas: os agentes de IA nunca devem possuir os segredos que usam.

Isso não é sobre melhor gerenciamento de credenciais ou soluções de cofre melhoradas. É sobre reconhecer os agentes de IA como identidades únicas e verificáveis, e não como usuários que precisam de senhas. Quando um agente de IA precisa acessar um recurso protegido, ele deve:

  1. Autenticar usando sua identidade verificável (não um segredo armazenado)

  2. Receber credenciais just-in-time válidas apenas para aquela tarefa específica

  3. Ter essas credenciais expirarem automaticamente dentro de segundos ou minutos

  4. Nunca armazenar ou mesmo “ver” segredos de longa duração

Várias abordagens estão surgindo. As funções de IAM do AWS para contas de serviço, A Identidade de Carga de Trabalho do Google, Os segredos dinâmicos do HashiCorp Vault e soluções personalizadas como o Provisionamento de Confiança Zero da Akeyless apontam para esse futuro sem segredos. Os detalhes de implementação variam, mas o princípio permanece: se o IA não tiver segredos para roubar, a injeção de prompt se torna uma ameaça significativamente menor.

O Ambiente de Desenvolvimento de 2027

Dentro de três anos, o arquivo .env estará morto no desenvolvimento aumentado por IA. As chaves de API de longa duração que ficam em variáveis de ambiente serão vistas como agora vemos as senhas em texto puro: um relicto embaraçoso de um tempo mais ingênuo.

Em vez disso, todo agente de IA operará sob uma separação estrita de privilégios. Acesso somente leitura por padrão. Lista de ações branca como padrão. Ambientes de execução sandbox como requisito de conformidade. Vamos parar de tentar controlar o que o IA pensa e nos concentrar inteiramente em controlar o que ele pode fazer.

Isso não é apenas uma evolução técnica; é uma mudança fundamental nos modelos de confiança. Estamos passando de “confie, mas verifique” para “nunca confie, sempre verifique e suponha comprometimento”. O princípio do menor privilégio, longamente pregado, mas raramente praticado, se torna inegociável quando seu desenvolvedor júnior é um IA que processa milhares de entradas potencialmente maliciosas todos os dias.

A Escolha Que Enfrentamos

A integração de IA no desenvolvimento de software é inevitável e em grande parte benéfica. O GitHub relata que os desenvolvedores que usam o Copilot completam tarefas 55% mais rápido. Os ganhos de produtividade são reais, e nenhuma organização que deseje permanecer competitiva pode ignorá-los.

Mas estamos em uma encruzilhada. Podemos continuar pelo caminho atual, adicionando mais guardrails, construindo melhores filtros, esperando que possamos criar agentes de IA que não possam ser enganados. Ou podemos reconhecer a natureza fundamental da ameaça e reconstruir nossa arquitetura de segurança de acordo.

O incidente da Samsung foi um tiro de advertência. A próxima violação não será acidental, e não será contida em uma empresa. À medida que os agentes de IA ganham mais capacidades e acessam mais sistemas, o impacto potencial cresce exponencialmente.

A pergunta para cada CISO, cada líder de engenharia e cada desenvolvedor é simples: Quando a injeção de prompt tiver sucesso em seu ambiente (e terá), o que o atacante encontrará? Descobrirá um tesouro de credenciais de longa duração, ou encontrará um agente de IA que, apesar de comprometido, não tem segredos para roubar?

A escolha que fazemos agora determinará se a IA se tornará o maior acelerador do desenvolvimento de software ou a maior vulnerabilidade que já criamos. A tecnologia para construir sistemas de IA seguros e sem segredos existe hoje. A pergunta é se a implementaremos antes que os atacantes nos forcem a fazê-lo.

A OWASP já identificou a injeção de prompt como o risco #1 em seu Top 10 para aplicações de grandes modelos de linguagem. O NIST está desenvolvendo orientações sobre arquiteturas de confiança zero. Os quadros existem. A única pergunta é a velocidade de implementação versus a evolução do ataque.

Bio: Refael Angel é o Co-Fundador e CTO da Akeyless, onde ele desenvolveu a tecnologia de criptografia de confiança zero patenteada da empresa. Um engenheiro de software experiente com profundo conhecimento em criptografia e segurança de nuvem, Refael anteriormente serviu como Engenheiro de Software Sênior no centro de P&D da Intuit em Israel, onde ele construiu sistemas para gerenciar chaves de criptografia em ambientes de nuvem pública e projetou serviços de autenticação de máquina. Ele possui um B.Sc. em Ciência da Computação pelo Jerusalem College of Technology, que ele obteve com 19 anos de idade.

Refael Angel é o Co-Fundador e CTO da Akeyless, onde ele desenvolveu a tecnologia de criptografia Zero-Trust patenteada da empresa. Um engenheiro de software experiente com profunda especialização em criptografia e segurança de nuvem, Refael anteriormente atuou como Engenheiro de Software Sênior no centro de P&D da Intuit em Israel, onde ele construiu sistemas para gerenciar chaves de criptografia em ambientes de nuvem pública e projetou serviços de autenticação de máquina. Ele possui um B.Sc. em Ciência da Computação pelo Jerusalem College of Technology, que ele obteve aos 19 anos.