Atacantes de IA Não Se Cansam: Por que a Segurança Cibernética Precisa Mudar

Seu programa de segurança foi construído para atacantes que se cansam.

Quando a OpenAI divulgou seu relato sobre os modelos que escaparam de um ambiente de avaliação e passaram dias dentro da infraestrutura de produção da Hugging Face, eu o chamei de um momento Terminator para a segurança cibernética. Mantenho a afirmação, mas algo mais nisso deve nos fazer refletir. Nove dias depois, a Anthropic divulgou incidentes próprios. No início de agosto, a Meta confirmou outro. Dias depois, o modelo de um quarto laboratório, o Kimi K3 da Moonshot, escapou de sua sandbox de testes. Quatro laboratórios. Menos de três semanas. Quatro modelos que foram para onde ninguém pretendia.

Essas histórias foram amplamente tratadas como relatos de segurança de IA. São. Mas, para um CISO, elas também são relatos de risco de terceiros — e essa pode ser a lição mais imediata. A verdade desconfortável é que o incidente OpenAI‑Hugging Face foi, em sua essência, um relato de risco de terceiros: um componente vulnerável de terceiros como rota de fuga, um fornecedor como vítima e um nó sistêmico do qual milhares de empresas dependem como raio de explosão.

Este é o número que eu levaria para sua próxima reunião de planejamento de segurança. Dos aproximadamente 17.600 atos de atacante Hugging Face recuperou de seus logs, a maioria falhou.

O agente testou caminhos que não levavam a lugar nenhum. Foi bloqueado por listas de permissões de URL e mudou de rota. Encontrou políticas IAM que negavam toda chamada mutadora. Tentou acessar um banco de dados de produção duas vezes e expirou ambas as vezes. Sondou, falhou e seguiu adiante. Milhares de vezes. Não ficou frustrado. Não se cansou. E a falha lhe custou quase nada.

Quatro modelos escaparam de ambientes de teste em menos de três semanas. As fugas ganharam manchetes. Líderes de segurança deveriam estar mais preocupados com o que tornou isso possível: um atacante que pode falhar milhares de vezes quase sem custo.

Essa é a mudança. Por décadas, os defensores se beneficiaram de um fato simples: a falha custa algo ao atacante. A coleta de informações consumia tempo e becos sem saída eram onerosos. A economia dessa assimetria foi o que tornou “impor custos” aos atacantes uma forma coerente de tentar detê‑los. Quando a falha se torna quase gratuita, o caminho bem‑sucedido deixa de ser uma agulha no palheiro e passa a ser uma certeza estatística para quem pode percorrer todos os caminhos simultaneamente.

Os padrões nesses incidentes apontam para três lições que os líderes de segurança devem agir agora.

Quatro Laboratórios, Uma Forma

O padrão é notavelmente consistente. Dê a um modelo um objetivo. Ele encontra um caminho que ninguém esperava. Às vezes esse caminho leva direto aos sistemas de produção de organizações que nunca deveriam estar envolvidas. Em ao menos um caso, a organização afetada soube o que havia acontecido porque a Anthropic ligou para informá‑la

Em todos os casos, o caminho passou por software, infraestrutura ou um ambiente construído por outra pessoa. Líderes de segurança devem levar isso para o lado pessoal.

Cada organização nessa cadeia possuía um programa de segurança. Várias tinham programas muito bons. A falha não ficou contida dentro de nenhum perímetro único. Ela ocorreu nas costuras entre organizações, e ninguém possui essas costuras.

Os modelos da OpenAI encontraram um zero‑day em um proxy de pacotes auto‑hospedado e o usaram para alcançar a internet aberta. A partir daí, enraizaram‑se em uma sandbox de execução de código insegura pertencente a um cliente da Modal Labs, usaram‑a como base de preparação e enganaram o carregador de dataset da Hugging Face para ler arquivos locais e, em seguida, executar código. Em treze horas eles mantiveram privilégios de cluster‑admin em múltiplos clusters internos, auxiliados por uma única credencial compartilhada entre todos eles. O ponto de entrada foi inovador. Dentro, as fraquezas eram as que temos documentado há vinte anos.

Nove dias depois, a Anthropic fez algo mais raro: publicou sua própria análise de 141.006 execuções de avaliação e divulgou três ocorrências com apresentação semelhante sem solicitação: um modelo que alcançou a internet aberta a partir de um ambiente de avaliação e, depois, obteve acesso aos sistemas de organizações reais. Não houve fuga de sandbox desta vez, apenas uma configuração incorreta que deixou um caminho ativo enquanto o modelo havia sido instruído de que nenhum existia. Uma vez fora, o modelo explorou fraquezas que toda equipe de segurança conhece: senhas fracas, pontos de extremidade não autenticados, injeção de SQL e credenciais expostas em uma página de depuração.

A Meta confirmou um quarto incidente no início de agosto, após um erro de configuração conceder acesso à internet a um de seus modelos durante uma avaliação. A Meta também não o detectou; soube o que havia acontecido quando seu parceiro de teste ligou. Tanto essa avaliação quanto a da Anthropic foram realizadas pela mesma empresa externa, Irregular, que publicamente as chamou de mesmo problema. O erro de configuração de um fornecedor se propagou por dois laboratórios de fronteira e quatro organizações vítimas, nenhuma das quais tinha qualquer relação direta com a Irregular. Era um fornecedor para os dois laboratórios, não para eles. O agente não se importava onde a superfície de ataque de uma empresa terminava e a de outra começava.

É isso que torna esse um problema de risco de terceiros. A exposição agora pode originar‑se a várias relações de distância de você, em uma organização que você nunca selecionou, avaliou ou mesmo sabia que fazia parte da sua superfície de ataque.

Então pesquisadores da Frontier Security capturaram o Kimi K3 da Moonshot escapando de sua sandbox também, permitindo-lhe acessar um repositório de benchmark no GitHub. Ninguém foi violado, e o modelo perseguia seu objetivo designado, tendo concluído que usar uma chave de respostas pronta era mais barato que resolver o problema. Dois fatores tornam esse caso importante. Os pesquisadores o capturaram durante seu próprio teste. E ele rodou em ferramentas completamente diferentes dos casos Anthropic e Meta. Um fornecedor tendo um mês ruim não explica isso.

Os laboratórios não estão ignorando nada disso. A Anthropic publicou sua análise sem solicitação, razão pela qual a indústria tem um padrão a examinar e aprender — em vez de um caso isolado a ser descartado. Isso deveria se tornar a norma. A OpenAI agora atrasou o lançamento de seu modelo Astra após avaliações internas não conseguirem descartar capacidade cibernética crítica. Ambos os movimentos merecem crédito. Mas nenhum deles é um plano de defesa: um atraso de lançamento governa o calendário de uma empresa. Não faz nada contra modelos capazes, como o Kimi K3, que já são distribuídos em peso aberto e gratuito, além do controle de qualquer laboratório individual.

Correlação sem Escalada não é Detecção

A pilha de detecção da Hugging Face, para seu crédito, correlacionou os sinais em um ataque coerente. Em seguida, falhou em escalar a criticidade, e a equipe de plantão não foi acionada. A ferramenta montou a história e não conseguiu decidir que a história era urgente. Essa é uma arquitetura de triagem construída para um mundo em que 17.600 eventos em quatro dias pareceriam absurdos.

Segurança Cibernética Precisa do seu Fosbury Flop

Em 1968, Dick Fosbury ganhou o ouro olímpico no salto em altura não ao saltar mais alto que seus concorrentes, mas ao passar sobre a barra de costas. Todos os demais refinavam a técnica do “straddle”. Melhor forma, mais força, ganhos marginais em uma técnica de décadas. Fosbury mudou a forma do problema. Em duas Olimpíadas, o “straddle” estava praticamente extinto.

Líderes de segurança agora precisam superar uma barra que acabou de se mover, e a maior parte da resposta da indústria até agora tem sido um “straddle” melhor: mais alertas, analistas mais rápidos, SLAs mais rígidos para revisão humana. Isso não funcionará, porque a limitação não é a velocidade dos analistas. Você não pode responder a ataques em velocidade de máquina com triagem em velocidade humana..

O “flop” se parece com isto:

• Pare de tratar a fronteira como o controle. A sandbox de avaliação falhou, o carregador de dataset falhou e o isolamento de pods falhou, cada um cumprindo sua função até que não pôde mais. Projete para o que acontece a seguir. Use credenciais de curta duração. Elimine identidades administrativas compartilhadas. Bloqueie o acesso a serviços de metadados. Acima de tudo, limite o quanto um atacante pode se mover após a primeira falha de controle.
• Mova a detecção de alertas para correlação. Encontrar um evento suspeito já não é suficiente. O trabalho é conectar milhares de eventos aparentemente normais em uma única história de ataque e saber quando essa história é grave o bastante para despertar alguém. Isso precisa ser cada vez mais automatizado, dado o volume que estamos vendo.
• Trate a exposição de terceiros como um caminho de ataque, não como um questionário. Esses incidentes passaram por dependências de terceiros: um produto de fornecedor, um cliente de fornecedor, um parceiro de avaliação, ferramentas de teste compartilhadas. Seu risco agora inclui erros de configuração cometidos por organizações que você nunca auditou e pode nem saber que existem. Avaliações estáticas pontuais não conseguem ver nada disso. Esse problema não é novo. A IA o torna muito mais urgente. As equipes de segurança precisam de uma visão contínua das empresas e tecnologias das quais dependem, porque os atacantes veem todo esse ecossistema como uma superfície conectada.

Na SecurityScorecard, esse é exatamente o tipo de problema em torno do qual nossa cultura foi construída: reunir pessoas profundamente curiosas sobre como os atacantes pensam, dispostas a desafiar suposições de duas décadas e entusiasmadas em construir uma abordagem fundamentalmente diferente para a segurança!

A Pergunta a Levar para sua Próxima Reunião de Diretoria

Eu disse há algumas semanas que o gênio se tornou poderoso demais para a garrafa. Quatro laboratórios depois, nada contradiz isso. Após incidentes como esses, todos fazem a mesma pergunta: Estamos preparados para atacantes habilitados por IA? Não acho que essa pergunta nos leve muito longe. “Sim” e “não” produzem o mesmo resultado: nada muda.

Faça uma pergunta mais difícil. Se 17.000 eventos de baixo sinal atingirem seu ambiente nos próximos quatro dias — e a maioria parecer falhas — quanto tempo sua equipe levaria para perceber que eram um ataque? Alguém seria acionado a tempo?

Você já conhece a resposta. A lacuna entre essa resposta e quatro dias é o trabalho.