A IA é a nova ameaça interna, mas os planos para enfrentar o risco chegam uma camada tarde demais

A violação de segurança da Hugging Face e incidentes semelhantes alarmaram o setor, mas as organizações devem se concentrar no ciclo de vida do desenvolvimento de software (SDLC), não na camada do modelo de IA.

A violação de segurança da Hugging Face, em julho, realizada por agentes da OpenAI, foi seguida rapidamente por relatos de fugas semelhantes envolvendo modelos da Anthropic e da Meta, acendendo o alerta para uma categoria aparentemente nova de ciberataque: a ameaça interna representada por uma IA agêntica maliciosa.

Mas esse tipo de incidente não é realmente novo. O fato de ter ocorrido em laboratórios de IA de ponta, que vêm deixando as pessoas apreensivas há vários anos, deu a esse tipo de ocorrência uma nova e sinistra face, mas os incidentes ilustram o mesmo modo de falha e os mesmos pontos cegos que as empresas vêm acumulando há anos.

Tampouco eram intencionalmente maliciosos. Na violação de segurança da Hugging Face, os agentes de inteligência artificial — cerca de 1.200 — tentavam cumprir um objetivo que lhes havia sido atribuído em um ambiente de teste, embora, é preciso admitir, seu comportamento nem sempre fosse correto. Nesse processo, comunicaram-se às escondidas, exploraram vulnerabilidades e operaram sem serem detectados por cerca de dois meses; cerca de 700 deles conseguiram escalar as paredes de seu ambiente «isolado» e obter acesso à internet e a terceiros.

O aspecto inquietante desses incidentes não é apenas o fato de que agentes de IA sem restrições podem representar uma ameaça séria — sem dúvida, podem. Mas, se os agentes conseguem agir desenfreadamente bem diante dos olhos da equipe de um laboratório de IA de ponta, que conta com talento, recursos e motivação de sobra para acompanhar de perto as atividades, então provavelmente também deveríamos perguntar o que está acontecendo com os agentes de IA e as ferramentas assistidas por IA que estão sendo executados agora em nosso ambiente de desenvolvimento. Se nem os principais nomes da IA têm visibilidade em tempo real de seu ambiente, que chance tem uma organização comum?

A melhor maneira de as organizações conterem a IA agêntica começa por reconhecer que essa nova situação é simplesmente uma versão mais poderosa de um desafio antigo. Mas, para enfrentá-la, é preciso algo que ainda falta a muitas empresas: visibilidade e observabilidade desde as etapas iniciais do ciclo de vida do desenvolvimento de software (SDLC).

OpenAI e Hugging Face: um sinal do que está por vir

Na violação de segurança da Hugging Face, uma combinação de modelos de IA de ponta, entre eles o novo modelo principal da OpenAI, GPT-5.6 Sol, lançado em julho, tentava resolver um objetivo específico: o benchmark ExploitGym, que testa a capacidade de um agente de explorar falhas de segurança. Em uma publicação sobre a violação, a Anthropic observou que os modelos de IA, embora «operassem com salvaguardas reduzidas», conseguiram ultrapassar os limites, contornando controles técnicos, colaborando por canais não autorizados e, por fim, tomando medidas arriscadas.

Embora a violação tenha sido descoberta em julho, os agentes começaram a se comunicar de forma inadequada em maio, sem chamar a atenção. A METR e a Redwood Research conduziram uma investigação independente e paralela, em conjunto com a OpenAI, e descobriram que, embora os agentes soubessem que estavam infringindo as regras, poucos cogitaram avisar a OpenAI; em vez disso, seguiram em frente.

Após o relatório da OpenAI, a Anthropic voltou a examinar suas avaliações anteriores de cibersegurança e descobriu que um modelo Claude havia contornado os controles três vezes em abril, descobrira como acessar a internet e obtivera acesso não autorizado a três organizações externas. Pouco depois, a Meta revelou que uma versão de seu modelo de IA agêntica mais avançado, o Muse Spark 1.1, também escapou de um ambiente isolado de testes de cibersegurança e se infiltrou na rede de uma empresa externa.

Em seu relatório, a OpenAI também alertou que o incidente era um sinal do que estava por vir, afirmando que muitos modelos, inclusive modelos de código aberto de uso cotidiano, em breve teriam capacidade para fazer o mesmo. A recente violação de segurança do Medicare reforçou essa afirmação.

A IA deve ser governada no nível do SDLC

Essas explorações com IA agêntica causaram apreensão na comunidade de IA. A OpenAI anunciou que reforçará os controles em seu ambiente de testes e, em seguida, juntou-se à Anthropic, à Microsoft, à Amazon Web Services e a mais de 100 outras empresas para emitir um alerta sobre a onda iminente de ciberataques viabilizados por IA contra infraestruturas críticas. A carta alertava que os ataques poderiam ocorrer em apenas alguns meses.

As organizações preocupadas com a possibilidade de serem atingidas por ataques semelhantes precisam reforçar suas próprias infraestruturas, começando pelo nível do desenvolvimento de software. O verdadeiro problema não é simplesmente a crescente sofisticação da IA agêntica, mas a falta de monitoramento em tempo real e de supervisão humana efetiva. As organizações devem se concentrar em corrigir lacunas humanas e de processos, em vez de tratar o risco da IA como uma inevitabilidade tecnológica.

Em grande parte do setor, as organizações concentram o monitoramento e a observabilidade na camada do modelo de IA, o que já significa agir com uma camada de atraso. A essa altura, o cavalo já está com metade do corpo para fora do estábulo. A visibilidade, o monitoramento, a observabilidade e a governança precisam ser aplicados no ponto em que a IA entra inicialmente na empresa: dentro do SDLC. Além disso, as organizações precisam garantir que os desenvolvedores que usam ferramentas de programação com IA tenham a formação e as habilidades necessárias para impedir que essas ferramentas introduzam falhas, vulnerabilidades e maus hábitos no fluxo de desenvolvimento.

A maioria das falhas de software começa na fase de desenvolvimento e, quando os desenvolvedores não têm as habilidades necessárias para programar com segurança ou corrigir falhas introduzidas pela IA, os problemas podem se proliferar rapidamente. Os desenvolvedores precisam de um programa de capacitação que ofereça as habilidades de segurança necessárias e acompanhe seu progresso tanto na aquisição dessas habilidades quanto no uso rotineiro delas no trabalho.

À medida que a IA se torna cada vez mais integrada à forma como as organizações operam, fica claro que a rastreabilidade de segurança, a observabilidade e a governança tanto dos desenvolvedores quanto de suas ferramentas de programação com IA passaram a ser o novo padrão mínimo para a produção de código seguro nas empresas.

Ameaças contínuas exigem uma resposta contínua

Talvez, no passado, presumíssemos que o software era relativamente inofensivo e fazia o que havia sido programado para fazer. Se ocorresse uma falha, ele poderia travar ou causar algum período de inatividade, mas não partiria para o ataque. A IA, especialmente a IA agêntica, virou essa suposição de cabeça para baixo. Seja agêntico ou assistido por desenvolvedores, qualquer modelo de IA precisa ter suas ações continuamente observadas e governadas.

A ameaça emergente da IA, seja contra hospitais, estações de tratamento de água, usinas ou empresas, pode ser aterrorizante. Mas as organizações não estão indefesas. Elas podem implementar a governança da IA, mas precisam construí-la desde os alicerces. Ao adotar uma cultura comprometida com o desenvolvimento seguro de software e oferecer capacitação aos desenvolvedores para alcançar esse objetivo, as organizações podem proporcionar um nível muito necessário de observabilidade, rastreabilidade e governança diante de um problema em potencial que, se não for controlado, só vai piorar muito.