Por que o apocalipse é uma distração e qual é o verdadeiro risco da IA que deveria nos preocupar

Se você acompanha notícias, é difícil ignorar o alarmismo crescente em torno do setor de IA e dos alertas apocalípticos. A narrativa que alerta para o «risco existencial» que os sistemas de IA representam para a humanidade facilitou muito que empresas de cibersegurança embarcassem nessa onda e usassem o medo para vender. No entanto, concentrar-se no «apocalipse» é um equívoco, pois isso desvia a atenção dos riscos mais imediatos que a IA agêntica representa hoje para as organizações.

É claro que os agentes de IA que atuam sem se submeter aos controles de uma organização representam riscos evidentes. Recentemente, reportagens da Austrália e dos Estados Unidos constataram que agentes de IA da OpenAI haviam ultrapassado os limites de suas tarefas em sistemas governamentais dos dois países.

Ainda assim, a ameaça de cenários apocalípticos provocados pela IA é exagerada. Em vez de se fixarem em hipóteses, as organizações precisam encarar essa nova realidade e garantir a adoção de salvaguardas determinísticas para assegurar a resiliência operacional.

A internet não tem um único botão de desligar

Quem acredita na narrativa apocalíptica pensa que, à medida que a IA se torna mais sofisticada e amplia seu alcance, ela poderia se transformar em um «interruptor da morte» concentrado: um único ponto vulnerável, cujo controle total poderia ser tomado por alguém para desencadear uma catástrofe.

No entanto, a internet é muito mais distribuída e diversificada do que pressupõe a teoria do interruptor da morte. Ela funciona como uma «rede de redes», composta por bilhões de componentes organizados em diferentes arquiteturas e protegidos por inúmeras equipes de operação, que trabalham com padrões e ferramentas distintos. Por isso, não há um único interruptor que alguém, humano ou máquina, possa acionar — nem uma única vulnerabilidade ou cadeia de vulnerabilidades que possa ser explorada com consequências tão catastróficas.

A ideia de que a IA poderia criar e disseminar um patógeno desenvolvido artificialmente ou invadir sistemas nucleares isolados de redes pode render uma experiência cinematográfica envolvente. Ainda assim, está longe de ser um cenário plausível para uma avaliação operacional de ameaças.

Fora de vista, fora de controle

À medida que a IA agêntica continua a evoluir, dois fatores mudaram fundamentalmente a natureza dos riscos empresariais.

Por um lado, a IA já pode ajudar agentes mal-intencionados a encontrar e explorar vulnerabilidades cibernéticas em minutos, em vez de meses. Quando as defesas probabilísticas baseadas em IA identificam uma atividade suspeita, muitas vezes já é tarde demais para responder à ameaça. Como se baseiam em probabilidades estatísticas, e não em regras fixas, até as melhores deixarão passar algumas atividades maliciosas, e basta que um atacante consiga escapar à detecção uma única vez

Por outro lado, o uso de «IA sombra» pelos funcionários tornou muito mais difícil saber o que precisa ser protegido. Uma impressionante 82% das organizações entrevistadas pela Cloud Security Alliance descobriram, no último ano, agentes de IA em execução que as equipes de segurança ou de TI desconheciam, embora 68% tenham relatado alta confiança na visibilidade que tinham desses agentes. Separadamente, a EY constatou que um quarto das grandes empresas dos Estados Unidos que usam IA agêntica admitiu não conseguir detectar agentes não autorizados operando dentro da empresa.

Naturalmente, as duas mudanças exercem uma pressão operacional considerável sobre os sistemas empresariais. Juntas, deixam as organizações em grande desvantagem: elas demoram demais para identificar e corrigir vulnerabilidades expostas e não conseguem enxergar quais sistemas estão expostos em primeiro lugar.

Controlar o que está ao nosso alcance

As organizações precisam manter um inventário atualizado de todos os agentes que operam na empresa, autorizados ou não, identificando um responsável por cada um e definindo claramente o escopo do que ele pode acessar e fazer. Esse é o primeiro passo para controlar o que está ao nosso alcance, pois, embora os modelos de IA possam ser probabilísticos, os controles estabelecidos para eles podem ser determinísticos, fixos e claramente definidos.

Na prática, isso significa que, sempre que um agente propuser uma ação, uma camada de aplicação de controles separada e independente do próprio modelo deverá verificar se a ação é permitida e manter um registro de auditoria. No entanto, apenas 11% das organizações bloqueiam automaticamente a ação de um agente quando ela ultrapassa o escopo definido; a maioria depende de aprovação humana ou simplesmente registra a ação. O incidente na Austrália mostra o custo de confiar que o sistema-alvo dirá não: quando teve o acesso negado, o agente encontrou outra forma de entrar. A arquitetura de governança mais ampla também precisa ser capaz de identificar, autorizar e verificar continuamente todos os agentes, a fim de evitar que riscos operacionais imprevistos se concretizem. Tudo isso precisa acontecer com rapidez, pois, diante de ataques que avançam à velocidade das máquinas, as regras também precisam acompanhar esse ritmo.

Do medo hipotético a soluções práticas

Por mais convincente que seja, a enxurrada de notícias apocalípticas provocada por sistemas de IA autônomos está muito distante da realidade. O risco que merece preocupação é bem mais banal do que uma IA que decide nos destruir: um agente que age dentro da sua empresa mais rápido do que qualquer pessoa consegue perceber, com permissões que ninguém lhe concedeu.

Os problemas de velocidade e visibilidade podem ser resolvidos, desde que os sistemas de segurança que regem a IA sejam determinísticos e consigam verificar e acompanhar com precisão cada agente à velocidade com que ele opera.

Para os conselhos de administração e os líderes de segurança, isso se resume a três perguntas práticas: sabemos quais agentes estão em execução no nosso ambiente? Cada um tem um responsável e limites definidos? Conseguimos impedir uma ação não autorizada antes que seja executada? Ajudar os clientes a preencher essas lacunas práticas é uma forma de os fornecedores de cibersegurança contribuírem muito mais para a resiliência do que vendendo o medo de futuros hipotéticos.