O setor de IA quer nossa confiança, mas primeiro precisa de controles melhores

Em segurança, não esperamos que algo dê errado para descobrir se nossos controles funcionam. Nós os testamos. Nós os colocamos à prova. Partimos do princípio de que alguém acabará encontrando a falha que deixamos passar.

Esse é o básico da segurança.

Então por que a IA de ponta deveria seguir um padrão diferente?

À medida que os sistemas de IA se tornam mais autônomos e passam a ter maior acesso a sistemas do mundo real, vemos algo que deveria preocupar qualquer pessoa com experiência na área defensiva da cibersegurança: as capacidades avançam mais rápido que os controles.

E a velocidade não é desculpa para uma segurança mais fraca. É justamente por isso que precisamos de uma segurança mais robusta.

Uma avaliação recente da organização sem fins lucrativos Guidelight AI analisou evidências disponíveis publicamente sobre práticas de controle de IA na Anthropic, no Google, na Meta, na OpenAI e na xAI. Nenhuma obteve nota geral superior a C+.

Isso não significa que essas empresas sejam imprudentes. Tampouco significa que controles adicionais não estejam em funcionamento a portas fechadas.

Mas a segurança não se baseia em suposições. Se esperam que confiemos em sistemas cada vez mais poderosos, devemos exigir evidências de que os controles que os cercam resistem ao mesmo nível de escrutínio que exigiríamos em qualquer outro contexto.

Deixemos de tratar falhas como histórias interessantes

Quando um agente de IA se comporta de forma inesperada, obtém acesso não previsto ou expõe uma vulnerabilidade, a história costuma se concentrar no que a tecnologia fez.

Isso é interessante.

Mas essa não é a pergunta mais importante.

Quem trabalha com segurança quer saber: a atividade foi registrada? Alguém percebeu o que estava acontecendo? As ações perigosas estavam sujeitas a controles? Alguém poderia parar o sistema? Havia um plano de contenção, e alguém já o havia testado?

Essas perguntas não são exclusivas da IA. Fazemos as mesmas perguntas na cibersegurança há anos.

Ainda assim, a prevenção e a contenção parecem continuar sendo pontos fracos no ambiente emergente de controle da IA de ponta. As evidências públicas sobre ações sujeitas a controles, mecanismos de interrupção e contenção de emergência continuam limitadas.

Isso deveria importar mais do que o caráter inédito do incidente. Quando algo falha, quero saber o que falhou, o que impediu que a situação piorasse e o que mudou depois.

A transparência é útil. Aprender é melhor.

O verdadeiro problema de segurança da IA é a velocidade

Não acho que a maior ameaça no curto prazo seja a IA inventar de repente uma categoria inteiramente nova de ciberataque. O problema maior é muito mais prático. A IA pode fazer com que ataques que já conhecemos ocorram muito mais rápido.

Pesquisas que antes levavam horas podem ser feitas em minutos. Técnicas de ataque podem ser combinadas mais rapidamente. Vulnerabilidades podem ser identificadas e exploradas antes que um processo de segurança centrado em pessoas chegue à sua primeira ligação de escalonamento.

Isso é um problema porque grande parte da infraestrutura de segurança atual ainda pressupõe que haverá tempo para responder.

Às vezes, não haverá.

Se um ataque se desenrolar rapidamente, um processo de resposta baseado em chamados, reuniões, aprovações e escalonamento manual pode se tornar obsoleto antes que alguém chegue à terceira etapa.

E é aí que o setor de IA tem trabalho a fazer.

Se os laboratórios de IA de ponta esperam que as empresas repensem a visibilidade, a gestão de vulnerabilidades, a arquitetura e a resposta a incidentes para a era da IA, eles deveriam mostrar que fizeram o mesmo por conta própria.

“Confie em nós” não é uma estrutura de controle

Passei minha carreira trabalhando com testes de segurança, e um princípio continua se mostrando válido: boas intenções não comprovam segurança. As evidências, sim.

• Você testa.
• Você monitora.
• Você tenta fazer as coisas falharem.

Você descobre o que acontece quando os controles não se comportam como deveriam, segundo o diagrama de arquitetura. E garante que alguém tenha autoridade para interromper o sistema quando necessário. A IA de ponta deve estar sujeita ao mesmo padrão.

Isso significa testar os controles de forma adversarial, reunir evidências mensuráveis de que funcionam e estabelecer claramente quem tem autoridade para desligar os sistemas quando algo dá errado.

Também significa repensar a contenção.

Os laboratórios de IA de ponta não podem improvisar medidas de contenção depois que um agente de IA ultrapassa os limites para os quais foi projetado. Ao treinar e testar modelos cada vez mais capazes, eles precisam assumir a responsabilidade pelas ações que esses sistemas podem executar. Isso exige testes adversariais rigorosos, salvaguardas autorizadas previamente, limites claros para a autoridade dos agentes e meios comprovados de intervir ou desligar um sistema antes que uma falha se propague.

O julgamento humano continua sendo importante. Mas os laboratórios que desenvolvem esses sistemas precisam estabelecer os limites, testar se eles se mantêm e assumir a responsabilidade quando isso não acontece.

A responsabilidade deles não é simplesmente demonstrar o que um agente pode fazer. É mostrar que o agente pode operar com segurança, que seu comportamento pode ser controlado e que as novas capacidades tornam o mundo mais seguro, não menos.

A confiança precisa ser conquistada

Não estou defendendo que desaceleremos a inovação em IA até quase paralisá-la. Defendo que a segurança precisa acompanhar seu ritmo. Se investimos recursos enormes para tornar a IA mais capaz, precisamos dedicar a mesma urgência a garantir que ela possa ser defendida.

Mas, à medida que os laboratórios de ponta aceleram o treinamento e os testes de novos modelos de IA com capacidades cibernéticas, precisam ter em mente quem os defenderá. Em primeiro lugar, ajudando essas pessoas a detectar ameaças e reagir a elas mais rapidamente. Mais importante ainda, impedindo que esses sistemas se tornem ameaças por conta própria. Essa responsabilidade também exige aceitar o escrutínio externo.

A avaliação independente não pode se tornar algo que as empresas aceitam apenas quando respalda a narrativa que querem apresentar. Se os sistemas de IA de ponta são poderosos o bastante para mudar o cenário de ameaças, seus controles devem ser robustos o suficiente para resistir a testes independentes rigorosos.

A indústria de IA quer a nossa confiança.

Como profissional de segurança, estou disposto a concedê-la. Mas, antes, mostrem-me os controles.