A Supervisão de IA Tem Três Pontos Cegos — e a Maioria das Empresas Não Está Assistindo Nenhum deles

A maior parte da conversa sobre segurança de IA dentro das empresas está mirada no alvo errado. As equipes gastam semanas discutindo qual modelo usar, depois conectam esse modelo ao seu e-mail, pagamentos, banco de dados de clientes e código, sem parar para fazer uma pergunta muito mais simples: quando essa coisa faz algo, quem está assistindo e pode alguém pará-la?

Os números dizem que isso está prestes a se tornar caro. A Gartner acredita que pelo menos 15% das decisões de trabalho rotineiras serão tomadas autonomamente por IA em 2028, contra quase nenhuma em 2024. Na mesma pesquisa, ela alerta que mais de 40% dos projetos de IA agente serão cancelados até o final de 2027, e um dos motivos que ela dá é o controle de risco fraco. Leia novamente. Os projetos não estão morrendo porque os modelos são ruins. Eles estão morrendo porque ninguém construiu uma forma de governá-los.

Eu construo sistemas de governança para IA para ganhar a vida, então vejo as mesmas lacunas o tempo todo. Existem três delas. A maioria das empresas não está assistindo nenhuma delas adequadamente e muitas não estão assistindo nenhuma.

Os Agentes São os Barulhentos

Todos se preocupam com agentes autônomos e têm razão para isso. Mas a maioria das pessoas se preocupa com a parte errada. O que é perturbador em um agente não é que ele raciocina. É que ele age. Ele não propõe o reembolso; ele paga. Ele não redige o e-mail; ele o envia. Dê a um modelo um conjunto de ferramentas e você lhe deu a capacidade de alcançar sistemas reais e mudar coisas.

Erre isso e o fracasso não é uma frase desajeitada. É dinheiro saindo, ou uma tabela silenciosamente removida de um banco de dados. E há uma aresta mais afiada nisso. A injeção de prompt está bem no topo da lista de riscos da OWASP para aplicações de LLM, e por uma boa razão: alimente um modelo com o texto errado e ele pode ser convencido a fazer algo que ninguém pediu. Quando o modelo só pode falar, é uma nuisance. Quando o modelo pode chamar ferramentas, é um atacante segurando suas chaves de API.

A resposta padrão é registrar tudo o que o agente faz e assistir às trilhas. Fine. Mas uma trilha é uma descrição de algo que já aconteceu. É a filmagem de segurança após o caixa ter sido esvaziado, útil para a investigação, inútil para parar o roubo.

O Silencioso que Ninguém Menciona

O segundo ponto cego nunca aparece em uma slide, porque é chato. É a chamada de API simples. Não um agente, não um framework, apenas um pedaço de código em algum lugar de um serviço que monta um prompt e o dispara em um modelo.

A maioria da IA em produção realmente se parece com isso e é a parte menos governada de toda a pilha, precisamente porque é tão comum. É uma solicitação HTTP enterrada três camadas profundas em algum serviço, escrita por um engenheiro que nunca ouviu falar da sua política de IA e não saberia onde encontrá-la. Essa chamada pode enviar os dados de um cliente para um modelo de terceiros ou disparar uma ação downstream, e nada está verificando se deve, e nada independente está registrando que fez.

O Desordenado São as Pessoas

O terceiro ponto cego é as pessoas, e é por isso que é o pior. Seu pessoal descobriu meses atrás que colar uma tarefa no ChatGPT ou Claude a faz mais rápido, então eles o fazem o dia todo, geralmente de contas pessoais que você não pode ver. Isso não é hipotético. A análise da Cyberhaven sobre o uso real no local de trabalho encontrou que uma parcela real de funcionários colou dados confidenciais da empresa no ChatGPT, muito disso por meio de contas que a empresa não tem visibilidade.

Se você quiser a história de advertência, é a Samsung. Em 2023, ela proibiu a IA gerativa internamente após engenheiros colarem código-fonte proprietário no ChatGPT, três vezes em menos de um mês. Esses não eram atores ruins. Eram bons engenheiros tentando depurar mais rápido. Essa é a armadilha toda: o vazamento parece idêntico à produtividade. E suas ferramentas de perda de dados antigas não o pegarão, porque é uma cópia e cola em uma guia do navegador, não um arquivo saindo do prédio.

Então, o que Realmente Funciona

Alinhe os três e a correção para de ser sobre agentes especificamente e se transforma em uma ideia única: governe o que qualquer IA faz antes que faça, não depois. Algumas coisas que realmente importam, aprendidas principalmente do jeito difícil.

Sente-se à frente da ação, não atrás dela. Isso é o jogo todo, e é por isso que eu continuo insistindo que observabilidade e governança não são a mesma palavra. Um painel que diz a você que um agente moveu £40.000 ontem é um relatório de perda. Algo que pode segurar essa transferência para um humano olhar antes que ela saia é um controle. Se o seu setup só pode dizer a você o que aconteceu, você não tem supervisão. Você tem retrospecto.

Use um ponto de verificação, não um por ferramenta. Agentes, chamadas de API e funcionários colando em um chatbot parecem três problemas separados, então as empresas compram três ferramentas separadas e acabam com três conjuntos de lacunas entre elas. As coisas ruins vivem nas lacunas. Tudo o que a IA faz, de onde vier, deve passar pelo mesmo portão.

Mantenha um registro que a IA não possa reescrever. Se o sistema que faz a coisa também é a única coisa registrando que fez a coisa, você não tem um registro. Você tem um diário que ele é permitido editar. É exatamente onde as regras estão indo. O requisito de registro da Lei de IA da UE, Artigo 12, existe para que o que um sistema de alto risco fez possa ser reconstruído por alguém que não seja o sistema. Na prática, isso significa um registro mantido fora da coisa sendo registrada, um que não possa ser alterado silenciosamente após o fato.

Coloque um humano nas chamadas grandes e irreversíveis. Não tudo, faça isso e você afogará as pessoas em aprovações até que elas carimbem o lote. Mas as chamadas que você não pode tirar de volta, movendo dinheiro, exportando dados, excluindo registros, devem parar e esperar. A Lei de IA da UE já torna a supervisão humana obrigatória para sistemas de alto risco, Artigo 14. A pegadinha digna de lembrar é que a supervisão só conta se a pessoa tiver o tempo e o contexto para realmente dizer não. Uma aprovação que ninguém lê é apenas teatro.

A Verificação Honestamente

Nenhum desses três é um caso de canto. Eles são a forma comum como a maioria das empresas está executando IA agora, silenciosamente, sem muita rede de segurança. As equipes que passarão pelos próximos dois anos sem um incidente feio não serão as que têm os gráficos mais bonitos. Elas serão as que decidiram cedo que tudo o que a IA faz, o agente, a chamada de API, o parágrafo colado, passa por um portão antes que aconteça, não depois.

Se você quiser um teste rápido do seu próprio setup, responda duas perguntas honestamente. Daqueles três pontos, quantos você realmente pode ver? E dos que você pode ver, quantos você pode parar? Para muitas empresas, a resposta honesta para a segunda pergunta é zero. Esse é o número a ser corrigido primeiro.