Humanos se seguram por tudo que têm enquanto a IA acelera a entrega de software

Durante a maior parte da história do desenvolvimento de software, as pessoas foram o controle. Um desenvolvedor faz uma alteração, outra pessoa a revisa, alguém a aprova e, finalmente, ela é implantada.

A IA está acelerando todo esse sistema enquanto ainda tentamos manter as pessoas no centro dele. Os desenvolvedores agora podem criar código e alterações em segundos. Os agentes podem operar em repositórios, ferramentas, infraestrutura e outros sistemas com menos intervenção humana.

Nosso instinto é reintegrar os humanos ao processo. Revisamos o pull request, aprovamos a chamada da ferramenta, verificamos a alteração e confirmamos a implantação porque queremos garantir que a IA não fez algo que não deveria ter feito. Estamos nos segurando por tudo que temos.

Esse instinto faz sentido. A revisão humana nos deu um meio de manter o controle à medida que o software avança para a produção. Mas a IA está começando a operar a uma velocidade e volume nos quais os humanos não podem permanecer como a unidade de escala para a governança.

A IA já está se movendo mais rápido que a revisão humana

A primeira onda de IA generativa no desenvolvimento de software concentrou‑se principalmente em ajudar os desenvolvedores a escrever código mais rápido. Isso por si só altera a entrega de software. Mais código significa mais alterações de aplicativos, de infraestrutura e de banco de dados passando por testes, segurança, revisão, implantação e produção.

O problema não é necessariamente que a IA crie alterações de pior qualidade. Ela cria mais alterações, mais rápido. Se o controle de todo esse novo volume depender de outra pessoa revisando cada mudança, eventualmente a conta deixa de funcionar.

Já estamos vendo sinais disso. A Anthropic relatou recentemente que usuários do Claude Code aprovam cerca de 93 % dos prompts de permissão. A empresa constatou que prompts repetidos podem gerar fadiga de aprovação, com as pessoas prestando menos atenção à medida que o número de aprovações aumenta. A Anthropic agora está usando um classificador automatizado para avaliar ações e impedir aquelas potencialmente perigosas, em vez de pedir a uma pessoa que aprove tudo.

Pense no que isso indica sobre a supervisão humana. Se alguém clica em aprovar 93 % das vezes, adicionar outra aprovação não fornece necessariamente mais controle. Em algum ponto, o humano se torna mais um passo no fluxo de trabalho.

Podemos usar IA para criar mais software. Não podemos responder criando uma operação de revisão humana igualmente grande por trás disso.

A IA está passando de criar código para agir

Assistentes de codificação deram à IA um papel no desenvolvimento. Os agentes dão à IA a capacidade de participar de muito mais do ciclo de vida de desenvolvimento de software (SDLC). Um agente pode receber um objetivo, decidir como realizá‑lo, usar ferramentas, observar os resultados e ajustar o que faz a seguir.

Na engenharia de software, isso pode significar modificar arquivos, executar comandos, interagir com repositórios, chamar APIs, testar código ou trabalhar com infraestrutura. As pessoas também estão ficando mais à vontade em deixar os agentes trabalhar por conta própria. Em um estudo de milhões de interações humano‑agente, Anthropic descobriu que usuários experientes do Claude Code usaram aprovação automática completa em mais de 40 % das sessões, aproximadamente o dobro da taxa de usuários novos.

Isso não significa que agentes autônomos estejam operando ambientes de produção em todos os lugares hoje. Não estão. Mas o desenvolvimento de software nos oferece um vislumbre precoce de para onde isso está caminhando.

Hoje, a IA gera mais mudanças, e a revisão humana começa a ficar sobrecarregada. Em seguida, a IA participará de mais partes do SDLC. Eventualmente, os agentes criarão, validarão, implantarão, observarão e remediarão mudanças com muito menos intervenção humana.

Em cada etapa, estamos eliminando mais um ponto onde uma pessoa fornecia controle. A questão muda de se a IA pode fazer o trabalho para o que a IA deve ser autorizada a fazer por conta própria.

Permissão não é autoridade

Os agentes precisam de acesso para realizar trabalho útil. Um agente que auxilia na implantação de software pode precisar de acesso a um repositório, sistema CI/CD, ambiente de nuvem ou banco de dados. Se retirar esse acesso, você também retira grande parte do que torna o agente útil.

Mas acesso e autoridade não são a mesma coisa. Conceder a um agente permissão para acessar um sistema não significa que ele deva ter autoridade para executar todas as ações disponíveis dentro desse sistema.

O controle de acesso tradicional pode nos dizer se um agente tem permissão para alcançar algo. Também precisamos de um meio de determinar se a ação específica que ele deseja executar deve acontecer. Isso se torna ainda mais importante quando o sistema que toma a decisão pode interpretar uma tarefa de forma diferente da pessoa que a atribuiu, encontrar um obstáculo e escolher outro caminho, ou usar uma ferramenta legítima de maneira que ninguém previu.

A OWASP descreve uma versão desse problema como Agência Excessiva. Ela aponta para funcionalidades, permissões e autonomia excessivas como causas de ações prejudiciais e recomenda aprovação independente para ações de alto impacto.

A NVIDIA está abordando o mesmo problema no nível de arquitetura. Sua Open Agent Safety Platform coloca a aplicação de políticas fora do agente e demonstra um ponto simples: não se pode esperar que um agente governe totalmente seu próprio comportamento.

Isso deve moldar como construímos o SDLC de IA. Um agente pode precisar de permissão para acessar um banco de dados, ambiente de infraestrutura ou sistema de implantação. Isso não significa que o agente deva decidir por conta própria que toda mudança que deseja fazer é segura.

A IA toma decisões com base em probabilidades. Não devemos permitir que cada uma dessas decisões se torne automaticamente uma ação contra um sistema crítico.

Humano no Loop Não Pode Ser a Resposta Completa

A resposta óbvia é manter uma pessoa à frente das ações de IA com consequências. Para algumas decisões, isso é exatamente o que devemos fazer. O erro é transformar “humano no loop” na solução para todas as decisões.

Se cada ação que um agente realiza exigir que alguém a revise e clique em aprovar, recriamos o gargalo que a IA deveria eliminar. Pior ainda, aprovações em excesso podem transformar a supervisão em um hábito. Uma pessoa clicando em aprovar o dia todo não está necessariamente exercendo julgamento.

Precisamos ser mais deliberados sobre onde as decisões ocorrem. A IA pode tomar decisões dentro da tarefa que lhe atribuímos. As políticas podem lidar com decisões cujas regras já são conhecidas. As pessoas podem lidar com exceções e decisões que realmente exigem julgamento.

Uma mudança de baixo risco que atende à política estabelecida não deve exigir que alguém a observe. Uma mudança que viola a política deve ser interrompida automaticamente. Uma exceção com consequências significativas para o negócio, segurança ou operação pode precisar de uma pessoa para tomar a decisão.

Esse é um modelo muito diferente de simplesmente colocar um humano em cada loop. O objetivo não é eliminar os humanos. É parar de fazer da atenção humana o elemento do qual toda ação depende e tornar o caminho governado o caminho mais fácil.

Coloque o Controle Onde a Ação Ocorre

As empresas não vão padronizar um único modelo de IA ou um único agente. Os desenvolvedores usarão copilotos diferentes. As equipes experimentarão modelos distintos. A IA aparecerá dentro de ferramentas de desenvolvimento, produtos de segurança, plataformas de dados e aplicações internas.

Tentar construir um processo de governança diferente para cada ferramenta de IA não será escalável. O controle precisa estar mais próximo da ação que a IA deseja executar.

Se uma mudança gerada por IA entrar em um pipeline de implantação, ela deve enfrentar as mesmas políticas que uma mudança gerada por humanos. Se um agente quiser modificar a infraestrutura, os dados ou um banco de dados de produção, os controles sobre esse sistema não devem desaparecer porque o agente mudou.

A origem da mudança não determina o risco. A própria mudança o faz. Um desenvolvedor, assistente de codificação, processo automatizado ou agente autônomo pode seguir um caminho diferente para a mesma ação, mas essa ação ainda pode enfrentar a mesma política antes de se tornar consequente.

Isso também permite que a tecnologia evolua sem forçar as empresas a reconstruir a governança a cada mudança. Os modelos mudarão. Os agentes se tornarão mais capazes. Os controles sobre sistemas críticos podem permanecer consistentes.

A NIST adota uma abordagem baseada em risco semelhante em seu AI Risk Management Framework, que trata a governança como algo que deve operar ao longo do ciclo de vida da IA, em vez de como uma única aprovação ao final. Para a entrega de software, isso significa inserir controles no caminho que a IA já percorre, em vez de acrescentar outro processo manual a ele.

Quando o Humano Sai, a Evidência Não Pode Ir com Ele

Há outro problema oculto no modelo de revisão humana. Quando você remove a pessoa do processo, não perde apenas a revisão. Também pode perder a pessoa que ajudou a comprovar que a revisão ocorreu.

Isso se torna um problema sério para empresas com requisitos de segurança, conformidade e auditoria. Elas ainda precisam saber o que mudou, quem ou o que iniciou a mudança, qual política foi aplicada, se ela foi aprovada, quem aprovou uma exceção, onde a mudança foi executada e o que aconteceu depois.

Você não pode automatizar a mudança e deixar a evidência manual. Em um processo conduzido por humanos, as equipes podem reconstruir a evidência posteriormente a partir de tickets, aprovações, logs de pipeline, capturas de tela e conversas. Essa abordagem se torna mais difícil à medida que o volume de mudanças cresce e se torna irrealista quando máquinas criam e executam mudanças continuamente.

A evidência precisa fazer parte do processo de entrega. Decisões de política, aprovações, exceções, implantações e resultados devem gerar registros à medida que o trabalho ocorre. A evidência de auditoria torna‑se um subproduto da entrega de software, em vez de algo que as equipes montam depois.

Isso deixa duas funções distintas para a governança em um SDLC orientado por IA. Antes de uma ação, determine se ela deve acontecer. Depois da ação, comprove o que ocorreu.

Os Humanos Não Vão Desaparecer. Nosso Trabalho Está Mudando.

É compreensível ter a tendência de medir o controle pelo número de vezes que uma pessoa se envolve. Mais revisões parecem mais seguras. Mais aprovações parecem mais seguras. Manter um humano em cada loop parece mais seguro.

A IA vai testar essa suposição. Se a IA continuar aumentando a quantidade de software que podemos criar, os humanos não conseguirão revisar cada mudança, aprovar cada ação, monitorar cada implantação e reconstruir cada decisão depois. Tentar fazer isso ou desacelerará a IA ou transformará a supervisão humana em um mero carimbo.

O ciclo de vida de desenvolvimento de software com IA (AI SDLC) requer uma divisão de trabalho diferente. A IA pode assumir mais tarefas enquanto a política regula decisões repetíveis e as pessoas intervêm quando algo realmente exige julgamento. As evidências devem ser geradas automaticamente ao longo do processo.

Vamos conceder mais acesso à IA porque é assim que ela se torna útil. Vamos dar mais autonomia aos agentes porque é assim que extraímos mais valor deles. O desafio é garantir que maior acesso e autonomia não se transformem silenciosamente em autoridade ilimitada.

Os humanos não precisam se segurar ainda mais. O objetivo não é menos controle. É um modelo de controle que não depende de nós segurarmos cada decisão. Precisamos criar os mecanismos que nos permitam afrouxar a mão sem perder o controle.