Governança de IA: Um Problema para a Maioria, uma Vantagem para os Poucos

A IA empresarial está acumulando riscos mais rápido do que qualquer um está contabilizando. Os agentes de IA estão começando a tocar dados de clientes, código de produção e decisões comerciais consequenciais, e na maioria das organizações, eles são governados por controles projetados para uma era muito diferente de tecnologia. Ao mesmo tempo, os suportes externos que as empresas poderiam ter se apoiado estão se tornando mais finos. Os principais laboratórios de IA reduziram os compromissos voluntários de segurança, e a regulação permanece fragmentada em diferentes jurisdições. O fardo da confiança está caindo sobre as empresas que implantam a IA, porque, no final, elas são as que sofrerão os resultados negativos quando e se eles surgirem.

Eu faço trabalhos estratégicos de IA com empresas em quase todas as indústrias, e falo com CEOs e conselhos diariamente. O padrão consistente que vejo é o seguinte: a implantação acelera enquanto a infraestrutura de controle simplesmente não acompanha. O padrão é consistente o suficiente para que eu o considere estrutural, e não uma falha de alguma empresa, e farei uma previsão: não estamos longe de um CEO ter que explicar que um grande erro custou à empresa milhões, e eles culparão a IA. Eu sugeriria educadamente que isso não é uma desculpa.

A boa notícia é que tenho a sorte de ver em primeira mão um punhado de empresas que tratam a governança de forma diferente, e acredito que essas empresas estão construindo uma vantagem de longo prazo que se compõe ao longo do tempo, enquanto as outras que esperam na linha de lado estão em risco de se tornar obsoletas. Entender o que os poucos veem começa com entender para onde a trajetória atual leva.

Nos Direcionamos para um Problema

As implantações atuais são pequenas o suficiente para que a supervisão humana possa absorver o risco. A pesquisa mais recente da Deloitte sobre o Estado da IA nas Empresas descobriu que apenas um quarto das organizações pesquisadas havia movido pelo menos 40% de seus experimentos de IA para a produção. A maioria das empresas ainda está no início da curva, executando uma handful de agentes em casos de uso estreitos com pessoas rastreando cada peça de saída.

A trajetória é o que importa. À medida que as implantações escalam de dois agentes para 20, para 200, para 2.000 e além, a complexidade se compõe. Cada novo agente traz seu próprio comportamento, mais suas interações com todos os sistemas que ele toca e todos os outros agentes com os quais ele trabalha. Em dois agentes, a confiança é fácil: você conhece a equipe e revisa as saídas você mesmo. Em 20, a confiança tem que se tornar um processo, com proprietários definidos, testes e caminhos de escalonamento. Ele ainda pode funcionar, mas está se tornando mais difícil de sustentar. Em 200, a revisão informal se torna teatro, porque nenhuma equipe de liderança pode olhar para tanta atividade. E em 2.000, o ser humano no loop é virtualmente inútil, pois as interações entre agentes, dados e processos comerciais formam uma teia além do que a supervisão manual pode cobrir. Nessa escala, a confiança precisa existir também em escala e estar incorporada na arquitetura técnica da empresa.

O Custo de Esperar

A infraestrutura de confiança ausente também é uma das razões para os retornos desapontadores. Na pesquisa mais recente do CEO da PwC, 56% dos executivos-chefes disseram que a IA não havia produzido nem aumento de receita nem redução de custos no ano passado. Em minha experiência, mesmo os retornos que estão sendo relatados parecem menos convincentes uma vez que você examina a economia subjacente. A maioria das empresas conta as horas economizadas e as chama de retorno sobre o investimento. As horas economizadas se tornam retorno financeiro apenas quando a organização converte essa capacidade em algo mais valioso: maior produção, melhor qualidade, custo evitado, crescimento mais rápido, etc.

Essa conversão requer confiança. Uma organização pode mover o julgamento humano para trabalhos de maior valor apenas quando a liderança confia nos sistemas que estão assumindo o trabalho de menor valor. Ausente essa confiança, as empresas acumulam dívida técnica que não escala, e com o tempo, ela impacta significativamente a produtividade. É o pior de ambos os mundos: gastos aumentados com pouco a mostrar. A confiança é a base sobre a qual esses retornos são acumulados.

O Problema do Elevador

A ligação entre confiança e adoção não é nova, e podemos voltar à metade do século XX para um ponto de referência razoável. Elevadores sem motorista existiam décadas antes de alguém os usar. A tecnologia funcionava, mas os passageiros entravam em um carro, viam não havia operador e saiam. O que mudou não foi o elevador, mas os controles de segurança ao seu redor. Depois de uma greve de operadores em 1945 que fechou prédios de escritórios em Nova York, a indústria projetou a confiança na máquina em si: o botão de parada de emergência, a linha telefônica, portas que se reabriam quando encontravam resistência e uma voz gravada explicando o que fazer. Dentro de uma geração, andar em um elevador sem um ser humano no controle se tornou tão comum que entrar em um elevador com uma pessoa manejando os botões parecia antiquado. A barreira para remover o ser humano do loop nunca foi capacidade. Era confiança, e a indústria resolveu isso construindo controles visíveis e verificáveis na máquina e colocando-os onde todos os passageiros pudessem vê-los.

A IA empresarial está na fase de entrar, sair. As equipes de liderança veem agentes trabalhando sem um ser humano no controle e hesitam, e a hesitação é racional: a maioria das organizações ainda não construiu o equivalente ao botão de parada, à linha telefônica e à porta que não fechará sobre você. As empresas que projetam esses controles em seus sistemas serão as que terão pessoas, clientes e reguladores que entrarão e permanecerão.

Os Fornecedores Podem Carregar Apenas Parte Disso

Muitos líderes esperam que seus fornecedores de IA carreguem o fardo da confiança. Os fornecedores podem fornecer salvaguardas e controles de segurança de nível de modelo, e os bons o fazem. Decidir se uma implantação particular é apropriada para seus dados, obrigações regulatórias, clientes e tolerância ao risco permanece seu trabalho, porque seu fornecedor carece do contexto para fazê-lo. Eles nunca viram suas obrigações e não têm como precificar o que um resultado ruim custa a você.

O compromisso de segurança de um fornecedor cobre seu modelo, não seu uso dele. Ele também não é permanente: como o ano passado mostrou, esses compromissos podem ser revisados ou retirados. As indústrias regulamentadas resolveram essa questão há muito tempo para modelos de terceiros, e o padrão que elas encontraram é o correto: a instituição que implanta o modelo é dona do risco.

O Que os Poucos Estão Fazendo

As empresas que estão se destacando estão fazendo três movimentos:

1. Elas estão construindo a infraestrutura de controle agora, dimensionada para a escala que elas pretendem alcançar, e não para a escala que elas estão, porque os controles têm que existir antes dos agentes que os precisam.
2. Elas estão incorporando a classificação e mitigação de riscos no início do processo de implantação, em vez de como uma porta de revisão no final, para que todos os casos de uso sejam classificados e os controles sejam proporcionais ao risco desde o primeiro dia.
3. E elas estão estabelecendo uma governança independente com autoridade real para verificar se esses sistemas se comportam como pretendido, mantida flexível o suficiente para evoluir com a tecnologia. A independência torna a verificação credível. A flexibilidade a mantém atualizada.

Vale a pena notar que poucos reguladores estabeleceram regras explícitas em torno do uso e supervisão da IA geradora, mas isso não significa que não temos nada para olhar em busca de orientação. Os reguladores têm regras bem estabelecidas para gerenciar modelos tradicionais, e podemos usá-las como um guia. Em abril, o Federal Reserve, OCC e FDIC emitiram orientação revisada sobre risco de modelo refletindo décadas de prática, uma abordagem baseada em princípios que inclui inventários de modelos, controles de risco proporcionais à exposição, validação independente, monitoramento contínuo e responsabilidade empresarial por produtos de fornecedores, e eles orientaram as instituições a aplicar essas mesmas práticas à IA por conta própria. A mensagem é clara: os princípios que funcionam são conhecidos, e as regras formais de IA não estão vindo em breve. As empresas que esperam por clareza regulatória estarão esperando enquanto os poucos agem. É por isso que as indústrias altamente regulamentadas, tão frequentemente descritas como lentas, entram nessa era com uma vantagem. Elas passaram décadas construindo exatamente a maquinaria de confiança que todos os outros agora precisam, e elas não estão esperando permissão para usá-la.

A Pergunta que Importa

A divisão já está se formando. A maioria das empresas trata a governança como um custo: algo absorvido, suportado e minimizado. Os poucos a tratam como a infraestrutura que os permite mover as pessoas para trabalhos de maior valor e escalar com confiança. Cada equipe de liderança está de um lado ou de outro, seja por escolha deliberada ou não, e a lacuna está se compondo silenciosamente à frente da escala que a exporá. Ninguém pensa duas vezes antes de entrar em um elevador hoje, porque a confiança foi construída nele. As empresas que fazem o mesmo para a IA escalarão além de todos que ainda estão decidindo se devem entrar.