Por que a aquisição está se tornando a ferramenta regulatória mais poderosa da IA

Para toda a atenção que está sendo dada à legislação de IA, algumas das regras mais consequentes que regem a tecnologia podem acabar vindo de um lugar realmente inesperado: os departamentos de compras.

Como muitos inícios regulatórios nos Estados Unidos, a Califórnia oferece um exemplo precoce: o estado criou requisitos específicos para a compra de produtos e serviços que utilizam IA generativa. As entidades estaduais devem avaliar o risco associado às aquisições de GenAI, com usos de risco moderado e alto recebendo escrutínio adicional do Departamento de Tecnologia da Califórnia (CDT). As solicitações exigem linguagem de divulgação de GenAI, e os fornecedores podem ter que revelar seu uso da tecnologia mesmo quando a IA é incidental ao produto ou serviço adquirido.

Mais interessante ainda é o que acontece depois que o acordo é concluído. A orientação de aquisição de GenAI da Califórnia estende a supervisão além da compra inicial. Espera‑se que os gerentes de contrato monitorem a tecnologia GenAI ao longo do tempo, pois certas mudanças na tecnologia podem desencadear uma nova avaliação de risco.

Isso altera as coisas para os fornecedores, já que passar pela aquisição não é mais apenas responder a um questionário de segurança e entregar alguma documentação. A governança de IA está começando a fazer parte do preço de entrada para fazer negócios na Califórnia. E, embora essa seja a situação atual na Califórnia, ela frequentemente influencia outros estados quando não há legislação federal em vigor, o que significa que as empresas seriam míopes ao encarar isso como um problema exclusivo de aquisição da Califórnia.

Quando o Comprador Começa a Definir as Regras

Como os departamentos de compras se tornaram o ponto de partida para a governança de IA? Os governos podem passar anos debatendo legislação, mas as regras de aquisição podem ser mais ágeis porque têm um público muito mais imediato: qualquer pessoa que queira o contrato.

Sem uma legislação abrangente de IA, os compradores encontraram outra forma de estabelecer suas próprias expectativas em relação à IA. Eles podem decidir o que precisam saber sobre o uso da tecnologia por um fornecedor, que evidências esperam ver e qual nível de risco estão dispostos a aceitar antes de assinar um contrato. Para compradores de grande porte, particularmente governos e grandes empresas, esses requisitos podem ter peso considerável.

As equipes de aquisição do setor privado têm seus próprios motivos para começar a fazer perguntas sobre onde a IA está sendo usada ou que evidências existem de que há controles adequados em vigor. As empresas já gastam tempo considerável examinando as práticas de segurança e privacidade de seus fornecedores. A introdução da IA adiciona outro conjunto de riscos que os compradores precisam entender cada vez mais antes de entregar seus dados a um fornecedor, colocar sua tecnologia em um processo crítico ou permitir que ela tome decisões que afetem clientes e funcionários.

Seu Risco de IA Pode Pertencer a Outra Pessoa

Um dos aspectos mais importantes da abordagem da Califórnia é que ela reconhece o quão difícil se tornou traçar uma linha clara em torno do uso de IA por uma organização. Seja porque adquiriu sua própria oferta de IA, trabalhe com empresas de consultoria que prestam serviços, ou simplesmente use serviços baseados em nuvem, a IA está incorporada nas organizações ou em suas cadeias de suprimentos.

O processo de aquisição da Califórnia leva isso em conta. Ele abrange compras de TI e não‑TI envolvendo GenAI, incluindo consultores que utilizam a tecnologia, e exige avaliação de risco quando a GenAI é identificada durante a aquisição.

O processo é semelhante ao que as equipes de cibersegurança descobriram ao perceber que proteger apenas seus próprios sistemas não era suficiente se um fornecedor com acesso aos seus dados ou infraestrutura tivesse controles fracos. Essa constatação transformou a cibersegurança de terceiros em uma parte importante da gestão de risco de fornecedores, uma direção que a IA parece estar seguindo também.

Isso também cria um problema incômodo para organizações que construíram programas separados para segurança, privacidade, governança de IA e cada nova obrigação de conformidade que surge. Os riscos não respeitam essas fronteiras organizacionais. Uma aplicação de IA pode gerar questões de privacidade, exposição de segurança e obrigações regulatórias ao mesmo tempo.

Construir outro silo para governá‑la apenas adiciona mais um ponto onde algo pode cair entre as lacunas.

O Problema de Provar Conformidade Uma Vez

Uma complicação adicional a um problema já complexo é que a IA evolui. Modelos são atualizados, fornecedores lançam recursos, funcionários encontram usos para ferramentas que ninguém previu quando foram adquiridas, e os dados mudam. Essa fluidez significa que a regulamentação também precisa mudar.

No entanto, grande parte da atividade de conformidade ainda se baseia em um momento específico. Uma auditoria está chegando, então as evidências são reunidas. Um cliente envia um questionário, então alguém busca as respostas. Um novo requisito surge, e outro projeto de conformidade começa.

Essa abordagem já era trabalhosa, mas com a IA torna‑se cada vez mais difícil de defender. Uma avaliação de risco realizada quando um produto foi adquirido pode ter sido perfeitamente precisa na época, mas estar muito desatualizada um ano depois.

California parece reconhecer isso, pois sua orientação de monitoramento de contratos exige avaliação contínua das entregas de GenAI, incluindo resultados imprecisos, conteúdo fabricado e viés. Alterações ou adições à tecnologia GenAI em contratos que antes exigiam consulta CDT também podem exigir reavaliação.

O NIST AI Risk Management Framework adota uma visão semelhante da gestão de risco de IA, tratando-a como um processo contínuo ao longo do ciclo de vida da IA. Fazer isso exigirá uma mentalidade diferente das organizações acostumadas a se preparar para a próxima auditoria e então respirar aliviados quando ela termina.

Aquisições Querem Evidências, Não Correria

Tem havido muito entusiasmo em torno da conformidade automatizada, particularmente à medida que as empresas tentam acompanhar um número crescente de requisitos de segurança, privacidade e IA. A atração é compreensível, mas o perigo surge quando a eficiência é confundida com a governança.

Concluir um fluxo de trabalho não indica se o risco subjacente mudou. Por exemplo, um fornecedor que não utilizava IA para um determinado serviço há seis meses pode estar usando-a agora. É por isso que a conformidade precisa funcionar mais como um ciclo do que como uma linha de chegada. As organizações precisam saber o que estão governando, verificar se os controles continuam a fazer o que devem fazer e incorporar novos riscos e requisitos ao processo à medida que surgem.

Feito corretamente, isso também torna as aquisições consideravelmente menos dolorosas. Quando um cliente pergunta como a IA é governada, a resposta não está em um documento que alguém escreveu no ano passado para uma auditoria. Existe um conjunto atual e contínuo de evidências que demonstra como os riscos estão sendo gerenciados na prática, o que está se tornando comercialmente importante.

A Califórnia está demonstrando como as aquisições podem transformar princípios de governança de IA em requisitos que os fornecedores realmente precisam atender se quiserem o negócio. Outros compradores do setor público podem fazer o mesmo, enquanto as equipes de aquisições corporativas têm amplo incentivo para fazer perguntas mais difíceis aos seus próprios fornecedores.

As empresas podem acabar descobrindo que a governança de IA não é algo que fazem apenas porque um regulador exige. Elas governarão a IA porque uma equipe de aquisições decidiu exigir que provem isso, o que farão de bom grado para conquistar o negócio.