Quem tem o direito de auditar IA de fronteira? A definição ausente no Acordo da Casa Branca

Esta semana, líderes da Google, OpenAI, Anthropic, Meta, xAI e Nvidia assinaram o Acordo da Casa Branca sobre Superinteligência. As empresas se comprometeram a quatro camadas de supervisão para modelos de fronteira: controles internos, uma equipe interna que os verifica, um auditor ou avaliador externo independente e um comitê de diretoria independente. Os compromissos são voluntários por enquanto, e o acordo diz que podem eventualmente ser incorporados à lei.

Das quatro camadas, a avaliação externa tem o maior peso. É a única camada que coloca alguém fora da empresa em posição de dizer se as salvaguardas funcionam. Também é a que tem menos definição. O acordo não especifica quem se qualifica como avaliador independente, contra qual padrão eles avaliam, quanta acesso recebem ou como a independência se mantém quando um avaliador também vende serviços à empresa que avalia. Cada empresa escolhe seu próprio avaliador.

Nos termos desses acordos, duas empresas podem anunciar que passaram por uma avaliação independente e significar coisas muito diferentes. Fechar essa lacuna exigirá respostas a três perguntas.

O que deve decidir quem se qualifica

Uma definição credível de um avaliador independente de IA precisa abranger ao menos quatro aspectos.

Independência. Um avaliador não deve revisar salvaguardas que ajudou a projetar, nem vender serviços de remediação ou consultoria para a mesma empresa que avalia. Campos de auditoria maduros também monitoram a dependência de honorários. Quando um cliente representa uma grande parte da receita de um avaliador, este tem um motivo para ser indulgente.

Competência adequada ao trabalho. “Auditoria” abrange várias atividades diferentes em IA. Testar um modelo quanto a capacidades perigosas, como ajudar em um ciberataque ou em uma arma biológica, requer pesquisadores de aprendizado de máquina e especialistas de domínio. Verificar se as salvaguardas de uma empresa são bem projetadas e funcionam na prática requer auditores de controles experientes. Um avaliador qualificado para uma não está automaticamente qualificado para a outra, e o relatório de avaliação deve indicar qual foi realizada.

Acesso e escopo. Um avaliador que vê apenas a documentação pode confirmar que uma salvaguarda existe no papel. Confirmar que ela funcionou requer acesso a sistemas, logs, registros de aprovação e pessoas ao longo de um período de tempo. Modelos de fronteira mudam entre execuções de treinamento e implantações, portanto o avaliador também precisa de uma regra clara para quando uma mudança exige uma nova revisão.

Supervisão do avaliador. Alguém tem que checar quem checa. Nos mercados de auditoria estabelecidos, órgãos de acreditação revisam o trabalho dos avaliadores e podem retirar sua credibilidade quando ele é insuficiente. Essa salvaguarda é o que confere peso às conclusões de uma avaliação.

A infraestrutura que já existe

 Nada disso precisa ser inventado do zero. ISO 42001, a norma internacional para sistemas de gestão de IA, oferece às organizações uma estrutura para governar a IA, com controles documentados, responsáveis claros e melhoria contínua. Sua norma complementar, ISO 42006, estabelece requisitos para os órgãos que auditam e certificam de acordo com a ISO 42001, incluindo a competência que os auditores devem demonstrar e as regras de imparcialidade que devem seguir. Como os organismos de certificação operam sob acreditação, uma terceira parte supervisiona os próprios auditores.

Do lado dos testes técnicos, estruturas mais recentes estão preenchendo lacunas. AIUC-1 certifica agentes de IA específicos em implantações específicas, com testes recorrentes de terceiros para problemas como alucinações, jailbreaks e uso inseguro de ferramentas, e baseia-se nos controles da ISO 42001.

Os estados também estão testando modelos para supervisionar avaliadores diretamente. Connecticut aprovou uma lei este ano criando um programa piloto, com início em julho de 2027, no qual o Departamento de Proteção ao Consumidor do estado aprovará até cinco organizações independentes de verificação. Cada uma deve celebrar um acordo supervisionado pelo estado que define seu escopo, métodos, obrigações de relatório e governança. Essa estrutura responde a várias das questões em aberto do acordo: quem aprova os avaliadores, a que eles são submetidos e quem os supervisiona.

Essas peças não foram criadas para a avaliação de modelos de fronteira, e não devem ser apresentadas como uma resposta completa. O trabalho futuro consiste em conectá-las, de modo que a garantia do sistema de gestão, os testes técnicos de modelo e a supervisão do avaliador se integrem sob uma definição credível de independência.

Por que as regras precisam vir primeiro

Os compromissos do acordo são voluntários hoje. Se se tornarem lei, as regras sobre quem pode atuar como avaliador precisam estar em vigor antes que o mandato entre em efeito, por três razões.

Primeiro, a prática precoce torna-se precedente. Quando os signatários começam a nomear avaliadores e publicar resultados, o mercado se estabilizará em definições operacionais de “independente” e “qualificado”. Definições estabelecidas sem pressão externa tendem a favorecer a conveniência. Legisladores que chegarem depois encontrarão essas definições já incorporadas em contratos e expectativas.

Em segundo lugar, a capacidade qualificada leva tempo para ser construída. Credenciar órgãos de avaliação, treinar avaliadores que compreendam tanto os modelos de fronteira quanto os testes de controles, e desenvolver métodos compartilhados levam anos. Uma exigência que chegue antes que essa capacidade exista será atendida por quem estiver disponível.

Em terceiro lugar, uma exigência sem um mercado de avaliadores qualificados por trás dela gera mera verificação de caixas. As empresas cumprirão a letra da regra, os reguladores terão pouca base para contestar avaliações fracas, e o público terá a aparência de supervisão sem muito conteúdo.

Alguns argumentam que ainda é cedo para estabelecer essas regras porque a ciência de avaliar modelos de fronteira ainda é incipiente. Essa é uma preocupação válida sobre os métodos de teste, que devem continuar evoluindo à medida que os modelos evoluem. As questões levantadas aqui dizem respeito ao avaliador: se ele está livre de conflitos, qualificado para o cargo, tem acesso suficiente e está sujeito a supervisão. Essas perguntas têm respostas estáveis, e outras áreas de garantia as respondem há décadas.

O que as organizações podem fazer agora

Empresas que desenvolvem ou implantam IA avançada não precisam esperar por uma exigência. Ao escolher um avaliador, podem perguntar quais outros serviços a empresa oferece a elas, quais qualificações sua equipe possui para o tipo específico de avaliação, quanto acesso o engajamento inclui e quem supervisiona o trabalho da empresa. Construir agora um sistema de gestão de IA também fornece a qualquer avaliador futuro algo concreto e documentado para avaliar.

O acordo estabelece uma estrutura sólida para a responsabilidade em IA. Seu valor dependerá de quem ocupa o papel de avaliador e de quais critérios são aplicados a ele, e o tempo para definir isso é antes que alguém seja obrigado a utilizá-lo.