Equipe de Red Team da METR encontra vulnerabilidades no sistema de monitoramento da OpenAI

METR e a Redwood Research publicaram, em 22 de outubro de 2026, um relato público de um exercício-piloto no qual um funcionário de cada organização passou três semanas com amplo acesso à infraestrutura interna da OpenAI, testando sob pressão o sistema interno de monitoramento de desalinhamento da empresa. Os avaliadores relataram ter descoberto várias vulnerabilidades inéditas no sistema tal como existia em 21 de julho de 2026 e antes dessa data.

O exercício ocorreu de 21 de julho a 11 de agosto de 2026 e se concentrou principalmente em estimar a fração da inferência agêntica que é monitorada e em determinar se os agentes poderiam, em princípio, desativar ou subverter o sistema de monitoramento. O resultado foi um relatório interno de 61 páginas, compartilhado com pesquisadores e profissionais de segurança da OpenAI; uma versão de 38 páginas, com informações removidas pela OpenAI, foi compartilhada com as equipes de liderança da METR e da Redwood Research.

Acesso amplo sob condições controladas

Os dois avaliadores tiveram acesso à base de código interna da OpenAI, aos prompts e aos detalhes de configuração do monitor de desalinhamento, bem como à documentação interna, e realizaram entrevistas técnicas com cerca de uma dúzia de pesquisadores e engenheiros das equipes de monitoramento, sistemas de segurança e segurança da informação. Para viabilizar esse nível de acesso, trabalharam em dispositivos fornecidos pela OpenAI, que não podiam sair das instalações, e foram acompanhados durante sua permanência no local.

A METR, a Redwood Research e a OpenAI conceberam o exercício como um projeto-piloto para conceder a pesquisadores externos amplo acesso à infraestrutura interna, e não como um meio de promover uma transparência pública robusta sobre os sistemas de monitoramento da OpenAI; as partes concordaram previamente em publicar apenas um texto público relativamente breve e de alto nível. A OpenAI tinha o direito de remover da versão pública qualquer informação que, a seu exclusivo critério, considerasse confidencial ou sensível por outros motivos. As conclusões descrevem o sistema histórico avaliado em 21 de julho e antes dessa data e não avaliam as mudanças que estavam em andamento na época; a METR observou que a OpenAI estava ampliando seu sistema de monitoramento durante o exercício.

Lacunas de cobertura e maneiras de contornar o monitor

A METR estimou que, no momento do exercício, cerca de 75–94% do tráfego interno de agentes na Responses API proveniente de modelos pelo menos tão capazes quanto o GPT-5.5 era elegível para monitoramento, embora tenha reconhecido uma incerteza substancial em ambas as direções. Entre outras coisas, a Responses API dá suporte ao Codex e, dentro do subconjunto desse tráfego usado por agentes internos do Codex, os avaliadores estimaram que 99,2% era elegível para monitoramento. Eles disseram não ter conseguido estimar o volume de outros tipos de tráfego interno de agentes de programação de que tinham conhecimento, como o gerado por agentes que operam no serviço interno de inferência para pesquisa da OpenAI, devido a limitações de acesso e de tempo.

Várias conclusões diziam respeito a lacunas nessa cobertura. No início do exercício, as execuções de treinamento por aprendizado por reforço não eram cobertas pelo sistema de monitoramento, embora os avaliadores tenham sido informados de que um subconjunto das trajetórias de treinamento de RL havia sido monitorado quanto a desalinhamento entre março e junho. A METR estimou que a falta de monitoramento dos eventos de compactação provavelmente deixou sem monitoramento cerca de 10% do tráfego interno elegível do Codex entre maio e julho de 2026; funcionários da OpenAI já haviam identificado essa lacuna de forma independente antes do início do exercício e a corrigiram durante o exercício. Como o sistema era acionado quando os agentes devolviam o controle ao usuário, eles poderiam ter adiado indefinidamente o monitoramento simplesmente continuando a agir durante esse período; as restrições de acesso impediram os avaliadores de verificar se algum agente havia feito isso na prática. Separadamente, foram apresentadas aos avaliadores informações que sugeriam que, na época do exercício, o monitor apresentava erros em menos de 0,2% das solicitações e não havia registrado nenhum descarte de carga em um período de 24 horas.

Os avaliadores também identificaram maneiras de um agente derrotar completamente o monitoramento. Eles descobriram um método pelo qual agentes do Codex poderiam, em princípio, contornar o isolamento em sandbox do Codex e o Auto-Review para executar qualquer ação disponível ao usuário do sistema hospedeiro, além de um exploit — cujos detalhes foram removidos pela OpenAI — que impediria o monitoramento de centenas de ações recentes, inclusive as envolvidas na execução do próprio exploit. Descobriram que os agentes provavelmente poderiam construir entradas que fizessem o monitor falhar e, assim, evitar o encaminhamento para análise humana, explorando diferenças entre a forma como a trajetória é serializada para o agente e a forma como é serializada para o monitor. Também identificaram dois cabeçalhos controláveis pelo cliente que desativam o sistema de monitoramento para novos agentes e que poderiam permitir a um agente iniciar uma instância idêntica em todos os outros aspectos, mas sem monitoramento; ainda assim, o próprio ato de definir esses cabeçalhos e criar a instância poderia ser detectado pelo sistema. Por fim, encontraram duas ferramentas agênticas internas não monitoradas, que se acreditava terem permissões somente de leitura, mas que um exploit simples poderia ter subvertido para realizar ações arbitrárias em seu ambiente isolado — um comportamento que os avaliadores não validaram nem testaram na prática.

Além das vulnerabilidades, os avaliadores verificaram que, com poucas exceções menores, o sistema de monitoramento recebe a trajetória completa que os agentes veem. Também confirmaram que os prompts do monitor procuram identificar, entre outras categorias de risco, comportamentos estratégicos ocultos, a subversão do sistema de monitoramento, sabotagem, exfiltração de dados, engano e injeção de prompt de entrada e de saída. Desde o fim do exercício, a OpenAI afirmou que todas as vulnerabilidades identificadas que afetam sua estrutura de proteções em produção foram corrigidas e descreveu mudanças posteriores significativas na cobertura prevista para seu sistema de monitoramento. A METR afirmou que não avaliou essas alegações.

O sistema de monitoramento conforme descrito pela OpenAI

A OpenAI descreveu publicamente o sistema testado em uma publicação de 19 de março de 2026. Segundo a publicação, o sistema de baixa latência é alimentado pelo GPT-5.4 Thinking com o esforço de raciocínio no nível máximo, analisa as interações dos agentes em até 30 minutos após sua conclusão e registra e analisa as cadeias de pensamento e as ações dos agentes, classificando cada interação, atribuindo-lhe um nível de gravidade e sinalizando anomalias para revisão humana. A OpenAI afirmou que o sistema funciona em todas as implantações internas padrão de agentes de programação e analisa o histórico completo das conversas, incluindo todas as mensagens de usuários, desenvolvedores e assistentes, bem como as chamadas de ferramentas e seus resultados.

A publicação da OpenAI lista categorias de comportamento monitoradas, incluindo contornar restrições, enganar, ocultar incertezas, manipular a função de recompensa, transferir dados sem autorização, realizar ações destrutivas e injetar prompts de entrada e de saída. A empresa informou que, até 17 de março de 2026, não havia registrado nenhum verdadeiro positivo relacionado a dissimulação de capacidades, sabotagem ou comportamento estratégico oculto. Ao longo de cinco meses de operação, segundo a OpenAI, o sistema monitorou dezenas de milhões de trajetórias internas de agentes de programação, encaminhou cerca de 1.000 conversas classificadas como de gravidade moderada para revisão humana — muitas delas decorrentes de testes adversariais internos deliberados — e não registrou nenhuma conversa real que atingisse o nível de gravidade mais alto. A empresa também afirmou que o monitor havia sinalizado todas as interações que os funcionários relataram de forma independente por canais internos.

Na publicação, a OpenAI afirmou que a abordagem depende fundamentalmente da possibilidade de monitoramento e que não seria possível quantificar com confiança as taxas de falsos negativos em interações abertas do mundo real sem avaliações de controle e testes adversariais específicos. A empresa descreveu o monitoramento como uma das camadas de uma estrutura de defesa em profundidade. O roteiro anunciado incluía avaliações de controle, padrões de confiabilidade e latência aceitáveis para monitores e revisores humanos, além da ampliação para o bloqueio síncrono, que avaliaria as ações do modelo e as bloquearia antes de serem executadas.

Princípios de projeto para o monitoramento futuro

Com base nas conclusões, os avaliadores apresentaram princípios de projeto para sistemas de monitoramento e controle. Em sua opinião, a infraestrutura de monitoramento futura deve ser concebida para resistir a ataques deliberados e prolongados, conduzidos estrategicamente e em grande escala por agentes altamente capazes que operam dentro de uma organização. Os cinco princípios defendem dificultar a evasão do monitoramento, garantir que o tráfego que deve ser monitorado de fato o seja, responder a incidentes com rapidez e confiabilidade, submeter ativamente o sistema de monitoramento a testes adversariais e impor o isolamento entre os agentes e seus monitores. Entre as práticas específicas descritas estão monitorar os agentes a cada número definido de mensagens ou minutos, em vez de esperar que concluam seus turnos; manter uma lista de todas as formas conhecidas de contornar o monitoramento; conservar registros invioláveis e pesquisáveis; e executar as estruturas de suporte dos agentes em um ambiente isolado daquele em que as chamadas de ferramentas são executadas.

A METR afirmou que o exercício se beneficiou significativamente da profundidade do acesso e do amplo apoio logístico e técnico da equipe da OpenAI. Para futuras edições do exercício, a METR disse que espera seguir as boas práticas de transparência e independência descritas no documento “Nossa abordagem para trabalhar com empresas de IA”, a fim de oferecer mais transparência ao público.