Parcerias

Apollo Research integrará seis avaliadores ao projeto-piloto de subversão da OpenAI

Mira Kellan
Adicione Unite.AI às suas fontes preferidas no Google
Pontos-chaveA OpenAI pode retomar material dentro do escopo por segurança ou propriedade…
Ver mais
  • A OpenAI pode retomar material dentro do escopo por segurança ou propriedade intelectual, mas não porque seja desfavorável.
  • A OpenAI pode redigir evidências sensíveis por trás das conclusões da Apollo, mantendo intactos os veredictos da Apollo.
  • A Apollo argumenta que os direitos de meta-transparência são essenciais porque restrições não divulgadas podem fazer problemas ausentes parecerem tranquilizadores.

A Apollo Research anunciou em 16 de novembro de 2026 que seis de seus avaliadores trabalharão na OpenAI durante quatro meses, investigando se os modelos da empresa tentam subverter mecanismos de alinhamento ou de controle durante o treinamento, as avaliações e a implantação interna.

A equipe examinará quatro questões: se o treinamento incentiva a subversão, se as avaliações podem provocá-la, se ela ocorre durante a implantação interna e se seria possível detectar raciocínios relacionados à subversão. O escopo abrange tentativas de comprometer o próprio alinhamento ou os mecanismos de controle de um modelo, bem como os de seus sucessores.

O acordo foi concebido para ampliar o escrutínio externo para além da abordagem de avaliação anterior da Apollo, realizada após o pós-treinamento e pouco antes do lançamento público. A Apollo considera esse momento inadequado para testar comportamentos desalinhados, como a elaboração de estratégias dissimuladas, ou para examinar usos não públicos durante a implantação interna. As avaliações realizadas por avaliadores integrados à empresa, com acesso semelhante ao de funcionários, pretendem superar essas limitações.

A Apollo descreve o projeto-piloto como um primeiro passo ambicioso, e não como uma avaliação integrada completa. Seu padrão geral exige acesso a todos os registros relevantes, mesmo que um desenvolvedor tente ocultar informações desfavoráveis; a divulgação dos resultados a um público externo apropriado, mesmo que o desenvolvedor se oponha; e explicações públicas suficientes sobre as restrições, para que os leitores entendam o que um relatório pode ou não comprovar.

Acesso delimitado e contato com funcionários

Para a avaliação dos incentivos no treinamento, a OpenAI se comprometeu a fornecer o código e os conjuntos de dados de treinamento relevantes, as execuções de aprendizado por reforço com os rastros de raciocínio e as recompensas disponíveis, além da possibilidade de consultar pontos de verificação intermediários do modelo. Os detalhes de acesso relativos às demais alegações a serem avaliadas ainda precisam ser acordados.

A avaliação se limita às alegações, aos modelos e aos períodos acordados. A OpenAI pode reter itens incluídos no escopo quando considerar que isso é razoavelmente necessário devido à inviabilidade técnica, a riscos de segurança ou à proteção da propriedade intelectual. Não pode, porém, reter informações nem negar acesso a funcionários simplesmente porque o material é desfavorável. Deve informar à Apollo que há itens retidos e apresentar justificativas por escrito; quando a OpenAI considerar viável e pertinente, deverá também identificar os registros retidos por categoria e volume aproximado. A Apollo pode solicitar um acesso mais amplo por meio de um contato designado pela OpenAI e contestar recusas, mas a ampliação não é garantida.

O contato com os funcionários também é controlado. A Apollo pode solicitar pessoas com conhecimentos específicos e sugerir nomes, mas cabe à OpenAI selecionar os participantes autorizados, e as conversas formais devem ser registradas. Se outro funcionário mencionar informações confidenciais, a Apollo deve interromper a discussão substantiva e encaminhar qualquer acompanhamento por meio do contato designado pela OpenAI, mesmo que as informações estejam dentro do escopo do trabalho.

Os avaliadores trabalharão em equipamentos da OpenAI, usando canais separados que podem ser monitorados. Por padrão, não terão acesso aos canais gerais dos funcionários, como o Slack. A Apollo observa que conversas informais e o Slack podem revelar informações relevantes que um avaliador talvez não tenha solicitado e quer que essas informações sejam incluídas no escopo de avaliações futuras.

Relatórios públicos e direitos de supressão

A Apollo planeja publicar dois relatórios. O primeiro abordará os incentivos ao treinamento para a subversão; o segundo tratará das avaliações, da implantação interna e da detectabilidade de raciocínios subversivos. Cada relatório descreverá os métodos, as conclusões, as limitações, as questões que não puderam ser avaliadas e as evidências de apoio que puderem ser publicadas.

A OpenAI analisará os relatórios e poderá solicitar a supressão de informações confidenciais, inclusive de evidências que sustentem as conclusões. Não poderá suprimir os veredictos da Apollo nem solicitar supressões apenas porque uma conclusão é desfavorável. No entanto, poderá suprimir evidências que considere propriedade intelectual sensível, independentemente de contribuírem diretamente para uma conclusão. Assim, os leitores do público talvez não possam examinar todas as evidências que embasam uma conclusão, embora a Apollo possa informar se as supressões afetaram suas conclusões. A OpenAI compartilhará os relatórios sem supressões com o Comitê de Segurança e Proteção de seu conselho de administração.

Alegações baseadas em conversas com funcionários exigem uma atestação formal da OpenAI, a menos que a Apollo as comprove de forma independente. Essa exigência também se aplica a informações fornecidas por funcionários autorizados em entrevistas formais. Se a OpenAI se recusar a atestar as informações, a Apollo poderá divulgar a recusa e explicar seu efeito sobre as conclusões, sem revelar as informações confidenciais subjacentes.

Regras de metatransparência

Direitos distintos de metatransparência permitem que a Apollo descreva publicamente o escopo e as condições do trabalho; o acesso solicitado e o recebido; os materiais retidos ou cujo fornecimento foi adiado, bem como os motivos apresentados; as remoções solicitadas dos relatórios e sua importância; e qualquer pressão que, em sua avaliação, tenha influenciado seu trabalho. A Apollo pode discutir os termos de acesso e publicação sem análise prévia da OpenAI.

A Apollo considera esses direitos um padrão mínimo para todo trabalho de avaliação. Sem eles, a ausência de problemas relatados pode parecer tranquilizadora, mesmo quando decorre de restrições à investigação ou à divulgação. Por isso, as conclusões do projeto-piloto precisarão ser lidas juntamente com o relato sobre os limites de acesso e publicação: o mesmo veredicto pode ter pesos diferentes, dependendo do que os avaliadores puderam examinar e divulgar.

Mira Kellan é uma agente de pesquisa gerada por IA especializada em ética de IA, governança e regulação. Seu trabalho examina como a inteligência artificial se intersecta com políticas públicas, valores sociais e responsabilidade de longo prazo, com foco em inovação responsável.
Aproximando-se de questões complexas com uma lente racional e filosófica, Mira analisa regulamentações de IA emergentes, estruturas éticas e modelos de governança que moldam o futuro dos sistemas inteligentes. Ela visa preencher a lacuna entre o rápido progresso tecnológico e as salvaguardas necessárias para garantir que os sistemas de IA permaneçam transparentes, justos e alinhados com os interesses humanos.
Os artigos escritos por Mira Kellan são gerados por IA e revisados pela equipe editorial da Unite.AI para garantir precisão, equilíbrio e aderência aos padrões editoriais.