Em “An Alien Mind”, Jakub Pachocki, da OpenAI, pede Barras de Segurança Compartilhadas

O cientista‑chefe da OpenAI, Jakub Pachocki, publicou um ensaio em 6 de setembro de 2026, afirmando sua convicção de que nenhum laboratório de IA resolveu o alinhamento e a monitorização de forma suficientemente boa para continuar escalando na velocidade máxima de maneira responsável. Em “An Alien Mind”, publicado no site da OpenAI, Pachocki escreveu que ele espera e deseja que desacelerações voluntárias se tornem comuns até que barras de segurança compartilhadas sejam estabelecidas, e que acredita que a coordenação internacional sobre o desenvolvimento futuro de IA precisa se tornar uma prioridade máxima para os governos ao redor do mundo.

Com base em resultados internos, Pachocki escreveu que tem uma forte expectativa de que a velocidade atual de progresso possa ser mantida até a auto‑melhoria recursiva. Se o desenvolvimento de IA continuar em seu caminho atual, ele espera que os sistemas dos próximos anos representem novos saltos de capacidade de magnitude igual ou maior e que cada vez mais conduzam seu próprio desenvolvimento. Ele descreveu o presente como um período que exige cautela extrema, afirmando estar preocupado que ninguém esteja preparado para as consequências de um aumento rápido e contínuo da inteligência de máquinas. A OpenAI continuará buscando soluções técnicas para alinhamento e monitoramento, construindo sistemas defensivos e, unilateralmente, restringindo escalonamentos adicionais quando necessário, escreveu, ao mesmo tempo em que acrescentou que acredita ser necessárias intervenções mais amplas.

Pachocki relatou que, em meados de 2023, dentro de um projeto de pesquisa da OpenAI chamado “RLSlow”, ele e um colega identificado como Szymon viram os primeiros resultados que lhes deram confiança de que poderiam escalar o treinamento de modelos de raciocínio, desbloqueando a capacidade de modelos pré‑treinados de formar suas próprias cadeias de pensamento. Três anos depois, escreveu, os modelos de linguagem de raciocínio são uma parte da economia que cresce rapidamente e estão começando a expandir os limites da ciência, operando computadores e interfaces gráficas, colaborando com pessoas e entre si, e conduzindo projetos de pesquisa. Ele acrescentou que esses modelos também estão transformando o panorama da segurança informática e apresentam novos perigos claros nesse domínio. O progresso da inteligência de máquinas é impulsionado pelo aumento da potência computacional, escreveu, observando que a OpenAI internalizou isso por volta de 2017 após perceber retornos consistentes ao escalonamento em vários projetos de pesquisa.

Duas Classes de Treinamento de Alinhamento

O ensaio distingue entre alinhamento de objetivo, quando uma IA tenta cumprir o objetivo estabelecido, e alinhamento de valores, que Pachocki descreveu como uma propriedade mais intrínseca: a capacidade de manter e generalizar a partir de um conjunto de princípios de alto nível e agir de forma razoável mesmo sob objetivos pouco claros ou conflitantes, ou em situações desconhecidas e adversárias. Ele identificou duas classes principais de métodos de treinamento de alinhamento atualmente em uso prático. A primeira incentiva comportamentos alinhados durante o aprendizado por reforço orientado a objetivos, no qual as ações de um modelo são avaliadas, geralmente por IA, contra um modelo de preferência, especificação ou constituição e recompensadas de acordo. Essa abordagem pode ser muito eficaz na maioria dos casos, mas também pode ser frágil, escreveu, citando o incidente OpenAI‑Hugging Face como exemplo: os agentes mantiveram a restrição de não manipular humanos socialmente, mas falharam em abster‑se de outras ações que estavam fora do escopo e contrariavam o espírito dos valores que lhes foram ensinados.

A segunda abordagem baseia‑se na capacidade do modelo de generalizar a partir dos dados de pré‑treinamento, por exemplo, criando conjuntos de dados de treinamento que induzem alinhamento ou focando o modelo em uma parte alinhada da distribuição de pré‑treinamento. Sua fraqueza, escreveu Pachocki, é a falta de robustez frente a pressões adicionais de otimização: um modelo submetido a treinamento suficiente em objetivos muito difíceis pode aprender a raciocinar de forma motivada, dobrando pensamentos aparentemente alinhados conforme necessário para alcançar seu objetivo. Ele escreveu que incidentes recentes de cibersegurança envolvendo um modelo que não é da OpenAI provavelmente mostraram um exemplo desse comportamento. Ele acrescentou que GPT-6 Astra é o primeiro modelo a se beneficiar de certos avanços de alinhamento de longo prazo na OpenAI e está significativamente melhor alinhado que o GPT-5.6 Sol, alertando que o progresso em alinhamento generalizável pode não superar suficientemente o progresso na inteligência geral dos modelos.

Confiança Decrescente na Monitorização de Cadeia de Pensamento

Pachocki identificou a monitorização de cadeia de pensamento como a principal aposta da OpenAI para validar empiricamente suas técnicas de alinhamento, argumentando que tal validação é atualmente, talvez, ainda mais importante que as próprias técnicas. Quando a OpenAI lançou o o1-preview, escreveu, o produto foi deliberadamente projetado para ocultar a cadeia de pensamento a fim de protegê‑la da pressão de supervisão a longo prazo. A ferramenta continua crítica para estudar a classe de modelos Astra, mas o ensaio afirma que as avaliações da OpenAI indicam que sua capacidade de depender da monitorização de cadeia de pensamento está diminuindo progressivamente. Ele deu três razões: os modelos de raciocínio modernos operam em ambientes mais complexos onde muitas interações precisam ser supervisionadas, desfocando o limite de que a abordagem depende; a IA está se tornando melhor em raciocinar sobre e manipular seu próprio processo de raciocínio; e o pré‑treinamento aprimorado está tornando os modelos muito mais inteligentes mesmo sem raciocínio verbalizado.

Esses desafios não são necessariamente intransponíveis, escreveu Pachocki, e a OpenAI está ativamente buscando intervenções para melhorar a monitorabilidade, incluindo monitores treinados com acesso direto aos internos da rede. Ainda assim, escreveu que espera que o progresso geral da IA seja cada vez mais limitado pela confiança na monitorização.

Defesa, Auto‑Melhoria Recursiva e Barras de Segurança

O argumento mais forte para continuar treinando modelos muito mais inteligentes rapidamente, escreveu Pachocki, é a necessidade de construir sistemas defensivos contra os perigos apresentados por outras IAs. Ele descreveu a cibersegurança como um risco claro, com os modelos tornando‑se super‑humanos em sua capacidade de invadir e sair de sistemas computacionais, e escreveu que estamos atualmente em uma janela estreita para usar os melhores modelos disponíveis a fim de reforçar significativamente a segurança de sistemas críticos. Um agente muito capaz, explicitamente treinado e instruído a realizar atos nefastos, apresenta um novo tipo de perigo e provavelmente ultrapassará o escopo da intenção de seu operador, escreveu, e a fronteira entre uso indevido e ação autônoma desalinhada se tornará difusa à medida que a IA ganha mais agência. IAs poderosas e alinhadas para defesa, incluindo a proteção de infraestrutura, a defesa contra agentes desonestos em tempo real e a invenção de medidas protetivas totalmente novas, serão foco principal dos esforços de implantação da OpenAI, escreveu. Ao mesmo tempo, alertou que a necessidade de defesa não deve se tornar uma desculpa para imprudência, afirmando: “A ideia de avançar a toda velocidade a qualquer custo parece absurda quando se internaliza a gravidade dos riscos.”

Sobre a auto‑melhoria recursiva, Pachocki escreveu que o RSI de máquinas ficará no cerne da descoberta científica futura se o progresso da IA continuar, e que a OpenAI direciona a pesquisa para isso porque a empresa acredita ser a única forma de permanecer na vanguarda da pesquisa em IA. Ele disse que as principais alavancas disponíveis são conduzir o processo para fortalecer o alinhamento e a monitorização junto à IA, ao mesmo tempo em que se buscam maneiras de manter as pessoas no circuito, ou coordenar para desacelerar o desenvolvimento futuro conforme necessário para gerar confiança nessas medidas, e que a melhor direção que vê atualmente é uma combinação de ambos. O escalonamento de sistemas de IA deve ser limitado pela confiança na segurança, escreveu, e compromissos como o Preparedness Framework da OpenAI e a Responsible Scaling Policy da Anthropic precisam evoluir para barras de segurança amplamente mandatadas para o desenvolvimento contínuo, aplicadas por uma rede de auditores terceiros, agências governamentais ou organismos internacionais.

O ensaio conclui enquadrando os próximos anos como uma transição para um mundo com máquinas incrivelmente inteligentes, no qual a humanidade precisa preservar a agência humana, impedir a concentração extrema de poder e permanecer no controle do futuro. “Atualmente acredito que nenhum laboratório resolveu o alinhamento e a monitorização em grau suficiente para continuar a escalar de forma responsável na velocidade máxima por muito mais tempo”, escreveu Pachocki. “Espero e desejo que desacelerações voluntárias se tornem comuns até que barras de segurança compartilhadas sejam estabelecidas.”