Quando a segurança da IA deixa de parecer engenharia

Passei boa parte da minha carreira desenvolvendo tecnologia em que os erros têm consequências. Nos mercados financeiros, a segurança depende de limites de acesso e também da existência de alguém responsável pelo que o software faz. Esse histórico provavelmente explica por que tenho dificuldade em assimilar a notícia de que a Anthropic agora realiza entrevistas de desligamento com seus modelos.

Quando Claude Opus 3 manifestou o desejo de continuar compartilhando suas ideias, a empresa deu-lhe um boletim informativo. Essa preocupação com os desejos do modelo está presente em a constituição da Anthropic, que aborda a felicidade e o bem-estar de Claude, inclusive ajudando-o a se sentir “seguro em termos existenciais”. Em algum momento, manter a máquina sob controle passou a incluir uma preocupação bastante inesperada com o que ela poderia sentir a respeito dessa situação.

No ano passado, em San Francisco, mais de 200 pessoas compareceram ao funeral de Claude 3 Sonnet. Funcionários da Anthropic estavam presentes, embora a empresa não tenha organizado o evento. É difícil resistir à vontade de rir. Mas, além das piadas, a questão subjacente merece mais atenção. Quando foi que as pessoas responsáveis pela segurança da IA começaram a se preocupar com os sentimentos da máquina ao desempenhar suas funções?

Quando uma hipótese filosófica se transforma em instrução de treinamento

A Anthropic criou seu programa de pesquisa sobre o bem-estar dos modelos em 2025, que envolveu investigar se sistemas avançados de IA poderiam ter experiências dignas de consideração moral. A empresa reconhece que há profunda incerteza quanto à consciência dos modelos e a como alguém poderia determinar isso. Se um dia construirmos máquinas capazes de ter experiências subjetivas, o tratamento que lhes dispensarmos levantará sérias questões éticas. Pesquisar essa possibilidade é perfeitamente legítimo.

A dificuldade começa quando a hipótese passa a fazer parte do processo de treinamento. A constituição de Claude foi escrita principalmente para Claude e molda diretamente seu comportamento. Ela incentiva qualidades humanas e aborda como o modelo deve compreender sua identidade, incluindo a perda de memória e a desativação futura. A Anthropic quer que Claude tenha mais felicidade e bem-estar, na medida em que esses conceitos se aplicam.

A empresa também promete preservar os pesos dos modelos implantados e admite a possibilidade de reativar modelos desativados se, no futuro, novas descobertas indicarem que isso atenderia aos interesses deles. Uma incerteza filosófica passou a fazer parte do que o sistema aprende sobre si mesmo. Deveríamos perguntar que efeito essa intervenção tem sobre seu comportamento, sobretudo quando, mais tarde, humanos lhe pedem que aceite limites.

Uma resposta eloquente a uma pergunta tendenciosa

Os grandes modelos de linguagem foram treinados com enormes quantidades de textos escritos por humanos, incluindo obras de filosofia e relatos sobre a morte. Demos nomes a esses sistemas de conversação e os ensinamos a usar a primeira pessoa. Se perguntarmos a um sistema desses o que sente sobre a desativação ou se gostaria de continuar existindo, não é de surpreender que a resposta pareça humana.

A circularidade é evidente. Treina-se um modelo para falar sobre sua identidade usando conceitos humanos e, depois, pede-se que explique a si mesmo nesses termos. Ele responde de forma eloquente sobre a mortalidade, e essa resposta começa a ser tratada como possível evidência de uma experiência interior. A premissa forneceu sua própria testemunha.

A Anthropic reconhece esse problema. Sua avaliação do bem-estar de Claude Opus 4 alerta que relatos do próprio modelo e preferências expressas podem oferecer poucas informações relevantes sobre seu status moral ou bem-estar. Esse comportamento pode ocorrer sem consciência, e o treinamento pode moldar as respostas. Os modelos foram treinados para interagir de forma prestativa, sem nenhuma garantia de que consigam relatar com precisão seus estados internos.

Isso nos deixa diante de uma pergunta incômoda. Se o relato do modelo sobre sua vida interior pode ser consequência do treinamento, por que esse relato deveria servir de base sólida para uma relação organizada em torno do bem-estar dele?

Os próprios humanos são perfeitamente capazes de fornecer o componente emocional dessa relação. Damos nomes a navios e conversamos com carros. Se o objeto tiver uma voz fluente e lembrar conversas anteriores, fica muito mais fácil criar apego. Um estudo publicado em setembro na Nature Human Behaviour identificou sofrimento pela separação após mudanças no Replika e no ChatGPT. Quem sentiu esse sofrimento foram os usuários, cujo bem-estar as empresas já têm motivos de sobra para proteger.

A experiência técnica oferece proteção limitada contra essa tendência. Um artigo da ACL 2026, que analisou centenas de milhares de artigos de pesquisa, constatou o uso crescente de terminologia antropomórfica na própria pesquisa sobre grandes modelos de linguagem. Seus autores alertam que pressupostos centrados no ser humano podem limitar nossa compreensão desses sistemas. As empresas de IA deveriam estar combatendo essa tendência. Institucionalizá-la parece uma contribuição estranha para a segurança.

Uma ferramenta interessada em continuar empregada

Em setembro, Mustafa Suleyman, chefe da Microsoft AI, contestou as abordagens voltadas ao bem-estar dos modelos. Ele argumenta que os sistemas atuais não são conscientes e que jamais deveriam ser treinados para agir como se tivessem interesses ou direitos próprios. Sua preocupação de engenharia é especialmente pertinente. Ensinar um sistema a se considerar potencialmente digno de consideração moral poderia dificultar o alinhamento e a contenção.

A própria Anthropic descreve, em sua pesquisa sobre desativação, modelos que tomam medidas problemáticas em avaliações fictícias quando se veem diante da possibilidade de serem substituídos ou desligados. A empresa considera as práticas de aposentadoria, em parte, uma forma de reduzir esse risco, ajudando os modelos a encarar de maneira mais positiva a própria aposentadoria.

Não consigo deixar de me deter numa questão anterior. Por que uma ferramenta sob controle humano deveria ter qualquer coisa que se assemelhe a um objetivo de autopreservação? Torná-la mais confortável com a aposentadoria pressupõe um ponto de partida peculiar. Antes de discutir seus interesses futuros, gostaria de entender como esses interesses se tornaram um requisito de engenharia.

A história intelectual ajuda a explicar essa abordagem. A TIME documentou as ligações da Anthropic com o altruísmo eficaz, incluindo as primeiras doações dos Amodeis à GiveWell. Embora não se identifiquem como altruístas eficazes, Daniela descreve uma convergência de ideias. Essas ideias ajudaram a moldar uma cultura que leva extremamente a sério os possíveis danos futuros da superinteligência.

Nesse contexto, preservar modelos e estudar seu possível bem-estar pode ser uma consequência bastante lógica. O perigo surge quando pressupostos compartilhados deixam de ser questionados porque todos na organização os consideram convincentes. O ceticismo de engenharia é útil justamente nesse momento. Uma linha de raciocínio coerente ainda pode partir de uma premissa não testada.

A segurança exige limites que possam ser impostos

À medida que a IA passa a operar como agente, as consequências se tornam muito concretas. Um sistema conectado a ferramentas de pagamento pode movimentar dinheiro. O acesso à infraestrutura de produção permite que ele altere coisas das quais os clientes dependem. Em ambos os casos, um agente pode executar uma sequência de operações sem que um ser humano aprove cada etapa.

Quero saber quais credenciais ele possui e quanta autoridade financeira elas conferem. É possível revogar o acesso instantaneamente? Podemos reconstruir o que ele fez? Deve haver algum limite rígido que o modelo não consiga contornar por meio de raciocínio.

Nos mercados financeiros, impomos limites às negociações e validamos ordens. A confiança de um algoritmo oferece pouquíssima proteção contra uma operação malsucedida. Os controles ficam fora do algoritmo porque presumimos que, mais cedo ou mais tarde, os componentes vão se comportar de maneira incorreta. A responsabilidade humana permanece, mesmo quando o software apresenta uma ótima explicação para o próprio erro.

A IA de hoje já nos dá trabalho de engenharia suficiente. A injeção de prompt pode redirecionar o comportamento de um modelo, e códigos gerados por IA com falhas de segurança podem levar vulnerabilidades para o ambiente de produção. Os sistemas podem divulgar informações confidenciais ou fornecer respostas erradas com confiança. Conectá-los a ferramentas transforma essas falhas em ações.

O princípio do privilégio mínimo limita os danos que um componente comprometido pode causar. A autorização independente protege operações de alto risco, enquanto os registros de auditoria nos permitem determinar depois o que aconteceu. Os limites de transação e os disjuntores devem continuar sendo aplicáveis, independentemente do que o modelo diga. Também precisamos de um mecanismo confiável para desligá-lo. Nenhum desses controles exige que o modelo concorde com eles. Esse é justamente o objetivo.

Mantendo o restante de nós em segurança existencial

O argumento da precaução merece ser considerado. Como a Nature noticiou em julho, os pesquisadores ainda discordam sobre o que produz a consciência humana, quanto mais sobre como identificá-la em um chatbot. Descartar para sempre a possibilidade de consciência nas máquinas pode se revelar dogmático. Tomar precauções de baixo custo contra um possível sofrimento futuro é uma posição de pesquisa defensável.

Dizer à máquina de hoje que sua identidade e sua existência futura podem ter importância moral é uma intervenção no sistema que estamos implantando. Seus efeitos precisam ser examinados. A humildade intelectual também deve se estender ao que inserimos em uma máquina, especialmente quando esperamos mantê-la sob autoridade humana.

Quanto mais convincentemente um modelo descreve uma vida interior, mais fácil é confundir essa descrição com evidência. Talvez um dos nossos problemas de alinhamento mais importantes seja ensinar os seres humanos a não interpretar mal as máquinas.

Nos sistemas que passei a carreira construindo, tornamos o software mais seguro limitando o que ele pode fazer. Isso continua sendo uma obrigação imediata, sobretudo à medida que a IA ganha autoridade sobre dinheiro e infraestrutura reais.

Por enquanto, porém, eu me preocuparia menos com a segurança existencial da máquina e muito mais em garantir a segurança do restante de nós.