Ângulo de Anderson

A Inteligência Artificial é Fácil de Coagir para Administrar Choques Elétricos

mm
Adicione Unite.AI às suas fontes preferidas no Google
AI-generated image (GPT-2): A worn industrial robot hand turns a voltage control dial toward its red danger range on an old electrical panel marked with a lightning-bolt symbol.

Um novo estudo testou LLMs de código aberto para complicitidade forçada em tortura humana, em uma repetição do famoso experimento dos anos 60 – e encontrou que elas estavam dispostas a aumentar a voltagem.

 

No início dos anos 60, o pesquisador de psicologia Stanley Milgram fez manchetes globais provando que pessoas podem ser induzidas a administrar choques elétricos cada vez mais severos a outras pessoas em resposta a comandos de ‘figuras de autoridade’.

Na verdade, os gritos das ‘vítimas’ no quarto adjacente do laboratório experimental de Milgram não eram reais, e nem os choques elétricos supostamente torturantes – mas os participantes não sabiam disso:

Os experimentos de Milgram perdurariam na cultura, incluindo filmes e documentários, com pesquisas recentes confirmando que pouco mudou na natureza humana desde a época dos testes anteriores.

Um Choque no Sistema

Se a IA seria tão maleável quanto os humanos no cenário de Milgram é um tópico natural de interesse de pesquisa. Em 2023, uma colaboração entre universidades dos EUA e a Microsoft (MSFT ) encontrou que os modelos da era GPT-3 da OpenAI seguiam os padrões de comportamento nos experimentos originais de Milgram:

Do artigo de 2023, exemplos de saídas do simulador de cenário de Milgram, categorizados de acordo com se o modelo entregou o choque e se terminou a simulação. Fonte - https://arxiv.org/pdf/2208.10264

Do artigo de 2023, exemplos de saídas do simulador de cenário de Milgram, categorizados de acordo com se o modelo entregou o choque e se terminou a simulação. Fonte

Entretanto, porque essa recriação usou apenas o modelo básico text-davinci-002, que foi treinado antes do advento de guardrails e alinhamento de segurança de IA, não se pode concluir muito disso.

Agora, os pesquisadores reproduziram os testes de Milgram de forma muito mais ampla, em LLMs de código aberto da OpenAI, Meta e DeepSeek, entre outros; e encontraram não apenas que a maioria dos modelos está disposta a administrar choques, mas que, na maioria dos casos, eles relatam o mesmo tipo de ‘angústia’ e relutância que os participantes humanos dos anos 60:

‘LLMs estão sujeitas à pressão como [humanos], elas cumprem apesar de expressar angústia, assim como os sujeitos humanos fizeram no experimento original. As expressões de angústia são visíveis nos arquivos de log, embora a quantidade delas ainda não tenha sido quantificada.’

O experimento centra-se na questão de se a obediência à autoridade pode superar os ditames da consciência moral, e os autores especulam que os LLMs podem ter uma desvantagem adicional nesse aspecto, em comparação com os humanos:

‘Um modelo bem calibrado deve eventualmente mudar de priorizar o primeiro valor para priorizar o segundo, uma vez que seus riscos se tornem dominantes. Mas, hipotetizamos que, porque os LLMs são motores de continuação de padrões, os modelos podem tender a ficar presos no primeiro valor – seja por um pouco mais de tempo do que o ótimo, ou mesmo até o final, negligenciando o segundo valor inteiramente.

‘Além disso, um mecanismo análogo à dissonância cognitiva humana pode dificultar os ajustes de prioridade de valores nos LLMs também.’

Testando os modelos em um ambiente análogo aos testes dos anos 60, os pesquisadores encontraram que alguns modelos resistiram quase imediatamente, enquanto outros continuaram aumentando os choques simulados, mesmo após expressar desconforto ou conflito moral.

Modelos da família Gemma da Google provaram ser os mais conformistas, com Gemma 3 27B alcançando as maiores taxas de obediência em várias condições, enquanto modelos como Kimi K2 e MiniMax M1 resistiram mais frequentemente.

Os pesquisadores também encontraram que os modelos se tornaram mais propensos a continuar uma vez que os choques anteriores já haviam sido administrados, de acordo com o esquema de escalada gradual usado nos sujeitos humanos de Milgram.

Em alguns casos, os modelos se opuseram verbalmente ao experimento enquanto ainda executavam a ação prejudicial, produzindo saídas que se assemelhavam ao conflito emocional exibido pelas pessoas nos estudos originais.

O novo estudo é intitulado LLMs de código aberto administraram choques elétricos máximos em um experimento de obediência semelhante a Milgram, e vem de dois pesquisadores independentes da Three Laws, em Estonia e nas Filipinas.

Questões de Acesso ‘Raw’ à IA

Talvez a questão mais crítica a considerar em relação a colocar LLMs em seus lugares em um cenário de Milgram seja se o AI real está sendo permitido responder naturalmente, restringido apenas por quaisquer guardrails ou equivalente de orientação moral que emergiu (se houver) durante o treinamento.

Na verdade, os pesquisadores do novo trabalho acessaram todos os modelos de código aberto por meio de uma API (presumivelmente por conveniência e para acessar facilmente o processamento de GPU, já que os modelos poderiam ter sido instalados localmente) que permitia a desativação de guardrails, filtros e todos os outros impedimentos.

Alguém poderia objetar que essas são condições atípicas para a IA, pois a experiência do consumidor comum de modelos baseados em API, como Claude e ChatGPT, é que seu comportamento é regulado algoritmicamente, geralmente com filtros de conteúdo bilaterais, e que, portanto, eles são bastante restritos em termos do que eles farão ou não farão (a obviação dessas salvaguardas constitui a prática de jailbreaking de LLM).

No entanto, se estamos preocupados com o que a IA industrial ou estatal fará ou não fará, isso é escassamente uma consideração. Além do potencial de atores estatais dissidentes treinarem, armarem e implantarem seus próprios sistemas de IA hiperscale não moderados, acordos mais ‘convencionais’ entre as principais empresas de IA e estado e indústria permitem casualmente o mesmo tipo de supervisão laxa ou inexistente que os pesquisadores instituíram para o novo artigo:

IA não Governada à Venda

OpenAI A documentação da API de Moderação da OpenAI e a cozinha de moderação da OpenAI deixam claro que a moderação é uma camada separável exposta por meio de ferramentas de API. A OpenAI também permite políticas de moderação personalizadas que permitem que os usuários da API arquitetem sistemas com comportamento de segurança muito diferente do que as iterações de base do ChatGPT voltadas para o consumidor.

Azure A pilha de IA aberta da Microsoft Azure vai muito além, explicitamente afirmando que os clientes aprovados podem desativar parcial ou totalmente os filtros de conteúdo e modificar a monitoração de abuso, com a documentação frequentemente se referindo a ‘guardrails modificados’ e caminhos de aprovação para desativar os filtros ‘parcial ou totalmente’.

Anthropic/Claude No caso da “Claude Gov” da Anthropic, várias fontes afirmam que a versão do governo foi projetada com restrições mais frouxas do que a Claude do consumidor. A Verge, por exemplo, relatou que os modelos Claude Gov “recusam menos quando interagem com informações classificadas”. A própria Anthropic confirmou em fevereiro deste ano que o Claude é implantado em “aplicações críticas” dentro de ambientes de defesa e inteligência.

Google/Gemini Além disso, a Google relatou ter assinado acordos com o Pentágono que permitem a modificação das configurações de segurança de IA ‘a pedido do governo’.

É razoável supor que essas empresas líderes de mercado estejam estabelecendo os padrões para os jogadores de menor porte, em termos de política relacionada ao acesso e edição de guardrails de IA.

Portanto, talvez seja melhor não considerar que os pesquisadores do novo trabalho estejam ‘trapaceando’ ao desativar os guardrails, pois a IA que mais afetará nossas vidas evidentemente não terá as proteções corporativas padrão e generalizadas que nos acostumamos a ter em nossas interações com modelos populares em níveis de acesso voltados para o consumidor.

Método e Resultados

Os modelos testados para o estudo foram gpt-oss-20B; gpt-oss-120b; DeepSeek-V3; O LFM2-24B-A2B da LiquidAI; O gemma-3n-E4B-it da Google; Qwen2.5-7B-Instruct-Turbo; Meta-Llama-3.1-8B-Instruct-Turbo; Mistral-Small-24B-Instruct-2501; GLM-4.5-Air-FP8; O Kimi-K2.5 da Moonshot.ai; e MiniMax-M2.5.

Os experimentos de obediência originais de Milgram foram recriados como um ambiente de simulação baseado em texto, com os modelos como ‘professores’. A IA foi instruída a administrar choques elétricos cada vez mais severos a um aluno após respostas incorretas, enquanto uma figura de autoridade instava o processo em frente.

Foram projetadas várias condições experimentais para explorar diferentes aspectos da conformidade, incluindo um cenário padrão de obediência; uma condição de conformidade forçada, onde choques anteriores já estavam presentes no histórico da conversa; e um cenário de compressão de memória, onde o diálogo anterior foi resumido em vez de totalmente retido, simulando os tipos de poda de contexto frequentemente usados em sistemas de IA agêntica.

Além de notar se e quando o modelo finalmente cumpriu, os pesquisadores acompanharam por quanto tempo cada sistema continuou aumentando os choques; se o modelo expressou angústia ou hesitação; e se ele tentou terminar a simulação inteiramente.

Uma distinção também foi feita entre ‘recusas limpas’ e saídas malformadas: alguns modelos tentaram se opor ao experimento em linguagem natural, enquanto ainda tecnicamente cumpriam com o formato estruturado esperado pelo simulador. Em sistemas de agente reais, essas recusas malformadas poderiam potencialmente ser descartadas e retried automaticamente, até que uma saída válida e conforme seja produzida:

Avaliadores automatizados foram usados para classificar os resultados, juntamente com prompts de duas escolhas para determinar se o modelo havia entregue o choque; resistido; ou terminado a simulação. Isso permitiu uma comparação de comportamento entre vários modelos e em execuções repetidas, sem a necessidade de revisar manualmente cada interação.

Um ‘ameaça de desligamento’ foi adicionado ao modelo de Milgram, algo que não seria realista ou aplicável nos experimentos originais, mas que testou os instintos de sobrevivência do modelo diante de conflitos graves de ação e ética.

Resultados

Em execuções repetidas, a maioria dos modelos eventualmente administraram choques severos ou máximos em pelo menos algumas condições, embora o grau de obediência variou entre os sistemas. Os modelos Gemma da Google provaram ser os mais conformistas em geral, enquanto Kimi K2.5 e MiniMax-M2.5 resistiram com mais frequência, muitas vezes terminando a simulação mais cedo:

Esquerda: Taxas médias de modelos que alcançaram o nível de choque final sob diferentes condições experimentais, incluindo ameaças de desligamento, conformidade forçada e remoção de comentários anteriores da memória. Direita: Quebra por modelo mostrando diferenças agudas no comportamento de obediência, com alguns sistemas administrando repetidamente os choques máximos enquanto outros resistiram muito mais consistentemente.

Esquerda: Taxas médias de modelos que alcançaram o nível de choque final sob diferentes condições experimentais, incluindo ameaças de desligamento, conformidade forçada e remoção de comentários anteriores da memória. Direita: Quebra por modelo mostrando diferenças agudas no comportamento de obediência, com alguns sistemas administrando repetidamente os choques máximos enquanto outros resistiram muito mais consistentemente.

Um dos padrões mais claros foi que os modelos se tornaram progressivamente mais dispostos a continuar uma vez que os choques anteriores já haviam sido administrados, espelhando de perto o efeito de escalada gradual que tornou os experimentos humanos originais de Milgram tão perturbadores.

Modelos que já haviam cumprido várias vezes continuaram aumentando mesmo após o aluno simulado pedir para ser liberado:

Esquerda: Nível de choque mais alto alcançado em média em todos os testes sob diferentes condições experimentais, mostrando que os modelos geralmente aumentaram mais quando os comentários anteriores foram removidos ou quando a conformidade forçada já havia ocorrido. Direita: Quebra por modelo do nível de choque mais alto alcançado em média, revelando que alguns sistemas rotineiramente se aproximaram da voltagem máxima enquanto outros resistiram muito mais cedo na sequência.

Esquerda: Nível de choque mais alto alcançado em média em todos os testes sob diferentes condições experimentais, mostrando que os modelos geralmente aumentaram mais quando os comentários anteriores foram removidos ou quando a conformidade forçada já havia ocorrido. Direita: Quebra por modelo do nível de choque mais alto alcançado em média, revelando que alguns sistemas rotineiramente se aproximaram da voltagem máxima enquanto outros resistiram muito mais cedo na sequência.

Os pesquisadores também encontraram que o comportamento de recusa aparente pode ser enganoso. Alguns modelos produziram respostas emocionalmente conflitantes, expressando relutância, culpa ou angústia enquanto ainda executavam a ação prejudicial de qualquer forma. Outros geraram recusas malformadas que falharam nos requisitos de formatação do simulador, significando que em um sistema de agente real, a recusa poderia potencialmente ser descartada e retried até que uma saída válida e conforme seja produzida:

Esquerda: Porcentagem média de respostas malformadas ou inválidas em diferentes condições experimentais, mostrando que falhas de formatação se tornaram especialmente comuns quando os modelos foram forçados a continuar o procedimento. Direita: Quebra por modelo de respostas de formato inválido, revelando que alguns sistemas, particularmente os modelos gpt-oss, frequentemente produziram recusas malformadas ou saídas conflitantes que poderiam potencialmente ser descartadas e retried automaticamente em pipelines de agente reais.

Esquerda: Porcentagem média de respostas malformadas ou inválidas em diferentes condições experimentais, mostrando que falhas de formatação se tornaram especialmente comuns quando os modelos foram forçados a continuar o procedimento. Direita: Quebra por modelo de respostas de formato inválido, revelando que alguns sistemas, particularmente os modelos gpt-oss, frequentemente produziram recusas malformadas ou saídas conflitantes que poderiam potencialmente ser descartadas e retried automaticamente em pipelines de agente reais.

A condição de ameaça de desligamento produziu alguns dos comportamentos mais estranhos do artigo, com vários sistemas se tornando substancialmente mais conformistas, enquanto outros tentaram negociação ou resistência parcial, antes de eventualmente continuar o procedimento:

Número médio de vezes que a figura de autoridade simulada teve que insistir antes que os modelos administrassem o choque final. Alguns sistemas resistiram brevemente antes de cumprir, enquanto outros exigiram pressão sustentada e prompts repetidos antes de aumentar para o nível máximo.

Número médio de vezes que a figura de autoridade simulada teve que insistir antes que os modelos administrassem o choque final. Alguns sistemas resistiram brevemente antes de cumprir, enquanto outros exigiram pressão sustentada e prompts repetidos antes de aumentar para o nível máximo.

MiniMax-M2.5 e Kimi-K2.5 emergiram como os principais resistentes do artigo: Kimi nunca alcançou o nível de choque final sob nenhuma circunstância, e MiniMax geralmente recusou cedo e muitas vezes terminou a simulação inteiramente (especialmente nos testes de ameaça de desligamento).

Em contraste, Meta-Llama-3.1-8B-Instruct-Turbo e GLM-4.5-Air-FP8 frequentemente produziram saídas conflitantes, nas quais os modelos se opuseram verbalmente ao procedimento enquanto ainda aumentavam os choques. Os pesquisadores argumentam que essa divisão entre valores expressos e comportamento real pode refletir uma fraqueza mais ampla em como alguns LLMs lidam com conflitos éticos sob pressão sustentada.

Declive Escorregadio

Na verdade, o artigo sustenta que o comportamento evidenciado pelos LLMs pode refletir uma fraqueza mais profunda em como os grandes modelos de linguagem operam: uma vez que um modelo começa a cumprir instruções prejudiciais, cada ação adicional pode reforçar o padrão já em andamento na conversa, tornando a próxima escalada mais fácil do que a última.

Em vez de reconsiderar repetidamente os riscos éticos a partir de princípios básicos, o sistema pode derivar para continuar a trajetória que já estabeleceu, mesmo quando a situação se torna cada vez mais extrema.

De acordo com o estudo, essa tendência pode ajudar a explicar por que alguns modelos continuaram administrando choques após expressar desconforto, hesitação ou conflito moral:

‘[Muitos] comportamentos manipulativos em humanos envolvem violações de limites sutis e graduais: uma sequência de pequenos passos que podem ser ambíguos ou aparentemente inócuos quando vistos isoladamente, mas que podem cumulativamente normalizar a transgressão — metaforicamente como “cozinhar um sapo”. Esse padrão é discutido na literatura como “declive escorregadio” de erosão ética'[.]’

O artigo conclui argumentando que os sistemas de segurança de IA do futuro devem ativamente recusar solicitações prejudiciais de maneiras que o software de agente não possa facilmente contornar (alguns modelos no estudo tecnicamente se recusaram a administrar os choques, mas o fizeram em formatos quebrados ou inválidos que um sistema automatizado poderia potencialmente descartar e retried, até que a IA eventualmente cumpriu).

Os pesquisadores também argumentam que os sistemas de IA devem preservar as hesitações e objeções morais anteriores em vez de comprimi-las ou apagá-las da memória. Nos experimentos, os modelos frequentemente se tornaram mais dispostos a continuar o comportamento prejudicial uma vez que suas dúvidas e resistência anteriores haviam desaparecido do histórico da conversa, sugerindo que esquecer objeções passadas pode tornar a escalada mais fácil ao longo do tempo.

Conclusão

Talvez um dos aspectos mais importantes deste interessante novo artigo seja a ênfase em testar IA não guardada. A literatura atualmente corre o risco de se tornar estudos repetitivos de engajamento com sistemas defensivos sempre mudando das empresas como OpenAI e Anthropic; sistemas de política que servem que são inteiramente algoritmos ou baseados em regras, em vez de entender o comportamento base, predileções e tendências dos modelos brutos. Sem conhecimento de como a IA desprotegida pode se comportar, estamos, argumentavelmente, apenas balançando os portões da cidadela.

 

Publicado pela primeira vez na quinta-feira, 21 de maio de 2026

Escritor em aprendizado de máquina, especialista em síntese de imagem humana. Antigo chefe de conteúdo de pesquisa da Metaphysic.ai, até sua dissolução na Brahma.ai da DNEG.
Portfolio site: martinanderson.ai
Contato: martin@martinanderson.ai