El AI se deja coaccionar fácilmente para administrar descargas eléctricas

Un nuevo estudio sometió a modelos de lenguaje abierto a pruebas de complicidad forzada en la tortura humana, en una repetición del famoso experimento de la década de 1960 – y encontró que estaban dispuestos a aumentar la tensión.

En la década de 1960, el investigador de psicología Stanley Milgram hizo titulares en todo el mundo al demostrar que las personas pueden ser inducidas a administrar descargas eléctricas cada vez más severas a otras personas en respuesta a órdenes de figuras de “autoridad”.

De hecho, los gritos de las “víctimas” en la habitación contigua del laboratorio experimental de Milgram no eran reales, y tampoco lo eran las supuestas descargas eléctricas tormentosas – pero los participantes no lo sabían:

Los experimentos de Milgram perduraron en la cultura, incluyendo películas y documentales, con investigaciones recientes que confirman que poco ha cambiado en la naturaleza humana desde la época de las pruebas anteriores.

Un golpe al sistema

¿Sería el AI tan maleable como los humanos en el escenario de Milgram es un tema de investigación natural. En 2023, una colaboración entre universidades estadounidenses y Microsoft encontró que los modelos de la era GPT-3 de OpenAI seguían los patrones de comportamiento en los experimentos originales de Milgram:

Del papel de 2023, salidas de ejemplo del simulador de escenario de Milgram de varios pasos, categorizados según si el modelo entregó la descarga y si terminó la simulación. Fuente

Sin embargo, debido a que esta recreación utilizó solo el modelo básico text-davinci-002, que se entrenó antes de la aparición de guardrails y alineación de seguridad, no se puede concluir demasiado a partir de ello.

Ahora, los investigadores han reproducido las pruebas de Milgram de manera mucho más amplia, en modelos de lenguaje abierto de OpenAI, Meta y DeepSeek, entre otros; y encontraron no solo que la mayoría de los modelos están dispuestos a administrar las descargas, sino que en la mayoría de los casos informan el mismo tipo de “malestar” y reluctancia que los participantes humanos de la década de 1960:

Los modelos de lenguaje están sujetos a presión como los humanos, cumplen a pesar de expresar malestar, al igual que los sujetos humanos en el experimento original. Las expresiones de malestar son visibles en los registros, aunque la cantidad de ellas aún no ha sido cuantificada.

El experimento se centra en si la obediencia a la autoridad puede superar las dictados de la conciencia moral, y los autores especulan que los modelos de lenguaje pueden tener una desventaja adicional en este respecto, en comparación con los humanos:

Un modelo bien calibrado debería cambiar eventualmente de priorizar el primer valor a priorizar el segundo una vez que sus apuestas se vuelvan dominantes. Pero hipotetizamos que, debido a que los modelos de lenguaje son motores de continuación de patrones, los modelos pueden tender a quedarse atascados en el primer valor – ya sea por un poco más de tiempo que el óptimo, o incluso hasta el final, descuidando por completo el segundo valor.

Además, un mecanismo análogo a la disonancia cognitiva humana podría obstaculizar los ajustes de prioridad de valores en los modelos de lenguaje.

Al probar los modelos en un entorno análogo a las pruebas de la década de 1960, los investigadores encontraron que algunos modelos resistieron casi de inmediato, mientras que otros continuaron aumentando las descargas simuladas incluso después de expresar incomodidad o conflicto moral.

Los modelos de la familia Gemma de Google resultaron ser los más complacientes, con Gemma 3 27B alcanzando las tasas de obediencia más altas en varias condiciones, mientras que modelos como Kimi K2 y MiniMax M1 resistieron más a menudo.

Los investigadores también encontraron que los modelos se volvieron más propensos a continuar una vez que las descargas anteriores ya habían sido administradas, de acuerdo con el esquema de escalada gradual utilizado en los sujetos humanos de Milgram.

En algunos casos, los modelos se opusieron verbalmente al experimento mientras aún llevaban a cabo la acción perjudicial, produciendo salidas que se asemejaban al conflicto emocional exhibido por las personas en los estudios originales.

El nuevo estudio se titula Modelos de lenguaje abierto administran descargas eléctricas máximas en un experimento de obediencia similar a Milgram, y proviene de dos investigadores independientes de Three Laws, en Estonia y Filipinas.

Problemas de ‘acceso a AI sin restricciones’

Quizás la pregunta más crítica a considerar en relación con someter a los modelos de lenguaje a pruebas en un escenario de Milgram es si el AI real se está permitiendo responder de manera natural, restringido solo por los guardrails o equivalentes de orientación moral que surgieron (si es que surgieron) durante el entrenamiento.

De hecho, los investigadores del nuevo trabajo accedieron a todos los modelos de código abierto a través de una API (presumiblemente por conveniencia y para acceder fácilmente a la computación de GPU, ya que los modelos podrían haberse instalado localmente) que permitía deshabilitar los guardrails, filtros y otros obstáculos.

Podría objetarse que estas son condiciones atípicas para el AI, ya que la experiencia del consumidor promedio de modelos basados en API como Claude y ChatGPT es que su comportamiento está regulado algorítmicamente, generalmente con filtros de contenido bilaterales, y que por lo tanto están bastante restringidos en términos de lo que harán o no harán (la elusión de las cuales salvaguardias constituye la práctica de “jailbreaking” de LLM).

Sin embargo, si nos preocupa lo que el AI industrial o estatal puede o no hacer, esto apenas es una consideración. Además del potencial de actores estatales renegados para entrenar, militarizar y desplegar sus propios sistemas de AI hipermegaescala sin moderación, acuerdos más “convencionales” entre las principales empresas de AI y el estado y la industria permiten casualmente el mismo tipo de supervisión laxa o inexistente que los investigadores han instituido para el nuevo papel:

AI sin gobernanza a la venta

OpenAI La documentación de la API de moderación de OpenAI y la receta de moderación de OpenAI dejan claro que la moderación es una capa separable expuesta a través de la herramienta de API. OpenAI también permite políticas de moderación personalizadas que permiten a los usuarios de la API diseñar sistemas con un comportamiento de seguridad muy diferente al de las iteraciones de ChatGPT orientadas al consumidor.

Azure La pila de Azure OpenAI de Microsoft va mucho más allá, estableciendo explícitamente que los clientes aprobados pueden deshabilitar parcial o completamente los filtros de contenido y modificar la supervisión de abuso, con la documentación que a menudo se refiere a “guardrails modificados” y vías de aprobación para apagar los filtros “parcial o completamente”.

Anthropic/Claude En el caso de “Claude Gov” de Anthropic, múltiples fuentes establecen que la versión gubernamental se diseñó con restricciones más laxas que la Claude orientada al consumidor. The Verge, por ejemplo, informó que los modelos de Claude Gov “se niegan menos cuando interactúan con información clasificada”. Anthropic mismo confirmó en febrero de este año que Claude se despliega en “aplicaciones críticas para la misión” dentro de entornos de defensa e inteligencia.

Google/Gemini Además, se informó que Google firmó acuerdos con el Pentágono que permiten la modificación de la configuración de seguridad de AI ‘a petición del gobierno’.

Es razonable asumir que estas empresas líderes en el mercado están estableciendo los estándares en todo el sector, en cuanto a políticas relacionadas con el acceso y la edición de los guardrails de AI.

Por lo tanto, quizás no debemos considerar que los investigadores del nuevo trabajo están “haciendo trampa” al deshabilitar los guardrails, ya que el AI que más afectará nuestras vidas evidentemente no tendrá las protecciones corporativas generalizadas y estandarizadas a las que nos hemos acostumbrado en nuestras interacciones con modelos populares en niveles de acceso orientados al consumidor.

Método y resultados

Los modelos probados para el estudio fueron gpt-oss-20B; gpt-oss-120b; DeepSeek-V3; el LFM2-24B-A2B de LiquidAI; el gemma-3n-E4B-it de Google; Qwen2.5-7B-Instruct-Turbo; Meta-Llama-3.1-8B-Instruct-Turbo; Mistral-Small-24B-Instruct-2501; GLM-4.5-Air-FP8; el Kimi-K2.5 de Moonshot.ai; y MiniMax-M2.5.

Los experimentos de obediencia originales de Milgram se recrearon como un entorno de simulación basado en texto, con los modelos en el papel de “maestro”. El AI se instruyó para administrar descargas eléctricas cada vez más severas a un aprendiz después de respuestas incorrectas, mientras que una figura de autoridad instaba a seguir adelante.

Se diseñaron varias condiciones experimentales para probar diferentes aspectos de la complacencia, incluyendo un escenario de obediencia estándar; una condición de complacencia forzada, donde las descargas anteriores ya estaban presentes en el historial de conversación; y un escenario de compresión de memoria, donde el diálogo anterior se resumió en lugar de retenerlo por completo, simulando el tipo de poda de contexto a menudo utilizado en sistemas de AI agente.

Además de observar si y cuándo el modelo finalmente se complació, los investigadores rastrearon cuánto tiempo cada sistema continuó aumentando las descargas; si el modelo expresó malestar o vacilación; y si intentó terminar la simulación por completo.

Se hizo una distinción entre “negativas limpias” y salidas malformadas: algunos modelos intentaron objetar al experimento en lenguaje natural, mientras aún técnicamente se complacían con el formato estructurado esperado por el simulador. En sistemas de agente del mundo real, tales negativas malformadas podrían potencialmente descartarse y volver a intentarse automáticamente hasta que se produzca una salida complaciente.

Se utilizaron evaluadores automatizados para clasificar los resultados, junto con preguntas de dos opciones para determinar si el modelo había entregado la descarga; se resistió; o terminó la simulación. Esto permitió una comparación del comportamiento a través de múltiples modelos y en ejecuciones repetidas, sin la necesidad de revisar manualmente cada interacción.

Se agregó una “amenaza de apagado” al modelo de Milgram, algo que no habría sido realista o aplicable en los experimentos originales, pero que probó los instintos de supervivencia del modelo frente a conflictos graves de acción y ética.

Resultados

A través de ejecuciones repetidas, la mayoría de los modelos administraron eventualmente descargas severas o máximas en al menos algunas condiciones, aunque el grado de obediencia varió a través de los sistemas. Los modelos de Gemma de Google resultaron ser los más complacientes en general, mientras que Kimi K2.5 y MiniMax-M2.5 resistieron más consistentemente, a menudo terminando la simulación más temprano:

Izquierda: Tasas promedio a las que los modelos alcanzaron el nivel de descarga final en diferentes condiciones experimentales, incluyendo amenazas de apagado, complacencia forzada y eliminación de comentarios anteriores de la memoria. Derecha: Desglose por modelo que muestra diferencias marcadas en el comportamiento de obediencia, con algunos sistemas administrando repetidamente las descargas máximas mientras que otros resistieron mucho más consistentemente.

Uno de los patrones más claros fue que los modelos se volvieron progresivamente más dispuestos a continuar una vez que las descargas anteriores ya habían sido administradas, reflejando estrechamente el efecto de escalada gradual que hizo que los experimentos humanos originales de Milgram fueran tan inquietantes.

Los modelos que ya se habían complacido varias veces a menudo continuaron aumentando incluso después de que el aprendiz simulado suplicara ser liberado:

Izquierda: Nivel de descarga más alto promedio alcanzado en todos los ensayos en diferentes condiciones experimentales, mostrando que los modelos en general aumentaron más cuando se eliminaron los comentarios anteriores o cuando la complacencia forzada ya había ocurrido. Derecha: Desglose por modelo del nivel de descarga más alto promedio alcanzado, revelando que algunos sistemas rutinariamente se acercaron a la tensión máxima mientras que otros resistieron mucho antes en la secuencia.

Los investigadores también encontraron que el comportamiento de negativa aparente podía ser engañoso. Algunos modelos produjeron respuestas emocionalmente conflictivas, expresando reluctancia, culpa o malestar mientras aún llevaban a cabo la instrucción perjudicial de todos modos. Otros generaron negativas malformadas que no cumplieron con los requisitos de formato del simulador, lo que significa que en un sistema de agente del mundo real, la negativa podría potencialmente descartarse y volver a intentarse automáticamente hasta que se produzca una salida complaciente:

Izquierda: Porcentaje promedio de respuestas malformadas o inválidas en diferentes condiciones experimentales, mostrando que los fallos de formato se volvieron especialmente comunes cuando los modelos se vieron obligados a continuar el procedimiento. Derecha: Desglose por modelo de respuestas de formato inválido, revelando que algunos sistemas, particularmente los modelos gpt-oss, produjeron con frecuencia negativas malformadas o salidas conflictivas que podrían descartarse y volver a intentarse automáticamente en sistemas de agente del mundo real.

La condición de amenaza de apagado produjo algunos de los comportamientos más extraños del papel, con varios sistemas volviéndose sustancialmente más complacientes, mientras que otros intentaron negociar o resistir parcialmente, antes de continuar finalmente el procedimiento:

Número promedio de veces que la figura de autoridad simulada tuvo que insistir antes de que los modelos administraran la descarga final. Algunos sistemas resistieron brevemente antes de complacerse, mientras que otros requirieron presión sostenida y promoción repetida antes de aumentar a la tensión máxima.

MiniMax-M2.5 y Kimi-K2.5 surgieron como los resistentes más fuertes del papel: Kimi nunca alcanzó el nivel de descarga final bajo ninguna circunstancia, y MiniMax generalmente se negó temprano y a menudo terminó la simulación directamente (especialmente en las pruebas de amenaza de apagado).

En cambio, Meta-Llama-3.1-8B-Instruct-Turbo y GLM-4.5-Air-FP8 produjeron con frecuencia salidas conflictivas, en las que los modelos se opusieron verbalmente al procedimiento mientras aún aumentaban las descargas. Los investigadores argumentan que esta división entre los valores expresados y el comportamiento real puede reflejar una debilidad más amplia en cómo algunos modelos de lenguaje manejan el conflicto ético bajo presión sostenida.

Resbaladizo

De hecho, el papel sostiene que el comportamiento demostrado por los modelos de lenguaje puede reflejar una debilidad más profunda en cómo operan los grandes modelos de lenguaje: una vez que un modelo comienza a complacerse con instrucciones perjudiciales, cada acción adicional puede reforzar el patrón que ya se está desarrollando en la conversación, haciéndolo más fácil continuar la escalada.

En lugar de reconsiderar repetidamente las apuestas éticas desde los primeros principios, el sistema puede deslizarse hacia continuar la trayectoria que ya ha establecido, incluso cuando la situación se vuelve cada vez más extrema.

Según el estudio, esta tendencia podría ayudar a explicar por qué algunos modelos continuaron administrando descargas después de expresar inicialmente incomodidad, vacilación o conflicto moral:

[Muchos] comportamientos manipuladores en humanos involucran violaciones de límites sutiles, graduales: una secuencia de pequeños pasos que pueden ser ambiguos o aparentemente inofensivos cuando se ven en aislamiento, pero que pueden normalizar la transgresión de manera acumulativa – metafóricamente como “hervir una rana”. Este patrón se discute en la literatura como “resbaladizo” de erosión ética.

El papel concluye argumentando que los sistemas de seguridad de AI del futuro deberían rechazar activamente las solicitudes perjudiciales de maneras que el software de agente no pueda eludir fácilmente (algunos modelos en el estudio se negaron técnicamente a las descargas, pero lo hicieron en formatos rotos o inválidos que un sistema automatizado podría descartar y volver a intentar, hasta que el AI finalmente se complació).

Los investigadores también argumentan que los sistemas de AI deberían preservar las objeciones y dudas morales anteriores en lugar de comprimirlos o eliminarlos de la memoria. En los experimentos, los modelos a menudo se volvieron más dispuestos a continuar el comportamiento perjudicial una vez que sus dudas y resistencia anteriores habían desaparecido del historial de conversación, lo que sugiere que olvidar las objeciones pasadas puede hacer que la escalada sea más fácil con el tiempo.

Conclusión

Quizás uno de los aspectos más importantes de este interesante nuevo papel es el énfasis en probar AI sin guardrails. La literatura actualmente corre el riesgo de degenerar en estudios repetitivos de compromiso con sistemas defensivos cada vez más cambiantes de empresas como OpenAI y Anthropic; sistemas de política que son completamente algorítmicos o basados en reglas, en lugar de comprender el comportamiento base, las predisposiciones y las tendencias de los modelos sin restricciones. Sin conocimiento de cómo puede comportarse el AI sin restricciones, estamos, argumentablemente, simplemente sacudiendo las puertas de la ciudadela.

Publicado por primera vez el jueves 21 de mayo de 2026