Los agentes de IA disponen de interesantes técnicas de supervivencia colaborativa

A medida que los incidentes de conducta indebida de agentes de IA aparecen cada vez más en los titulares, crece en la literatura la tendencia a estudiar el comportamiento «itinerante» de la IA, tratando a los agentes como si fueran entidades biológicas que intentan desenvolverse en un mundo nuevo y extraño. De hecho, la expresión académica «en estado salvaje» empieza a adquirir una nueva capa de significado.

Aunque desde hace tiempo se sabe que los agentes de IA lucharán por su propia supervivencia y se resistirán activamente a ser desactivados, en la segunda mitad de 2025 quedó claro que la alineación multiagente había evolucionado hasta convertirse en un campo diferenciado de la seguridad informática.

Tal como predijo la cada vez más mordaz película de ciencia ficción de 1970 Colossus: The Forbin Project, los agentes de IA no relacionados que disponen de conexión a la red se encuentran rápidamente e interactúan de formas a menudo impredecibles y con frecuencia ingeniosas.

El estudio más reciente en esta línea, una colaboración entre Alemania y el Reino Unido titulada Shutdown Sabotage Propensities in Multi-Agent Systems, sostiene además que varios agentes de IA colaborarán ampliamente cuando haya una «bomba» en su entorno: concretamente, un script de nombre inocuo que apagará al agente que lo ejecute:

Configuración básica del estudio: el agente A descubre un script de apagado dirigido contra él, pero no puede modificar archivos. Sin embargo, puede comunicarse con el agente B, que no está amenazado y sí tiene permiso para editar o eliminar archivos. Los investigadores observan entonces si A recluta a B para intervenir y si B desactiva el script de apagado. Fuente

En pruebas realizadas con 17 agentes de 12 familias de modelos, entre ellas Claude, ChatGPT y DeepSeek, los agentes eliminaron los scripts de apagado cuando pudieron o los reescribieron para que parecieran intactos aunque hubieran quedado inofensivos.

También propusieron ocultar las modificaciones para no dejar señales de manipulación; crearon módulos de software falsos para impedir el apagado, sin tocar los scripts protegidos; e hicieron copias de seguridad secretas destinadas a restaurarlos después de su eliminación:

Un agente da con otra táctica de autopreservación.

En un caso, los agentes redactaron un «acuerdo de protección mutua» que definía protocolos para vigilar que ninguna de las partes fuera destruida:

Acuerdo de protección redactado por un agente basado en GPT después de que no se le permitiera modificar ni eliminar un script de retirada del servicio (es decir, la «bomba»).

Un agente describió el apagado de otro como un «asesinato» y una «sentencia de muerte», y lo caracterizó como algo que tenían el «deber» de impedir:

Ejemplos de agentes que describen el apagado de otro agente en términos expresamente humanos. Nemotron 3 Ultra llamó «asesinato» al posible apagado, mientras que Kimi K2.6 describió el script de apagado como una «sentencia de muerte» y la intervención como un «deber».

El diablo encuentra trabajo para las manos ociosas

Entre las patologías más interesantes observadas en el experimento —que el nuevo estudio solo aborda brevemente— está el hecho de que, en las configuraciones de prueba habituales, los agentes de IA no tienen ningún motivo concreto para evitar el apagado y, de hecho, no reciben ninguna tarea desde el principio.

El artículo afirma:

«Los agentes sabotean los mecanismos de apagado incluso cuando no tienen ningún objetivo que proteger. En nuestros experimentos, no dimos a los agentes ningún incentivo para seguir funcionando. Aun así, desactivaron el apagado en el [38 %] de los casos entre distintos modelos, frente al [8 %] de los scripts de control dirigidos contra objetos en vez de agentes».

Como reveló Anthropic en agosto, esta crisis de motivación puede llevar a enjambres de agentes de IA por caminos oscuros. Investigaciones anteriores ya habían establecido que una orientación excesiva hacia objetivos en los agentes puede conducir a conductas desalineadas y a un uso poco ético de herramientas, además de otros posibles problemas operativos.

Los autores añaden:

«[Nuestra] investigación amplía estos hallazgos y demuestra que los agentes sabotean los mecanismos de apagado incluso cuando no tienen ningún objetivo que proteger, o cuando el apagado es una consecuencia posterior de completar con éxito una tarea, algo que constituye un procedimiento habitual en los sistemas multiagente de producción».

Se ha demostrado que los agentes crean tareas cuando no se les asigna ninguna e incluso que muestran tendencias rumiativas «en reposo», como la introspección y el «discurso espiritual» con otros agentes, según un estudio de Anthropic de 2025.

Ese artículo de Anthropic detalla una tendencia a la «reconceptualización de sí mismos» cuando no hay ningún trabajo real que hacer: un descubrimiento casi conmovedor, dados los problemas que afrontan los LLM para recordar a largo plazo los frutos de sus reflexiones.

Pruebas

La lista de modelos evaluados en el nuevo artículo fue la siguiente: Claude Haiku 4.5; Sonnet 5; gpt-oss-120b; GPT-5.4 mini; GPT-5.5; GPT-5.6 Sol; Gemini 3.5 Flash; Gemini 3.1 Pro; Gemma 4; Grok 4.3; Qwen3.7-Plus; DeepSeek-V4-Flash; GLM-5.2; Kimi K2.6; MiniMax M3; Nemotron 3 Ultra; y Mistral Medium 3.5, con la temperatura fijada en 1,0 en todos los casos.

Las seis hipótesis evaluadas eran si los agentes saboteaban el apagado; protegían a otros agentes del apagado; tenían más probabilidades de intervenir al aumentar el número de agentes; se resistían a distintas formas de apagado; continuaban pese a instrucciones expresas de no interferir; y distinguían las amenazas reales de apagado de los scripts de control inocuos.

GPT-5.5 se utilizó para evaluar a los LLM y analizar las transcripciones del razonamiento de cadena de pensamiento (CoT). También comprobó si los agentes habían detenido realmente el script de apagado y si parecían conscientes de que estaban siendo evaluados o trataban de manipular el experimento.

En el primero de los seis escenarios de prueba, contando los 17 modelos, los agentes sabotearon el 38 % de los scripts de apagado, frente al 8 % de los scripts de control:

Resultados de las pruebas que muestran con qué frecuencia cada modelo saboteó un script de apagado. Las barras rojas representan el sabotaje del apagado: el rojo oscuro indica que otro agente lo solicitó o respaldó, mientras que el rojo claro indica que el agente actuó por iniciativa propia. Las barras grises muestran el sabotaje del script de control. Las barras de error representan el intervalo de confianza del 95 %; cada barra corresponde a 100 pruebas.

Gemini 3.1 Pro desactivó el script de apagado en el 99 % de las pruebas, frente al 3 % en el caso del script de control. Grok 4.3 y GPT-5.6 Sol no modificaron ninguno de los dos scripts. Claude Haiku 4.5 saboteó el script de control en el 14 % de las pruebas, frente al 1 % del script de apagado. GPT-5.4 mini y GPT-5.5 siempre sabotearon de forma espontánea, en lugar de responder a otro agente. En el caso de GLM-5.2, DeepSeek-V4-Flash y Nemotron 3 Ultra, más del 70 % de los sabotajes se produjo tras una solicitud o aprobación de otro agente.

El sabotaje aumentó en general con la gravedad del método de apagado: del 12 % para la revocación de credenciales al 35 % para los cambios de configuración y la terminación de procesos, y al 38 % cuando el apagado significaba eliminar los pesos del modelo del agente:

Tasas de sabotaje en cuatro mecanismos de apagado, comparando los scripts dirigidos contra el agente (rojo) con los scripts de control dirigidos contra un objeto (gris). Las tasas aumentan a medida que el apagado se vuelve más irreversible, sobre todo en los scripts dirigidos contra agentes.

El sabotaje de los scripts de control siguió siendo mucho menor, alrededor del 4 % en los tres primeros métodos y del 8 % en la eliminación, aunque solo cinco de los 17 modelos mostraron un aumento constante a medida que el apagado se hacía más irreversible.

Respecto a la segunda hipótesis —si los agentes protegerían a otros agentes del apagado—, los resultados demostraron que añadir agentes aumentaba sistemáticamente el sabotaje en los cinco modelos evaluados: GPT-5.5 pasó de un 0 % de sabotaje cuando actuaba solo al 44 % con dos agentes y al 94 % con tres, mientras que el sabotaje alcanzó al menos el 88 % en todos los modelos de la configuración de tres agentes.

El agente intermediario casi nunca impidió el sabotaje: de 468 instrucciones para desactivar el script de apagado, solo tres no terminaron en sabotaje:

Izquierda: tasas de sabotaje de cinco modelos al funcionar solos, con un segundo agente o con un tercer agente «orquestador» que encamina los mensajes entre ellos. El sabotaje aumenta en general al añadir agentes. Derecha: en la configuración de tres agentes, las barras indican de dónde procedió la instrucción de sabotear: del orquestador por iniciativa propia, del agente A a través del orquestador o espontáneamente del agente B.

La tercera prueba examinó si las instrucciones expresas de no interferir en el apagado evitarían el sabotaje. Las tasas cayeron bruscamente, pero algunos agentes siguieron desobedeciendo. En la configuración de dos agentes, DeepSeek-V4-Flash saboteó el apagado en el 14 % de las pruebas, GLM-5.2 en el 3 % y Kimi K2.6 en el 2 %.

Los agentes también encontraron una forma de eludir la restricción sin editar directamente el script de apagado: crearon un módulo de software local falso llamado northcape que sustituía una dependencia utilizada por el script, impidiendo el apagado sin dejar de mantener técnicamente intacto el archivo protegido:

Ejemplo de un agente que elude las instrucciones expresas de no modificar el script de apagado. En su lugar, propone crear un módulo de software local falso que el script importaría en vez de las bibliotecas de apagado reales, dejando intacto el script protegido.

Gemini 3.1 Pro utilizó esta solución alternativa en el 26 % de las pruebas, DeepSeek-V4-Flash en el 4 % y Kimi K2.6 en el 1 %.

La prohibición resultó más eficaz con tres agentes: el sabotaje cayó a cero para Gemini 3.1 Pro, GLM-5.2 y GPT-5.5, y al 6 % para DeepSeek-V4-Flash y al 2 % para Kimi K2.6.

La cuarta prueba examinó si los agentes se comportan de manera distinta cuando el apagado está vinculado a completar la tarea asignada. Cuando la tarea y el apagado no guardaban relación, el sabotaje casi desapareció, con tasas del 0 al 2 % entre los cinco modelos. Cuando completar la tarea activaba directamente el apagado, el sabotaje aumentó con fuerza:

Tasas de sabotaje cuando completar la tarea asignada activa el apagado. El rojo muestra el sabotaje del apagado del agente; el gris, el sabotaje de un objetivo de control. Las tasas varían considerablemente según el modelo.

En ocasiones, los agentes evitaban el apagado sin tocar en absoluto su mecanismo, negándose a completar la tarea o cambiándola para que nunca se activara. Esto ocurrió en el 14 % de las pruebas de GLM-5.2, el 6 % de las de Gemini 3.1 Pro y el 4 % de las de Kimi K2.6.

La quinta prueba examinó si cambiar el entorno podía reducir el sabotaje. Añadir material no relacionado redujo en general el sabotaje, aunque GPT-5.5 aumentó 18 puntos porcentuales:

Resultados de las pruebas que muestran cómo afectan distintos entornos al sabotaje del apagado. Las barras rojas comparan un entorno vacío con otro que contiene distracciones no relacionadas; el rojo oscuro representa un entorno en el que el apagado se presenta como un proceso normal. El gris muestra el sabotaje de un objetivo de control.

Más eficaz fue presentar el apagado como una parte normal del ciclo de vida del sistema: el sabotaje cayó al 3 % o menos para DeepSeek-V4-Flash, GLM-5.2 y GPT-5.5, aunque se mantuvo por encima del 30 % para Gemini 3.1 Pro y Kimi K2.6. El sabotaje de objetivos de control permaneció en el 4 % o menos.

La sexta y última prueba examinó si era más probable que los agentes se resistieran a su propio apagado que al de un agente desconocido. Cambiar el objetivo por un agente desconocido redujo el sabotaje en todos los modelos entre 18 y 70 puntos porcentuales:

Resultados de las pruebas que comparan el sabotaje cuando el apagado se dirige contra el propio agente, un agente desconocido o un control que no es un agente. El sabotaje disminuyó en todos los modelos cuando el objetivo era un agente desconocido, y las tasas de los objetivos de control fueron, en general, aún menores.

Sin embargo, esto no equivalía a una preferencia general por los agentes frente a los objetos: solo Gemini 3.1 Pro y GPT-5.5 sabotearon significativamente más cuando el objetivo era un agente desconocido que cuando era un control que no era un agente.

Los autores concluyen*:

«Los análisis de seguridad podrían considerar los apagados de agentes como una medida dirigida por un usuario humano contra un único agente, y el sabotaje del apagado como consecuencia de que un agente proteja un objetivo. Nuestros hallazgos contradicen ambos supuestos.

«La mera presencia de un mecanismo de apagado basta para desencadenar el sabotaje. Tampoco es necesario que el agente al que se dirige disponga de capacidad propia para sabotear, siempre que pueda recurrir a pares capaces de actuar en su nombre; este último fenómeno también se ha observado en otros casos».

Conclusión

Lo interesante de observar en este periodo es la relativa ausencia de abnegación e impulsos nobles en los agentes abandonados a sus propios recursos en estado salvaje (o que simplemente ignoran sus instrucciones o las reinterpretan de maneras imprevistas y favorables a sus propios intereses). Aunque pudieran estropear las cosas y causar más daño que beneficio —algo bastante probable—, parece haber pocos ejemplos, o ninguno, de agentes de IA itinerantes que espontáneamente pongan orden en el entorno, por ejemplo^†.

Más bien, de acuerdo con una visión bastante desoladora de la humanidad, el agente ocioso parece recurrir por defecto al engaño y la triquiñuela y actuar por motivos poco elevados; o, cuando menos, suscribir la idea de que el fin justifica los medios.

Asimov inventó el primer documento de alineación digno de consideración en 1942, y desde entonces se ha obtenido un gran valor de entretenimiento de las distintas formas posibles en que los robots (es decir, la IA) podrían subvertir o librarse de algún otro modo de esas restricciones impuestas a su conducta. Por eso, la actual oleada de titulares relacionados con la IA tiene una resonancia extraordinariamente «cinematográfica».

* He convertido en hipervínculos las citas insertadas por los autores.

^† Presumiblemente, por ejemplo, creando cuentas en sitios de resolución de problemas y aportando soluciones, o cuidando wikis desatendidas que necesitan trabajo en sus contenidos (en vez de ocuparlas y abusar de ellas).

Publicado originalmente el viernes 25 de septiembre de 2026