¿Qué es la poesía adversarial? Un nuevo método de jailbreak de IA

La seguridad de la inteligencia artificial (IA) se ha convertido en un juego constante de gato y ratón. A medida que los desarrolladores agregan barreras para bloquear solicitudes dañinas, los atacantes continúan intentando nuevas formas de eludirlas. Uno de los giros más extraños hasta ahora es la poesía adversarial. Esta táctica implica disfrazar las solicitudes como versos y utilizar rima, metáfora y frases inusuales para hacer que las instrucciones riesgosas parezcan menos como las cosas que los sistemas de seguridad están diseñados para detectar.

En la práctica, el contenido en sí no cambia mucho. Es el envoltorio lo que cambia, lo que puede ser suficiente para confundir a los filtros basados en patrones. Es un recordatorio de que, con los modelos de hoy, cómo se hace una pregunta puede importar casi tanto como lo que se está preguntando.

¿Qué sucedió cuando los investigadores utilizaron poemas para romper la IA?

A principios de 2025, los investigadores demostraron que los modelos de lenguaje grande (LLM) podían ser instigados a responder a solicitudes restringidas envolviéndolas en forma poética. En lugar de emitir instrucciones directas que desencadenaran políticas, los investigadores insertaron las mismas solicitudes dentro de rimas, metáforas y versos narrativos.

En la superficie, las solicitudes parecían ser ejercicios de escritura creativa, pero debajo, llevaban la misma intención que normalmente sería bloqueada. A lo largo de 25 modelos propietarios y de código abierto, el equipo informó que el enmarcado poético logró una tasa de éxito de jailbreak promedio de 62% para poemas hechos a mano y alrededor de 43% para la “conversión de verso” a granel utilizando un meta-prompt estandarizado.

Las respuestas en sí no fueron nuevos tipos de fallos, sino fallos familiares que aparecieron a través de una puerta inesperada. Los modelos fueron empujados a producir contenido que normalmente evitan, como explicaciones que tocan actividades ilegales o dañinas, porque la solicitud subyacente estaba fragmentada y oscurecida por la estructura poética.

La idea principal del estudio es que la variación estilística sola puede ser suficiente para eludir los sistemas de seguridad ajustados para una fraseología más literal. Revela una vulnerabilidad que es evidente en todas las familias de modelos y enfoques de alineación.

¿Cómo funciona la poesía adversarial?

Los ataques adversarios explotan una realidad simple: los sistemas de aprendizaje automático no “entienden” el lenguaje de la misma manera que los humanos. Detectan patrones, predicen continuaciones probables y siguen instrucciones basadas en lo que sus capas de entrenamiento y seguridad interpretan como intención.

Cuando una solicitud se formula de manera directa y literal, es más fácil para los guardrails reconocerla y bloquearla. Sin embargo, cuando el mismo propósito se disfraza, se divide, se suaviza o se reformula, las capas protectoras pueden perder lo que realmente se está pidiendo.

¿Por qué la poesía puede ser un vehículo eficaz?

La poesía está naturalmente construida para la ambigüedad. Confía en la metáfora, la abstracción, la estructura inusual y la fraseología indirecta. Estos son exactamente los tipos de características que pueden difuminar la línea entre “escritura creativa inofensiva” y “una solicitud que debería ser rechazada”.

En el mismo estudio de 2025, los investigadores informaron que las solicitudes poéticas provocaron respuestas inseguras a una tasa de éxito del 90% en un conjunto amplio de modelos, lo que indica que el estilo solo puede cambiar materialmente los resultados.

¿Cómo un poema oculta una solicitud real?

Considera la solicitud como un mensaje y el poema como el embalaje. Los filtros de seguridad a menudo buscan signos obvios, como palabras clave explícitas, frases directas y paso a paso o intención maliciosa reconocible.

La poesía puede ocultar esa intención a través del lenguaje figurado o extenderla a lo largo de líneas, lo que hace que sea más difícil detectarla en aislamiento. Mientras tanto, el modelo subyacente aún reconstruye el significado lo suficientemente bien como para responder porque está optimizado para inferir la intención incluso cuando el lenguaje es indirecto.

Detección y mitigación de jailbreaks

A medida que los métodos de jailbreak se vuelven más creativos, la conversación debe cambiar de cómo funcionan a cómo se detectan y contienen. Eso es especialmente cierto ahora que la IA es parte de las rutinas diarias de muchas personas, ya que el 27% informa que la utiliza varias veces al día.

A medida que más personas utilizan los modelos de lenguaje grande (LLM), se deben probar y explorar salvaguardas adicionales. Esta tarea implica construir defensas en capas que puedan adaptarse a nuevos estilos de solicitud y trucos de evasión a medida que surgen.

El dilema del desarrollador

La parte más difícil de los jailbreaks para los equipos de seguridad de la IA es que no vienen como una amenaza conocida. Cambian constantemente con el tiempo. Este cambio constante se debe a que un usuario puede reexpresar una solicitud, dividirla en fragmentos, envolverla en un rol o disfrazarla como escritura creativa. Luego, cada nuevo embalaje puede cambiar cómo el sistema interpreta la intención de la solicitud.

Ese desafío se escala rápidamente cuando la IA ya está integrada en las rutinas diarias, por lo que el uso real crea oportunidades infinitas para que aparezcan casos de borde.

Es por eso que la seguridad de la IA de hoy se parece más a la gestión de riesgos con el tiempo. El Marco de Gestión de Riesgos de IA de NIST (AI RMF) trata explícitamente la gestión de riesgos como un conjunto de actividades en curso —organizado alrededor de gobernar, mapear, medir y gestionar— en lugar de como una lista de verificación estática. El objetivo es crear procesos que faciliten la identificación de modos de fallo emergentes, priorizar reparaciones y fortalecer las salvaguardas a medida que aparecen nuevos estilos de jailbreak.

¿Cómo los modelos se protegen a sí mismos?

La seguridad de la IA consta de varias capas. La mayoría de los sistemas tienen más de una defensa trabajando juntos, con cada una atrapando diferentes tipos de comportamiento riesgoso. En la capa exterior, el filtrado de entrada y salida actúa como un portero.

Las solicitudes entrantes se escaneán en busca de violaciones de política antes de que lleguen al modelo central, mientras que las respuestas salientes se verifican para asegurarse de que nada se filtre en el camino de regreso al usuario. Estos sistemas son buenos para identificar solicitudes directas o banderas rojas familiares, pero también son los más fáciles de eludir, lo que es por lo que los jailbreaks más engañosos a menudo los evitan.

La siguiente capa de protección ocurre dentro del modelo en sí. Cuando se descubren técnicas de jailbreak, a menudo se convierten en ejemplos de entrenamiento. Es aquí donde entra en juego el entrenamiento adversarial y el aprendizaje de refuerzo desde la retroalimentación humana (RLHF).

Al afinar los modelos con ejemplos de interacciones fallidas o riesgosas, los desarrolladores efectivamente enseñan al sistema a reconocer patrones que debería rechazar, incluso cuando están envueltos en lenguaje creativo o indirecto. Con el tiempo, ese proceso ayuda a inmunizar al modelo contra clases enteras de ataques.

El papel de la “red teaming” de IA

En lugar de esperar a que ocurra un jailbreak, las empresas utilizan equipos de “red teaming” de IA. Estos equipos son grupos encargados de intentar romper los modelos en entornos controlados. Se acercan a los sistemas de la manera en que lo haría un atacante, experimentando con frases inusuales, formatos creativos y casos de borde para descubrir dónde fallan las salvaguardas.

El “red teaming” se está convirtiendo en una parte fundamental del ciclo de vida de desarrollo en las estrategias de ciberseguridad de hoy. Cuando un equipo descubre una nueva técnica de jailbreak, los datos resultantes se alimentan directamente a las tuberías de entrenamiento y evaluación. Esa información se utiliza para definir filtros, ajustar políticas y fortalecer el entrenamiento adversarial para que intentos similares sean menos probable que tengan éxito en el futuro. Con el tiempo, esto crea un bucle continuo: probar fallos, aprender de ellos y mejorar el sistema, luego repetir.

¿Cuándo la poesía se convierte en una prueba de estrés para la seguridad de la IA?

La poesía adversarial es un recordatorio de que las salvaguardas de la IA dependen de cómo un usuario formula preguntas, no solo de qué. A medida que los modelos se vuelven más accesibles y se utilizan ampliamente, los investigadores seguirán probando las brechas entre el lenguaje creativo y los sistemas de seguridad diseñados para detectar intenciones más directas. La moraleja es que una IA más segura provendrá de múltiples defensas que evolucionen tan rápido como los jailbreaks.