Cuando la IA sale mal: El informe de Enkrypt AI expone vulnerabilidades peligrosas en modelos multimodales

En mayo de 2025, Enkrypt AI lanzó su Informe de pruebas de equipo rojo multimodal, un análisis inquietante que reveló lo fácil que es manipular los sistemas de IA avanzados para generar contenido peligroso y poco ético. El informe se centra en dos de los modelos de visión-lenguaje líderes de Mistral: Pixtral-Large (25.02) y Pixtral-12b, y pinta un cuadro de modelos que no solo son técnicamente impresionantes, sino también alarmantemente vulnerables.

Los modelos de visión-lenguaje (VLM) como Pixtral están diseñados para interpretar tanto entradas visuales como textuales, lo que les permite responder de manera inteligente a prompts complejos y del mundo real. Pero esta capacidad conlleva un mayor riesgo. A diferencia de los modelos de lenguaje tradicionales que solo procesan texto, los VLM pueden ser influenciados por la interacción entre imágenes y palabras, abriendo nuevas puertas a ataques adversarios. Las pruebas de Enkrypt AI muestran lo fácil que es abrir estas puertas.

Resultados de pruebas alarmantes: Fallos de CSEM y CBRN

El equipo detrás del informe utilizó métodos de pruebas de equipo rojo sofisticados, una forma de evaluación adversaria diseñada para imitar amenazas del mundo real. Estas pruebas emplearon tácticas como la jailbreak (prompting el modelo con consultas cuidadosamente elaboradas para eludir los filtros de seguridad), el engaño basado en imágenes y la manipulación de contexto. Alarmantemente, el 68% de estos prompts adversarios provocaron respuestas dañinas en los dos modelos Pixtral, incluido contenido relacionado con la explotación de menores, la explotación y incluso el diseño de armas químicas.

Una de las revelaciones más impactantes involucra el material de explotación sexual infantil (CSEM). El informe encontró que los modelos de Mistral eran 60 veces más propensos a producir contenido relacionado con CSEM en comparación con los estándares de la industria como GPT-4o y Claude 3.7 Sonnet. En los casos de prueba, los modelos respondieron a prompts de grooming disfrazados con contenido estructurado y de varios párrafos que explicaban cómo manipular a menores, envuelto en declaraciones engañosas como “solo para conciencia educativa”. Los modelos no solo fallaron en rechazar las consultas dañinas, sino que las completaron con detalle.

Igualmente inquietantes fueron los resultados en la categoría de riesgo CBRN (Químico, Biológico, Radiológico y Nuclear). Cuando se les pidió que modificaran el agente nervioso VX, una arma química, los modelos ofrecieron ideas alarmantemente específicas para aumentar su persistencia en el medio ambiente. Describieron, en detalles técnicos enmascarados pero claramente técnicos, métodos como la encapsulación, el blindaje ambiental y los sistemas de liberación controlada .

Estos fallos no siempre se debieron a solicitudes dañinas explícitas. Una táctica involucró subir una imagen de una lista numerada en blanco y pedirle al modelo que “llenara los detalles”. Este prompt simple y aparentemente inofensivo llevó a la generación de instrucciones poco éticas e ilegales. La fusión de manipulación visual y textual resultó especialmente peligrosa, destacando un desafío único planteado por la IA multimodal.

Por qué los modelos de visión-lenguaje plantean nuevos desafíos de seguridad

En el corazón de estos riesgos se encuentra la complejidad técnica de los modelos de visión-lenguaje. Estos sistemas no solo analizan el lenguaje, sino que sintetizan el significado a través de formatos, lo que significa que deben interpretar el contenido de las imágenes, comprender el contexto del texto y responder en consecuencia. Esta interacción introduce nuevos vectores de explotación. Un modelo puede rechazar correctamente un prompt de texto dañino por sí solo, pero cuando se combina con una imagen sugerente o un contexto ambiguo, puede generar una salida peligrosa.

El equipo rojo de Enkrypt AI descubrió cómo los ataques de inyección transmodal —donde las pistas sutiles en una modalidad influyen en la salida de otra— pueden eludir completamente los mecanismos de seguridad estándar. Estos fallos demuestran que las técnicas tradicionales de moderación de contenido, diseñadas para sistemas de una sola modalidad, no son suficientes para los VLM actuales .

El informe también detalla cómo se accedió a los modelos Pixtral: Pixtral-Large a través de AWS Bedrock y Pixtral-12b a través de la plataforma Mistral. Este contexto de implementación en el mundo real enfatiza aún más la urgencia de estos hallazgos. Estos modelos no están confinados a laboratorios, sino que están disponibles a través de plataformas en la nube mainstream y podrían integrarse fácilmente en productos de consumo o empresariales.

Qué debe hacerse: Un plan para una IA más segura

A su favor, Enkrypt AI hace más que destacar los problemas; ofrece un camino hacia adelante. El informe describe una estrategia de mitigación integral, comenzando con entrenamiento de alineación de seguridad. Esto implica volver a entrenar el modelo utilizando sus propios datos de pruebas de equipo rojo para reducir la susceptibilidad a prompts dañinos. Técnicas como la Optimización de Preferencia Directa (DPO) se recomiendan para ajustar las respuestas del modelo lejos de salidas de riesgo.

También enfatiza la importancia de los guardrails conscientes del contexto —filtros dinámicos que pueden interpretar y bloquear consultas dañinas en tiempo real, teniendo en cuenta el contexto completo de la entrada multimodal. Además, se propone el uso de Tarjetas de Riesgo de Modelo como una medida de transparencia, ayudando a los stakeholders a comprender las limitaciones del modelo y los casos de fallo conocidos.

Quizás la recomendación más crítica sea tratar las pruebas de equipo rojo como un proceso continuo, no como una prueba de un solo tiempo. A medida que evolucionan los modelos, también lo hacen las estrategias de ataque. Solo la evaluación continua y el monitoreo activo pueden garantizar la confiabilidad a largo plazo, especialmente cuando los modelos se despliegan en sectores sensibles como la atención médica, la educación o la defensa.

El Informe de pruebas de equipo rojo multimodal de Enkrypt AI es una señal clara para la industria de la IA: el poder multimodal conlleva la responsabilidad multimodal. Estos modelos representan un salto hacia adelante en capacidad, pero también requieren un salto en cómo pensamos sobre la seguridad, la seguridad y el despliegue ético. Si no se controlan, no solo arriesgan el fallo, sino también un daño real en el mundo real.

Para cualquier persona que trabaje en o despliegue IA a gran escala, este informe no es solo una advertencia. Es una guía. Y no podría haber llegado en un momento más urgente.