El Estado de la Seguridad de la IA en 2025: Perspectivas Clave del Informe de Cisco

A medida que más empresas adoptan la IA, entender sus riesgos de seguridad se ha vuelto más importante que nunca. La IA está cambiando industrias y flujos de trabajo, pero también introduce nuevos desafíos de seguridad que las organizaciones deben abordar. Proteger los sistemas de IA es esencial para mantener la confianza, salvaguardar la privacidad y garantizar operaciones comerciales sin interrupciones. Este artículo resume las perspectivas clave del informe reciente de Cisco “El Estado de la Seguridad de la IA en 2025”. Ofrece una visión general de dónde se encuentra la seguridad de la IA hoy en día y qué deben considerar las empresas para el futuro.

Una Amenaza de Seguridad en Creciente para la IA

Si 2024 nos enseñó algo, es que la adopción de la IA está avanzando más rápido de lo que muchas organizaciones pueden asegurar. El informe de Cisco establece que alrededor del 72% de las organizaciones ahora utilizan la IA en sus funciones comerciales, sin embargo, solo el 13% se siente completamente preparado para maximizar su potencial de manera segura. Esta brecha entre la adopción y la preparación está impulsada en gran medida por preocupaciones de seguridad, que siguen siendo la principal barrera para un uso más amplio de la IA en las empresas. Lo que hace que esta situación sea aún más preocupante es que la IA introduce nuevos tipos de amenazas que los métodos tradicionales de ciberseguridad no están completamente equipados para manejar. A diferencia de la ciberseguridad convencional, que a menudo protege sistemas fijos, la IA trae amenazas dinámicas y adaptativas que son más difíciles de predecir. El informe destaca varias amenazas emergentes de las que las organizaciones deben ser conscientes:

• Ataques a la Infraestructura: La infraestructura de la IA se ha convertido en un objetivo principal para los atacantes. Un ejemplo notable es el compromiso de la herramienta de contenedor de NVIDIA, que permitió a los atacantes acceder a sistemas de archivos, ejecutar código malicioso y escalar privilegios. De manera similar, Ray, un marco de IA de código abierto para la gestión de GPU, fue comprometido en uno de los primeros ataques reales a un marco de IA. Estos casos muestran cómo las debilidades en la infraestructura de la IA pueden afectar a muchos usuarios y sistemas.
• Riesgos en la Cadena de Suministro: Las vulnerabilidades en la cadena de suministro de la IA presentan otra preocupación significativa. Alrededor del 60% de las organizaciones dependen de componentes o ecosistemas de IA de código abierto. Esto crea un riesgo ya que los atacantes pueden comprometer estas herramientas ampliamente utilizadas. El informe menciona una técnica llamada “Sleepy Pickle“, que permite a los adversarios manipular los modelos de IA incluso después de su distribución. Esto hace que la detección sea extremadamente difícil.
• Ataques Específicos de la IA: Las técnicas de ataque están evolucionando rápidamente. Métodos como la inyección de prompts, el jailbreaking y la extracción de datos de entrenamiento permiten a los atacantes eludir los controles de seguridad y acceder a información sensible contenida en los conjuntos de datos de entrenamiento.

Vectores de Ataque que Apuntan a los Sistemas de IA

El informe destaca la emergencia de vectores de ataque que los actores maliciosos utilizan para explotar debilidades en los sistemas de IA. Estos ataques pueden ocurrir en varias etapas del ciclo de vida de la IA, desde la recopilación de datos y el entrenamiento de modelos hasta la implementación y la inferencia. El objetivo es a menudo hacer que la IA se comporte de manera no intencionada, filtre datos privados o realice acciones dañinas.

En los últimos años, estos métodos de ataque se han vuelto más avanzados y difíciles de detectar. El informe destaca varios tipos de vectores de ataque:

• Jailbreaking: Esta técnica implica crear prompts adversarios que eluden las medidas de seguridad del modelo. A pesar de las mejoras en las defensas de la IA, la investigación de Cisco muestra que incluso los jailbreaks simples siguen siendo efectivos contra modelos avanzados como DeepSeek R1.
• Inyección Indirecta de Prompts: A diferencia de los ataques directos, este vector de ataque implica manipular los datos de entrada o el contexto que el modelo de IA utiliza de manera indirecta. Los atacantes pueden suministrar materiales fuente comprometidos, como PDFs o páginas web maliciosas, lo que causa que la IA genere salidas no intencionadas o dañinas. Estos ataques son especialmente peligrosos porque no requieren acceso directo al sistema de IA, lo que permite a los atacantes eludir muchas defensas tradicionales.
• Extracción y Envenenamiento de Datos de Entrenamiento: Los investigadores de Cisco demostraron que los chatbots pueden ser engañados para revelar partes de sus datos de entrenamiento. Esto plantea serias preocupaciones sobre la privacidad de los datos, la propiedad intelectual y el cumplimiento. Los atacantes también pueden envenenar los datos de entrenamiento al inyectar entradas maliciosas. Alarmantemente, envenenar solo el 0,01% de grandes conjuntos de datos como LAION-400M o COYO-700M puede afectar el comportamiento del modelo, y esto se puede hacer con un presupuesto pequeño (alrededor de $60 USD), lo que hace que estos ataques sean accesibles para muchos actores maliciosos.

El informe destaca serias preocupaciones sobre el estado actual de estos ataques, con investigadores que logran una tasa de éxito del 100% contra modelos avanzados como DeepSeek R1 y Llama 2. Esto revela vulnerabilidades de seguridad críticas y riesgos potenciales asociados con su uso. Además, el informe identifica la emergencia de nuevas amenazas como ataques de jailbreaking basados en audio que están diseñados específicamente para apuntar a modelos de IA multimodales.

Hallazgos de la Investigación de Seguridad de la IA de Cisco

El equipo de investigación de Cisco ha evaluado varios aspectos de la seguridad de la IA y ha revelado varios hallazgos clave:

• Jailbreaking Algorítmico: Los investigadores mostraron que incluso los mejores modelos de IA pueden ser engañados automáticamente. Utilizando un método llamado Árbol de Ataques con Poda (TAP), los investigadores eludieron las protecciones en GPT-4 y Llama 2.
• Riesgos en el Ajuste Fine: Muchas empresas ajustan los modelos base para mejorar la relevancia para dominios específicos. Sin embargo, los investigadores encontraron que el ajuste fine puede debilitar las barreras de seguridad internas. Las versiones ajustadas fueron más de tres veces más vulnerables al jailbreaking y 22 veces más propensas a producir contenido dañino que los modelos originales.
• Extracción de Datos de Entrenamiento: Los investigadores de Cisco utilizaron un método de descomposición simple para engañar a los chatbots para que reprodujeran fragmentos de artículos de noticias, lo que les permite reconstruir las fuentes del material. Esto plantea riesgos para exponer datos sensibles o propietarios.
• Envenenamiento de Datos: El equipo de Cisco demuestra lo fácil y barato que es envenenar grandes conjuntos de datos web. Por alrededor de $60, los investigadores lograron envenenar el 0,01% de conjuntos de datos como LAION-400M o COYO-700M. Además, destacan que este nivel de envenenamiento es suficiente para causar cambios notables en el comportamiento del modelo.

El Papel de la IA en la Ciberdelincuencia

La IA no solo es un objetivo, sino que también se está convirtiendo en una herramienta para los ciberdelincuentes. El informe señala que la automatización y la ingeniería social impulsadas por la IA han hecho que los ataques sean más efectivos y difíciles de detectar. Desde estafas de phishing hasta clonación de voces, la IA ayuda a los delincuentes a crear ataques personalizados y convincentes. El informe también identifica el surgimiento de herramientas maliciosas de IA como “DarkGPT”, diseñadas específicamente para ayudar a la ciberdelincuencia generando correos electrónicos de phishing o explotando vulnerabilidades. Lo que hace que estas herramientas sean especialmente preocupantes es su accesibilidad. Even los delincuentes de bajo nivel pueden crear ataques personalizados que evaden las defensas tradicionales.

Mejores Prácticas para Seguir la IA

Dada la naturaleza volátil de la seguridad de la IA, Cisco recomienda varios pasos prácticos para las organizaciones:

1. Administrar el Riesgo a lo Largo del Ciclo de Vida de la IA: Es crucial identificar y reducir los riesgos en cada etapa del ciclo de vida de la IA, desde la fuente de datos y el entrenamiento de modelos hasta la implementación y el monitoreo. Esto también incluye asegurar componentes de terceros, aplicar guardias sólidas y controlar estrictamente los puntos de acceso.
2. Utilizar Prácticas de Ciberseguridad Establecidas: Aunque la IA es única, las mejores prácticas de ciberseguridad tradicional siguen siendo esenciales. Técnicas como el control de acceso, la gestión de permisos y la prevención de pérdida de datos pueden desempeñar un papel vital.
3. Enfocarse en Áreas Vulnerables: Las organizaciones deben enfocarse en áreas que son más propensas a ser objetivo, como las cadenas de suministro y las aplicaciones de IA de terceros. Al entender dónde se encuentran las vulnerabilidades, las empresas pueden implementar defensas más dirigidas.
4. Educación y Capacitación de los Empleados: A medida que las herramientas de IA se vuelven más comunes, es importante capacitar a los usuarios sobre el uso responsable de la IA y la conciencia del riesgo. Una fuerza laboral bien informada ayuda a reducir la exposición accidental de datos y el mal uso.

Mirando Hacia Adelante

La adopción de la IA seguirá creciendo, y con ella, los riesgos de seguridad evolucionarán. Los gobiernos y las organizaciones de todo el mundo están reconociendo estos desafíos y comenzando a construir políticas y regulaciones para guiar la seguridad de la IA. Como destaca el informe de Cisco, el equilibrio entre la seguridad de la IA y el progreso definirá la próxima era del desarrollo y la implementación de la IA. Las organizaciones que prioricen la seguridad junto con la innovación estarán mejor equipadas para manejar los desafíos y aprovechar las oportunidades emergentes. Las políticas y regulaciones para guiar la seguridad de la IA. Como destaca el informe de Cisco, el equilibrio entre la seguridad de la IA y el progreso definirá la próxima era del desarrollo y la implementación de la IA. Las organizaciones que prioricen la seguridad junto con la innovación estarán mejor equipadas para manejar los desafíos y aprovechar las oportunidades emergentes.