Sandy Dunn, CISO en SPLX – Serie de entrevistas

Sandy Dunn, CISO en SPLX es un veterano CISO con más de 20 años de experiencia en atención médica y startups, brindando consultoría de CISO a través de QuarkIQ. Lidera la lista de verificación de seguridad y gobernanza de aplicaciones LLM de OWASP Top 10 y contribuye a OWASP AI Exchange, OWASP Top 10 para LLM y la Cloud Security Alliance. Como profesor adjunto de ciberseguridad en la Universidad Estatal de Boise, también es un frecuente orador, asesor y miembro de la junta del Instituto de Ciberseguridad Pervasive de Boise State. Sandy tiene una maestría en gestión de seguridad de la información de SANS y numerosas certificaciones, incluyendo CISSP, múltiples credenciales GIAC de SANS, Security+, ISTQB y FAIR.

SPLX es una empresa de ciberseguridad que proporciona protección integral para sistemas de inteligencia artificial a través de pruebas de penetración automatizadas, protección en tiempo de ejecución, gobernanza, remediación, inspección de amenazas y seguridad de modelos. Su plataforma ejecuta miles de simulaciones de ataques en menos de una hora para identificar vulnerabilidades, endurece los prompts del sistema antes de la implementación y incluye Agentic Radar, una herramienta de código abierto para mapear y analizar riesgos en flujos de trabajo de inteligencia artificial multiagente.

¿Qué te llevó a la intersección de la inteligencia artificial y la ciberseguridad, y cómo te llevó ese camino a tu papel en SPLX y tu participación con OWASP?

La inteligencia artificial había sido parte de las conversaciones de ciberseguridad durante años antes de ChatGPT, pero a menudo parecía que no había cumplido con el hype. Así que cuando se lanzó, esperaba estar decepcionado, pero en cambio tuve la reacción opuesta. Cuando utilicé ChatGPT por primera vez, me sorprendió lo que podía hacer y me aterró lo rápido que podía ser utilizado para ataques adversarios o abuso de privacidad. Ese momento encendió una llama. Me sumergí en LLM de cabeza, leyendo todos los documentos de investigación que pude encontrar, uniéndome a todas las comunidades relevantes de Slack y Discord y realizando mis propios experimentos. Me escondí durante un tiempo en el canal de OWASP Top 10 para LLM, y cuando se publicó la primera lista, supe que era un hito importante. Pero como CISO, sentí que los equipos de seguridad necesitaban más información. Les habíamos dicho a las personas qué preocuparse, pero no qué hacer. Me acerqué a Steve Wilson, el líder del proyecto, para crear una “Lista de verificación de seguridad de LLM para CISO”. Luego se convirtió en el primer subproyecto de OWASP GenAI, lo que inspiró muchos subproyectos adicionales.

Gracias a ese trabajo, conocí a Kristian Kamber y Ante Gojsalic (los fundadores de SPLX), y también asesoré a numerosas startups de seguridad de inteligencia artificial, algunas con ideas prometedoras, otras menos. En ese momento, era CISO en una empresa de chatbot B2B, creando un libro de jugadas de pruebas de adversarios de inteligencia artificial extenso. Cuando vi la demo de SPLX, inmediatamente reconocí que habían resuelto el problema con el que yo estaba luchando: cómo operativizar las pruebas de adversarios. Cuando SPLX necesitaba un CISO, me apresuré a unirme a una empresa increíble con personas increíbles que resuelven desafíos importantes.

Como CISO en SPLX, ¿cuáles son las técnicas de ataque más novedosas que estás descubriendo, especialmente con respecto a la inteligencia artificial agente?

Debido a las sutilezas del diseño del sistema GenAI, no es posible eliminar las vulnerabilidades y ataques de GenAI que aprovechan la autonomía y las capacidades del agente. Los ataques de envenenamiento de memoria, como MINJA, son un ejemplo reciente de esto. Con MINJA, los atacantes pueden corromper sutilmente los bancos de memoria de un agente a través de interacciones elaboradas, implantando “recuerdos” dañinos con prompts que resultan en comportamientos engañosos o peligrosos más adelante. Otro ejemplo es el ataque de cámara de eco. Esto es donde un adversario crea bucles conversacionales enviando a un agente contextos maliciosos repetidos. Los investigadores pudieron evadir los mecanismos de seguridad reforzando instrucciones dañinas durante múltiples turnos.

La inyección de prompts indirecta y transmodal es otro ejemplo. Las instrucciones maliciosas se esconden en contenido externo como imágenes o documentos que los agentes consumen. Estas instrucciones pueden secuestrar decisiones autónomas sin entrada directa del usuario.

Los ataques sofisticados al ecosistema de agentes de inteligencia artificial, como el envenenamiento de herramientas, requieren una revisión cuidadosa de toda la cadena de suministro para las implementaciones de agentes de inteligencia artificial. Los atacantes crean herramientas aparentemente legítimas para plataformas de agentes, pero incrustan instrucciones maliciosas dentro de las descripciones y documentación de las herramientas. Cuando los agentes cargan estas herramientas, las instrucciones incrustadas se convierten en parte del contexto del agente, permitiendo acciones no autorizadas como la exfiltración de datos o el compromiso del sistema.

¿Cómo ayuda la plataforma de SPLX a las organizaciones a detectar y responder a amenazas específicas de LLM, como inyección de prompts o ataques de jailbreak?

SPLX es una plataforma de seguridad integral que protege las aplicaciones y los sistemas multiagente impulsados por LLM en todo el ciclo de vida de la inteligencia artificial, desde el desarrollo hasta la implementación y la operación en tiempo real. Nuestra protección en tiempo de ejecución de inteligencia artificial está diseñada para detener estas amenazas a medida que ocurren, monitoreando y filtrando continuamente las entradas y salidas. Actúa como un firewall en tiempo real para la inteligencia artificial y hace cumplir estrictas fronteras de comportamiento en la inteligencia artificial. El motor de detección dinámico de SPLX marca la actividad maliciosa en tiempo real, garantizando que los sistemas de inteligencia artificial respondan de manera segura y permanezcan dentro de los límites previstos.

¿Cómo reflejan las nuevas amenazas las actualizaciones de OWASP GenAI Security Top 10, como la fuga de sistema-prompt y las vulnerabilidades de la base de datos vectorial?

Las actualizaciones de OWASP Top 10 para 2025 reflejan una comprensión en evolución de cómo se utilizan las tecnologías de inteligencia artificial generativa y LLM en escenarios del mundo real. Es importante señalar que hay muchas más de diez amenazas de LLM, pero el objetivo es identificar las diez principales. Los grandes cambios son LLM07 Diseño de complemento inseguro se incluyó en la cadena de suministro y LLM010 Robo de modelo se incluyó en el consumo ilimitado para la lista de 2025, lo que creó espacio para agregar:

1. Fuga de sistema-prompt, que identifica la amenaza de exponer el prompt del sistema, lo que puede revelar guardias, flujos lógicos o incluso secretos incrustados en los prompts de LLM.

2. Vulnerabilidades de la base de datos vectorial, que señalan los posibles problemas de seguridad dentro de los sistemas RAG, como la fuga de datos entre inquilinos, la inversión de incrustación o los documentos envenenados que más tarde dan lugar a salidas peligrosas.

3. Las actualizaciones muestran que los ataques de inteligencia artificial han evolucionado de ataques de prompts oportunísticos elaborados a ataques sofisticados que apuntan a las cadenas de suministro de inteligencia artificial completas. Los ataques modernos demuestran un pensamiento estratégico del sistema de inteligencia artificial completo, centrándose en la persistencia, la escala y el impacto sistémico en lugar de explotaciones de un solo uso.

La cobertura expandida de arquitecturas agente reconoce otro desarrollo crítico. A medida que los sistemas de inteligencia artificial ganan mayor autonomía y capacidad de toma de decisiones, las consecuencias de los fallos de seguridad se multiplican exponencialmente. Reducir la supervisión humana, al mismo tiempo que permite aplicaciones más poderosas, tiene un efecto de multiplicación que amplifica el impacto de los ataques exitosos.

¿Cuáles son las vulnerabilidades más comúnmente pasadas por alto en las empresas que implementan inteligencia artificial agente hoy en día?

El problema más comúnmente pasado por alto es el mismo desafío que enfrentamos con las implementaciones de software y sistemas tradicionales, el principio de privilegios mínimos. Todavía estamos luchando con el privilegio mínimo para usuarios humanos y cuentas de servicio, y ahora las organizaciones enfrentan un nuevo desafío al gestionar identidades no humanas (NIH). La gente está implementando agentes mientras que la identidad y el acceso de los agentes aún no se entienden o resuelven por completo. Vemos a los agentes con permisos de amplio alcance para leer documentos, acceder a API externas e incluso modificar sistemas. Esto no es un error técnico en el modelo en sí, es un error arquitectónico fundamental. Un agente comprometido con privilegios excesivos puede causar estragos, desde la exfiltración de grandes cantidades de datos hasta la iniciación de transacciones financieras.

Otro problema a menudo pasado por alto o ignorado es la “relación de confianza” entre los agentes. En los sistemas agente, los agentes a menudo están diseñados para comunicarse y cooperar entre sí. Estamos viendo una nueva clase de ataques en los que un agente comprometido puede impersonar a uno legítimo, convirtiéndose esencialmente en un “Agente en el medio”. Es como un caballo de Troya, pero a nivel arquitectónico.

¿Puedes guiarnos a través de los pasos accionables que los equipos de seguridad empresarial deben tomar al implementar herramientas de inteligencia artificial agente en entornos de producción?

1. Comienza con los planes de respuesta a incidentes. ¿Qué se ve el peor día? Luego, trabaja hacia atrás para asegurarte de que los controles de seguridad y la visibilidad estén en su lugar. Cuando se produce una violación de inteligencia artificial, tu centro de operaciones de seguridad necesita una guía. ¿Quién es notificado? ¿Cómo aíslas a un agente comprometido? ¿Cuál es el proceso para revertir a un estado conocido como bueno? Es vital tener un plan antes de que se produzca una crisis.

2. Inventario de superficie de ataque y evaluación de amenazas. No puedes asegurar lo que no sabes que tienes. El primer paso es obtener un inventario completo de todos los agentes de inteligencia artificial, herramientas en uso y acceso a datos. ¿Qué datos toca? ¿Qué permisos tiene? ¿Cuál es el impacto potencial si se ve comprometido? Prioriza los riesgos de alto impacto y las amenazas más probables. Luego, tiene una conversación honesta con el equipo ejecutivo sobre el apetito de riesgo. Un beneficio de la actividad de inteligencia artificial acelerada es que los CISO, los oficiales de riesgos, los equipos legales y el liderazgo ejecutivo serán obligados a tener una conversación real sobre los objetivos comerciales, el apetito de riesgo y los presupuestos de seguridad. Históricamente, había una expectativa de que no hubiera incidentes con un presupuesto mínimo. Los CISO han (en su mayoría) podido evitar un gran incidente implementando solo la seguridad necesaria para hacer que su organización sea un objetivo menos atractivo que la organización con menos seguridad. Los adversarios habilitados por la inteligencia artificial hacen que esa estrategia sea poco realista ahora.

3. Implementa guardias, privilegios mínimos y herramientas de monitoreo. El alcance es importante para cualquier implementación de agentes. Define el propósito de un agente, sus límites y sus permisos. No des a un agente acceso a toda la biblioteca de SharePoint si solo necesita una carpeta. Implementa controles que limiten las API que puede llamar y las acciones que puede realizar. Piénsalo como un nuevo, muy inteligente, internado borracho. Reconoces que tiene capacidades increíbles, pero no lo confiarías. Limitarías lo que podría hacer dentro de la empresa, no le darías acceso a nada importante, monitorearías lo que hace y podrías tener sistemas de alarma en su lugar si intentara hacer algo que absolutamente no debería hacer, como acceder a la oficina del director ejecutivo.

4. Implementa una pila de seguridad específica de inteligencia artificial que se fusiona con tu pila de seguridad tradicional. Las herramientas de seguridad tradicionales no fueron diseñadas para sistemas GenAI o sistemas agente. Necesitas implementar herramientas diseñadas para problemas únicos de GenAI, como la validación de prompts, la saneamiento de salidas y el monitoreo continuo del comportamiento del agente. Estas herramientas necesitan poder detectar los ataques sutiles y basados en la semántica que son específicos de GenAI y los sistemas agente.

5. Integra el rojo de equipo de inteligencia artificial en la tubería de CI/CD. Necesitas probar continuamente a tus agentes en busca de vulnerabilidades en función de la importancia de los cambios y el apetito de riesgo de la organización. La actualización reciente de GPT-5 es un ejemplo de cómo los cambios disruptivos pueden ser para los flujos de trabajo de agentes. Haz que el rojo de equipo automatizado sea una parte central de tu ciclo de vida de desarrollo. Esto te ayuda a identificar problemas a medida que actualizas y cambias tus agentes.

¿Cómo deberían las organizaciones incorporar el rojo de equipo automatizado, la gobernanza de RAG, el monitoreo y la gestión de identidad y acceso de inteligencia artificial en su estrategia de gestión de riesgos de GenAI?

La clave es la integración en lugar de tratarlos como iniciativas separadas. Tu estrategia de gestión de riesgos de GenAI necesita ser un marco coherente donde cada componente refuerza a los demás.

Comienza con el rojo de equipo automatizado como base. Es importante tener pruebas de adversarios continuas que evolucionen con el panorama de amenazas. La plataforma de SPLX simula miles de escenarios de ataque en diferentes categorías de riesgo, probando la inyección de prompts, los jailbreak, la manipulación de contexto y el envenenamiento de herramientas. El aspecto crítico es hacer que esto sea parte de tu tubería de CI/CD para que cada actualización de agente sea validada en términos de seguridad antes de la implementación.

La gestión de identidad y acceso de inteligencia artificial requiere repensar los modelos de identidad tradicionales. Los agentes de inteligencia artificial necesitan permisos granulares que se pueden ajustar dinámicamente en función del contexto y los niveles de riesgo. Implementa el control de acceso basado en atributos que considere no solo la identidad del agente, sino también los datos que está procesando, las herramientas a las que solicita acceso y el contexto de la amenaza.

Para el monitoreo, necesitas telemetría que capture tanto indicadores técnicos como de comportamiento. El monitoreo técnico incluye el análisis de entrada/salida, los patrones de llamadas de API y el consumo de recursos. El monitoreo de comportamiento se centra en la calidad de la toma de decisiones, los patrones de finalización de tareas y los contextos de interacción que podrían indicar un compromiso.

La integración es importante. Los resultados del rojo de equipo deben informar las políticas de CIAM, los sistemas de monitoreo deben retroalimentar los procesos de gobernanza de RAG, y todo esto debe coordinarse a través de una plataforma de gestión de riesgos empresariales centralizada que pueda correlacionar señales en todos estos dominios.

Con las violaciones de inteligencia artificial aún en etapas tempranas pero listas para crecer, ¿qué tendencias deberían prepararse los líderes de seguridad en los próximos 12 a 18 meses?

Espero ver una escalada significativa en los ataques a la cadena de suministro que apuntan a todo, incluida la infraestructura de inteligencia artificial. Los ataques a la cadena de suministro de inteligencia artificial envenenan los conjuntos de datos de entrenamiento, comprometen los repositorios de modelos o inyectan código malicioso en las dependencias de software para obtener acceso persistente a los sistemas de inteligencia artificial.

Ya hay un aumento en la ingeniería social autónoma, como los incidentes de vishing de deepfake, pero lo que más me preocupa es la evolución hacia la generación completamente autónoma. Los agentes de inteligencia artificial que manejan campañas de ingeniería social completas en múltiples plataformas simultáneamente, cada una adaptada a objetivos y contextos específicos, crean un efecto multiplicador que las defensas tradicionales no están preparadas para enfrentar.

Creo que veremos el surgimiento de ataques nativos de inteligencia artificial que operan a velocidad de máquina. Las herramientas de seguridad tradicionales y los analistas humanos no pueden mantener el ritmo de un atacante que puede ejecutar explotaciones complejas y multietapa en milisegundos.

¿Cómo preves que evolucionen los marcos regulatorios y de cumplimiento en respuesta a los riesgos de la inteligencia artificial generativa?

Preveo un cambio importante en los marcos regulatorios, que apuntan a equilibrar la innovación con un enfoque en la rendición de cuentas, la transparencia, las prácticas de desarrollo seguro y la seguridad de la cadena de suministro.

Espero ver un enfoque en la procedencia y la integridad de los datos. Los organismos reguladores querrán saber de dónde provienen los datos utilizados para entrenar y mejorar los modelos de inteligencia artificial. Querrán ver pruebas de que los datos se han saneado, de que no contenían información sensible y de que no han sido envenenados.

Finalmente, creo que veremos regulaciones específicas del sector. Los riesgos para una institución financiera que utiliza un agente de inteligencia artificial para manejar transacciones son diferentes a los de una empresa de atención médica que lo utiliza para diagnósticos.

Los reguladores comenzarán a definir estándares específicos para industrias críticas, que requieren cosas como pruebas de rojo de equipo automatizado, supervisión humana en el bucle y auditorías estrictas para los sistemas de inteligencia artificial que podrían tener consecuencias de vida o muerte.

Como profesor adjunto y miembro de la junta en el Instituto de Ciberseguridad Pervasive de la Universidad Estatal de Boise, ¿cómo estás preparando a la próxima generación de profesionales de seguridad de inteligencia artificial, y qué habilidades ves como más críticas en el panorama en evolución de hoy?

El pensamiento crítico y la resolución de problemas siguen siendo las habilidades más importantes que los estudiantes necesitan para una gran carrera en ciberseguridad, pero habilidades como la psicología humana y la lingüística, que antes solo se encontraban en los equipos de inteligencia de amenazas, son habilidades que beneficiarán a una variedad de roles de ciberseguridad en el futuro de la inteligencia artificial.

Las habilidades de las personas y la comunicación también importan. La ciberseguridad es más que los sistemas de TI, es sobre las personas, ayudar a una empresa a cumplir con sus objetivos comerciales y ser capaz de traducir y comunicar riesgos técnicos complejos a partes interesadas no técnicas para que puedan tomar las decisiones correctas para la empresa. El futuro de la ciberseguridad dependerá de profesionales que no solo sean técnicamente inteligentes, sino también comunicadores habilidosos y bien fundamentados.

Finalmente, el panorama de seguridad de la inteligencia artificial está evolucionando tan rápidamente, así que será importante poder aprender y adaptarse rápidamente.

Gracias por la gran entrevista y la visión detallada, los lectores que deseen aprender más pueden visitar SPLX.