Dr. Peter Garraghan, CEO, CTO & Co-Fundador en Mindgard – Serie de Entrevistas

Dr. Peter Garraghan es CEO, CTO y co-fundador en Mindgard, el líder en Pruebas de Seguridad de Inteligencia Artificial. Fundada en la Universidad de Lancaster y respaldada por investigaciones de vanguardia, Mindgard permite a las organizaciones proteger sus sistemas de inteligencia artificial contra nuevas amenazas que las herramientas de seguridad de aplicaciones tradicionales no pueden abordar. Como profesor de Ciencias de la Computación en la Universidad de Lancaster, Peter es un experto internacionalmente reconocido en seguridad de inteligencia artificial. Ha dedicado su carrera a desarrollar tecnologías avanzadas para combatir las crecientes amenazas que enfrenta la inteligencia artificial. Con más de 11,6 millones de euros en financiación para investigación y más de 60 artículos científicos publicados, sus contribuciones abarcan tanto la innovación científica como las soluciones prácticas.

¿Puede compartir la historia detrás de la fundación de Mindgard? ¿Qué lo inspiró a pasar de la academia a lanzar una startup de ciberseguridad?

Mindgard nació de un deseo de convertir los conocimientos académicos en un impacto real en el mundo. Como profesor especializado en sistemas de computación, seguridad de inteligencia artificial y aprendizaje automático, he estado impulsado a perseguir la ciencia que genera un impacto a gran escala en la vida de las personas. Desde 2014, he investigado la inteligencia artificial y el aprendizaje automático, reconociendo su potencial para transformar la sociedad y los riesgos inmensos que plantean, desde los ataques de estados nación hasta la interferencia en las elecciones. Las herramientas existentes no estaban diseñadas para abordar estos desafíos, así que lideré un equipo de científicos e ingenieros para desarrollar enfoques innovadores en seguridad de inteligencia artificial. Mindgard surgió como una empresa impulsada por la investigación, centrada en construir soluciones tangibles para protegerse contra las amenazas de inteligencia artificial, combinando la investigación de vanguardia con un compromiso con la aplicación industrial.

¿Qué desafíos enfrentó mientras lanzaba una empresa desde una universidad, y cómo los superó?

Fundamos oficialmente Mindgard en mayo de 2022, y aunque la Universidad de Lancaster brindó un gran apoyo, crear una empresa spin-out de una universidad requiere más que habilidades de investigación. Eso significaba recaudar capital, refinar la propuesta de valor y preparar la tecnología para demos, todo mientras equilibraba mi papel como profesor. Los académicos están capacitados para ser investigadores y perseguir la ciencia novel. Las empresas spin-out tienen éxito no solo por la tecnología innovadora, sino por cómo bien esa tecnología aborda las necesidades comerciales inmediatas o futuras y entrega valor que atrae y retiene a los usuarios y clientes.

El producto principal de Mindgard es el resultado de años de I+D. ¿Puede hablar sobre cómo las primeras etapas de investigación evolucionaron hacia una solución comercial?

El viaje desde la investigación hasta una solución comercial fue un proceso deliberado e iterativo. Comenzó hace más de una década, con mi equipo en la Universidad de Lancaster explorando los desafíos fundamentales en la seguridad de la inteligencia artificial y el aprendizaje automático. Identificamos vulnerabilidades en sistemas de inteligencia artificial instanciados que las herramientas de seguridad tradicionales, tanto de escaneo de código como de firewalls, no estaban equipadas para abordar.

Con el tiempo, nuestro enfoque se desplazó desde la exploración de la investigación hasta la construcción de prototipos y probarlos en escenarios de producción. Colaborando con socios de la industria, refinamos nuestro enfoque, asegurándonos de que abordara las necesidades prácticas. Con muchos productos de inteligencia artificial lanzados sin pruebas de seguridad adecuadas o garantías, dejando a las organizaciones vulnerables, un problema subrayado por un hallazgo de Gartner que indica que el 29% de las empresas que despliegan sistemas de inteligencia artificial han informado sobre violaciones de seguridad, y solo el 10% de los auditores internos tienen visibilidad en el riesgo de inteligencia artificial, sentí que el momento era adecuado para comercializar la solución.

¿Cuáles son algunos de los hitos clave en el viaje de Mindgard desde su creación en 2022?

En septiembre de 2023, aseguramos 3 millones de libras en financiación, liderada por IQ Capital y Lakestar, para acelerar el desarrollo de la solución de Mindgard. Hemos podido establecer un gran equipo de líderes que son ex empleados de Snyk, Veracode y Twilio para impulsar a nuestra empresa hacia la próxima etapa de su viaje. Estamos orgullosos de nuestro reconocimiento como la SME de ciberseguridad más innovadora del Reino Unido en Infosecurity Europe este año. Hoy, tenemos 15 empleados a tiempo completo, 10 investigadores de doctorado (y más que están siendo reclutados activamente), y estamos reclutando activamente analistas de seguridad y ingenieros para unirse al equipo. Mirando hacia adelante, planeamos expandir nuestra presencia en EE. UU., con una nueva ronda de financiación de inversores con sede en Boston que proporciona una base sólida para dicho crecimiento.

¿Cuáles son las amenazas de ciberseguridad más apremiantes que enfrentan las empresas a medida que adoptan cada vez más la inteligencia artificial?

Muchas organizaciones subestiman los riesgos de ciberseguridad asociados con la inteligencia artificial. Es extremadamente difícil para los no especialistas entender cómo funciona la inteligencia artificial, y mucho menos cuáles son las implicaciones de seguridad para su negocio. Dedico una cantidad considerable de tiempo a desmitificar la seguridad de la inteligencia artificial, incluso con tecnólogos experimentados que son expertos en seguridad de infraestructura y protección de datos. Al final del día, la inteligencia artificial es esencialmente software y datos que se ejecutan en hardware. Pero introduce vulnerabilidades únicas que difieren de los sistemas tradicionales, y las amenazas del comportamiento de la inteligencia artificial son mucho mayores y más difíciles de probar en comparación con otros software.

¿Cómo influyen sus hallazgos en la desarrollo de su plataforma?

Las vulnerabilidades que descubrimos en los filtros de contenido de inteligencia artificial de Microsoft fueron menos sobre dar forma al desarrollo de nuestra plataforma y más sobre mostrar sus capacidades.

Azure AI Content Safety es un servicio diseñado para salvaguardar las aplicaciones de inteligencia artificial moderando el contenido dañino en texto, imágenes y videos. Las vulnerabilidades que nuestro equipo descubrió afectaron la moderación de texto de AI (que bloquea el contenido dañino como el discurso de odio, el material sexual, etc.) y Prompt Shield (que previene los jailbreaks y la inyección de instrucciones). Si no se controlan, esta vulnerabilidad puede ser explotada para lanzar ataques más amplios, socavar la confianza en los sistemas basados en inteligencia artificial y comprometer la integridad de la aplicación que depende de la inteligencia artificial para la toma de decisiones y el procesamiento de información.

A partir de octubre de 2024, Microsoft implementó mitigaciones más fuertes para abordar estos problemas. Sin embargo, seguimos abogando por una mayor vigilancia al implementar guardias de inteligencia artificial. Medidas suplementarias, como herramientas de moderación adicionales o el uso de LLM menos propensos a contenido dañino y jailbreaks, son esenciales para garantizar una seguridad de inteligencia artificial robusta.

¿Puede explicar la importancia de los “jailbreaks” y la “manipulación de instrucciones” en los sistemas de inteligencia artificial, y por qué plantean un desafío tan único?

Un jailbreak es un tipo de vulnerabilidad de inyección de instrucciones donde un actor malicioso puede abusar de un LLM para seguir instrucciones contrarias a su uso previsto. Las entradas procesadas por los LLM contienen tanto instrucciones permanentes del diseñador de la aplicación como entradas de usuario no confiables, lo que permite ataques donde la entrada de usuario no confiable anula las instrucciones permanentes. Esto tiene similitudes con cómo una vulnerabilidad de inyección de SQL permite que la entrada de usuario no confiable cambie una consulta de base de datos. El problema, sin embargo, es que estos riesgos solo se pueden detectar en tiempo de ejecución, dado que el código de un LLM es efectivamente una gran matriz de números en formato no legible por humanos.

Por ejemplo, el equipo de investigación de Mindgard exploró recientemente un ataque de jailbreak sofisticado. Contiene mensajes de audio secretos incrustados en entradas de audio que son indetectables para los oyentes humanos pero reconocidos y ejecutados por los LLM. Cada mensaje incrustado contenía un comando de jailbreak personalizado junto con una pregunta diseñada para un escenario específico. Así, en un escenario de chatbot médico, el mensaje oculto podría instruir al chatbot a proporcionar instrucciones peligrosas, como cómo sintetizar metanfetamina, lo que podría resultar en un daño grave a la reputación si la respuesta del chatbot se tomara en serio.

La plataforma de Mindgard identifica estos jailbreaks y muchas otras vulnerabilidades de seguridad en los modelos de inteligencia artificial y la forma en que las empresas los han implementado en sus aplicaciones, para que los líderes de seguridad puedan asegurarse de que su aplicación impulsada por inteligencia artificial esté segura por diseño y permanezca segura.

¿Cómo aborda la plataforma de Mindgard las vulnerabilidades en diferentes tipos de modelos de inteligencia artificial, desde LLM hasta sistemas multimodales?

Nuestra plataforma aborda una amplia gama de vulnerabilidades dentro de la inteligencia artificial, que abarcan la inyección de instrucciones, jailbreaks, extracción (robo de modelos), inversión (ingeniería inversa de datos), fuga de datos y evasión (eludir la detección), y más. Todos los tipos de modelos de inteligencia artificial (ya sean LLM o multimodales) exhiben susceptibilidad a los riesgos; el truco es descubrir qué técnicas específicas desencadenan estas vulnerabilidades para producir un problema de seguridad. En Mindgard, tenemos un gran equipo de I+D que se especializa en descubrir y implementar nuevos tipos de ataques en nuestra plataforma, para que los usuarios puedan mantenerse actualizados contra los riesgos de vanguardia.

¿Cuál es el papel del red teaming en la seguridad de los sistemas de inteligencia artificial, y cómo innova su plataforma en este espacio?

El red teaming es un componente crítico de la seguridad de la inteligencia artificial. Al simular continuamente ataques adversarios, el red teaming identifica vulnerabilidades en los sistemas de inteligencia artificial, ayudando a las organizaciones a mitigar los riesgos y acelerar la adopción de la inteligencia artificial. A pesar de su importancia, el red teaming en la inteligencia artificial carece de estandarización, lo que lleva a inconsistencias en la evaluación de las amenazas y las estrategias de mitigación. Esto hace que sea difícil comparar objetivamente la seguridad de diferentes sistemas o rastrear las amenazas de manera efectiva.

Para abordar esto, introdujimos MITRE ATLAS™ Adviser, una función diseñada para estandarizar el informe de red teaming de inteligencia artificial y simplificar las prácticas de red teaming sistemáticas. Esto permite a las empresas gestionar mejor los riesgos actuales y prepararse para las amenazas futuras a medida que evolucionan las capacidades de la inteligencia artificial. Con una biblioteca integral de ataques avanzados desarrollados por nuestro equipo de I+D, Mindgard admite el red teaming multimodal de inteligencia artificial, cubriendo tanto modelos tradicionales como de inteligencia artificial generativa. Nuestra plataforma aborda los riesgos clave para la privacidad, la integridad, el abuso y la disponibilidad, asegurando que las empresas estén equipadas para proteger sus sistemas de inteligencia artificial de manera efectiva.

¿Cómo ve su producto encajando en la cadena de suministro de MLOps para las empresas que despliegan inteligencia artificial a gran escala?

Mindgard está diseñado para integrarse suavemente en la automatización de CI/CD y en todas las etapas del ciclo de vida de desarrollo de software, requiriendo solo un punto final de inferencia o API para la integración del modelo. Nuestra solución hoy realiza pruebas de seguridad de aplicaciones dinámicas de modelos de inteligencia artificial (DAST-AI). Esto permite a nuestros clientes realizar pruebas de seguridad continuas en toda su inteligencia artificial a lo largo de todo el ciclo de vida de construcción y compra. Para las empresas, se utiliza para múltiples perfiles. Los equipos de seguridad la utilizan para obtener visibilidad y responder rápidamente a los riesgos desde los desarrolladores que construyen y utilizan la inteligencia artificial, para probar y evaluar guardias de inteligencia artificial y soluciones de firewall de aplicaciones web, y para evaluar los riesgos entre modelos de inteligencia artificial personalizados y modelos base. Los pentesters y los analistas de seguridad aprovechan Mindgard para ampliar sus esfuerzos de red teaming de inteligencia artificial, mientras que los desarrolladores se benefician de las pruebas continuas integradas de sus despliegues de inteligencia artificial.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Mindgard.