Rony Ohayon, CEO y Fundador de DeepKeep – Serie de Entrevistas

Rony Ohayon, CEO y Fundador de DeepKeep, es un experimentado empresario y tecnólogo con una carrera que abarca la inteligencia artificial, la ciberseguridad, los sistemas autónomos y las tecnologías de video a gran escala. Ha fundado y dirigido varias empresas en estos dominios, incluyendo papeles importantes en la conectividad de vehículos autónomos, la transmisión de video en vivo y la ingeniería avanzada, junto con un trabajo académico anterior en ingeniería informática.

DeepKeep es una plataforma de seguridad de inteligencia artificial diseñada para ayudar a las empresas a proteger la inteligencia artificial, la inteligencia artificial generativa, los modelos de lenguaje grande, la visión por computadora y los sistemas multimodales en todo su ciclo de vida. La empresa se centra en identificar vulnerabilidades, bloquear amenazas adversas, prevenir problemas como la fuga de datos y la manipulación de prompts, apoyar el cumplimiento normativo y proporcionar una supervisión continua para garantizar despliegues de inteligencia artificial confiables, resilientes y protegidos.

Ha liderado importantes innovaciones en la transmisión de video, la conectividad de vehículos autónomos y los sistemas de inteligencia artificial. ¿Qué en su propia carrera lo convenció de que el próximo desafío importante que debía resolver era la seguridad de la inteligencia artificial empresarial?

Siempre me he motivado a abordar desafíos de alto impacto que transformen industrias. A lo largo de los años, noté un patrón recurrente en el que la nueva tecnología, especialmente la inteligencia artificial, a menudo supera las medidas de seguridad, dejando vulnerabilidades críticas atrás.

La adopción de la inteligencia artificial por parte de las empresas, particularmente con el auge de los modelos de lenguaje grande (LLM) y la inteligencia artificial agente, abrió un nuevo frente de riesgos, y las empresas a menudo se sienten abrumadas y no preparadas para aprovechar estos sistemas de manera segura y confiada. Mi experiencia en los sistemas de inteligencia artificial destacó lo esencial que es integrar la seguridad en el corazón de estas tecnologías para garantizar que no solo sean innovadoras, sino también seguras y confiables, produciendo resultados confiables para apoyar a las empresas de manera proactiva. Esta comprensión llevó a la fundación de DeepKeep, con un enfoque en la seguridad de los sistemas de inteligencia artificial para que las empresas puedan adoptar la inteligencia artificial con confianza para impulsar la productividad y el crecimiento empresarial, sin comprometer la seguridad o la privacidad.

Cuando usted y su cofundador lanzaron DeepKeep en 2021, ¿qué punto ciego de seguridad de inteligencia artificial específico los convenció de que había una necesidad urgente de una plataforma dedicada, y cómo moldeó la dirección temprana de la empresa?

Después de años de trabajar con la inteligencia artificial en la visión por computadora, que requirió esfuerzos significativos para garantizar que sea confiable y robusta, nos dimos cuenta de que era hora de diseñar una solución dedicada para garantizar la confianza y la seguridad en la visión por computadora.

En 2021, antes de la explosión de los LLM, lanzamos DeepKeep para abordar estos riesgos en los modelos de visión por computadora.

¿Puede llevarnos de regreso al primer prototipo—qué hacía exactamente, cuán pequeño era el equipo y cómo validaron que estaban en el camino correcto?

Cuando fundamos DeepKeep, el enfoque aún estaba en la inteligencia artificial tradicional – visión por computadora, modelos tabulares y NLP temprano – mucho antes del auge de los modelos de lenguaje grande. Nuestro primer prototipo fue un sistema para probar la robustez de los clasificadores de visión por computadora contra ataques adversos. Junto con eso, construimos una versión temprana de un firewall de inteligencia artificial que podría detectar y marcar estos ataques en tiempo real.

Los primeros casos de uso provinieron del sector automotriz, seguros y servicios financieros, donde el mal comportamiento del modelo conlleva riesgos operativos reales. Éramos un equipo pequeño de unos ocho personas en ese momento, lo que nos permitió iterar rápidamente y producir un prototipo funcional temprano.

Validamos que estábamos en el camino correcto hablando directamente con clientes potenciales, que consistentemente destacaron la robustez adversa como una preocupación emergente. Alrededor del mismo tiempo, marcos como ATLAS de MITRE – lanzado por primera vez en 2021 – comenzaron a aparecer, lo que fue una señal externa importante de que el campo de la seguridad de la inteligencia artificial y el modelado de amenazas adversas estaba a punto de crecer. La alineación entre la retroalimentación del cliente y la dirección de la industria nos dio confianza de que estábamos yendo en la dirección correcta.

DeepKeep fue diseñado desde el principio para proteger los sistemas de inteligencia artificial en lugar de software tradicional. ¿Cómo priorizó qué tipos de modelos y superficies de ataque enfocarse primero?

Desde el principio, supimos que proteger la inteligencia artificial empresarial requería un cambio de paradigma. Mientras que muchas organizaciones son lo suficientemente astutas como para saber que necesitan realizar pruebas de penetración y evaluación para los modelos que utilizan, entendimos que esas acciones son solo el comienzo. Los riesgos reales surgen dentro del ecosistema de aplicación completo, no solo en los modelos en sí.

Así que, mientras que proteger chatbots de inteligencia artificial independientes con pruebas de red-teaming tradicionales fue el punto de partida de la industria, rápidamente nos movimos hacia el desarrollo de soluciones que protejan aplicaciones y agentes de inteligencia artificial personalizados, y evolucionarán para proteger el siguiente paso en el que los agentes interactúan entre sí y hay una inteligencia cruzada significativa.

Habilitamos el escaneo de modelos en todos los tipos de modelos, pero también protegemos contra las amenazas más urgentes, como ataques adversos, fuga de datos, mal uso del sistema y erosión de la confianza, realizando pruebas de red-teaming en los modelos y aplicando guardias que protejan los prompts y respuestas de la inteligencia artificial.

Crucialmente, también protegemos la “capa semántica” de la inteligencia artificial al comprender el contexto en el que operan los modelos. Esto garantiza que los modelos no puedan ser manipulados con facilidad.

¿Cuáles fueron los mayores giros técnicos o estratégicos que realizó entre la etapa de fundación y la dirección actual del producto de DeepKeep?

Una de las decisiones más importantes que tomamos fue expandirnos más allá de la seguridad del modelo tradicional hacia el ámbito de la seguridad de la aplicación de inteligencia artificial. Inicialmente, nos centramos en proteger modelos individuales, pero a medida que evolucionó el paisaje de la inteligencia artificial, nos dimos cuenta de que proteger los ecosistemas de inteligencia artificial completos, donde se intersectan múltiples modelos, agentes y casos de uso, era mucho más crítico. Esto nos llevó a ampliar nuestro enfoque incorporando pruebas de red-teaming, un firewall de inteligencia artificial integral para proteger cada interacción que los agentes, empleados y aplicaciones tienen con la inteligencia artificial, y monitoreo en tiempo de ejecución.

Otra decisión clave fue ofrecer flexibilidad total de implementación, incluyendo soluciones agnósticas de nube, locales y aisladas, lo que permite a las empresas implementar DeepKeep de manera segura en cualquier entorno. También hemos integrado recientemente una barrera de protección de información personal líder en la industria mejorada en nuestra plataforma, lo que ha proporcionado a nuestros clientes un nivel aún más profundo de protección de datos y garantiza que las empresas puedan cumplir con los requisitos de cumplimiento globales a medida que escalan el uso de la inteligencia artificial.

DeepKeep pone énfasis igual en la seguridad y la confiabilidad. ¿En qué etapa se convirtió este enfoque dual en central para la identidad de la empresa?

El enfoque en la seguridad y la confiabilidad se volvió claro desde el principio, especialmente a medida que formábamos una comprensión más profunda de nuestros clientes y sus necesidades.

Al tratar con modelos de inteligencia artificial, la seguridad y la confianza van de la mano y desempeñan papeles iguales porque, al final del día, ambos pueden llevar a resultados dañinos y destructivos. Una aplicación no puede ser robusta y, al mismo tiempo, poco confiable, y viceversa.

Las herramientas de ciberseguridad tradicionales no fueron diseñadas para la inyección de prompts, alucinaciones, fuga de datos o manipulación de modelos. ¿Qué vector de amenaza emergente vio que las empresas luchaban más, y cómo influyeron esos problemas del mundo real en la arquitectura de DeepKeep?

De las amenazas emergentes, la inyección de prompts y la fuga de datos son las preocupaciones más apremiantes con las que vemos que las empresas luchan. A medida que las aplicaciones y agentes de inteligencia artificial se integran más en los procesos comerciales, los riesgos de manipulación de prompts y la exposición accidental de datos sensibles son más pronunciados. Estos problemas nos llevaron a diseñar DeepKeep con un enfoque en la seguridad contextual, protegiendo no solo los modelos, sino todo el flujo de datos y las interacciones dentro de los ecosistemas de inteligencia artificial. Nuestra infraestructura se construyó para probar estas capas en la fase de desarrollo y proteger durante la ejecución, asegurando cada interacción de inteligencia artificial.

Su plataforma combina guardias, pruebas de red-teaming y capas de protección de datos. Desde un punto de vista técnico, ¿cuál ha demostrado ser el más difícil de ingeniería a escala empresarial, y qué aprendió mientras construía un sistema que debe adaptarse a modelos de inteligencia artificial en constante evolución?

Cada capa – guardias, pruebas de red-teaming y protección de datos – viene con sus propios desafíos de ingeniería, pero encontramos que los desafíos que todas estas capas tienen en común fueron en realidad los más difíciles.

El primero es el ritmo de cambio: nuevos riesgos, técnicas de ataque y jailbreaks surgen constantemente, por lo que cualquier cosa estática se vuelve obsoleta rápidamente. El segundo es la adopción de contexto: en la empresa, un enfoque de “talla única” simplemente no funciona porque cada aplicación tiene políticas, sensibilidades de datos y comportamientos de usuario diferentes.

Para abordar el primer desafío, construimos una arquitectura completamente modular con componentes de estilo de plugin, lo que nos permite agregar nuevos ataques al motor de pruebas de red-teaming o nuevas guardias al firewall rápidamente y sin interrumpir el sistema.

Y para resolver el segundo desafío, diseñamos un sistema consciente del contexto y agente. Analiza el entorno de la aplicación y adapta automáticamente las medidas de seguridad relevantes – lo cual es esencial cuando los modelos y casos de uso de inteligencia artificial subyacentes evolucionan tan rápidamente.

Essas dos capacidades, modularidad y conciencia del contexto, han sido clave para operar a escala empresarial, manteniéndonos al día con los sistemas de inteligencia artificial en constante evolución.

La seguridad de la inteligencia artificial es una disciplina en evolución. ¿Qué brechas ve dentro de las empresas hoy en día – ya sea en política, herramientas o comprensión del riesgo – que más directamente dieron forma a cómo diseñó la pila de seguridad de DeepKeep y la incorporación del cliente?

Las brechas varían significativamente dependiendo de la industria, el tamaño de la empresa y la madurez de la adopción de la inteligencia artificial.

Una de las brechas más grandes que vemos en las grandes empresas hoy en día es la falta de una solución única que cubra todas las necesidades de seguridad de la inteligencia artificial. Muchas de estas empresas son conscientes de su necesidad de soluciones de seguridad de la inteligencia artificial, pero a medida que aumenta la adopción, también lo hace el requisito de cobertura de seguridad adicional. Aprendimos temprano que hay valor en una solución robusta y de extremo a extremo que incluye diferentes capacidades que operan en conjunto y con integración fluida. Los clientes se benefician de una solución donde el todo es mayor que la suma de sus partes.

A medida que maduró el mercado, identificamos otra brecha, que es que las organizaciones buscan herramientas de seguridad personalizadas y menos genéricas para proteger sus agentes y aplicaciones. Una de las razones detrás de nuestro enfoque consciente del contexto fue abordar esta brecha, con la comprensión de que cada aplicación y agente es diferente y necesita ser protegido de manera adecuada.

Si miramos hacia adelante cinco años, ¿cómo espera que evolucionen los riesgos de la inteligencia artificial empresarial – y dónde cree que DeepKeep necesita estar posicionado para mantenerse por delante de ese futuro?

Espero que los mayores riesgos de la inteligencia artificial en los próximos cinco años evolucionarán junto con los avances en la autonomía de la inteligencia artificial. A medida que los agentes se vuelven más autónomos, integrados dentro de cada operación comercial y capaces de realizar tareas complejas, el potencial de violaciones de seguridad y mal uso crecerá. Predecimos el desarrollo de una Internet de Agentes (IoA), en la que los agentes interactúan entre sí, formando una red aún más compleja de interacciones de inteligencia artificial para proteger.

Para mantenernos por delante, DeepKeep continuará evolucionando su plataforma para proteger estos sistemas de inteligencia artificial cada vez más complejos, asegurando que proporcionamos protección en tiempo de ejecución en múltiples modelos de inteligencia artificial y apoyamos la creciente tendencia de la toma de decisiones impulsada por la inteligencia artificial. Nuestro objetivo es ser el socio de confianza en el que las empresas confíen para proteger todo su ecosistema de inteligencia artificial, sin importar cuán sofisticado se vuelva.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar DeepKeep.