Jonathan Zanger, Director de Tecnología de Check Point – Serie de Entrevistas

Jonathan Zanger, Director de Tecnología de Check Point, aporta una rara combinación de experiencia en inteligencia militar de élite, profunda experiencia en inteligencia artificial y liderazgo operativo en startups y empresas globales. Antes de su cargo actual, se desempeñó como Director de Tecnología en Trigo, donde lideró el desarrollo de sistemas de inteligencia artificial y visión por computadora de última generación que permitían la venta minorista sin fricciones y la prevención de pérdidas a gran escala, al mismo tiempo que alineaba el producto y la investigación y desarrollo con la implementación comercial en el mundo real. Anteriormente, ocupó puestos de liderazgo en investigación y desarrollo en Trigo y pasó más de una década en la unidad de élite 8200 de Israel, donde finalmente dirigió una división de investigación y desarrollo de ciberseguridad a escala nacional, responsable de iniciativas de inteligencia y ciberseguridad a nivel nacional, y recibió el mayor reconocimiento nacional por su trabajo.

Check Point Software Technologies (CHKP ) es un líder global en ciberseguridad, que ofrece soluciones de seguridad impulsadas por inteligencia artificial y entregadas en la nube, diseñadas para proteger a las empresas y gobiernos de amenazas digitales cada vez más sofisticadas. La empresa atiende a más de 100,000 organizaciones en todo el mundo con una plataforma integral que protege redes, entornos de nube, puntos finales y usuarios a través de un enfoque de prevención que tiene como objetivo detener los ataques antes de que ocurran. Su arquitectura integrada aprovecha la inteligencia artificial y la inteligencia de amenazas en tiempo real para simplificar las operaciones de seguridad, reducir el riesgo y permitir que las organizaciones escalen de manera segura a medida que adoptan la inteligencia artificial, la computación en la nube y los sistemas distribuidos.

Ha liderado iniciativas de ciberseguridad y inteligencia artificial a gran escala, ha construido sistemas impulsados por inteligencia artificial en Trigo y ahora supervisa la estrategia de inteligencia artificial en Check Point. ¿Cuáles son los modos de fallo específicos que ha observado cuando los sistemas de inteligencia artificial pasan de entornos controlados a producción, especialmente cuando se les da acceso a herramientas y datos empresariales?

Dos cosas cambian fundamentalmente en producción. Primero, la escala convierte los casos de borde en eventos cotidianos. Una tasa de falsos positivos del 0,1 por ciento suena excelente en el laboratorio, pero cuando se procesan millones de interacciones, eso se traduce en miles de incidentes que requieren atención. Los valores estadísticos atípicos en las pruebas se convierten en realidades operativas a gran escala.

En segundo lugar, la producción significa exposición adversarial. En un entorno controlado, las entradas son benignas y predecibles. En el mundo real, algunos usuarios y actores de amenazas intentarán activamente engañar al sistema, aprovechando todos los canales de datos no confiables disponibles para manipular el comportamiento. La transición de demostración a producción no es un problema de escalabilidad. Es un cambio de un entorno cooperativo a uno controvertido, y eso exige suposiciones de diseño fundamentalmente diferentes.

En sistemas agénticos, donde los modelos pueden llamar a API, ejecutar código y encadenar acciones, ¿cuáles son las superficies de ataque más críticas que los equipos de seguridad aún no están instrumentando adecuadamente?

La superficie crítica que la mayoría de los equipos subestima es los datos en sí. Los sistemas agénticos acceden rutinariamente a fuentes de datos no confiables: correos electrónicos entrantes, sitios web, tickets de Jira, código de código abierto, documentación externa. Esos datos se ingieren y analizan con los modelos como parte de su proceso de razonamiento.

Esto crea dos riesgos concretos. Primero, la intoxicación de la memoria: donde el contenido manipulado configura sutilmente las respuestas y decisiones futuras del modelo sin ninguna inyección de prompt obvia. Segundo, la inyección de prompt indirecta: donde las instrucciones adversariales se incrustan en esos datos externos y efectivamente “rompen” el modelo desde dentro. El atacante nunca toca el prompt directamente. Simplemente planta instrucciones donde el agente las encontrará.

La inyección de prompt a menudo se presenta como un problema de modelo, pero en la práctica se convierte en un problema de sistema. ¿Cómo deberían las empresas rediseñar su arquitectura para aislar las entradas del modelo, la ejecución de herramientas y el acceso a datos sensibles?

La inyección de prompt no es un problema universal con una solución universal. Si una entrada determinada es legítima o adversarial depende enteramente del contexto. Pedir a un agente que “cambie la contraseña del administrador” es perfectamente legítimo si es un agente de ayuda técnica. La misma solicitud a un chatbot de un minorista en línea es un ataque.

Es por eso que la arquitectura es más importante que cualquier técnica de detección individual. Los sistemas necesitan mecanismos deterministas y no deterministas que trabajen juntos. Los controles deterministas gestionan el acceso a herramientas y datos en función de la identidad del agente, la identidad del usuario y el papel definido del sistema. Los controles no deterministas, basados en modelos, agregan la capacidad de comprender el lenguaje, el contexto y la intención. Necesitas ambas capas: aplicación de políticas rígidas y razonamiento contextual inteligente, porque ninguna de las dos es suficiente por sí sola.

Muchos agentes de inteligencia artificial dependen de la generación aumentada por recuperación y fuentes de datos externas. ¿Cuáles son los riesgos que rodean la intoxicación de datos y la manipulación de contexto en estas canalizaciones, y cómo se pueden mitigar en tiempo de ejecución?

Los riesgos difieren según la dirección del flujo de datos. Para las fuentes de datos internas, el riesgo principal es la fuga de datos sensibles: exposición de información personal, intercambio de datos entre clientes, información interna que se presenta a partes no autorizadas. Para las fuentes de datos externas, los riesgos incluyen sesgo de modelo por información no verificada, inyección de prompt indirecta incrustada en el contenido recuperado y dependencia de fuentes no confiables o manipuladas.

La mitigación debe ocurrir a nivel de transacción, en tiempo real. Cada interacción agéntica debe estar segura en ambas direcciones: asegurando que los datos sensibles no se filtran desde el interior hacia el exterior y asegurando que la información envenenada o adversarial no se alimenta desde el exterior al sistema o al modelo. No puedes resolver esto solo en el momento de la ingesta porque el contexto es dinámico y el panorama de amenazas cambia continuamente.

Su Avión de Defensa de Inteligencia Artificial introduce una capa de control unificada en el uso de inteligencia artificial por parte de los empleados, aplicaciones y sistemas agénticos. ¿Cuáles fueron los mayores desafíos arquitectónicos al construir un sistema que pueda observar y aplicar políticas en toda la pila de inteligencia artificial fragmentada?

Creamos que en el futuro cercano, las cargas de trabajo agénticas abarcarán puntos finales, aplicaciones, servicios SaaS y cargas de trabajo en la nube: todos hiperconectados en lo que llamamos el “Internet de los Agentes”. La idea detrás del Avión de Defensa de Inteligencia Artificial es descubrir, gobernar y proteger esta infraestructura agéntica empresarial en evolución dentro de un solo panel de vidrio.

El desafío arquitectónico principal es evaluar dinámicamente el perfil de riesgo y el contexto de cada agente mientras se desarrolla una protección en tiempo real para cada transacción agéntica. Eso significa mantener altas tasas de bloqueo contra amenazas reales mientras se minimizan los falsos positivos: a la velocidad y escala de producción, en múltiples entornos en ejecución. Construir un sistema que pueda observar y aplicar políticas consistentemente en toda la pila de inteligencia artificial fragmentada y en rápida evolución requirió que repensáramos cómo abstraer y evaluar la actividad de la inteligencia artificial a nivel fundamental.

La plataforma enfatiza la toma de decisiones en tiempo real a velocidad de máquina en varios idiomas y flujos de trabajo. ¿Cómo equilibra las limitaciones de latencia con la necesidad de inspeccionar y controlar profundamente las acciones impulsadas por la inteligencia artificial en entornos de producción?

Desarrollamos y entrenamos modelos de base específicamente para la prevención de amenazas, luego utilizamos técnicas de destilación para hacerlos extremadamente eficientes. Eso nos permite ejecutar la inferencia rápidamente y con un mínimo de cómputo: incluso en CPUs o GPUs de uso general, mientras mantenemos la cobertura de varios idiomas y modalidades, incluyendo análisis de imágenes y audio, con precisión máxima.

Este enfoque nos permite inspeccionar las transacciones agénticas profundamente sin convertirnos en un cuello de botella. La seguridad que introduce una latencia inaceptable será sorteada. La seguridad que es invisible para el flujo de trabajo pero aplica controles significativos es lo que realmente se implementa y se mantiene implementado.

Los agentes de inteligencia artificial operan cada vez más con permisos delegados en varios sistemas. ¿Cómo deberían las organizaciones replantear la gestión de identidad y acceso para actores no humanos, especialmente cuando los agentes amplían dinámicamente su alcance a través del uso de herramientas?

El error que cometen la mayoría de las organizaciones es tratar a los agentes de inteligencia artificial como extensiones de los usuarios humanos o como cuentas de servicio tradicionales. Ninguno de los modelos encaja. Piensa en ellos como empleados digitales: entidades con roles, responsabilidades y límites definidos.

La identidad del agente debe definirse por tres dimensiones: el flujo de trabajo específico que el agente está ejecutando, el usuario que posee o creó el agente y el usuario que actualmente interactúa con él. Los tres factores configuran lo que el agente debería estar permitido hacer. Más allá de eso, las organizaciones necesitan aplicar principios de confianza cero a los agentes: nunca asuman confianza basada en el origen, verifiquen continuamente el comportamiento y apliquen acceso de privilegios mínimos en cada paso. Sin esto, los agentes acumularán silenciosamente más autoridad de la que nadie pretendía.

La mayoría de las empresas ahora tienen un uso de inteligencia artificial en la sombra a través de copilotos, complementos y scripts internos. ¿Qué telemetría deberían recopilar los equipos de seguridad para obtener una visibilidad real de cómo la inteligencia artificial interactúa con los datos sensibles?

La visibilidad necesita operar a nivel de transacción agéntica: no solo prompts y respuestas, sino llamadas a herramientas, los datos devueltos por esas herramientas y las acciones tomadas como resultado. Los equipos de seguridad necesitan ver la cadena completa: qué se preguntó, qué datos se accedieron, qué herramientas se invocaron, qué parámetros se pasaron y qué sucedió después.

Sin esa telemetría a nivel de transacción, no puedes responder preguntas básicas sobre exposición, mal uso o impacto. La inteligencia artificial en la sombra no es peligrosa porque existe. Es peligrosa porque opera sin este nivel de gobernanza o conocimiento.

El testeo de sistemas agénticos es fundamentalmente diferente al testeo de aplicaciones estáticas. ¿Cómo simula el comportamiento adversarial a través de flujos de trabajo de múltiples pasos, y qué tipos de explotaciones son las más comúnmente descubiertas?

Operamos Gandalf (https://gandalf.lakera.ai), que es el mayor ejercicio de testeo de inteligencia artificial del mundo. Es una plataforma de código abierto donde los usuarios reales intentan persuadir a los agentes de inteligencia artificial para que violen sus guardias. Eso nos da un conjunto de datos único y en constante crecimiento de técnicas adversariales reales: no ataques teóricos, sino las estrategias que las personas reales utilizan para manipular los sistemas de inteligencia artificial.

Aprovechamos ese conjunto de datos para impulsar nuestras capacidades de testeo. Los ataques que vemos con más frecuencia involucran a los usuarios que gradualmente persuaden a los agentes para que violen sus limitaciones: a través de la inyección de prompt indirecta, el reencuadre creativo, la manipulación de contexto y la explotación de confianza incremental en interacciones de múltiples pasos. Estos problemas son invisibles si solo pruebas prompts individuales. Debes probar secuencias y campañas adversariales sostenidas.

A medida que los atacantes comienzan a utilizar agentes autónomos para sondear los sistemas continuamente, ¿espera que la defensa se desplace hacia controles adaptativos en tiempo real impulsados por la inteligencia artificial, y ¿cómo se ve esa arquitectura en la práctica?

Sí. Las defensas estáticas no pueden mantener el ritmo de los atacantes autónomos que operan continuamente. La defensa debe volverse adaptativa, impulsada en tiempo de ejecución y automatizada. Esto significa monitoreo en tiempo real del comportamiento de la inteligencia artificial, evaluación continua de riesgos y aplicación inmediata de políticas cuando se violan. La velocidad y escala de los ataques impulsados por la inteligencia artificial solo se contrarrestarán con defensas a velocidad de máquina y igualmente rápidas.

En la práctica, la seguridad se convierte en un bucle de retroalimentación en lugar de un conjunto de reglas. Los sistemas de inteligencia artificial son observados, evaluados y restringidos dinámicamente, a la misma velocidad y escala en la que operan. Ese cambio es esencial si las organizaciones desean implementar la inteligencia artificial de manera segura a escala empresarial.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Check Point Software Technologies.