Kieran Norton, líder de AI y Automatización de Ciberseguridad de Deloitte en EE. UU. – Serie de Entrevistas

Kieran Norton es un principal (socio) en Deloitte & Touche LLP, y es el líder de AI y Automatización de Ciberseguridad de Deloitte en EE. UU. Con más de 25 años de experiencia extensa y una sólida formación tecnológica, Kieran sobresale en la dirección de riesgos emergentes, brindando a los clientes perspectivas estratégicas y pragmáticas sobre la ciberseguridad y la gestión de riesgos tecnológicos.

Dentro de Deloitte, Kieran lidera los esfuerzos de transformación de AI para la práctica de ciberseguridad en EE. UU. Supervisa el diseño, desarrollo y despliegue de soluciones de AI y automatización, ayudando a los clientes a mejorar sus capacidades de ciberseguridad y a adoptar tecnologías de AI/Gen AI, mientras gestiona efectivamente los riesgos asociados.

Externamente, Kieran ayuda a los clientes a evolucionar sus estrategias de seguridad tradicionales para apoyar la transformación digital, modernizar las cadenas de suministro, acelerar el tiempo de comercialización, reducir costos y lograr otros objetivos comerciales críticos.

¿Qué nuevas categorías de amenazas de ciberseguridad están surgiendo con el aumento de la autonomía de los agentes de AI, que las empresas pueden no entender completamente?

Los riesgos asociados con el uso de tecnologías de AI relacionadas para diseñar, construir, desplegar y gestionar agentes pueden ser entendidos, pero la operacionalización es un asunto diferente.

La agencia y autonomía de los agentes de AI, la capacidad de los agentes para percibir, decidir, actuar y operar de manera independiente de los humanos, pueden crear desafíos para mantener la visibilidad y el control sobre las relaciones y las interacciones que los modelos/agentes tienen con los usuarios, los datos y otros agentes. A medida que los agentes sigan multiplicándose dentro de la empresa, conectando múltiples plataformas y servicios con una autonomía y derechos de decisión crecientes, esto se volverá cada vez más difícil. Las amenazas asociadas con la agencia/autonomía de AI mal protegida, excesiva o clandestina son numerosas. Esto puede incluir la fuga de datos, la manipulación de agentes (a través de la inyección de comandos, etc.) y las cadenas de ataques de agente a agente. No todas estas amenazas están presentes en este momento, pero las empresas deben considerar cómo gestionarán estas amenazas a medida que adopten y maduren las capacidades impulsadas por AI.

La gestión de identidad de AI es otro riesgo que debe ser considerado cuidadosamente. Identificar, establecer y gestionar las identidades de máquina de los agentes de AI se volverá más complejo a medida que se desplieguen y utilicen más agentes en las empresas. La naturaleza efímera de los modelos de AI/modelos de componentes que se crean y destruyen repetidamente en circunstancias variables, resultará en desafíos para mantener estas identidades de modelo. Las identidades de modelo son necesarias para monitorear la actividad y el comportamiento de los agentes desde una perspectiva de seguridad y confianza. Si no se implementan y monitorean adecuadamente, detectar posibles problemas (rendimiento, seguridad, etc.) será muy desafiante.

¿Cuán preocupados debemos estar por los ataques de envenenamiento de datos en las tuberías de entrenamiento de AI, y cuáles son las mejores estrategias de prevención?

El envenenamiento de datos representa una de las varias formas de influir/manipular los modelos de AI dentro del ciclo de vida del desarrollo del modelo. El envenenamiento suele ocurrir cuando un actor malicioso inyecta datos dañinos en el conjunto de entrenamiento. Sin embargo, es importante tener en cuenta que, más allá de los actores adversarios explícitos, el envenenamiento de datos puede ocurrir debido a errores o problemas sistémicos en la generación de datos. A medida que las organizaciones se vuelven más ávidas de datos y buscan datos útiles en más lugares (por ejemplo, anotación manual subcontratada, conjuntos de datos sintéticos comprados o generados, etc.), la posibilidad de envenenar involuntariamente los datos de entrenamiento crece y puede no ser siempre fácil de diagnosticar.

Dirigir las tuberías de entrenamiento es un vector de ataque principal utilizado por los adversarios para influir sutil y abiertamente. La manipulación de los modelos de AI puede llevar a resultados que incluyen falsos positivos, falsos negativos y otras influencias más sutiles que pueden alterar las predicciones de AI.

Las estrategias de prevención van desde la implementación de soluciones técnicas, procedimentales y arquitectónicas. Las estrategias procedimentales incluyen la validación/sanitización de datos y las evaluaciones de confianza; las estrategias técnicas incluyen el uso de mejoras de seguridad con técnicas de AI como el aprendizaje federado; las estrategias arquitectónicas incluyen la implementación de tuberías de confianza cero y la implementación de un monitoreo/alerma robusto que pueda facilitar la detección de anomalías. Estos modelos solo son tan buenos como sus datos, incluso si una organización está utilizando las herramientas más avanzadas, por lo que el envenenamiento de datos puede convertirse en un talón de Aquiles para los desprevenidos.

¿De qué manera pueden los actores maliciosos manipular los modelos de AI después de su despliegue, y cómo pueden las empresas detectar el sabotaje temprano?

El acceso a los modelos de AI después de su despliegue se logra generalmente a través de una Interfaz de Programación de Aplicaciones (API), una aplicación a través de un sistema incrustado y/o a través de un protocolo de puerto a un dispositivo de borde. La detección temprana requiere un trabajo temprano en el Ciclo de Vida de Desarrollo de Software (SDLC), comprender las técnicas relevantes de manipulación de modelos y los vectores de amenaza priorizados para idear métodos de detección y protección. Algunas manipulaciones de modelos involucran el secuestro de API, la manipulación de espacios de memoria (tiempo de ejecución) y el envenenamiento lento/gradual a través del desplazamiento del modelo. Dadas estas técnicas de manipulación, algunas estrategias de detección temprana pueden incluir el uso de telemetría/punto de monitoreo (a través de la Detección y Respuesta de Punto Final y la Detección y Respuesta Extendida), la implementación de tuberías de inferencia seguras (por ejemplo, computación confidencial y principios de confianza cero), y la habilitación de la marca de agua de modelo/firma de modelo.

La inyección de comandos es una familia de ataques de modelos que ocurren después del despliegue y se pueden utilizar para varios propósitos, incluyendo la extracción de datos de manera no intencionada, la revelación de promtps de sistema no destinados a usuarios normales y la inducción de respuestas de modelo que pueden presentar a una organización de manera negativa. Hay una variedad de herramientas de guardia en el mercado para ayudar a mitigar el riesgo de inyección de comandos, pero como con el resto de la ciberseguridad, esto es una carrera de armas donde las técnicas de ataque y las contramedidas defensivas están siendo actualizadas constantemente.

¿De qué manera los marcos de ciberseguridad tradicionales no abordan los riesgos únicos de los sistemas de AI?

Normalmente asociamos el marco de ciberseguridad con orientación y normas, por ejemplo, NIST, ISO, MITRE, etc. Algunas de las organizaciones detrás de estos han publicado orientación actualizada específica para proteger los sistemas de AI, lo cual puede ser muy útil.

AI no hace que estos marcos sean ineficaces, todavía necesitas abordar todos los dominios tradicionales de la ciberseguridad, lo que es posible que necesites es actualizar tus procesos y programas (por ejemplo, tu SDLC) para abordar las nuances asociadas con las cargas de trabajo de AI. Incorporar y automatizar (donde sea posible) controles para proteger contra las amenazas matizadas descritas anteriormente es el camino más eficiente y efectivo hacia adelante.

En un nivel táctico, vale la pena mencionar que el rango completo de posibles entradas y salidas es a menudo mucho más grande que las aplicaciones no AI, lo que crea un problema de escala para las pruebas de penetración tradicionales y las detecciones basadas en reglas, de ahí el enfoque en la automatización.

¿Qué elementos clave deben incluirse en una estrategia de ciberseguridad diseñada específicamente para organizaciones que despliegan AI generativa o modelos de lenguaje grande?

Cuando se desarrolla una estrategia de ciberseguridad para desplegar AI generativa o modelos de lenguaje grande (LLM), no hay un enfoque único que se adapte a todos. Mucho depende de los objetivos comerciales generales de la organización, la estrategia de TI, el enfoque de la industria, la huella regulatoria, la tolerancia al riesgo, etc., así como de los casos de uso de AI específicos que se están considerando. Un chatbot de uso interno solo lleva un perfil de riesgo muy diferente al de un agente que podría afectar los resultados de salud de los pacientes, por ejemplo.

Dicho esto, hay fundamentos que toda organización debe abordar:

• Realizar una evaluación de preparación—esto establece una línea base de las capacidades actuales, así como identifica posibles brechas considerando los casos de uso de AI priorizados. Las organizaciones deben identificar dónde existen controles que pueden extenderse para abordar los riesgos matizados asociados con la AI generativa y la necesidad de implementar nuevas tecnologías o mejorar los procesos actuales.
• Establecer un proceso de gobernanza de AI—esto puede ser completamente nuevo dentro de una organización o una modificación de los programas actuales de gestión de riesgos. Esto debe incluir la definición de funciones de habilitación de AI a nivel empresarial y la incorporación de partes interesadas de todo el negocio, TI, producto, riesgo, ciberseguridad, etc. como parte de la estructura de gobernanza. Además, la definición/actualización de políticas relevantes (políticas de uso aceptable, políticas de seguridad en la nube, gestión de riesgos de tecnología de terceros, etc.) así como el establecimiento de requisitos de aprendizaje y desarrollo para apoyar la alfabetización de AI y la seguridad/salud de AI en toda la organización deben incluirse.
• Establecer una arquitectura de AI de confianza—con el establecimiento de plataformas de AI/GenAI y sandbox de experimentación, la tecnología existente, así como las soluciones nuevas (por ejemplo, cortafuegos de AI/seguridad en tiempo de ejecución, guardias, gestión del ciclo de vida del modelo, capacidades de IAM mejoradas, etc.) necesitarán integrarse en entornos de desarrollo y despliegue de manera repetible y escalable.
• Mejorar el SDLC—las organizaciones deben construir integraciones sólidas entre los desarrolladores de AI y los equipos de gestión de riesgos que trabajan para proteger, asegurar y construir confianza en las soluciones de AI. Esto incluye establecer un conjunto uniforme/estándar de prácticas de desarrollo de software seguro y requisitos de control, en asociación con los equipos más amplios de desarrollo y adopción de AI.

¿Puede explicar el concepto de un “cortafuegos de AI” en términos sencillos? ¿Cómo difiere de los cortafuegos de red tradicionales?

Un cortafuegos de AI es una capa de seguridad diseñada para monitorear y controlar las entradas y salidas de los sistemas de AI, especialmente los modelos de lenguaje grande, para prevenir el mal uso, proteger los datos sensibles y garantizar un comportamiento de AI responsable. A diferencia de los cortafuegos tradicionales que protegen las redes filtrando el tráfico según direcciones IP, puertos y amenazas conocidas, los cortafuegos de AI se centran en comprender y gestionar las interacciones de lenguaje natural. Bloquean cosas como contenido tóxico, fuga de datos, inyección de comandos y uso no ético de AI aplicando políticas, filtros conscientes del contexto y guardias específicas del modelo. En esencia, mientras que un cortafuegos tradicional protege su red, un cortafuegos de AI protege sus modelos de AI y sus salidas.

¿Hay algún estándar o protocolo emergente en la industria que gobierne el uso de cortafuegos de AI o guardias específicos?
El protocolo de comunicación de modelo (MCP) no es un estándar universal, pero está ganando tracción en la industria para ayudar a abordar la creciente carga de configuración en las empresas que necesitan gestionar la diversidad de soluciones de AI-GenAI. MCP gobierna cómo los modelos de AI intercambian información (incluido el aprendizaje) incluyendo la integridad y la verificación. Podemos pensar en MCP como la pila de protocolo de control de transmisión (TCP)/protocolo de internet (IP) para los modelos de AI, lo cual es particularmente útil en casos de uso centralizados, federados o distribuidos. MCP es actualmente un marco conceptual que se realiza a través de varias herramientas, investigaciones y proyectos.

El espacio está cambiando rápidamente y podemos esperar que se desplace bastante en los próximos años.

¿Cómo está transformando AI el campo de la detección y respuesta de amenazas hoy en día en comparación con solo cinco años atrás?

Hemos visto que las plataformas de centros de operaciones de seguridad (SOC) comerciales se están modernizando en diferentes grados, utilizando grandes conjuntos de datos de alta calidad junto con modelos de AI/ML avanzados para mejorar la detección y clasificación de amenazas. Además, están aprovechando la automatización, el flujo de trabajo y las capacidades de auto-remediación para reducir el tiempo desde la detección hasta la mitigación. Por último, algunos han introducido capacidades de copiloto para apoyar aún más la triage y la respuesta.

Además, se están desarrollando agentes para cumplir roles selectos dentro del SOC. Como ejemplo práctico, hemos construido un ‘Analista Digital’ agente para su despliegue en nuestra propia oferta de servicios administrados. El agente sirve como un analista de nivel uno, triaje de alertas entrantes, agregando contexto de inteligencia de amenazas y otras fuentes, y recomendando pasos de respuesta (basados en una extensa historia de casos) para nuestros analistas humanos que luego revisan, modifican si es necesario y toman medidas.

¿Cómo ve la relación entre AI y ciberseguridad evolucionando en los próximos 3-5 años, será AI más un riesgo o una solución?
A medida que AI evoluciona en los próximos 3-5 años, puede ayudar a la ciberseguridad, pero al mismo tiempo, también puede introducir riesgos. AI ampliará la superficie de ataque y creará nuevos desafíos desde una perspectiva defensiva. Además, el AI adversario aumentará la viabilidad, la velocidad y la escala de los ataques, lo que creará desafíos adicionales. Por otro lado, el uso de AI en el negocio de la ciberseguridad presenta oportunidades significativas para mejorar la efectividad, la eficiencia, la agilidad y la velocidad de las operaciones de ciberseguridad en la mayoría de los dominios, creando en última instancia un escenario de “luchar contra el fuego con fuego”.

Gracias por la gran entrevista, los lectores también pueden visitar Deloitte.