Kieran Norton, líder de ciberautomatización y AI de Deloitte en EE. UU. – Serie de entrevistas

Kieran Norton es un socio (partner) de Deloitte & Touche LLP y es el líder de ciberautomatización y AI de Deloitte en EE. UU. Con más de 25 años de experiencia extensa y una sólida formación tecnológica, Kieran sobresale en abordar riesgos emergentes, brindando a los clientes perspectivas estratégicas y pragmáticas sobre la ciberseguridad y la gestión de riesgos tecnológicos.

Dentro de Deloitte, Kieran lidera los esfuerzos de transformación de la IA para la práctica de ciberseguridad en EE. UU. Supervisa el diseño, desarrollo y despliegue en el mercado de soluciones de IA y automatización, ayudando a los clientes a mejorar sus capacidades cibernéticas y adoptar tecnologías de IA/Gen AI, gestionando eficazmente los riesgos asociados.

Externamente, Kieran ayuda a los clientes a evolucionar sus estrategias de seguridad tradicionales para apoyar la transformación digital, modernizar las cadenas de suministro, acelerar el tiempo de comercialización, reducir costos y lograr otros objetivos comerciales críticos.

¿Qué nuevas categorías de amenazas de ciberseguridad están surgiendo con la creciente autonomía de los agentes de IA que las empresas pueden no entender completamente?

Los riesgos asociados con el uso de tecnologías de IA relacionadas para diseñar, construir, desplegar y gestionar agentes pueden ser entendidos, pero la operacionalización es un asunto diferente.

La agencia y autonomía de los agentes de IA, la capacidad de los agentes para percibir, decidir, actuar y operar de forma independiente a los humanos, pueden crear desafíos para mantener la visibilidad y el control sobre las relaciones y las interacciones que los modelos/agentes tienen con los usuarios, los datos y otros agentes. A medida que los agentes continúan multiplicándose dentro de la empresa, conectando múltiples plataformas y servicios con creciente autonomía y derechos de decisión, esto se volverá cada vez más difícil. Las amenazas asociadas con la agencia/autonomía de IA mal protegida, excesiva o clandestina son numerosas. Esto puede incluir fugas de datos, manipulación de agentes (a través de inyección de prompts, etc.) y cadenas de ataques de agente a agente. No todas estas amenazas están presentes en este momento, pero las empresas deben considerar cómo gestionarán estas amenazas a medida que adopten y maduren las capacidades impulsadas por IA.

La gestión de identidad de IA es otro riesgo que debe ser considerado cuidadosamente. Identificar, establecer y gestionar las identidades de máquina de los agentes de IA se volverá más complejo a medida que se desplieguen y utilicen más agentes en las empresas. La naturaleza efímera de los modelos de IA/modelos de componentes que se crean y destruyen repetidamente en diversas circunstancias, resultará en desafíos para mantener estas identidades de modelo. Las identidades de modelo son necesarias para monitorear la actividad y el comportamiento de los agentes desde una perspectiva de seguridad y confianza. Si no se implementan y monitorean adecuadamente, detectar posibles problemas (rendimiento, seguridad, etc.) será muy desafiante.

¿Cuán preocupados debemos estar sobre los ataques de envenenamiento de datos en las canalizaciones de entrenamiento de IA, y cuáles son las mejores estrategias de prevención?

El envenenamiento de datos representa una de las varias formas de influir/manipular los modelos de IA dentro del ciclo de vida del desarrollo del modelo. El envenenamiento suele ocurrir cuando un actor malicioso inyecta datos dañinos en el conjunto de entrenamiento. Sin embargo, es importante destacar que, más allá de los actores adversarios explícitos, el envenenamiento de datos puede ocurrir debido a errores o problemas sistémicos en la generación de datos. A medida que las organizaciones se vuelven más ávidas de datos y buscan datos utilizables en más lugares (por ejemplo, anotación manual subcontratada, conjuntos de datos sintéticos comprados o generados, etc.), la posibilidad de envenenar involuntariamente los datos de entrenamiento crece y puede no ser siempre fácil de diagnosticar.

Dirigir las canalizaciones de entrenamiento es un vector de ataque principal utilizado por los adversarios para influir tanto sutil como abiertamente. La manipulación de los modelos de IA puede llevar a resultados que incluyen falsos positivos, falsos negativos y otras influencias más sutiles que pueden alterar las predicciones de IA.

Las estrategias de prevención van desde la implementación de soluciones técnicas, procedimentales y arquitectónicas. Las estrategias procedimentales incluyen la validación/sanitización de datos y las evaluaciones de confianza; las estrategias técnicas incluyen el uso de mejoras de seguridad con técnicas de IA como el aprendizaje federado; las estrategias arquitectónicas incluyen la implementación de canalizaciones de confianza cero y la implementación de un monitoreo/alertería robusta que pueda facilitar la detección de anomalías. Estos modelos son tan buenos como sus datos, incluso si una organización está utilizando las herramientas más recientes y mejores, por lo que el envenenamiento de datos puede convertirse en un talón de Aquiles para los desprevenidos.

¿De qué manera pueden los actores maliciosos manipular los modelos de IA después de su despliegue, y cómo pueden las empresas detectar el sabotaje temprano?

El acceso a los modelos de IA después de su despliegue se logra generalmente a través de una interfaz de programación de aplicaciones (API), una aplicación a través de un sistema incrustado y/o a través de un protocolo de puerto a un dispositivo de borde. La detección temprana requiere un trabajo temprano en el ciclo de vida de desarrollo de software (SDLC), comprender las técnicas relevantes de manipulación de modelos, así como vectores de amenaza prioritarios para idear métodos de detección y protección. Algunas manipulaciones de modelos involucran el secuestro de API, la manipulación de espacios de memoria (tiempo de ejecución) y el envenenamiento lento/gradual a través del desplazamiento del modelo. Dadas estas formas de manipulación, algunas estrategias de detección temprana pueden incluir el uso de telemetría/punto de monitoreo (a través de la detección y respuesta de puntos finales y la detección y respuesta extendida), la implementación de canalizaciones de inferencia seguras (por ejemplo, computación confidencial y principios de confianza cero), y la habilitación del marcado de agua de modelos/firma de modelos.

La inyección de prompts es una familia de ataques de modelos que ocurren después del despliegue y se pueden utilizar para varios propósitos, incluyendo la extracción de datos de manera no intencionada, la revelación de prompts de sistema no destinados a usuarios normales y la inducción de respuestas de modelo que pueden presentar a una organización de manera negativa. Hay una variedad de herramientas de guardrail en el mercado para ayudar a mitigar el riesgo de inyección de prompts, pero al igual que con el resto de la ciberseguridad, esto es una carrera de armas donde las técnicas de ataque y las contramedidas defensivas están siendo actualizadas constantemente.

¿De qué manera los marcos de ciberseguridad tradicionales no abordan adecuadamente los riesgos únicos de los sistemas de IA?

Solíamos asociar el concepto de “marco de ciberseguridad” con orientación y estándares, como NIST, ISO, MITRE, etc. Algunas de las organizaciones detrás de estos han publicado orientación actualizada específica para la protección de sistemas de IA, lo cual puede ser muy útil.

La IA no hace que estos marcos sean ineficaces; todavía es necesario abordar todos los dominios tradicionales de la ciberseguridad, lo que puede requerir actualizar los procesos y programas (por ejemplo, su SDLC) para abordar las sutilezas asociadas con las cargas de trabajo de IA. Incorporar y automatizar (donde sea posible) controles para proteger contra las amenazas matizadas descritas anteriormente es el camino más eficiente y efectivo hacia adelante.

En un nivel táctico, vale la pena mencionar que el rango completo de posibles entradas y salidas es a menudo mucho más grande que en aplicaciones no de IA, lo que crea un problema de escala para las pruebas de penetración tradicionales y las detecciones basadas en reglas, de ahí el enfoque en la automatización.

¿Qué elementos clave deben incluirse en una estrategia de ciberseguridad diseñada específicamente para organizaciones que despliegan IA generativa o modelos de lenguaje grande?

Al desarrollar una estrategia de ciberseguridad para desplegar IA generativa o modelos de lenguaje grande (LLM), no hay un enfoque único. Mucho depende de los objetivos comerciales generales de la organización, la estrategia de TI, el enfoque de la industria, la huella regulatoria, la tolerancia al riesgo, etc., así como de los casos de uso de IA específicos que se consideran. Un chatbot de uso interno solo, por ejemplo, tiene un perfil de riesgo muy diferente al de un agente que podría impactar los resultados de salud de los pacientes.

Dicho esto, hay fundamentos que toda organización debe abordar:

• Realizar una evaluación de preparación — esto establece una línea base de las capacidades actuales, así como identifica posibles brechas considerando los casos de uso de IA prioritarios. Las organizaciones deben identificar dónde existen controles que pueden extenderse para abordar los riesgos matizados asociados con la IA generativa y la necesidad de implementar nuevas tecnologías o mejorar los procesos actuales.
• Establecer un proceso de gobernanza de IA — esto puede ser completamente nuevo dentro de una organización o una modificación de los programas actuales de gestión de riesgos. Esto debe incluir la definición de funciones de habilitación de IA a nivel empresarial y la incorporación de partes interesadas de todo el negocio, TI, producto, riesgo, ciberseguridad, etc. como parte de la estructura de gobernanza. Además, definir/actualizar políticas relevantes (políticas de uso aceptable, políticas de seguridad en la nube, gestión de riesgos de tecnología de terceros, etc.) así como establecer requisitos de aprendizaje y desarrollo para apoyar la alfabetización en IA y la seguridad/salud de la IA en toda la organización debe incluirse.
• Establecer una arquitectura de IA de confianza — con el establecimiento de plataformas y entornos de sandbox de IA/GenAI, la tecnología existente, así como nuevas soluciones (por ejemplo, cortafuegos de IA/seguridad en tiempo de ejecución, guardrail, gestión del ciclo de vida del modelo, capacidades de IAM mejoradas, etc.) necesitarán integrarse en entornos de desarrollo y despliegue de manera repetible y escalable.
• Mejorar el SDLC — las organizaciones deben construir integraciones estrechas entre los desarrolladores de IA y los equipos de gestión de riesgos que trabajan para proteger, asegurar y generar confianza en las soluciones de IA. Esto incluye establecer un conjunto uniforme/estándar de prácticas de desarrollo de software seguro y requisitos de control, en colaboración con los equipos más amplios de desarrollo y adopción de IA.

¿Puede explicar el concepto de un “cortafuegos de IA” en términos simples? ¿Cómo difiere de los cortafuegos de red tradicionales?

Un cortafuegos de IA es una capa de seguridad diseñada para monitorear y controlar las entradas y salidas de los sistemas de IA, especialmente los modelos de lenguaje grande, para prevenir el mal uso, proteger los datos sensibles y garantizar un comportamiento de IA responsable. A diferencia de los cortafuegos tradicionales que protegen las redes filtrando el tráfico basado en direcciones IP, puertos y amenazas conocidas, los cortafuegos de IA se centran en comprender y gestionar las interacciones de lenguaje natural. Bloquean cosas como contenido tóxico, fugas de datos, inyección de prompts y uso no ético de la IA aplicando políticas, filtros conscientes del contexto y guardrail específicos del modelo. En esencia, mientras que un cortafuego tradicional protege su red, un cortafuego de IA protege sus modelos de IA y sus salidas.

¿Hay algún estándar de la industria actual o protocolo emergente que gobierne el uso de cortafuegos de IA específicos o guardrail?
El protocolo de comunicación de modelo (MCP) no es un estándar universal, pero está ganando tracción en toda la industria para ayudar a abordar la creciente carga de configuración para las empresas que necesitan gestionar la diversidad de soluciones de IA-GenAI. MCP gobierna cómo los modelos de IA intercambian información (incluido el aprendizaje) incluyendo la integridad y la verificación. Podemos pensar en MCP como la pila de protocolo de control de transmisión (TCP)/protocolo de internet (IP) para los modelos de IA, lo cual es particularmente útil en casos de uso centralizados, federados o distribuidos. MCP es actualmente un marco conceptual que se realiza a través de diversas herramientas, investigaciones y proyectos.

El espacio se está moviendo rápidamente y podemos esperar que cambie bastante en los próximos años.

¿Cómo está transformando la IA el campo de la detección y respuesta de amenazas hoy en día en comparación con solo hace cinco años?

Hemos visto que las plataformas de centros de operaciones de seguridad (SOC) comerciales se están modernizando en diferentes grados, utilizando grandes conjuntos de datos de alta calidad junto con modelos de IA/ML avanzados para mejorar la detección y clasificación de amenazas. Además, están aprovechando la automatización, el flujo de trabajo y la auto-remediación para reducir el tiempo desde la detección hasta la mitigación. También han introducido capacidades de copiloto para apoyar aún más la triage y la respuesta.

Además, se están desarrollando agentes para cumplir roles selectos dentro del SOC. Como ejemplo práctico, hemos construido un ‘Analista digital’ agente para su despliegue en nuestra propia oferta de servicios administrados. El agente sirve como un analista de nivel uno, triaje de alertas entrantes, agregando contexto de inteligencia de amenazas y otras fuentes, y recomendando pasos de respuesta (basados en una extensa historia de casos) para nuestros analistas humanos que luego revisan, modifican si es necesario y toman acción.

¿Cómo ve la relación entre la IA y la ciberseguridad evolucionando en los próximos 3-5 años, ¿será la IA más un riesgo o una solución?
A medida que la IA evoluciona en los próximos 3-5 años, puede ayudar a la ciberseguridad, pero al mismo tiempo, también puede introducir riesgos. La IA ampliará la superficie de ataque y creará nuevos desafíos desde una perspectiva defensiva. Además, la IA adversaria aumentará la viabilidad, la velocidad y la escala de los ataques, lo que creará desafíos adicionales. Por otro lado, aprovechar la IA en el negocio de la ciberseguridad presenta oportunidades significativas para mejorar la eficacia, la eficiencia, la agilidad y la velocidad de las operaciones cibernéticas en la mayoría de los dominios, creando en última instancia un escenario de “luchar contra el fuego con fuego”.

Gracias por la gran entrevista, los lectores también pueden visitar Deloitte.