Nick Kathmann, CISO/CIO en LogicGate – Serie de entrevistas

Nicholas Kathmann es el Director de Seguridad de la Información (CISO) en LogicGate, donde lidera el programa de seguridad de la información de la empresa, supervisa las innovaciones de seguridad de la plataforma y se reúne con clientes para gestionar el riesgo de ciberseguridad. Con más de dos décadas de experiencia en TI y 18+ años en ciberseguridad, Kathmann ha creado y dirigido operaciones de seguridad en pequeñas empresas y empresas Fortune 100.

LogicGate es una plataforma de riesgo y cumplimiento que ayuda a las organizaciones a automatizar y escalar sus programas de gobernanza, riesgo y cumplimiento (GRC). A través de su producto insignia, Risk Cloud®, LogicGate permite a los equipos identificar, evaluar y gestionar el riesgo en toda la empresa con flujos de trabajo personalizables, información en tiempo real y integraciones. La plataforma admite una amplia gama de casos de uso, incluyendo la gestión de riesgos de terceros, el cumplimiento de la ciberseguridad y la gestión de auditorías internas, lo que ayuda a las empresas a crear estrategias de riesgo más ágiles y resilientes.

Usted sirve como CISO y CIO en LogicGate — ¿cómo ve la transformación de las responsabilidades de estos roles en los próximos 2-3 años gracias a la IA?

La IA ya está transformando ambos roles, pero en los próximos 2-3 años, creo que veremos un gran aumento en la IA Agente que tiene el poder de reinventar cómo nos ocupamos de los procesos empresariales en el día a día. Cualquier cosa que normalmente vaya a un servicio de ayuda de TI, como restablecer contraseñas, instalar aplicaciones y más, puede ser manejada por un agente de IA. Otro caso de uso crítico será utilizar agentes de IA para manejar evaluaciones de auditoría tediosas, lo que permitirá a los CISO y CIO priorizar solicitudes más estratégicas.

Con las tendencias de desregulación y despidos en el sector cibernético, ¿cómo deben abordar las empresas la implementación de la IA mientras mantienen una postura de seguridad sólida?

Mientras estamos viendo una tendencia de desregulación en EE. UU., las regulaciones están fortaleciéndose en la UE. Así que, si eres una empresa multinacional, anticipa tener que cumplir con los requisitos regulatorios globales sobre el uso responsable de la IA. Para las empresas que solo operan en EE. UU., creo que habrá un período de aprendizaje en cuanto a la adopción de la IA. Creo que es importante para esas empresas formar políticas de gobernanza de la IA sólidas y mantener algún control humano en el proceso de implementación, asegurándose de que nada se salga de control.

¿Cuáles son los puntos ciegos más grandes que ve cuando se trata de integrar la IA en los marcos de ciberseguridad existentes?

Mientras hay un par de áreas en las que puedo pensar, el punto ciego más impactante sería dónde se encuentra su datos y dónde se está trasladando. La introducción de la IA solo hará que la supervisión en ese área sea más desafiante. Los proveedores están habilitando características de IA en sus productos, pero esos datos no siempre van directamente al modelo/proveedor de IA. Eso hace que las herramientas de seguridad tradicionales como DLP y monitoreo web sean efectivamente ciegas.

Usted ha dicho que la mayoría de las estrategias de gobernanza de la IA son “tigres de papel”. ¿Cuáles son los ingredientes básicos de un marco de gobernanza que realmente funciona?

Cuando digo “tigres de papel”, me refiero específicamente a estrategias de gobernanza donde solo un pequeño equipo conoce los procesos y estándares, y no se aplican ni se entienden en toda la organización. La IA es muy ubicua, lo que significa que afecta a cada grupo y equipo. Las estrategias “de un tamaño para todos” no funcionarán. Un equipo de finanzas que implementa características de IA en su ERP es diferente a un equipo de productos que implementa una característica de IA en un producto específico, y la lista continúa. Los ingredientes básicos de un marco de gobernanza sólido varían, pero organismos asesores como IAPP, OWASP, NIST y otros tienen marcos bastante buenos para determinar qué evaluar. La parte más difícil es determinar cuándo se aplican los requisitos a cada caso de uso.

¿Cómo pueden las empresas evitar el desvío de los modelos de IA y garantizar un uso responsable con el tiempo sin sobrediseñar sus políticas?

El desvío y la degradación son solo parte del uso de la tecnología, pero la IA puede acelerar significativamente el proceso. Pero si el desvío se vuelve demasiado grande, se necesitarán medidas correctivas. Una estrategia de prueba integral que busque y mida la precisión, el sesgo y otras señales de alerta es necesaria con el tiempo. Si las empresas quieren evitar el sesgo y el desvío, necesitan comenzar asegurándose de que tengan las herramientas para identificar y medir.

¿Qué papel deben desempeñar los registros de cambios, las actualizaciones de políticas limitadas y los bucles de retroalimentación en tiempo real en el mantenimiento de la gobernanza de la IA ágil?

Mientras desempeñan un papel ahora para reducir el riesgo y la responsabilidad para el proveedor, los bucles de retroalimentación en tiempo real obstaculizan la capacidad de los clientes y usuarios para realizar la gobernanza de la IA, especialmente si los cambios en los mecanismos de comunicación ocurren con demasiada frecuencia.

¿Qué preocupaciones tiene sobre el sesgo y la discriminación de la IA en la concesión de crédito o la calificación crediticia, particularmente con los servicios “Compre ahora, pague más tarde” (BNPL)?

El año pasado, hablé con un investigador de IA/ML en un gran banco multinacional que había estado experimentando con IA/LLM en sus modelos de riesgo. Los modelos, incluso cuando se entrenaron en grandes y precisos conjuntos de datos, tomaron decisiones realmente sorprendentes y no respaldadas para aprobar o denegar la concesión de crédito. Por ejemplo, si se mencionaban las palabras “gran crédito” en una transcripción de chat o comunicaciones con clientes, los modelos, por defecto, denegarían el préstamo, independientemente de si el cliente lo dijo o el empleado del banco lo dijo. Si la IA se va a confiar, los bancos necesitan una mejor supervisión y rendición de cuentas, y esas “sorpresas” necesitan minimizarse.

¿Cuál es su opinión sobre cómo debemos auditar o evaluar los algoritmos que toman decisiones de alto riesgo — y quién debe ser responsable?

Esto se remonta al modelo de prueba integral, donde es necesario probar y comparar el algoritmo/modelo en tiempo real lo más posible. Esto puede ser difícil, ya que la salida del modelo puede tener resultados deseables que necesitarán humanos para identificar valores atípicos. Como ejemplo bancario, un modelo que deniega todos los préstamos tendrá una calificación de riesgo excelente, ya que ningún préstamo que apruebe nunca entrará en default. En ese caso, la organización que implementa el modelo/algoritmo debe ser responsable del resultado del modelo, al igual que lo sería si los humanos tomaran la decisión.

Con más empresas que requieren seguro cibernético, ¿cómo están cambiando las herramientas de IA tanto el paisaje de riesgo como la propia subscripción de seguros?

Las herramientas de IA son excelentes para difundir grandes cantidades de datos y encontrar patrones o tendencias. En el lado del cliente, esas herramientas serán instrumentales para comprender el riesgo real de la organización y gestionar ese riesgo. En el lado del asegurador, esas herramientas serán útiles para encontrar inconsistencias y organizaciones que se vuelven inmaduras con el tiempo.

¿Cómo pueden las empresas aprovechar la IA para reducir proactivamente el riesgo cibernético y negociar mejores términos en el mercado de seguros actual?

Hoy en día, la mejor manera de aprovechar la IA para reducir el riesgo y negociar mejores términos de seguro es filtrar el ruido y las distracciones, lo que te ayuda a centrarte en los riesgos más importantes. Si reduces esos riesgos de manera integral, tus tarifas de seguro cibernético deberían disminuir. Es demasiado fácil sentirse abrumado por el volumen de riesgos. No te dejes llevar intentando abordar cada problema cuando centrarte en los más críticos puede tener un impacto mucho mayor.

¿Qué pasos tácticos recomienda para las empresas que desean implementar la IA de manera responsable — pero no saben por dónde empezar?

Primero, debes entender cuáles son tus casos de uso y documentar los resultados deseados. Todos quieren implementar la IA, pero es importante pensar en tus objetivos primero y trabajar hacia atrás desde allí, algo que creo que muchas organizaciones luchan por hacer hoy en día. Una vez que tengas una buena comprensión de tus casos de uso, puedes investigar los diferentes marcos de IA y entender qué controles aplicables importan para tus casos de uso y implementación. Una gobernanza de IA sólida también es crítica para la negocio, para la mitigación de riesgos y la eficiencia, ya que la automatización solo es tan útil como la entrada de datos. Las organizaciones que aprovechan la IA deben hacerlo de manera responsable, ya que los socios y prospectos están haciendo preguntas difíciles sobre la expansión y el uso de la IA. No saber la respuesta puede significar perder oportunidades comerciales, lo que impacta directamente en la línea de fondo.

Si tuviera que predecir el mayor riesgo de seguridad relacionado con la IA dentro de cinco años, ¿cuál sería — y cómo podemos prepararnos hoy?

Mi predicción es que a medida que la IA Agente se incorpore a más procesos y aplicaciones empresariales, los atacantes se involucrarán en el fraude y el mal uso para manipular a esos agentes y entregar resultados maliciosos. Ya hemos visto esto con la manipulación de los agentes de servicio al cliente, lo que resultó en acuerdos y reembolsos no autorizados. Los actores de amenazas utilizaron trucos de lenguaje para evitar políticas y interferir con la toma de decisiones del agente.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar LogicGate.