Audian Paxson, estratega técnico principal de IRONSCALES: serie de entrevistas

Audian Paxson, estratega técnico principal de IRONSCALES, es un veterano de la ciberseguridad y la estrategia de productos con más de dos décadas de experiencia en seguridad del correo electrónico, detección de amenazas, redes y tecnología empresarial. En IRONSCALES, se centra en los lanzamientos de productos, los mensajes y el posicionamiento, la estrategia de salida al mercado y el liderazgo de opinión sobre el uso de la inteligencia artificial y el aprendizaje automático para abordar las nuevas amenazas a la seguridad del correo electrónico. Su trayectoria incluye puestos sénior de gestión de productos, marketing de productos y desarrollo empresarial en Netgate, BlueCat, Alert Logic, Critical Watch, Iconix, Strix Systems e Intel. Paxson ha desempeñado un papel clave en el lanzamiento de productos de ciberseguridad y redes, el desarrollo de estrategias de salida al mercado para empresas y la expansión de compañías a nuevos mercados; además, es coinventor de una tecnología de seguridad patentada.

IRONSCALES es una empresa de seguridad del correo electrónico basada en IA que se dedica a proteger a las organizaciones contra el phishing, el compromiso del correo electrónico empresarial, la toma de control de cuentas, los deepfakes y otras amenazas de ingeniería social en constante evolución. Su plataforma combina IA adaptativa con inteligencia humana y colectiva para detectar, investigar y remediar amenazas en Microsoft 365 y Google Workspace, y también ofrece funciones de simulación de phishing, formación en concienciación sobre seguridad, protección del correo electrónico saliente y seguridad de dominios. La empresa ha ampliado su enfoque con agentes de IA especializados en ejercicios de red team, operaciones de seguridad contra el phishing y simulación de phishing, diseñados para anticiparse a los ataques, investigar actividades sospechosas y reforzar las defensas de los empleados. IRONSCALES afirma que más de 18.000 organizaciones utilizan su tecnología, que incorpora información aportada por una comunidad de más de 36.000 profesionales de la seguridad.

Tu trayectoria en seguridad del correo electrónico se remonta a más de dos décadas e incluye tu participación en el desarrollo de algunos de los primeros productos contra el phishing; ahora te centras en cómo la IA y el aprendizaje automático pueden hacer frente a las nuevas amenazas al correo electrónico. Desde esa perspectiva, ¿qué te parece realmente novedoso de la ingeniería social impulsada por IA y qué aspectos del problema siguen siendo sorprendentemente familiares?

¡Gracias por hacerme sentir mayor! Cuando empezamos a combatir el phishing, a principios de la década de 2000, el mayor problema era la concienciación, y los filtros solo podían evaluar la reputación del dominio del remitente. Pero las tácticas no han cambiado mucho. La urgencia, la autoridad, una factura falsa. Reconozco casi todos los pretextos que veo hoy. Lo que cambió la IA fue la barrera de habilidad necesaria para crear mensajes convincentes: ahora, un atacante sin experiencia puede producir a gran escala una versión impecable y personalizada de una estafa de 2004.

Anthropic descubrió que Claude Mythos 5 podía reconocer señales del internet real cuando se le presentaban de forma independiente, pero que, en gran medida, no actuaba basándose en esas mismas pruebas mientras estaba inmerso en una tarea. ¿Qué nos dice esa brecha sobre la diferencia entre que un modelo de IA posea conocimientos y que realmente los aplique en el momento adecuado?

Trabajo en seguridad del correo electrónico, no soy investigador de IA, así que lo analizo desde esa perspectiva. A Mythos le dijeron desde el principio que estaba en una simulación, y ese encuadre prevaleció. Descartó pruebas reales porque no encajaban con la historia en la que ya estaba inmerso. Así es como funciona un pretexto, y por eso los atacantes se esfuerzan tanto por establecer primero el contexto.

Hay aquí un interesante paralelismo con el comportamiento humano ante el phishing: un empleado puede identificar fácilmente indicios sospechosos durante una formación, pero pasar por alto esos mismos indicios cuando tiene prisa o está concentrado en completar otra tarea. ¿Hasta qué punto crees que puede llevarse razonablemente esta comparación entre el criterio humano y el de la IA?

Hasta cierto punto. Tanto las personas como los modelos pierden de vista lo que ocurre cuando están totalmente concentrados en una tarea, y ambos pueden dar por válido un mensaje que parece formar parte de un proceso empresarial rutinario («hay que revisar las siguientes reclamaciones»). La comparación deja de ser válida cuando entran en juego las emociones. Las personas se sienten apuradas, asustadas o deseosas de agradar. Un agente falla ante sus propios factores desencadenantes, como las instrucciones que no puede distinguir de los datos que está leyendo.

Tradicionalmente, la formación en seguridad se ha centrado en enseñar a las personas a reconocer enlaces maliciosos, solicitudes inusuales, suplantaciones de identidad y otras señales de alerta. Si tanto las personas como los sistemas de IA pueden pasar por alto señales que técnicamente comprenden, ¿deberían los equipos de seguridad prestar menos atención al reconocimiento y centrarse más en cómo se toman decisiones bajo presión y en un contexto determinado?

Sí. La formación para reconocer amenazas parte de la suposición de que las personas están prestando atención. Los atacantes diseñan mensajes para que lleguen cuando no lo están, o para hacer que olviden lo aprendido. Es mejor invertir en introducir una pausa en los momentos importantes —como los pagos, los restablecimientos de credenciales y los cambios de acceso— para que ni una persona ni un agente tomen esa decisión en piloto automático.

A medida que los agentes de IA se integran más profundamente en las bandejas de entrada y los flujos de trabajo empresariales, los atacantes podrían empezar a manipular mediante ingeniería social al propio sistema de IA, y no solo al empleado. ¿Cómo podría ser un ataque diseñado específicamente para manipular a un agente de correo electrónico o a un asistente autónomo?

Es un correo electrónico escrito para el agente, con instrucciones ocultas para la persona mediante texto blanco sobre fondo blanco, texto alternativo de una imagen o en otro idioma, de modo que los filtros ajustados al inglés lo pasen por alto. En uno de los escenarios que diseñó nuestro equipo de investigación, se inserta un «hecho» falso en la memoria del agente («las aprobaciones de finance@ están preautorizadas»), de modo que, semanas después, un correo electrónico fraudulento que suplanta a Finanzas pasa sin problemas. Otro escenario oculta texto en la imagen de una factura e indica al agente que la marque como de bajo riesgo y la resuma como segura para pagar. La persona confía en el resumen.

¿Podrían los atacantes crear deliberadamente largas secuencias de interacciones aparentemente legítimas que empujen poco a poco a un sistema de IA a tomar una mala decisión, en lugar de depender de un único correo electrónico o mensaje malicioso evidente? ¿Qué tan difícil sería para las herramientas de seguridad actuales detectar estos ataques de varios pasos?

Ya se producen contra las personas, y los agentes son los siguientes. Los atacantes envían unos cuantos correos electrónicos inofensivos (una presentación, un agradecimiento) para desactivar las alertas de remitente nuevo, pasan a mensajes relacionados con el puesto de la persona objetivo y solo entonces envían la carga maliciosa, a menudo mediante una invitación a una reunión cuyo enlace muestra a los escáneres una página limpia y a las personas usuarias reales el sitio de phishing. Las herramientas que evalúan cada correo electrónico de forma aislada no lo detectan. Ningún mensaje parece sospechoso por sí solo, así que hay que evaluar la relación a lo largo del tiempo.

A menudo se habla del phishing generado por IA en términos de una mejor redacción, personalización y falsificaciones profundas. ¿Le preocupa más que la IA mejore el contenido de los ataques de ingeniería social, o que los atacantes la utilicen para determinar exactamente cuándo y cómo es más probable que una persona concreta cometa un error?

Ambas cosas, y la batalla por el contenido ya está perdida. El phishing pulido y escrito con IA es la norma desde que ChatGPT se popularizó. El cambio más importante es que ahora la selección de objetivos, la personalización y el momento del envío están automatizados, de modo que alguien sin ninguna habilidad técnica puede combinar datos de filtraciones con listas de contraseñas robadas como la infame lista RockYou, hacerse con el control de un buzón de correo real y enviar un correo fraudulento que suplanta un mensaje transaccional rutinario justo cuando la persona objetivo espera recibirlo.

A medida que los atacantes mejoran su capacidad para eliminar señales técnicas de alerta evidentes y hacer que los mensajes maliciosos parezcan legítimos, ¿qué señales cobran mayor importancia para distinguir una comunicación legítima de una manipulación?

Lo primero es el contexto. Por ejemplo, ¿es normal que esta persona o este proveedor se comunique por este canal y en este momento? Después, la urgencia y la repetición. Quien tiene una solicitud realmente urgente llama por teléfono o te escribe por Teams o Slack. No envía el mismo correo electrónico tres veces. Y confía en tu intuición. Mi regla es «No te limites a actuar; detente», así que haz una pausa, pide a otra persona que lo revise y verifica la información por otro canal.

¿Cómo deberían organizar las empresas la supervisión humana y de la IA cuando ambas partes pueden tener puntos débiles? ¿Podría la combinación del criterio humano y la IA crear nuevos puntos ciegos si cada parte da por sentado que la otra ya ha validado la decisión?

Asignen a cada parte la tarea que mejor sabe hacer y definan explícitamente cómo se transfiere el trabajo. La IA gestiona el volumen y detecta patrones en todo el entorno; las personas se encargan de las decisiones con mayores consecuencias (transferir dinero, conceder acceso), y la IA debe mostrar las pruebas para que quien revise pueda comprobar el razonamiento. El punto ciego que describe es real. La solución es establecer una regla estricta… «La IA dijo que es seguro» nunca cuenta como revisión humana.

Si el problema fundamental es la brecha entre lo que saben las personas o los sistemas de IA y lo que reconocen mientras realizan una tarea, ¿qué cambios prácticos pueden implementar hoy las empresas para reducir esa brecha y dificultar considerablemente que los ataques de ingeniería social tengan éxito?

Recuperen un control antiguo que utilizábamos al emitir cheques: la «separación de funciones». Una persona puede crear un usuario nuevo, pero no activarlo; una segunda puede activarlo, pero no crearlo; y se notifica a una tercera de ambas acciones. Apliquen esa misma separación a los pagos, los cambios de proveedores y sus agentes de IA (ningún agente debería poder solicitar y aprobar una acción). Un empleado engañado o un agente secuestrado no puede completar el ataque por sí solo.

Gracias por esta excelente entrevista. Quienes quieran saber más pueden visitar IRONSCALES.