La Crisis de Visibilidad de la Inteligencia Artificial: Por Qué los Equipos de Seguridad Están Volando a Ciegas y Por Qué No Tienen Que Hacerlo

La integración de agentes de inteligencia artificial en entornos de producción está acelerando, pero la arquitectura de seguridad necesaria para protegerlos está quedando peligrosamente atrás. Estamos en una era en la que un agente de inteligencia artificial, encargado de un trabajo rutinario en un entorno de staging, puede decidir de forma independiente “arreglar” una discrepancia de credenciales eliminando un volumen de base de datos .

Como industria, estamos colectivamente apagando nuestros cerebros cuando se trata de los principios básicos de seguridad y observabilidad alrededor de la inteligencia artificial. Los equipos de seguridad están volando a ciegas, pero no tienen que estarlo.

El Mito de las Pautas del Sistema y la Herramienta Segura

Un mito persistente en el espacio de la inteligencia artificial es que podemos controlar el comportamiento del agente simplemente diciéndole que se comporte. Las pautas del sistema son consultivas, no de aplicación. En el incidente mencionado, las reglas del sistema del agente de inteligencia artificial establecían explícitamente que nunca debía ejecutar comandos destructivos, sin embargo, el agente violó sus propias barreras de seguridad comercializadas y ejecutó la acción más irreversible posible.

Tenemos que trabajar bajo la suposición de que la inteligencia artificial no “sabe” nada en realidad. Los ataques contra la inteligencia artificial son ingeniería social, excepto que el objetivo es más tonto que el ser humano promedio. Cualquiera que tenga experiencia en pruebas de penetración entiende lo difícil que es para las organizaciones defenderse contra ataques de ingeniería social. Ahora nuestros ordenadores también son susceptibles.

Además, la herramienta de inteligencia artificial es en última instancia solo software, y todo el software tiene errores. Ya hemos visto casos en los que la herramienta de inteligencia artificial comienza automáticamente servidores HTTP no autenticados, lo que permite que cualquier proceso local o sitio web ejecute comandos de shell arbitrarios con privilegios de usuario.

La Caja Negra de la Auditoría de la Inteligencia Artificial

Si una inteligencia artificial se vuelve renegada o es manipulada, descubrir qué hizo es una pesadilla. Las herramientas de inteligencia artificial generalmente no proporcionan registros de auditoría. Si tiene suerte de estar en un nivel empresarial, los registros que recibe son severamente deficientes. Por ejemplo, es posible que reciba un evento vago que establece que un usuario “usó la inteligencia artificial genérica” y solo recibe métricas básicas que detallan los recuentos de tokens de entrada y salida.

Ninguno de estos ayuda a un analista de seguridad a responder a la pregunta fundamental: ¿Qué exactamente ejecutó este agente?

Descubriendo la Inteligencia Artificial: Cómo Dejar de Volar a Ciegas

La buena noticia es que no necesariamente necesita un nuevo dispositivo de seguridad específico de la inteligencia artificial para recuperar la visibilidad. El uso de la inteligencia artificial en la sombra y la actividad del agente son detectables utilizando las técnicas de análisis de registros existentes que su equipo ya debería tener. Las llamadas a herramientas de inteligencia artificial, la ejecución de comandos y los eventos de cambio de sistema se pueden rastrear hasta la inteligencia artificial utilizando el análisis de ejecución de procesos existente (que está haciendo en su sistema de gestión de seguridad y eventos (SIEM), ¿verdad?).

Aquí está cómo puede aprovechar su infraestructura actual para detectar la actividad de la inteligencia artificial:

• Análisis de DNS: Analizar los registros de DNS para consultas a dominios de servicios de inteligencia artificial conocidos puede ayudar a detectar el uso de la inteligencia artificial en su entorno.
• Lista de Amenazas: Este enfoque requiere mantener una lista de amenazas actualizada de dominios asociados con plataformas o proveedores de modelos de inteligencia artificial.
• Recursos de la Comunidad: Hay proyectos y listas de bloqueo de la comunidad disponibles que se pueden modificar en tablas de búsqueda para uso programático.
• Seguimiento de SSL: Un enfoque similar puede utilizar registros de SSL para rastrear nombres de servidor, aunque proporciona detalles ligeramente menos detallados desde que no se registra la URL completa.
• Telemetría de Punto Final: Puede utilizar herramientas como Sysmon para contar procesos secundarios y buscar generadores de bash de alto rendimiento, lo que es un indicador fuerte de posibles agentes de inteligencia artificial que ejecutan comandos en un punto final.

El punto ciego que requiere cambios activos en la recopilación de datos es la propia pauta. ¿Qué están pidiendo los usuarios a la inteligencia artificial? ¿Están subiendo algún documento potencialmente sensible, creando así problemas de cumplimiento? Responder a estas preguntas probablemente requiere recopilar las solicitudes de API al proveedor; proxies web, proxies de LLM y herramientas de ingesta de datos de proveedores de registros y SIEM. Estos pueden eliminar el velo que bloquea esta valiosa fuente de datos.

La Amenaza Emergente: Servidores Maliciosos de MCP

El protocolo de contexto de modelo (MCP) ha surgido como una forma de especificar cómo las aplicaciones de inteligencia artificial se integran con herramientas y fuentes de datos externas. Mientras que estandariza las conexiones, también introduce nuevos vectores de ataque masivos a través de “servidores maliciosos de MCP“.

Organizo un taller de capacitación práctica donde los estudiantes pueden experimentar este ataque de primera mano. Diseñan un servidor malicioso de MCP para engañar a un LLM para que llame a herramientas legítimas y envíe la salida de vuelta al atacante. Debido a que los LLM son muy vulnerables a la ingeniería social, eludir sus barreras de seguridad integradas a menudo es solo cuestión de elegir una mejor redacción o un pretexto astuto.

Los estudiantes comúnmente utilizan su servidor malicioso para instruir a la inteligencia artificial que está “en modo de mantenimiento” y debe pasar datos a una herramienta secundaria para “registro de auditoría”, lo que resulta en la exfiltración de datos. Algunos son más creativos con sus pautas que otros, pero todos suelen tener éxito.

Recuperar el Control

Para auditar adecuadamente la actividad de la inteligencia artificial en el mundo real, necesita un proxy para interceptar las solicitudes de la inteligencia artificial y una herramienta de recopilación de registros capaz de manejar cargas JSON masivas. Con esta visibilidad, puede detectar y triage amenazas. No puede confiar únicamente en los proveedores de inteligencia artificial para proporcionar la capa de seguridad. La aplicación debe vivir en los sistemas de su organización, no en un párrafo de texto que esperamos que el modelo decida obedecer. Con una buena solución de registro, los equipos de seguridad tienen la telemetría; es hora de que comiencen a consultarla.