Repensando los guardrails para aplicaciones de inteligencia artificial

Como las aplicaciones de inteligencia artificial van más allá de simples chatbots hacia sistemas capaces de actuar en nombre del usuario, los riesgos crecen exponencialmente. Las aplicaciones capaces de actuar pueden tomar acciones a través de herramientas, lo que abre nuevos vectores de ataque para los atacantes que pueden manipular esas herramientas para alterar el estado de las aplicaciones y los datos del usuario.

Los guardrails y modelos de seguridad tradicionales fueron diseñados para amenazas estrechas y bien definidas, pero luchan por escalar contra la diversidad y la creatividad de las técnicas de ataque modernas. Esta nueva realidad requiere un cambio de paradigma: aplicar la inteligencia artificial para defender la inteligencia artificial, permitiendo salvaguardias adaptativas y escalables que coincidan con la ingenuidad y la imprevisibilidad de los adversarios actuales.

Entendiendo el riesgo expandido

La inteligencia artificial se está difundiendo en cada capa del software – desde CRMs hasta calendarios, correo electrónico, flujos de trabajo, navegadores y más – incorporando inteligencia en todas partes. Lo que comenzó como asistentes conversacionales ahora se están convirtiendo en agentes autónomos capaces de tomar acciones independientes.

Un ejemplo es el surgimiento de los “agentes” de OpenAI, que pueden navegar por Internet o ejecutar tareas en línea. Estas capacidades desbloquean una inmensa productividad, pero también exponen una vasta y desconocida superficie de ataque. Los riesgos van más allá de la fuga de datos e incluyen la manipulación del comportamiento, la evasión del modelo y los ataques de inyección de comandos – amenazas que evolucionan dinámicamente y apuntan a la lógica del modelo en lugar de su infraestructura.

Para las empresas, este cambio significa que la seguridad debe evolucionar tan rápido como la propia inteligencia artificial. El desafío para los líderes tecnológicos y de seguridad es cómo proteger la innovación sin ralentizarla, una tensión que ha existido durante mucho tiempo entre los equipos de seguridad y desarrollo de inteligencia artificial.

Dónde fallan los guardrails tradicionales

La mayoría de las herramientas de seguridad de inteligencia artificial actuales todavía dependen de modelos de aprendizaje automático estáticos y estrechamente entrenados, diseñados para reconocer tipos específicos de ataques. Cada nuevo método de evasión o inyección de comandos a menudo requiere un nuevo entrenamiento o despliegue de un modelo dedicado. Este enfoque reactivo asume que los actores maliciosos se comportarán de manera predecible. Sin embargo, la verdad es que los atacantes ahora utilizan la inteligencia artificial para generar amenazas adaptativas, creativas y rápidas que las defensas tradicionales no pueden anticipar.

Incluso los guardrails considerados de vanguardia tienden a ser limitados en alcance y capacidad, siendo efectivos solo dentro de los escenarios para los que fueron entrenados. Los antiguos paradigmas requieren entrenar un modelo separado para cada nuevo ataque, lo que es un enfoque frágil y no sostenible a medida que el número de técnicas de explotación potenciales aumenta a cientos.

Además, persiste una desconexión cultural entre los equipos de seguridad y de inteligencia artificial. Los desarrolladores de inteligencia artificial a menudo ven la seguridad como un obstáculo – algo que ralentiza su velocidad – mientras que los equipos de seguridad asumen la responsabilidad si algo falla. Esta falta de colaboración ha dejado a muchas organizaciones vulnerables por diseño. Lo que se necesita son defensas que se integren sin problemas en el ciclo de vida de la inteligencia artificial, brindando supervisión sin fricción.

Invertir el guión: Utilizar la inteligencia artificial para defender la inteligencia artificial

Para enfrentar estos desafíos, surge un nuevo paradigma de seguridad: la inteligencia artificial que ataca a la inteligencia artificial maliciosa y defiende su inteligencia artificial. En lugar de confiar en reglas estáticas o firmas creadas manualmente, este enfoque aprovecha el poder generativo y analítico de los grandes modelos de lenguaje (LLM) para probar y proteger los sistemas de inteligencia artificial.

• Pruebas de equipo rojo impulsadas por la inteligencia artificial: Los LLM pueden simular una amplia gama de comportamientos adversarios, incluyendo la evasión del modelo, la inyección de comandos y el mal uso de agentes. Al desatar modelos “desalineados” o “pérfidos” para probar creativamente las aplicaciones, las organizaciones obtienen una comprensión más rica y realista de las vulnerabilidades antes de que los atacantes las exploten.
• Defensa continua y adaptativa: Los mismos sistemas de inteligencia artificial pueden ser entrenados para aprender de cada ataque y reforzar automáticamente las defensas. En lugar de gestionar cientos de modelos con un alcance estrecho, las organizaciones pueden desplegar una capa de defensa escalable y única, capaz de reconocer y adaptarse a diversas amenazas mientras mantiene una latencia y un rendimiento consistentes.

Esto marca un cambio fundamental desde las pruebas manuales y puntuales hasta guardrails vivos que evolucionan junto con los sistemas que protegen.

Construyendo un ecosistema autodefensor

La inteligencia artificial que defiende la inteligencia artificial no solo mejora la detección; transforma toda la postura defensiva. Cuando se integra adecuadamente, estos sistemas pueden:

• Escalar la protección sin esfuerzo, generalizando a través de múltiples tipos de ataques.
• Mejorar continuamente a medida que encuentran nuevas amenazas en producción.
• Puentear la brecha entre los equipos de inteligencia artificial y seguridad, permitiendo una supervisión que no impide la innovación.
• Proporcionar visibilidad en superficies de riesgo complejas introducidas por el comportamiento agente, donde los sistemas de inteligencia artificial actúan de forma autónoma en entornos digitales.

El objetivo es construir sistemas de seguridad que piensen como los atacantes, anticipen sus movimientos y evolucionen tan rápido como ellos.

Llamado a una mentalidad adaptativa

La industria se encuentra en un punto de inflexión. Después del inicial entusiasmo de 2023-2024, muchas iniciativas de inteligencia artificial empresarial se estancaron al enfrentar desafíos en la producción. Eso no se debió a una falta de potencial, sino a que la infraestructura y los paradigmas de seguridad no podían seguir el ritmo. A medida que la inteligencia artificial se integra en flujos de trabajo críticos, las consecuencias de un diseño inseguro solo se magnificarán.

Las organizaciones deben adoptar una mentalidad de seguridad adaptativa, una en la que los sistemas de inteligencia artificial monitorean, prueban y fortalecen continuamente otros sistemas de inteligencia artificial. Esto significa incorporar guardrails inteligentes desde el principio, en lugar de agregarlos más tarde. Es ridículo pensar en software que no esté inherentemente basado en inteligencia artificial y peligroso pensar en inteligencia artificial que no esté inherentemente segura.

Guardrails de inteligencia artificial vivos

La inteligencia artificial es el nuevo fundamento del software, y como cualquier fundamento, su fuerza depende de cómo bien puede soportar el estrés. Las defensas estáticas no pueden hacer frente al momento. La próxima era de la seguridad pertenecerá a los sistemas de aprendizaje automático (inteligencia artificial que defiende la inteligencia artificial) que coinciden con la velocidad, la creatividad y la escala de las amenazas que enfrentan. Solo enseñando a la inteligencia artificial a protegerse a sí misma podemos asegurar el futuro que está ayudando a construir.