Estrategias de ciberseguridad para el desarrollo de agentes con poco código frente al desarrollo con código tradicional

A medida que las organizaciones ponen a trabajar agentes de inteligencia artificial en sus sistemas empresariales, la velocidad de desarrollo y la supervisión de la seguridad están cada vez más vinculadas. Las estrategias de ciberseguridad para desarrollar agentes con poco código y con código tradicional deben tener en cuenta cómo cada enfoque concede acceso a la información y permite realizar acciones. Las medidas de protección específicas pueden abordar esas diferencias, mientras que una gobernanza común mantiene la actividad de los agentes alineada con las tareas autorizadas a medida que se amplían las implementaciones.

Qué distingue el desarrollo de agentes de IA con poco código del desarrollo con código tradicional

Las plataformas de bajo código permiten crear agentes mediante interfaces visuales y conectores prediseñados que vinculan servicios empresariales. El desarrollo con código tradicional ofrece a los programadores más flexibilidad para definir el comportamiento de los agentes mediante código personalizado, integraciones de herramientas y entornos de ejecución. Ambos enfoques requieren supervisar la información a la que pueden acceder los agentes y las acciones que pueden realizar.

Las responsabilidades de seguridad varían porque el control se ejerce desde distintos ámbitos. Quienes crean agentes con plataformas de bajo código trabajan con ajustes de la plataforma que rigen el uso compartido y el acceso a los conectores, por lo que las decisiones de configuración son especialmente importantes. Los equipos que desarrollan con código tradicional asumen una mayor responsabilidad por el software y los entornos que ejecutan las instrucciones de los agentes, incluidos los límites de acceso a archivos y credenciales.

La Cybersecurity and Infrastructure Security Agency identifica varios riesgos de la IA agéntica que ofrecen un marco útil para ambos enfoques. Una superficie de ataque ampliada se refiere a puntos de entrada adicionales, mientras que la acumulación de privilegios alude a la suma progresiva de permisos. La desalineación del comportamiento implica desviaciones de las tareas previstas, y los registros de eventos poco claros dificultan las investigaciones. Un conector de uso generalizado y una herramienta de línea de comandos sin restricciones pueden generar distintas variantes de los mismos problemas.

Riesgos de seguridad y medidas para los agentes de IA de bajo código

La accesibilidad de las plataformas de bajo código pone la creación de agentes al alcance de empleados ajenos a los equipos de desarrollo tradicionales. La supervisión de la seguridad debe abarcar también a quienes los crean, para que las conexiones prácticas se mantengan en consonancia con los usos empresariales autorizados.

En qué aspectos se quedan cortos los entornos de bajo código en materia de seguridad

Es posible que quienes desarrollan sin conocimientos especializados conecten un agente a archivos compartidos o aplicaciones empresariales sin comprender por completo sus permisos. El acceso concedido mediante esas conexiones puede exponer información confidencial o permitir acciones que excedan el flujo de trabajo previsto. El uso compartido generalizado y la falta de claridad sobre quién es responsable pueden agravar esa exposición.

La escala de adopción hace importante mantener una supervisión coherente en todos los departamentos. En un análisis de mercado de 2024, Forrester señala que el 87 % de los desarrolladores empresariales utilizan plataformas de bajo código para algunas tareas de desarrollo. Ese dato se refiere al desarrollo en general, por lo que da cuenta del alcance de estas plataformas, pero no mide específicamente la adopción de agentes de IA.

Medidas prácticas para reforzar la seguridad de los agentes de bajo código

Los equipos deben revisar los permisos de los conectores en función de la tarea asignada a cada agente y aplicar el principio de mínimo privilegio. Un inventario centralizado debe registrar quién es responsable de cada implementación y qué servicios tiene conectados, además de establecer requisitos de aprobación para las acciones sensibles. Esto proporciona a los equipos de seguridad una base para identificar agentes no registrados e investigar accesos indebidos.

El enfoque de Microsoft para la gobernanza de datos hace hincapié en controlar el acceso a la información empresarial. Naveen Jangir, arquitecto principal de Microsoft Digital, recomienda que las organizaciones «la rijan y protejan mediante restricciones de acceso adecuadas». Estos controles permiten que los usuarios autorizados y las capacidades de IA la utilicen sin exponerla innecesariamente dentro de los límites de permisos establecidos. Aplicar políticas para los conectores junto con una asignación clara de responsabilidades puede integrar esas restricciones en las tareas cotidianas de desarrollo.

Riesgos de seguridad y medidas para los agentes de IA desarrollados con código tradicional

Cuando los equipos utilizan agentes de programación con IA para crear sistemas personalizados, los cambios generados pueden llegar más rápido de lo que las personas alcanzan a revisarlos. Por ello, la seguridad del desarrollo con código tradicional exige controles tanto sobre el proceso de desarrollo como sobre los entornos en los que los agentes ejecutan tareas.

Los desafíos de seguridad específicos del desarrollo con código tradicional

Los agentes de programación pueden encontrarse con una inyección indirecta de instrucciones al leer repositorios externos que contienen instrucciones proporcionadas por atacantes. Si un agente sigue esas instrucciones mientras tiene acceso a herramientas de desarrollo, podría ejecutar comandos peligrosos o exponer credenciales. Las posibles consecuencias dependen, en parte, de los archivos, las herramientas y los destinos externos a los que el entorno de ejecución le permita acceder.

Las directrices de NVIDIA sobre el aislamiento en entornos controlados abordan la exposición de credenciales dentro de ese perímetro de ejecución. Indican que «los entornos aislados deben recurrir a la inyección explícita de secretos» para limitar el acceso a las credenciales. Por consiguiente, los agentes no deben heredar todas las credenciales del entorno cuando sus tareas solo requieren acceso limitado. Los equipos deben proporcionar credenciales específicas para cada tarea y mantener los secretos no relacionados fuera del alcance del agente.

Estrategias para reforzar las canalizaciones de agentes con mucho código

Los entornos de ejecución restringidos deben limitar el acceso a los archivos y las conexiones salientes en función de la tarea. Los equipos también deben aplicar pruebas estáticas de seguridad de aplicaciones al código generado. Revisores independientes deben examinar las decisiones de autorización o la lógica de negocio que podrían pasar por alto las comprobaciones automatizadas. Estas capas abordan los límites de ejecución y las vulnerabilidades del software resultante.

Amazon Web Services recomienda separar la generación de código de la evaluación en su marco de controles para agentes de programación. Señala que «una sesión independiente ayuda a evitar el sesgo de autoconfirmación». Sin embargo, dos sesiones que usan el mismo modelo pueden arrastrar los mismos puntos ciegos subyacentes durante la revisión. Cuando sea viable, un modelo distinto para la revisión y la evaluación humana de los cambios sensibles desde el punto de vista de la seguridad pueden aportar un nivel adicional de escrutinio.

Desarrollar una estrategia de seguridad que abarque ambos enfoques

La seguridad de la IA en el desarrollo de agentes con poco y mucho código requiere una visión compartida de la actividad en todos los puntos donde los agentes intercambian información. Por ejemplo, un flujo de trabajo con poco código podría enviar contenido a un agente creado a medida, que luego se conecta con otro servicio empresarial. Revisar cada componente por separado puede dejar a los equipos de seguridad sin el contexto necesario para comprender la secuencia completa.

Los expertos en seguridad de la IA de Darktrace sostienen que las organizaciones deben examinar las instrucciones y las sesiones junto con las respuestas en las herramientas de IA generativa empresariales y en ambos enfoques de desarrollo. Su perspectiva también abarca los entornos de software como servicio y de perímetro de servicio de acceso seguro. Con esa visibilidad, las organizaciones obtienen contexto para que «puedan detectar ataques conversacionales ingeniosos mediante instrucciones y encadenamientos maliciosos».

La perspectiva de Darktrace respalda una estrategia de seguridad de la IA más amplia para el desarrollo de agentes con poco y mucho código, porque la visibilidad de las instrucciones, la supervisión de las sesiones y la vigilancia de la identidad ayudan a los equipos a comprender cómo interactúan los agentes a través de herramientas conectadas. Los equipos de seguridad deben examinar cómo cambian las instrucciones en las sesiones conectadas y si las acciones posteriores siguen siendo coherentes con la autorización original. También deben tener en cuenta la sensibilidad de la información que se conserve para la investigación.

Gobernanza y supervisión para la seguridad de los agentes de IA a largo plazo

Cada agente debe tener una persona responsable y un ámbito definido de tareas permitidas, independientemente de cómo se haya desarrollado. La gobernanza también debe determinar quién puede aprobar cambios en ese ámbito y quién puede suspender la actividad si un agente se comporta de forma inesperada.

La investigación sobre la gobernanza de agentes sugiere que estos necesitan una autoridad que pueda autenticarse y auditarse para respaldar esa rendición de cuentas. Este enfoque vincula a la persona que concede el permiso con las tareas que puede realizar un agente. Así, las organizaciones pueden comprobar si una acción está amparada por esa autorización.

Los equipos deben mantener registros de actividad que relacionen los permisos delegados con el uso de herramientas y sus resultados. Las revisiones periódicas deben reevaluar esos permisos a medida que cambian las capacidades, retirar los accesos que ya no se necesiten tras completar el trabajo y confirmar que la persona responsable sigue siendo la misma. Los equipos de desarrollo y seguridad pueden utilizar estas revisiones para mantener los controles operativos alineados con el propósito aprobado del agente.

Anticiparse a los riesgos de seguridad de los agentes de IA

El desarrollo con poco código exige gestionar cuidadosamente los permisos de la plataforma y la gobernanza de los conectores, mientras que el desarrollo con mucho código requiere prestar especial atención a los entornos de ejecución personalizados y a la revisión del código. La supervisión centralizada y la rendición de cuentas coherente ofrecen una base común para vigilar cómo acceden los agentes a la información y cómo actúan en los sistemas empresariales conectados. A medida que se amplían las capacidades, los desarrolladores deben reevaluar las salvaguardas junto con los cambios en las herramientas y responsabilidades de los agentes, y mantener claras las actividades permitidas para cada implementación durante todo su ciclo de vida.