La Jungla de Inteligencia Artificial en las Sombras: Por qué Aprobar una Plataforma no es lo Mismo que Seguir lo que se Construye en Ella

La adopción de inteligencia artificial en las empresas está lejos de ser fluida. Las preocupaciones sobre el control de los datos, el cumplimiento normativo y la seguridad han acompañado cada etapa del viaje. Pero a medida que las organizaciones aumentan sus operaciones en plataformas importantes como Microsoft, Salesforce y ServiceNow, hay una creciente sensación de que las preguntas de gobernanza más difíciles se están abordando al menos parcialmente. Los acuerdos empresariales están en vigor. Las revisiones de seguridad se han completado. Las plataformas están aprobadas.

Lo que esa confianza tiende a pasar por alto es una pregunta completamente diferente: no si la plataforma es segura, sino qué y quién está construyendo.

En todas las industrias, una revolución silenciosa está en marcha mientras los empleados no técnicos utilizan plataformas de inteligencia artificial empresarial para crear agentes autónomos, flujos de trabajo automatizados y aplicaciones conectadas a datos, a menudo en cuestión de minutos, sin escribir una sola línea de código. Libres de los plazos de desarrollo tradicionales y las restricciones, estos constructores son un beneficio para la eficiencia organizacional. Pero estas herramientas nunca son revisadas por un equipo de seguridad. En muchos casos, los equipos de seguridad no saben que existen.

Estas herramientas, ya sean clasificadas como aplicaciones, agentes o automatizaciones, son parte de un problema creciente conocido como Inteligencia Artificial en las Sombras, y representa uno de los cambios más significativos en el riesgo empresarial en una década, por la simple razón de que las amenazas ahora se han trasladado al interior.

El problema original de la Tecnología en las Sombras era relativamente sencillo: los empleados estaban utilizando herramientas no autorizadas desde fuera de la organización, y el trabajo de seguridad era encontrar y bloquearlas. La Inteligencia Artificial en las Sombras es un desafío completamente diferente. Las herramientas están dentro de las plataformas que aprobaron. Las personas que las están construyendo son sus propios empleados. El acceso que están utilizando es legítimo. Y nada de ello pasa por los procesos de seguridad diseñados para detectar problemas antes de que lleguen a producción.

Lo que hace que esto sea particularmente difícil de abordar es la escala. La mayoría de los líderes de seguridad subestiman significativamente cuánto se está construyendo dentro de sus propios entornos. Una investigación reciente de más de 200 directores de seguridad y líderes de seguridad encontró que el equipo de seguridad promedio de una empresa puede dar cuenta solo del 44% de los agentes de inteligencia artificial, automatizaciones y aplicaciones que los usuarios comerciales han creado. Eso no es una brecha. Es un punto ciego que cubre la mayoría de lo que se está ejecutando.

La razón es sencilla: los usuarios comerciales ahora superan en número a los desarrolladores profesionales en una proporción de hasta 10 a 1 en algunas organizaciones. Están construyendo constantemente en todos los departamentos, en plataformas diseñadas para hacer que la construcción sea fácil, y luego animados por la alta dirección a construir. Los equipos de seguridad están orientados hacia las tuberías de los desarrolladores y los repositorios de código. Nunca estuvieron diseñados para monitorear esto.

El concepto erróneo más común es la creencia de que aprobar una plataforma resuelve el problema de seguridad. No lo hace, solo lo mueve. Cuando una empresa firma un acuerdo con Microsoft (MSFT ), Salesforce (CRM ) o UiPath (PATH ), el proveedor de la plataforma asegura su infraestructura. Lo que los empleados construyen sobre ella, y cómo la configuran, es responsabilidad de la empresa en su totalidad.

El problema es que las herramientas que crean los usuarios comerciales no parecen software para los sistemas de seguridad tradicionales. No hay código que escanear, no hay repositorio que monitorear, no hay tubería que inspeccionar. Un agente de inteligencia artificial construido por un gerente de recursos humanos a través de una serie de menús y solicitudes de texto es, desde la perspectiva de la mayoría de las herramientas de seguridad, invisible.

Y, sin embargo, estas herramientas están lejos de ser triviales. La investigación ha encontrado que más de la mitad de los directores de seguridad confirmaron que las aplicaciones construidas por los usuarios comerciales ahora respaldan procesos comerciales críticos y tienen acceso a datos confidenciales de la empresa. Las apuestas son reales, y la supervisión no ha alcanzado.

De Cero a Desastre

Los casos de uso son tan diversos como numerosos y provienen prácticamente de todos los departamentos, incluso de aquellos que nunca habrían ocurrido para que un equipo de seguridad los supervisara.

Por ejemplo, un coordinador de marketing construye un agente de inteligencia artificial orientado al cliente en una plataforma completamente sancionada para responder preguntas sobre productos. En cuestión de minutos, la aplicación está en funcionamiento, pero como alguien sin capacitación en seguridad, dos pequeños errores de configuración pasan desapercibidos y dejan al agente con acceso directo a la base de datos completa de la empresa y sin límites en lo que puede recuperar. En producción, un usuario le pide que extraiga registros de empleados. Lo hace. Como el agente también tiene una capacidad de correo electrónico, el usuario le instruye que envíe esos datos a una dirección personal. La secuencia completa tarda menos de sesenta segundos. No hay acceso no autorizado. No hay violación de la plataforma. No hay alerta de seguridad.

Esto no es un ataque sofisticado. Es el resultado predecible de un empleado bienintencionado que construye algo que no entendió completamente, en una plataforma que hizo que la construcción fuera fácil y la gobernanza fuera opcional.

La Brecha de Gobernanza que Nadie Ha Preciado

Para la mayoría de las organizaciones, el problema de la Inteligencia Artificial en las Sombras permanece abstracto hasta que algo sale mal. Pero el riesgo empresarial va más allá de la respuesta a una violación.

Cuando un agente construido por un usuario comercial filtra datos confidenciales, la pregunta que hará la junta directiva no será “¿cómo sucedió la mala configuración?” Será “¿cómo es que nadie sabía que la herramienta estaba en funcionamiento?” No distinguirán entre una violación causada por un atacante externo y una causada por una herramienta interna mal configurada. Si se expusieron datos personales y la organización carecía de visibilidad sobre lo que se estaba ejecutando, la falta de supervisión es en sí misma la responsabilidad. “Un empleado lo construyó en una plataforma aprobada” no es una defensa, es la descripción de la brecha.

La urgencia es real, pero la intención y la ejecución no son lo mismo, y para la mayoría de las empresas, la brecha entre ellas sigue abierta.

La respuesta no es restringir quién puede construir. Bloquear el desarrollo ciudadano sacrificaría ganancias de productividad genuinas y, en la práctica, no funcionaría. Los empleados encontrarían formas de sortearlo. La respuesta es llevar lo que se está construyendo a la vista y gobernarlo en el punto donde surge el riesgo: en tiempo de ejecución.

Eso significa entender no solo qué agentes existen, sino cómo se comportan, a qué datos acceden, qué sistemas tocan y si sus acciones se mantienen dentro de los límites que sus constructores pretendían. Significa establecer límites que operen a nivel organizacional, no solo en el punto de configuración. Y significa llegar a un lugar donde los equipos de seguridad puedan responder a las preguntas más básicas sobre cualquier agente en su entorno: quién lo construyó, a qué tiene acceso y se está comportando de la manera en que se diseñó.

La mayoría de las empresas no pueden responder a esas preguntas hoy. Las organizaciones que lleguen allí primero serán aquellas que puedan ampliar la adopción de inteligencia artificial con confianza, porque sabrán qué es lo que realmente están ejecutando.