Descubriendo los Riesgos Ocultos de la Inteligencia Artificial en la Sombra

No tardó en que las empresas experimentaran el uso generalizado de la Inteligencia Artificial Generativa (GenAI) entre sus empleados. Sin embargo, cuando se trata de los riesgos de la GenAI, las herramientas conocidas dentro de su organización no son las que deberían preocuparle más. Son las que no conoce las que deberían mantenerlo despierto por la noche.

Gracias a la rápida expansión de las herramientas de GenAI como ChatGPT, Copilot, Gemini y Perplexity, junto con muchos asistentes especializados basados en SaaS, los empleados las están adoptando más rápido de lo que los equipos de seguridad pueden seguir. Y este uso está creando un punto ciego en rápido crecimiento conocido como inteligencia artificial en la sombra.

Si la inteligencia artificial en la sombra suena familiar, es porque toma prestado del término tecnología en la sombra, utilizado para describir el uso de herramientas y servicios no aprobados en el lugar de trabajo. Pero con la inteligencia artificial en la sombra, las apuestas pueden ser aún más altas. En lugar de una aplicación de intercambio de archivos renegada, la inteligencia artificial en la sombra puede resultar en datos sensibles pegados en una solicitud de chatbot, ingeridos en modelos externos y expuestos involuntariamente a sistemas de terceros.

La inteligencia artificial en la sombra representa una de las amenazas menos visibles pero más urgentes en la seguridad de los datos empresariales de hoy en día.

¿Qué es la Inteligencia Artificial en la Sombra?

La inteligencia artificial en la sombra se refiere al uso no autorizado de herramientas de inteligencia artificial, especialmente la GenAI, por parte de los empleados sin el conocimiento o la aprobación de los equipos de TI o seguridad de la empresa. Dentro de una organización, los usuarios pueden ser un equipo de marketing que redacta publicaciones de blog con modelos de lenguaje grande (LLM), un equipo legal que explora el lenguaje de contrato en herramientas de inteligencia artificial, o ingenieros que depuran código con envolturas de GPT gratuitas.

Y aunque esa experimentación pueda parecer inofensiva, lo que se comparte con esas herramientas puede no serlo. Puede ser estrategias confidenciales o información del cliente. Estos datos terminan en solicitudes no cifradas, sin gobernanza y sin forma de rastrear qué sucede a continuación.

¿Por qué la Inteligencia Artificial en la Sombra es un Problema?

El problema de la inteligencia artificial en la sombra es problemático porque solo se necesita un empleado con buenas intenciones y acceso a ChatGPT para crear un riesgo de seguridad de datos. A diferencia de un hacker, la inteligencia artificial en la sombra no es maliciosa, pero eso no la hace menos peligrosa. Cada vez que se agrega datos sensibles a una solicitud, se expone potencialmente al modelo, al proveedor y a cualquier persona con acceso a los registros. Incluso puede resurgir en una respuesta a la solicitud de otro usuario. Y lo peor es que probablemente nunca se enterará de que sucedió.

Aquí hay cinco riesgos clave de la inteligencia artificial en la sombra que debe conocer.

1. Fuga de datos a través de entradas de solicitud – Los campos de solicitud son un agujero negro de seguridad de datos. Una vez que se comparten información sensible, como código fuente, documentos de fusiones y adquisiciones y detalles de salario, con una herramienta de GenAI, está fuera de su control. Incluso si el proveedor de inteligencia artificial promete que los datos no se retienen, la aplicación es poco clara y hay pocas garantías con respecto a la formación o la telemetría.

2. Falta de controles de acceso o registros de auditoría – A diferencia de las aplicaciones empresariales sancionadas, la mayoría de las herramientas de GenAI no ofrecen controles de acceso basados en roles, permisos granulares o registros de actividad, lo que significa que los equipos de seguridad no tienen visibilidad sobre quién accedió a qué datos, o cuándo. Si ocurre un incidente, no hay nada que investigar.

3. Violaciones de cumplimiento – Muchas de las innumerables regulaciones de cumplimiento que las organizaciones deben cumplir exigen que los datos regulados se almacenen, procesen y accedan de maneras muy específicas. Alimentar estos datos a un modelo de inteligencia artificial externo puede violar estas reglas, exponiendo a su organización a riesgos legales, multas y divulgaciones de violaciones obligatorias.

4. Circulación de información desactualizada o sesgada – Las herramientas de GenAI a menudo proporcionan respuestas con confianza y las presentan como hechos, incluso cuando están muy equivocadas. Confiar en estas salidas para la mensajería del cliente, resúmenes de cumplimiento o informes financieros sin validación puede llevar a decisiones comerciales basadas en datos inexactos. Las alucinaciones ocurren con frecuencia y no parecen desaparecer, incluso a medida que estos LLM se vuelven más inteligentes.

5. Inteligencia artificial en la sombra que se convierte en datos en la sombra – Las salidas de las herramientas de GenAI, incluidos resúmenes y fragmentos de código, a menudo se guardan, comparten y reutilizan. Dado que se crean fuera de los flujos de trabajo formales, estos archivos se convierten en datos en la sombra no rastreados, no clasificados y no protegidos.

En la mayoría de los casos, con la inteligencia artificial en la sombra, nadie en seguridad tiene idea de cuándo ocurre una violación. Estos ejemplos del mundo real pueden estar sucediendo en su organización:

• Un ingeniero de software junior pega código propietario en un depurador de GPT gratuito.
• Un representante de ventas alimenta la lista de clientes del último trimestre a un escritor de correo electrónico de inteligencia artificial para generar pitcheos de venta cruzada.
• Un gerente de recursos humanos utiliza una herramienta de inteligencia artificial externa para analizar respuestas a encuestas de satisfacción de los empleados.
• Un analista financiero le pide a ChatGPT que simplifique el lenguaje de los pronósticos de ingresos sensibles para los ejecutivos.
• Un abogado le pide a la GenAI que reescriba un contrato utilizando una cláusula confidencial de un acuerdo de cliente.

¿Por qué las Herramientas de Seguridad Tradicionales no Detectan la Inteligencia Artificial en la Sombra?

Las pilas de seguridad heredadas no están diseñadas para amenazas basadas en solicitudes de GenAI. Por ejemplo, un firewall no puede bloquear herramientas de inteligencia artificial basadas en el navegador. Un CASB no verá qué se está escribiendo en ventanas de chat. Y un SIEM no alertará sobre quién acaba de pedirle a un LLM que resuma propiedad intelectual sensible.

La inteligencia artificial en la sombra opera en la capa de aplicación y vive en el navegador, donde la visibilidad es más débil. Los empleados también utilizan sus dispositivos personales. No hay plugin para detenerlos, no hay marca de agua para rastrear qué datos se han filtrado y no hay alerta cuando los datos cruzan la línea. Y para cuando aparece en una alerta de DLP, si es que lo hace, los datos ya están expuestos.

¿Cómo Identificar y Mitigar los Riesgos de la Inteligencia Artificial en la Sombra?

No se puede controlar lo que no se puede ver, y con la GenAI, la mayoría de las organizaciones están volando a ciegas. Las herramientas tradicionales no estaban diseñadas para comprender interacciones basadas en solicitudes o rastrear qué sucede después de que un usuario hace clic en “Enter”.

Sin embargo, los enfoques de seguridad impulsados por inteligencia artificial están a la altura del desafío para ayudar a las organizaciones a sacar a la inteligencia artificial en la sombra de la oscuridad. Aquí hay algunas de las salvaguardias que ofrecen las soluciones avanzadas:

Detección de inteligencia artificial en la sombra – Estas herramientas identifican qué aplicaciones de GenAI están utilizando sus usuarios, incluso las basadas en el navegador que evaden los controles tradicionales. Analizan el movimiento de datos, los patrones de acceso y el contexto para detectar violaciones sin requerir agentes de punto final o monitoreo invasivo.

Clasificación de lo que es sensible – Las soluciones modernas utilizan inteligencia artificial consciente del contexto para comprender tanto el contenido como el contexto detrás de los datos. Eso significa que pueden marcar riesgos como una proyección de ingresos incrustada en una diapositiva de PowerPoint o datos del cliente metidos en un borrador de correo electrónico. Este es el tipo de contenido que los empleados pueden alimentar a la GenAI sin darle un segundo pensamiento.

Prevención de comportamiento de solicitud de riesgo – Una vez que se descubren y se identifican los datos sensibles, la seguridad de los datos de inteligencia artificial ayuda a prevenir que se expongan. Estas herramientas marcan, tachan o bloquean las entradas de solicitud de riesgo antes de que salgan de la organización.

Limpieza de datos en la sombra – Las solicitudes de GenAI a menudo generan una oleada de nuevos archivos, como resúmenes, borradores y respuestas, que se guardan, comparten y olvidan. Las plataformas de seguridad de datos avanzadas identifican estos artefactos descendentes, detectan riesgos de exposición (como acceso con exceso de permisos o almacenamiento inapropiado) y los mitigan antes de que la pérdida de datos se convierta en un titular.

La inteligencia artificial en la sombra no es un riesgo teórico. Es real, está creciendo y está sucediendo en su entorno en este momento, ya sea que lo haya visto o no. Prohibir las herramientas de GenAI no es realista, pero hacer la vista gorda es extremadamente arriesgado. Las organizaciones necesitan visibilidad, control e inteligencia sobre el uso de la GenAI, no solo para lo que sale, sino para lo que entra.

Se disponen de nuevos enfoques que descubren comportamientos de riesgo, previenen la exposición accidental y limpian el desorden de datos que la inteligencia artificial y la inteligencia artificial en la sombra dejan atrás.

tic, pero hacer la vista gorda es extremadamente arriesgado. Las organizaciones necesitan visibilidad, control e inteligencia sobre el uso de la GenAI — no solo para lo que sale, sino para lo que entra. Nuevos enfoques están disponibles que descubren comportamientos de riesgo, previenen la exposición accidental y limpian el desorden de datos que la inteligencia artificial y la inteligencia artificial en la sombra dejan atrás.