Nuevas vulnerabilidades de seguridad derivadas de la rápida adopción de GenAI que las organizaciones deben abordar

La IA generativa (GenAI) ha pasado de ser una curiosidad a ser una fuerza central en la tecnología empresarial. Su capacidad para generar texto, código, imágenes e información a demanda la ha hecho indispensable para los empleados que buscan reducir la complejidad y acelerar la productividad. Sin embargo, esta innovación y eficiencia conllevan una enorme exposición al riesgo.

En conversaciones con ejecutivos y líderes de gobernanza de IA de diferentes sectores, un tema surge una y otra vez: la seguridad de los datos ha pasado de ser una preocupación clave a ser el eje central de su estrategia y ahora es el desafío que define la adopción de la IA. A diferencia del software tradicional o incluso de las anteriores oleadas de aprendizaje automático, GenAI transforma fundamentalmente el proceso de protección de datos dentro de una organización.

Un estudio reciente del MIT Se descubrió que el 95 % de los proyectos piloto de GenAI en empresas están fracasando. Esto no se debe a que la tecnología sea deficiente, sino a que las empresas carecen de los marcos de gobernanza y seguridad necesarios para implementar GenAI de forma adecuada y responsable. En otro estudio del MITLos líderes empresariales mencionaron la seguridad de los datos como el principal riesgo empresarial y de seguridad que impide una adopción más rápida de la IA. Además, la "IA en la sombra", que consiste en el uso no autorizado de herramientas públicas por parte de empleados, es ampliamente reconocida como un factor que impulsa el aumento vertiginoso de los riesgos para los datos que escapan al control corporativo.

El acceso con privilegios mínimos es un modelo de seguridad en el que a cualquier entidad, ya sea un usuario, un programa o un proceso, se le concede únicamente el nivel mínimo de acceso y los permisos necesarios para realizar sus funciones legítimas. Sin embargo, GenAI revoluciona por completo este paradigma: el acceso con privilegios mínimos se convierte en una restricción que contradice el funcionamiento de estos sistemas. Esto se debe a que las herramientas empresariales de GenAI tienden a generar mayores ganancias de productividad cuando tienen acceso a más datos y contexto empresarial.

A medida que se acelera la adopción de GenAI, los usuarios siguen descubriendo nuevas aplicaciones, la mayoría de las cuales surgen de la experimentación y la curiosidad orgánicas, en lugar de una planificación vertical orientada al negocio. Si una entidad no puede definir las tareas para las que se utilizará GenAI ni los tipos de datos a los que necesita acceder, resulta inviable establecer permisos de acceso de mínimo privilegio. Además, un usuario puede tener acceso adecuado a un conjunto de datos y proporcionarlo legítimamente como entrada a una herramienta GenAI, pero una vez que esos datos se ingieren, ya no están sujetos a los permisos originales del usuario. En su lugar, pueden integrarse en el modelo, aparecer en resultados futuros o hacerse accesibles a otros usuarios de la misma herramienta. Dado que GenAI no hereda necesariamente los controles de acceso de los datos, en la práctica, hace que el mínimo privilegio sea inaplicable.

Exposiciones GenAI a considerar

GenAI crea una superficie de datos enorme y en constante expansión, lo que complica la gobernanza y la seguridad de los datos empresariales de diversas maneras interconectadas. Entre ellas se incluyen:

Fuga de entrada GenAI puede procesar datos sin procesar, incluyendo texto, imágenes, audio, vídeo y datos estructurados. Los usuarios finales ahora pueden acceder a nuevos conjuntos de datos con un mínimo esfuerzo y experiencia. En lugar de limitarse a tablas estructuradas cuidadosamente seleccionadas con esquemas y relaciones definidos, estos conjuntos de datos pueden incluir grabaciones de llamadas de ventas, notas de correo electrónico de CRM, transcripciones de atención al cliente y más. En la práctica, los empleados introducen información empresarial altamente sensible en los avisos, como información personal identificable (PII) de clientes, propiedad intelectual, previsiones financieras e incluso código fuente.

Exposición de salida – Los modelos generativos no solo consumen, sino que sintetizan. Una solicitud puede extraer información involuntariamente de diversos conjuntos de datos y exponerla a usuarios sin la debida autorización. En algunos casos, los resultados pueden incluso "alucinar" datos que parecen legítimos, pero que contienen fragmentos de material de entrenamiento real y altamente sensible.

Las herramientas GenAI funcionan mejor cuando tienen contexto para la tarea en cuestión. Como resultado, GenAI no solo procesa la información existente, sino que los usuarios también crean nuevos datos para guiarla en forma de indicaciones extensas y detalladas que documentan el contexto empresarial, los procesos internos y otra información potencialmente sensible o crítica para el negocio.

Accesibilidad sin supervisión – Los sistemas empresariales tradicionales requerían la incorporación de proveedores y el aprovisionamiento de TI. Hoy en día, GenAI está integrado en todas partes: suites de Microsoft Office, navegadores, herramientas de chat y plataformas SaaS. Los empleados pueden adoptarlo al instante, evadiendo por completo la gobernanza. Este acceso sin fricción impulsa la "IA en la sombra", y cada uso no autorizado de GenAI constituye un posible evento de exfiltración de datos que ocurre de forma invisible, a gran escala y fuera del perímetro de gobernanza de la empresa.

Riesgo de la cadena de suministro de segundo nivel Un proveedor puede parecer confiable, pero a menudo depende de subcontratistas como proveedores de servicios en la nube, servicios de anotación o laboratorios de IA externos. Cada uno implementa sus propios acuerdos de licencia de usuario final (CLUF) y políticas. Los datos empresariales confidenciales pueden circular entre múltiples personas, pero la responsabilidad recae directamente en la empresa. Por ejemplo, una empresa podría tener un proveedor que previamente completó su proceso de incorporación, pero que ahora utiliza una herramienta GenAI que podría permitir que los datos de la empresa se utilicen como datos de entrenamiento, con importantes repercusiones posteriores.

Brechas de gobernanza en los datos de capacitación Una vez que los datos entran en un modelo de IA, el control cesa. Las empresas no pueden retractarse ni controlar fácilmente el uso de su información. El conocimiento exclusivo puede persistir y aparecer en los resultados mucho después de que se haya olvidado su origen. Aún no hemos encontrado ninguna herramienta GenAI que permita solicitar la eliminación de la información que ha ingerido, similar a lo que se observa en normativas de privacidad como el Reglamento General de Protección de Datos (RGPD) o la Ley de Privacidad del Consumidor de California (CCPA). Es improbable que se implementen estos procesos hasta que la normativa impulse el cambio.

Riesgo del código de aplicación La IA escribe cada vez más el código que sustenta los sistemas empresariales. Los desarrolladores que utilizan herramientas GenAI como Microsoft Copilot para generar código pueden, sin saberlo, introducir dependencias inseguras, propagar vulnerabilidades o incrustar código bajo licencias de código abierto conflictivas. Una vez implementadas, estas vulnerabilidades se integran en la cadena de suministro de software.

Abordar el riesgo de GenAI

GenAI ya está integrado en los flujos de trabajo empresariales, por lo que la pregunta para las empresas no es si adoptarlo o no, sino cómo hacerlo de forma responsable. Adoptar GenAI sin gobernanza conlleva el riesgo de infracciones costosas, sanciones regulatorias y daños a la reputación. Pero bloquearlo solo incita a los empleados a usar soluciones no autorizadas. La única solución es la habilitación, con visibilidad y control.

La gobernanza de GenAI requiere visibilidad contextual no solo sobre los datos que posee una empresa, su ubicación y quién tiene acceso a ellos, sino también sobre cómo se utiliza GenAI. Las empresas necesitan ver a qué herramientas se accede, qué solicitudes se introducen y si se emiten datos confidenciales de su entorno. A partir de ahí, pueden aplicar los controles adecuados para supervisar las solicitudes y los resultados en tiempo real, detectar sesiones de riesgo o flujos de datos anómalos, bloquear herramientas no autorizadas, filtrar solicitudes confidenciales antes de que se emitan, desidentificar datos confidenciales a medida que se introducen en las solicitudes e implementar restricciones basadas en roles para la información generada por IA.

GenAI representa una nueva capa de riesgo y oportunidad empresarial. Gestionarla requiere la mentalidad de que la seguridad no es un freno a la innovación, sino la base que la hace segura.