Nuevas exposiciones de seguridad de la adopción rápida de GenAI que las organizaciones deben abordar

La inteligencia artificial generativa (GenAI) ha pasado de ser una curiosidad a una fuerza central en la tecnología empresarial. Su capacidad para generar texto, código, imágenes y conocimientos a demanda la ha hecho indispensable para los empleados que buscan reducir la complejidad y acelerar la productividad. Pero con esta innovación y eficiencia viene una exposición masiva al riesgo.

En llamadas con ejecutivos y líderes de gobernanza de IA en various industrias, un tema surge una y otra vez: La seguridad de los datos ha pasado de ser una preocupación clave a ser el punto focal de su estrategia y ahora es el desafío definitorio de la adopción de IA. A diferencia del software tradicional o incluso de las olas pasadas de aprendizaje automático, GenAI cambia fundamentalmente el proceso de seguridad de los datos dentro de una organización.

Un estudio reciente de MIT encontró que el 95% de los proyectos piloto de GenAI empresariales están fallando. No es porque la tecnología sea débil; es porque las empresas carecen de los marcos de gobernanza y seguridad necesarios para operar GenAI de manera apropiada y responsable. En otro estudio de MIT, los líderes empresariales citaron la seguridad de los datos como el principal riesgo empresarial y de seguridad que obstaculiza una adopción de IA más rápida. Además, el “AI en la sombra”, que es el uso no autorizado de herramientas públicas por parte de los empleados, es ampliamente reconocido como un factor que impulsa los riesgos de datos más allá del control corporativo.

El acceso de menor privilegio es un modelo de seguridad en el que cualquier entidad, ya sea un usuario, programa o proceso, se le otorga solo el nivel mínimo de acceso y permisos necesarios para realizar sus funciones legítimas. Sin embargo, GenAI cambia por completo este paradigma: El acceso de menor privilegio se convierte en una restricción que entra en conflicto con la forma en que estos sistemas están diseñados para operar. Esto se debe a que las herramientas de GenAI empresariales tienden a ofrecer mayores ganancias de productividad cuando tienen acceso a más datos empresariales y contexto empresarial.

A medida que la adopción de GenAI se acelera, los usuarios siguen descubriendo nuevas aplicaciones de GenAI, la mayoría de las cuales surgen de la experimentación y la curiosidad orgánicas, en lugar de la planificación empresarial descendente. Si una entidad no puede definir las tareas para las que se utilizará GenAI, o los tipos de datos a los que necesita acceder, se vuelve in factible configurar permisos de acceso de menor privilegio. Además, un usuario puede tener acceso apropiado a un conjunto de datos y proporcionarlo legítimamente como entrada a una herramienta de GenAI, pero una vez que los datos se ingieren, ya no están sujetos a los permisos originales del usuario. En su lugar, pueden ser absorbidos por el modelo, aparecer en salidas futuras o ser accesibles para otros que utilicen la misma herramienta. Dado que GenAI no necesariamente hereda los controles de acceso a los datos, efectivamente hace que el acceso de menor privilegio sea inaplicable.

Exposiciones de GenAI a considerar

GenAI crea una superficie de datos vasta y en constante expansión, complicando la gobernanza y la seguridad de los datos empresariales de varias maneras interconectadas. Estas incluyen:

Filtración de entrada – GenAI puede ingerir datos en su forma cruda, incluyendo texto, imágenes, audio, video y datos estructurados. Los usuarios finales ahora pueden dirigir herramientas de GenAI a nuevos conjuntos de datos con mínimo esfuerzo o experiencia. En lugar de estar limitados a tablas estructuradas y curadas con esquemas y relaciones definidas, estos conjuntos de datos pueden incluir grabaciones de llamadas de ventas, notas de correo electrónico de CRM, transcripciones de servicio al cliente y más. En la práctica, los empleados están alimentando a las herramientas de GenAI con información empresarial altamente sensible, incluyendo PII del cliente, propiedad intelectual, pronósticos financieros e incluso código fuente.

Exposición de salida – Los modelos generativos no solo consumen, sino que también sintetizan. Una entrada puede dibujar involuntariamente conocimientos de varios conjuntos de datos y exponerlos a los usuarios sin la autorización adecuada. En algunos casos, las salidas incluso pueden “alucinar” datos que parecen legítimos pero contienen fragmentos de material de entrenamiento real y altamente sensible.

Las herramientas de GenAI funcionan mejor cuando tienen contexto para la tarea en cuestión. Como resultado, no solo GenAI está ingiriendo información existente, sino que los usuarios también están creando nuevos datos para guiarla en forma de entradas detalladas y extensas que documentan el contexto empresarial, los procesos internos y otra información potencialmente sensible o crítica para el negocio.

Accesibilidad sin supervisión – Los sistemas empresariales tradicionales requerían la incorporación de proveedores y la provisión de TI. Hoy en día, GenAI está incrustada en todas partes: en suites de Microsoft Office, navegadores, herramientas de chat y plataformas SaaS. Los empleados pueden adoptarla instantáneamente, saltándose la gobernanza por completo. Este acceso sin fricciones alimenta el “AI en la sombra”, y cada uso no autorizado de GenAI es un potencial evento de exfiltración de datos que ocurre de manera invisible, a gran escala y fuera del perímetro de gobernanza de la empresa.

Riesgo de cadena de suministro de segundo nivel – Un proveedor puede parecer seguro, pero a menudo depende de subcontratistas como anfitriones en la nube, servicios de anotación o laboratorios de IA de terceros. Cada uno introduce sus propios acuerdos de licencia de usuario final (EULA) y políticas. Los datos empresariales sensibles pueden fluir a través de varias manos invisibles, y sin embargo, la responsabilidad sigue siendo cuadrada con la empresa. Por ejemplo, una empresa puede tener un proveedor que previamente completó su proceso de incorporación, pero ese proveedor ahora utiliza una herramienta de GenAI que podría permitir que los datos de la empresa se utilicen como datos de entrenamiento, con impactos significativos posteriores.

Brechas de gobernanza en los datos de entrenamiento – Una vez que los datos entran en un modelo de IA, el control efectivo termina. Las empresas no pueden retirar o gobernar fácilmente cómo se utilizan sus datos. El conocimiento propio puede persistir y luego surgir en salidas mucho después de que se haya olvidado su fuente. Todavía no hemos encontrado ninguna herramienta de GenAI que permita solicitudes para eliminar información que ha ingerido, similar a lo que se ve en regulaciones de privacidad como el Reglamento General de Protección de Datos (GDPR) o la Ley de Privacidad del Consumidor de California (CCPA). La implementación de dichos procesos es poco probable hasta que la regulación impulse el cambio.

Riesgo de código de aplicación – La IA está escribiendo cada vez más el código que subyace a los sistemas empresariales. Los desarrolladores que utilizan herramientas de GenAI como Microsoft Copilot para generar código pueden introducir involuntariamente dependencias inseguras, propagar vulnerabilidades o incrustar código bajo licencias de código abierto en conflicto. Una vez desplegados, estas debilidades se convierten en parte de la cadena de suministro de software.

Abordar el riesgo de GenAI

GenAI ya está incrustada en los flujos de trabajo empresariales, por lo que la pregunta para las empresas no es si adoptarla, sino cómo hacerlo de manera responsable. Adoptar GenAI sin gobernanza riesgosas puede resultar en violaciones costosas, sanciones regulatorias y daños a la reputación. Pero bloquearla solo impulsa a los empleados a utilizar soluciones no autorizadas. El único camino adelante es el habilitamiento envuelto en visibilidad y control.

La gobernanza de GenAI requiere visibilidad impulsada por el contexto no solo sobre qué datos tiene una empresa, dónde viven y quién tiene acceso a ellos, sino también sobre cómo se utiliza GenAI. Las empresas necesitan ver qué herramientas se están accediendo, qué entradas se están ingresando y si los datos sensibles están saliendo de su entorno. A partir de ahí, pueden aplicar los controles adecuados para monitorear las entradas y salidas en tiempo real, marcar sesiones de riesgo o flujos de datos anómalos, bloquear herramientas no autorizadas, filtrar entradas sensibles antes de que salgan, desidentificar datos sensibles a medida que se ingresan en las entradas, y hacer cumplir las restricciones basadas en roles en los conocimientos impulsados por IA.

GenAI es una capa completamente nueva de riesgo y oportunidad empresarial. Administrarla requiere una mentalidad que considere la seguridad no como un freno a la innovación, sino como la base que la hace segura.