Por qué la adquisición se está convirtiendo en la herramienta regulatoria más poderosa de la IA

Por toda la atención que se está prestando a la legislación sobre IA, algunas de las reglas más trascendentales que regulan la tecnología pueden terminar surgiendo de un lugar realmente inesperado: los departamentos de adquisiciones.

Al igual que muchos inicios regulatorios en Estados Unidos, California ofrece un ejemplo temprano: el estado ha establecido requisitos específicos para la compra de productos y servicios que utilizan IA generativa. Las entidades estatales deben evaluar el riesgo asociado con las compras de GenAI, y los usos de riesgo moderado y alto reciben una mayor escrutinio del Departamento de Tecnología de California (CDT). Las solicitudes requieren lenguaje de divulgación de GenAI, y los proveedores pueden tener que revelar su uso de la tecnología incluso cuando la IA es incidental al producto o servicio que se compra.

Lo que resulta aún más interesante es lo que ocurre después de cerrar el trato. de California guía de adquisición de GenAI extiende la supervisión más allá de la compra inicial. Se espera que los gerentes de contrato supervisen la tecnología GenAI con el tiempo, ya que ciertos cambios en la tecnología pueden desencadenar una nueva evaluación de riesgos.

Esto cambia las cosas para los proveedores, ya que superar la adquisición ya no es simplemente responder a un cuestionario de seguridad y entregar cierta documentación. La gobernanza de IA está comenzando a formar parte del costo de entrar al mercado en California. Y aunque esta es la situación actual en California, a menudo guía a otros estados cuando no existe legislación federal, lo que significa que las empresas serían miope al considerar esto como un problema de adquisición de California.

Cuando el comprador comienza a establecer las reglas

¿Cómo llegaron los departamentos de adquisiciones a ser el punto de partida de la gobernanza de IA? Los gobiernos pueden pasar años debatiendo legislación, pero las normas de adquisición pueden ser más ágiles porque tienen una audiencia mucho más inmediata: cualquiera que quiera el contrato.

Sin una legislación integral sobre IA, los compradores han encontrado otra forma de establecer sus propias expectativas respecto a la IA. Pueden decidir qué necesitan saber sobre el uso que hace un proveedor de la tecnología, qué evidencia esperan ver y qué nivel de riesgo están dispuestos a aceptar antes de firmar un contrato. Para los compradores grandes, particularmente los gobiernos y las grandes empresas, esos requisitos pueden tener un peso considerable.

Los equipos de adquisición del sector privado tienen sus propias razones para comenzar a hacer preguntas sobre aspectos como dónde se está utilizando la IA o qué evidencia existe de que existen controles adecuados. Las empresas ya dedican mucho tiempo a examinar las prácticas de seguridad y privacidad de sus proveedores. La introducción de la IA añade otro conjunto de riesgos que los compradores deben comprender cada vez más antes de entregar a un proveedor sus datos, incorporar su tecnología en un proceso crítico o permitir que tome decisiones que afecten a clientes y empleados.

Su riesgo de IA puede pertenecer a otra persona

Una de las cosas más importantes del enfoque de California es que reconoce lo difícil que se ha vuelto trazar una línea clara alrededor del uso de IA por parte de una organización. Ya sea que haya adquirido su propia oferta de IA, trabaje con firmas de consultoría que brindan servicios, o simplemente utilice servicios basados en la nube, la IA está integrada dentro de las organizaciones o sus cadenas de suministro.

El proceso de adquisición de California tiene en cuenta parte de esto. Cubre compras de TI y no TI que involucren GenAI, incluidos los consultores que utilizan la tecnología, y exige una evaluación de riesgos cuando se identifica GenAI durante la adquisición.

El proceso es similar a cuando los equipos de ciberseguridad descubrieron que proteger sus propios sistemas no era suficiente si un proveedor con acceso a sus datos o infraestructura tenía controles débiles. Esa constatación convirtió la ciberseguridad de terceros en una parte importante de la gestión de riesgos de proveedores, una dirección que la IA también parece estar tomando.

También genera un problema incómodo para las organizaciones que han creado programas separados para seguridad, privacidad, gobernanza de IA y cada nueva obligación de cumplimiento que surge. Los riesgos no respetan esas fronteras organizativas. Una aplicación de IA puede generar preguntas de privacidad, exposición de seguridad y obligaciones regulatorias al mismo tiempo.

Crear otro silo para gobernarla solo añade otro punto donde algo puede quedar entre los resquicios.

El problema de demostrar el cumplimiento una sola vez

Una complicación adicional a un tema ya complejo es que la IA evoluciona. Los modelos se actualizan, los proveedores lanzan funcionalidades, los empleados encuentran usos para herramientas que nadie anticipó cuando se compraron, y los datos cambian. Esta fluidez implica que la regulación también debe cambiar.

Sin embargo, gran parte de la actividad de cumplimiento sigue construida en torno a un momento específico. Se avecina una auditoría, por lo que se recopilan evidencias. Un cliente envía un cuestionario, así que alguien busca las respuestas. Llega un nuevo requisito y comienza otro proyecto de cumplimiento.

Este enfoque ya era engorroso, pero con la IA se vuelve cada vez más difícil de defender. Una evaluación de riesgos realizada cuando se compró un producto puede ser perfectamente precisa en ese momento, pero quedar gravemente desactualizada un año después.

California parece reconocer esto, ya que su guía de monitoreo de contratos exige una evaluación continua de los entregables de GenAI, incluidos resultados inexactos, contenido fabricado y sesgo. Los cambios o adiciones a la tecnología GenAI en los contratos que antes requerían consulta CDT también pueden requerir una reevaluación.

El Marco de Gestión de Riesgos de IA de NIST adopta una visión similar de la gestión de riesgos de IA, tratándola como un proceso continuo a lo largo del ciclo de vida de la IA. Hacer esto requerirá una mentalidad diferente de las organizaciones acostumbradas a prepararse para la próxima auditoría y luego respirar aliviadas cuando termina.

Las adquisiciones quieren evidencia, no una carrera

Ha habido mucho entusiasmo en torno al cumplimiento automatizado, particularmente a medida que las empresas intentan mantenerse al día con un número creciente de requisitos de seguridad, privacidad e IA. La atracción es comprensible, pero el peligro surge cuando la eficiencia se confunde con la gobernanza.

Completar un flujo de trabajo no indica si el riesgo subyacente ha cambiado. Por ejemplo, un proveedor que no utilizaba IA para un servicio determinado hace seis meses puede estar usándola ahora. Por eso el cumplimiento debe funcionar más como un bucle que como una meta final. Las organizaciones deben saber qué están gobernando, verificar que los controles continúen haciendo lo que deben hacer e incorporar nuevos riesgos y requisitos al proceso a medida que aparecen.

Si se hace correctamente, eso también hace que las adquisiciones sean considerablemente menos dolorosas. Cuando un cliente pregunta cómo se gobierna la IA, la respuesta no está en un documento que alguien escribió el año pasado para una auditoría. Existe un cuerpo de evidencia actual y continuo que muestra cómo se gestionan los riesgos en la práctica, lo que está adquiriendo importancia comercial.

California está demostrando cómo las adquisiciones pueden convertir los principios de gobernanza de IA en requisitos que los proveedores realmente deben cumplir si quieren el negocio. Otros compradores del sector público pueden hacer lo mismo, mientras que los equipos de adquisiciones empresariales tienen mucho incentivo para plantear preguntas más exigentes a sus propios proveedores.

Las empresas pueden eventualmente descubrir que la gobernanza de IA no es algo que hagan simplemente porque un regulador lo exija. Gobernarán la IA porque un equipo de adquisiciones decidió pedirles que lo demuestren, lo cual harán con gusto para ganar el negocio.