Gobernanza de la IA: Un problema para la mayoría, una ventaja para los pocos

La IA empresarial está acumulando riesgos más rápido de lo que nadie está contabilizando. Los agentes de IA están comenzando a interactuar con datos de clientes, código de producción y decisiones comerciales importantes, y en la mayoría de las organizaciones, están gobernados por controles diseñados para una era muy diferente de la tecnología. Al mismo tiempo, los apoyos externos que las empresas podrían haber utilizado se están reduciendo. Los laboratorios de IA líderes han reducido los compromisos voluntarios de seguridad, y la regulación sigue siendo fragmentada en diferentes jurisdicciones. La carga de confianza recae en las empresas que despliegan la IA, porque en última instancia son ellas las que sufrirán las consecuencias negativas cuando y si surgen.

Realizo un trabajo estratégico de IA con empresas de casi todas las industrias, y hablo con CEOs y consejos de administración a diario. El patrón consistente que veo es el siguiente: la implementación se acelera mientras la infraestructura de control simplemente no sigue el ritmo. El patrón es lo suficientemente consistente como para que lo considere estructural y no un fracaso de una sola empresa, y haré una predicción: no estamos lejos de que un CEO tenga que explicar que un gran error costó a la empresa millones, y culpará a la IA. Sugiero amablemente que esa no es una excusa.

La buena noticia es que tengo la suerte de ver de primera mano a un puñado de empresas que tratan la gobernanza de manera diferente, y creo que esas empresas están construyendo una ventaja a largo plazo que se compone con el tiempo, mientras que las que esperan en la línea de banda están en riesgo de volverse obsoletas. Entender lo que ven los pocos comienza con entender hacia dónde conduce la trayectoria actual.

Nos dirigimos hacia un problema

Las implementaciones actuales son lo suficientemente pequeñas como para que la supervisión humana pueda absorber el riesgo. La investigación más reciente de Deloitte sobre el Estado de la IA en la empresa encontró que solo una cuarta parte de las organizaciones encuestadas había trasladado al menos el 40% de sus experimentos de IA a producción. La mayoría de las empresas aún están al comienzo de la curva, ejecutando un puñado de agentes en casos de uso estrechos con personas que rastrean cada pieza de salida.

La trayectoria es lo que importa. A medida que las implementaciones se escalan de dos agentes a 20, a 200, a 2.000 y más allá, la complejidad se compone. Cada nuevo agente aporta su propio comportamiento, más sus interacciones con cada sistema que toca y con cada otro agente con el que trabaja. Con dos agentes, la confianza es fácil: conoces al equipo y revisas los resultados tú mismo. Con 20, la confianza tiene que convertirse en un proceso, con propietarios definidos, pruebas y caminos de escalada. Todavía puede funcionar, pero se vuelve más difícil de sostener. Con 200, la revisión informal se convierte en teatro, porque ningún equipo de liderazgo puede revisar tanta actividad. Y con 2.000, el ser humano en el bucle es virtualmente inútil, ya que las interacciones entre agentes, datos y procesos comerciales forman una red más allá de lo que la supervisión manual puede cubrir. En esa escala, la confianza necesita existir también a escala y estar integrada en la arquitectura técnica de la empresa.

El costo de esperar

La infraestructura de confianza que falta también es una de las razones de los rendimientos decepcionantes. En la Encuesta de CEOs de PwC, el 56% de los ejecutivos principales dijo que la IA no había producido ni un aumento de ingresos ni una reducción de costos en el último año. En mi experiencia, incluso los rendimientos que se informan parecen menos convincentes una vez que se examinan los fundamentos económicos subyacentes. La mayoría de las empresas cuentan las horas ahorradas y las llaman retorno de la inversión. Las horas ahorradas se convierten en retorno financiero solo cuando la organización convierte esa capacidad en algo más valioso: mayor producción, mejor calidad, costos evitados, crecimiento más rápido, etc.

Esa conversión requiere confianza. Una organización puede mover el juicio humano a un trabajo de mayor valor solo cuando el liderazgo confía en los sistemas que asumen el trabajo de menor valor. Ausente esa confianza, las empresas acumulan deuda técnica que no se escala, y con el tiempo, afecta significativamente la productividad. Es lo peor de ambos mundos: gasto aumentado con poco que mostrar. La confianza es el fundamento sobre el que se acumulan estos rendimientos.

El problema del ascensor

La conexión entre la confianza y la adopción no es nueva, y podemos remontarnos a la mitad del siglo XX para encontrar un punto de referencia razonable. Los ascensores sin conductor existieron décadas antes de que alguien los montara. La tecnología funcionaba, pero los pasajeros se subían a un coche, veían que no había operador y se bajaban. Lo que cambió no fue el ascensor, sino los controles de seguridad que lo rodeaban. Después de una huelga de operadores en 1945 que cerró edificios de oficinas en todo Nueva York, la industria ingenieró la confianza en la máquina en sí: el botón de parada de emergencia, la línea telefónica, las puertas que se volvían a abrir cuando encontraban resistencia y una voz grabada que explicaba qué hacer. Dentro de una generación, subir a un ascensor sin un ser humano al mando se volvió tan común que subir a un ascensor con una persona manejando los botones se sentía anticuado. La barrera para eliminar al ser humano del bucle nunca fue la capacidad. Fue la confianza, y la industria la resolvió construyendo controles visibles y verificables en el sistema y poniéndolos donde cada pasajero pudiera verlos.

La IA empresarial está en la etapa de subir y bajar. Los equipos de liderazgo ven a los agentes trabajando sin un ser humano al mando y dudan, y la duda es racional: la mayoría de las organizaciones no han construido aún el equivalente del botón de parada, la línea telefónica y la puerta que no se cierra sobre ti. Las empresas que ingenien esos controles en sus sistemas serán las que harán que su gente, clientes y reguladores suban y se queden.

Los proveedores solo pueden llevar parte de esto

Muchos líderes esperan que sus proveedores de IA lleven la carga de confianza. Los proveedores pueden proporcionar salvaguardias y controles de seguridad a nivel de modelo, y los buenos lo hacen. Decidir si una implementación particular es adecuada para sus datos, obligaciones regulatorias, clientes y tolerancia al riesgo sigue siendo su trabajo, porque su proveedor carece del contexto para hacerlo. No han visto sus obligaciones y no tienen forma de calcular el costo de un resultado negativo.

El compromiso de seguridad de un proveedor cubre su modelo, no su uso. También no es permanente: como ha demostrado el año pasado, esos compromisos pueden ser revisados o retirados. Las industrias reguladas resolvieron esta cuestión hace mucho tiempo para los modelos de terceros, y el estándar en el que se basaron es el correcto: la institución que despliega el modelo es dueña del riesgo.

Lo que hacen los pocos

Las empresas que se están adelantando están haciendo tres movimientos:

1. Están construyendo la infraestructura de control ahora, dimensionada para la escala que pretenden alcanzar en lugar de la escala en la que se encuentran, porque los controles tienen que existir antes de los agentes que los necesitan.
2. Están incorporando la clasificación y mitigación del riesgo al comienzo del proceso de implementación en lugar de como una puerta de revisión al final, de modo que cada caso de uso se clasifica y los controles son proporcionales al riesgo desde el primer día.
3. Y están estableciendo una gobernanza independiente con autoridad real para verificar que estos sistemas se comporten como se pretende, manteniéndola lo suficientemente flexible como para evolucionar con la tecnología. La independencia hace que la verificación sea creíble. La flexibilidad la mantiene actualizada.

Vale la pena señalar que pocos reguladores han establecido reglas explícitas sobre el uso y la supervisión de la IA generativa, pero eso no significa que no tengamos nada a lo que recurrir para orientación. Los reguladores tienen reglas bien establecidas para la gestión de modelos tradicionales, y podemos usarlas como guía. En abril, la Reserva Federal, la OCC y la FDIC emitieron orientación revisada sobre el riesgo de modelo que refleja décadas de práctica, un enfoque basado en principios que incluye inventarios de modelos, controles de riesgo proporcionales a la exposición, validación independiente, monitoreo continuo y responsabilidad empresarial por los productos de los proveedores, y dirigieron a las instituciones a aplicar estas mismas prácticas a la IA por su cuenta. El mensaje es claro: los principios que funcionan son conocidos, y las reglas formales de la IA no están cerca. Las empresas que esperen a la claridad regulatoria estarán esperando mientras los pocos actúan. Esto es por qué las industrias altamente reguladas, a menudo descritas como lentas, entran en esta era con una ventaja. Pasaron décadas construyendo exactamente la maquinaria de confianza que todos los demás necesitan ahora, y no están esperando permiso para usarla.

La pregunta que importa

La división ya se está formando. La mayoría de las empresas tratan la gobernanza como un costo: algo absorbido, soportado y minimizado. Los pocos la tratan como la infraestructura que les permite mover a la gente a un trabajo de mayor valor y escalar con confianza. Cada equipo de liderazgo está en uno u otro lado, ya sea que hayan elegido deliberadamente o no, y la brecha se está ampliando silenciosamente antes de la escala que la expondrá. Nadie piensa dos veces antes de subir a un ascensor hoy, porque la confianza se construyó en él. Las empresas que hagan lo mismo para la IA escalarán más allá de todos los que aún están decidiendo si subir o no.