La supervisión de la IA tiene tres puntos ciegos — y la mayoría de las empresas no están observando ninguno de ellos

La mayoría de la conversación sobre la seguridad de la IA dentro de las empresas se dirige al objetivo equivocado. Los equipos pasan semanas discutiendo qué modelo utilizar, luego conectan ese modelo a su correo electrónico, sus pagos, su base de datos de clientes y su código, sin detenerse a preguntar una pregunta mucho más simple: cuando esta cosa hace algo, ¿quién está observando y puede alguien detenerlo?

Los números dicen que esto está a punto de volverse costoso. Gartner estima que al menos el 15% de las decisiones de trabajo rutinarias serán tomadas de forma autónoma por la IA en 2028, en comparación con casi none en 2024. En la misma investigación, advierte que más del 40% de los proyectos de IA agente serán cancelados a finales de 2027, y una de las razones que da es el control de riesgos débil. Lea eso de nuevo. Los proyectos no mueren porque los modelos sean malos. Mueren porque nadie construyó una forma de gobernarlos.

Construyo sistemas de gobernanza para la IA para ganarme la vida, así que veo las mismas brechas una y otra vez. Hay tres de ellas. La mayoría de las empresas no están observando ninguna de ellas adecuadamente, y muchas no están observando ninguna.

Los agentes son el ruido

Todos se preocupan por los agentes autónomos, y tienen razón en hacerlo. Pero la mayoría de las personas se preocupan por la parte equivocada. Lo inquietante de un agente no es que razona. Es que actúa. No propone el reembolso; lo paga. No redacta el correo electrónico; lo envía. Darle a un modelo un conjunto de herramientas es darle la capacidad de alcanzar sistemas reales y cambiar cosas.

Si se equivoca, el fallo no es una oración torpe. Es dinero que sale, o una tabla que se elimina silenciosamente de una base de datos. Y hay un borde más afilado. La inyección de prompt se encuentra justo en la parte superior de la lista de riesgos de OWASP para aplicaciones de LLM, y por buena razón: alimentar a un modelo con el texto equivocado puede hacer que se le hable para que haga algo que nadie pidió. Cuando el modelo solo puede hablar, es una molestia. Cuando el modelo puede llamar a herramientas, es un atacante que sostiene sus claves de API.

La respuesta estándar es registrar todo lo que el agente hace y observar las trazas. Bien. Pero una traza es una descripción de algo que ya ha sucedido. Es la grabación de CCTV después de que la caja ha sido vaciada, útil para la investigación, inútil para detener el robo.

El silencioso que nadie menciona

El segundo punto ciego nunca aparece en una diapositiva, porque es aburrido. Es la simple llamada a la API. No es un agente, no es un marco, solo un trozo de código en algún lugar de un servicio que ensambla un prompt y lo dispara a un modelo.

La mayoría de la IA en producción se ve así, y es la parte menos gobernada de toda la pila, precisamente porque es tan ordinaria. Es una solicitud HTTP enterrada tres capas profundas en algún servicio, escrita por un ingeniero que nunca ha oído hablar de su política de IA y no sabría dónde encontrarla. Esa llamada puede enviar los datos de un cliente a un modelo de terceros, o activar una acción downstream, y nada está verificando si debería, y nada independiente está registrando que lo hizo.

El desordenado es la gente

El tercer punto ciego es la gente, que es por lo que es el peor. Su personal descubrió meses atrás que pegar una tarea en ChatGPT o Claude lo hace más rápido, así que lo hacen todo el día, generalmente desde cuentas personales que no puede ver. Esto no es hipotético. La investigación de Cyberhaven sobre el uso real en el lugar de trabajo encontró que una parte real de los empleados han pegado datos confidenciales de la empresa en ChatGPT, mucho de ello a través de cuentas que la empresa no tiene ventana para ver.

Si desea la historia de advertencia, es Samsung. En 2023 prohibió la IA generativa internamente después de que los ingenieros pegaran código de fuente propietario en ChatGPT, tres veces seguidas en menos de un mes. Estos no eran actores maliciosos. Eran buenos ingenieros que intentaban depurar más rápido. Esa es la trampa completa: la fuga se ve idéntica a la productividad. Y sus herramientas anteriores de pérdida de datos no la atraparán, porque es una copia y pegado en una pestaña del navegador, no un archivo que sale del edificio.

¿Qué funciona en realidad?

Alinear los tres y la solución deja de ser sobre los agentes específicamente y se convierte en una sola idea: gobernar lo que cualquier IA hace antes de que lo haga, no después. Algunas cosas que realmente importan, aprendidas en su mayoría de la manera difícil.

Siéntese frente a la acción, no detrás de ella. Este es el juego completo, y es por eso que insisto en que la observabilidad y la gobernanza no son la misma palabra. Un panel que le dice que un agente movió £40,000 ayer es un informe de pérdida. Algo que pueda retener esa transferencia para que un humano la revise antes de que salga es un control. Si su configuración solo puede decirle qué sucedió, no tiene supervisión. Tiene retrospectiva.

Utilice un punto de control, no uno por herramienta. Los agentes, las llamadas a la API y el personal que pega en un chatbot se sienten como tres problemas separados, así que las empresas compran tres herramientas separadas y terminan con tres conjuntos de brechas entre ellas. Las cosas malas viven en las brechas. Todo lo que una IA hace, desde donde venga, debería tener que pasar por la misma puerta.

Mantenga un registro que la IA no pueda reescribir. Si el sistema que hace la cosa es también el único que registra que hizo la cosa, no tiene un registro. Tiene un diario que se le permite editar. Esto es exactamente hacia dónde se dirigen las reglas. El requisito de registro de la Ley de IA de la UE, Artículo 12, existe para que lo que un sistema de alto riesgo hizo pueda ser reconstruido por alguien que no sea el sistema. En la práctica, eso significa un registro mantenido fuera de la cosa que se registra, uno que no se puede alterar silenciosamente después del hecho.

Ponga a un humano en las llamadas grandes e irreversibles. No todo, haga eso y ahogará a las personas en aprobaciones hasta que las estampan todas. Pero las llamadas que no se pueden tomar de vuelta, mover dinero, exportar datos, eliminar registros, deberían detenerse y esperar. La Ley de IA de la UE ya hace la supervisión humana obligatoria para los sistemas de alto riesgo, Artículo 14. El punto que vale la pena recordar es que la supervisión solo cuenta si la persona tiene el tiempo y el contexto para decir realmente no. Una aprobación que nadie lee es solo teatro.

La verificación honesta

Ninguno de los tres es un caso de esquina. Son la forma ordinaria en que la mayoría de las empresas están ejecutando la IA en este momento, silenciosamente, sin mucha red. Los equipos que pasan los próximos dos años sin un incidente feo no serán los que tienen los gráficos más bonitos. Serán los que decidieron temprano que todo lo que su IA hace, el agente, la llamada a la API, el párrafo pegado, pasa por una puerta antes de que suceda, no después.

Si desea una prueba rápida de su propia configuración, responda dos preguntas honestamente. De esas tres superficies, ¿cuántas puede ver realmente? Y de las que puede ver, ¿cuántas puede detener? Para muchas empresas, la respuesta honesta a la segunda es cero. Ese es el número que debe arreglar primero.