Por qué el AI empresarial se rompe después de la implementación – y qué hacer al respecto

Advertencia: el problema no es el modelo

En 2023, la ciudad de Nueva York lanzó el chatbot MyCity para ayudar a las empresas a navegar por regulaciones complejas. La idea era simple: hacer que la información legal sea más accesible.

En la práctica, el sistema produjo respuestas que no solo eran incorrectas, sino también engañosas desde el punto de vista legal – desde las reglas de propinas hasta la discriminación en la vivienda y las leyes de pago.

Una auditoría posterior encontró que el 71,4% de los comentarios de los usuarios fueron negativos. En lugar de solucionar los problemas subyacentes, la respuesta fue agregar avisos. El chatbot incluso permaneció en “beta” durante más de dos años antes de ser desactivado.

El fracaso no fue técnico. El sistema se rompió en producción porque no había un mecanismo para garantizar la precisión, no había una responsabilidad clara y no había forma de intervenir cuando las cosas salían mal.

Ese es el patrón detrás del AI empresarial hoy en día: la tecnología funciona, pero las organizaciones no están configuradas para operarla de manera confiable una vez que está en vivo.

Desde el piloto hasta la producción: donde todo se desmorona

Crear un piloto es bastante sencillo – elegir un caso de uso, seleccionar un modelo, preparar datos, encontrar un patrocinador. Ejecutar un sistema en producción es una liga completamente diferente.

La brecha es como la diferencia entre saltar a una piscina y saltar desde la estratosfera, como lo hizo Felix Baumgartner en 2012. La misma física básica, condiciones completamente diferentes – y consecuencias muy diferentes en caso de fracaso.

En producción, el AI entra en flujos de toma de decisiones reales, interactúa con clientes y crea consecuencias legales y operativas. Ahí es donde comienzan a aparecer brechas – no en el modelo, sino en cómo se gobierna.

Europa hace que esto sea visible antes que la mayoría de las regiones. Regulaciones como el Acta de IA de la UE, el GDPR y el NIS2 no frenan la adopción – exponen si las organizaciones pueden operar sistemas de IA bajo restricciones reales.

En 2025, el 55% de las grandes empresas de la UE ya estaban utilizando el AI. La adopción ya está sucediendo a escala. El desafío es lo que sucede después de la implementación.

En ese punto, comienzan a surgir preguntas operativas básicas. Y a menudo, nadie puede responderlas: ¿Quién es responsable de las salidas y decisiones autónomas del AI? ¿Qué sucede cuando el sistema se comporta de manera inesperada? ¿Y quién lo detectará antes de que el daño llegue a los medios?

La responsabilidad recae sobre la empresa, no sobre la tecnología. El chatbot de Air Canada dio a un cliente información incorrecta sobre tarifas de duelo. El cliente confió en ella y luego se le negó un reembolso. Un tribunal dictaminó que la aerolínea era responsable – el chatbot no era una entidad separada.

Mismo problema, ángulo diferente: el sistema McHire de McDonald’s expuso datos sensibles de casi 64,000 solicitantes. La causa no fue un ataque sofisticado – el inicio de sesión de administrador utilizó “admin” y “123456”. El sistema parecía avanzado. El fracaso fue elemental.

Cuando se agrega la gobernanza a un sistema en vivo, ya es demasiado tarde. Implementar un sistema es una decisión técnica. Operarlo de manera confiable es una decisión organizativa. Y esa es la parte que la mayoría de las empresas subestiman.

¿Quién es el dueño real del riesgo del AI? Nadie.

Este es el núcleo del problema, y paradójicamente, el menos discutido. IT gestiona la infraestructura. El departamento legal maneja la conformidad. Los equipos comerciales impulsan los casos de uso. Pero nadie es dueño del riesgo del AI de principio a fin.

Esto crea dos problemas inmediatos. La decisión de “ir” se ralentiza – porque nadie quiere asumir la responsabilidad. Y la decisión de “detener” se ralentiza igualmente – porque nadie sabe quién puede.

Los datos lo reflejan. Menos del 10% de los casos de uso del AI pasan del piloto a la producción, y la mayoría de las organizaciones luchan por generar un impacto comercial medible. Al mismo tiempo, muchas ya están implementando el AI – pero según una encuesta de madurez de gobernanza, solo el 7% tenía una gobernanza bien estructurada y aplicada de manera consistente.

¿Por qué sucede esto de manera tan consistente? Porque la mayoría de los marcos y políticas corporativas definen qué debe suceder – no quién es responsable cuando importa. Cuando un sistema comienza a producir salidas incorrectas a medianoche de un viernes, la pregunta no es teórica. ¿Quién actúa? ¿Y quién tiene la autoridad para decidir?

Esto solo empeora con la escala. Un sistema se puede gestionar de manera informal. Cuando tienes treinta, la responsabilidad se fragmenta en equipos, y nadie tiene una visión general.

El Commonwealth Bank de Australia proporciona un ejemplo claro. El banco reemplazó a 45 trabajadores de servicio al cliente con bots de voz de IA, esperando que la demanda disminuyera. No lo hizo. Los volúmenes de llamadas aumentaron, los gerentes intervinieron para manejar el exceso, y el banco tuvo que volver a contratar a todos los 45 empleados. Cuando se les cuestionó, no pudieron demostrar que la automatización había reducido la carga de trabajo.

Nadie había validado las suposiciones antes de la implementación. Nadie era dueño del resultado cuando esas suposiciones fallaron. Eso es lo que se ve cuando hay un vacío de responsabilidad.

Tener reglas no es suficiente. Necesitas un mecanismo

La mayoría de las organizaciones no carecen de políticas. Carecen de sistemas que funcionen cuando algo sale mal.

Una política define qué debe suceder. Un mecanismo determina qué sucede en realidad – cuando un modelo produce salidas incorrectas, cuando un proveedor cambia algo en el fondo, o cuando un sistema comienza a comportarse de manera inesperada.

Esa diferencia se vuelve visible en producción – cuando las decisiones deben tomarse en condiciones reales.

Estos fracasos siguen una dinámica consistente. En cada caso, aparecen las mismas brechas operativas – solo en diferentes formas.

La propiedad viene primero

Cada sistema de IA implementado necesita un dueño claramente responsable – una persona, no un equipo o un departamento, con la autoridad para aprobar, pausar y desactivar.

Sin eso, ni la implementación rápida ni la intervención segura son posibles. Como se vio en el ejemplo del Commonwealth Bank, la ausencia de una propiedad clara conduce directamente al fracaso operativo.

La claridad de los datos y la legalidad a menudo faltan

Muchos sistemas entran en vivo sin flujos de datos documentados, una base legal verificada o claridad sobre qué obligaciones se aplican una vez que el sistema está en producción.

La acción del regulador italiano contra DeepSeek en 2025 ilustra esto claramente. El problema no era la calidad del modelo – era la incapacidad para explicar cómo se manejaban los datos personales. El resultado fue una interrupción del servicio para los usuarios europeos.

Las pruebas rara vez reflejan el uso en el mundo real

Los sistemas a menudo se evalúan en escenarios donde funcionan bien, pero no en los casos donde el fracaso importaría más.

El chatbot MyCity es un ejemplo claro. Los casos de borde básicos – alrededor de la ley laboral, la discriminación en la vivienda o las reglas de pago – no se detectaron antes de la implementación. Una vez expuestos a usuarios reales, esos fracasos se volvieron públicos de inmediato.

Las pruebas no son solo sobre el rendimiento – son sobre identificar dónde falla el sistema antes de que los usuarios, los reguladores o los periodistas lo hagan.

La intervención es incierta o demasiado lenta

Even cuando los problemas son visibles, a menudo no hay un desencadenante claro o autoridad para pausar o desactivar el sistema.

Zillow Offers demuestra esto a escala. El sistema utilizó un algoritmo para fijar precios y comprar casas. A medida que el mercado se enfrió en 2021, el sistema siguió comprando a precios inflados. No había mecanismo para detectar el desvío a tiempo, y no había un punto de decisión claro para detenerlo. El resultado fueron pérdidas que superaron los 880 millones de dólares y el cierre de toda la división.

El monitoreo no es propiedad

El monitoreo a menudo se reduce a paneles, pero eso no es lo que evita los fracasos.

Lo que importa es la responsabilidad definida: quién rastrea las señales, qué desencadena la escalada y quién se espera que actúe.

Deloitte Australia muestra qué sucede cuando eso falta. Un informe del gobierno incluyó citas y referencias legales incorrectas porque nadie era explícitamente responsable de verificar las salidas antes de la entrega. El resultado fue un reembolso parcial y daño a la reputación.

AI Agente: Lo que viene será aún más difícil

El AI generativo produce salidas. El AI agente toma acciones. Eso cambia el riesgo por completo.

En lugar de una sola respuesta para evaluar, una instrucción puede desencadenar una cadena de decisiones a través de sistemas – llamadas a la API, acceso a datos, transacciones, actualizaciones – a menudo sin intervención humana en cada paso.

Cuando algo sale mal, el problema ya no es la precisión. Es la trazabilidad. ¿Qué paso causó el problema? ¿Qué datos se utilizaron? ¿Quién autorizó la acción? En muchos casos, esas preguntas son difíciles de responder después del hecho.

Esto es donde las brechas existentes se vuelven críticas. La propiedad incierta, el monitoreo débil y la falta de intervención no solo persisten – se multiplican. Una respuesta incorrecta se puede corregir. Una acción incorrecta puede crear consecuencias antes de que alguien se dé cuenta.

Las señales tempranas ya apuntan en esta dirección. Gartner estima que más del 40% de los proyectos de AI agente serán cancelados para fines de 2027 – no debido a limitaciones del modelo, sino porque las organizaciones luchan por controlar el costo, el riesgo y los resultados. Ese es el mismo patrón que vemos con el AI generativo después de la implementación. Solo que con mayores apuestas.

Los reguladores ya están respondiendo con un principio simple: la automatización no elimina la responsabilidad. Para las organizaciones, eso crea una implicación clara: si la propiedad y el control son inciertos hoy, escalar hacia sistemas de AI agente no solucionará el problema. Lo amplificará.

Operarlo – o perderlo

El AI ya no es la limitación. Los modelos están ampliamente disponibles, son capaces y cada vez más comodificados. El verdadero diferenciador no es si una organización puede construir el AI – sino si puede operarlo de manera confiable una vez que está en vivo.

Es ahí donde la mayoría de los fracasos ocurren – en cómo se ejecutan los sistemas, no en cómo se construyen. Las organizaciones que tienen éxito no serán las que tengan los modelos más avanzados. Serán las que tengan las estructuras operativas más claras alrededor de ellos.

Esto se puede probar directamente. Toma tu sistema de AI más importante y responde tres preguntas:

• ¿Quién puede desactivarlo?
• ¿Cómo sabes cuándo está fallando?
• ¿Qué sucede cuando lo hace?

Si esas preguntas no tienen respuestas claras, el sistema no está listo para la producción.

El modelo podría estar. La organización no.