Por qué el Inteligencia Artificial Empresarial se Rompe Después de la Implementación – y Qué Hacer Al Respecto

Advertencia: El Problema No es el Modelo

En 2023, la ciudad de Nueva York lanzó el chatbot MyCity para ayudar a las empresas a navegar por regulaciones complejas. La idea era simple: hacer que la información legal sea más accesible.

En la práctica, el sistema produjo respuestas que no solo eran incorrectas, sino también engañosas desde el punto de vista legal – desde las reglas de propinas hasta la discriminación en la vivienda y las leyes de pago.

Una auditoría posterior encontró que 71,4% de los comentarios de los usuarios fueron negativos. En lugar de solucionar los problemas subyacentes, la respuesta fue agregar advertencias. El chatbot incluso permaneció en “beta” durante más de dos años antes de ser desactivado.

El fracaso no fue técnico. El sistema se derrumbó en producción porque no había un mecanismo para garantizar la precisión, no había una responsabilidad clara y no había forma de intervenir cuando las cosas salían mal.

Ese es el patrón detrás del Inteligencia Artificial empresarial hoy en día: la tecnología funciona, pero las organizaciones no están configuradas para operarla de manera confiable una vez que está en vivo.

Desde el Piloto a la Producción: Donde Todo se Desmorona

Crear un piloto es bastante sencillo – seleccionar un caso de uso, elegir un modelo, preparar datos, encontrar un patrocinador. Ejecutar un sistema en producción es una liga completamente diferente.

La brecha es como la diferencia entre saltar a una piscina y saltar desde la estratosfera, como lo hizo Felix Baumgartner en 2012. La misma física básica, condiciones completamente diferentes – y consecuencias muy diferentes en caso de fracaso.

En producción, el Inteligencia Artificial entra en flujos de toma de decisiones reales, interactúa con clientes y crea consecuencias legales y operativas. Es ahí donde comienzan a aparecer brechas – no en el modelo, sino en cómo se gobierna.

Europa hace que esto sea visible más temprano que la mayoría de las regiones. Regulaciones como el Acta de Inteligencia Artificial de la UE, el Reglamento General de Protección de Datos y el NIS2 no frenan la adopción – exponen si las organizaciones pueden operar sistemas de Inteligencia Artificial bajo restricciones reales.

En 2025, el 55% de las grandes empresas de la UE ya estaban utilizando Inteligencia Artificial. La adopción ya está sucediendo a gran escala. El desafío es lo que sucede después de la implementación.

En ese punto, comienzan a surgir preguntas operativas básicas. Y a menudo, nadie puede responderlas: ¿Quién es responsable de las salidas y decisiones autónomas de la Inteligencia Artificial? ¿Qué sucede cuando el sistema se comporta de manera inesperada? ¿Y quién lo detectará antes de que el daño llegue a los medios?

La responsabilidad recae en la empresa, no en la tecnología. El chatbot de Air Canada dio a un cliente información incorrecta sobre tarifas de duelo. El cliente confió en ella y luego se le negó un reembolso. Un tribunal dictaminó que la aerolínea era responsable – el chatbot no era una entidad separada.

Mismo problema, diferente ángulo: El sistema McHire de McDonald’s expuso datos sensibles de casi 64,000 solicitantes. La causa no fue un ataque sofisticado – el inicio de sesión de administrador utilizó “admin” y “123456”. El sistema parecía avanzado. El fracaso fue elemental.

Cuando se agrega la gobernanza a un sistema en vivo, ya es demasiado tarde. Implementar un sistema es una decisión técnica. Operarlo de manera confiable es una decisión organizativa. Y esa es la parte que la mayoría de las empresas subestiman.

¿Quién es el Dueño Real del Riesgo de la Inteligencia Artificial? Nadie.

Este es el núcleo del problema, y paradójicamente, el menos discutido. El departamento de TI gestiona la infraestructura. El departamento legal maneja la cumplimiento. Los equipos comerciales impulsan los casos de uso. Pero nadie es dueño del riesgo de la Inteligencia Artificial de principio a fin.

Esto crea dos problemas inmediatos. La decisión de “ir” se ralentiza – porque nadie quiere asumir la responsabilidad. Y la decisión de “detener” se ralentiza igualmente – porque nadie sabe quién puede.

Los datos reflejan esto. Menos del 10% de los casos de uso de la Inteligencia Artificial pasan del piloto a la producción, y la mayoría de las organizaciones luchan por generar un impacto comercial medible. Al mismo tiempo, muchas ya están implementando la Inteligencia Artificial – pero según una encuesta de madurez de la gobernanza, solo el 7% tenía una gobernanza bien estructurada y aplicada de manera consistente.

¿Por qué sucede esto de manera tan consistente? Porque la mayoría de los marcos y las políticas corporativas definen qué debe suceder – no quién es responsable cuando importa. Cuando un sistema comienza a producir salidas incorrectas a medianoche de un viernes, la pregunta no es teórica. ¿Quién actúa? ¿Y quién tiene la autoridad para decidir?

Esto solo empeora con la escala. Un sistema se puede gestionar de manera informal. Cuando tienes treinta, la responsabilidad se fragmenta en equipos, y nadie tiene una visión general.

El Commonwealth Bank de Australia proporciona un ejemplo claro. El banco reemplazó a 45 trabajadores de servicio al cliente con bots de voz de Inteligencia Artificial, esperando que la demanda disminuyera. No lo hizo. Los volúmenes de llamadas aumentaron, los gerentes intervinieron para manejar el exceso, y el banco tuvo que volver a contratar a los 45 empleados. Cuando se les desafió, no pudieron demostrar que la automatización había reducido la carga de trabajo.

Nadie había validado las suposiciones antes de la implementación. Nadie era dueño del resultado cuando esas suposiciones fallaron. Eso es lo que se ve cuando hay un vacío de responsabilidad en la práctica.

Tener Reglas No es Suficiente. Necesitas un Mecanismo

La mayoría de las organizaciones no carecen de políticas. Carecen de sistemas que funcionen cuando algo sale mal.

Una política define qué debe suceder. Un mecanismo determina qué sucede en realidad – cuando un modelo produce salidas incorrectas, cuando un proveedor cambia algo en el fondo, o cuando un sistema comienza a comportarse de manera inesperada.

Esta diferencia se vuelve visible en producción – cuando las decisiones deben tomarse en condiciones reales.

Estos fracasos siguen una dinámica consistente. En cada caso, aparecen las mismas brechas operativas – solo en diferentes formas.

La Propiedad Viene Primero

Cada sistema de Inteligencia Artificial desplegado necesita un propietario claramente responsable – una persona, no un equipo o un departamento, con la autoridad para aprobar, pausar y desactivar.

Sin eso, ni la implementación rápida ni la intervención segura son posibles. Como se vio en el ejemplo del Commonwealth Bank, la ausencia de una propiedad clara conduce directamente al fracaso operativo.

La Claridad de los Datos y la Legalidad a Menudo Faltan

Muchos sistemas entran en producción sin flujos de datos documentados, una base legal verificada o claridad sobre qué obligaciones se aplican una vez que el sistema está en producción.

La acción del regulador italiano contra DeepSeek en 2025 ilustra esto claramente. El problema no era la calidad del modelo – era la incapacidad para explicar cómo se manejaban los datos personales. El resultado fue una interrupción del servicio repentina para los usuarios europeos.

Las Pruebas Rara Vez Reflejan el Uso en el Mundo Real

Los sistemas a menudo se evalúan en escenarios donde funcionan bien, pero no en los casos donde el fracaso importaría más.

El chatbot MyCity es un ejemplo claro. Los casos de borde básicos – alrededor de la ley laboral, la discriminación en la vivienda o las reglas de pago – no se detectaron antes de la implementación. Una vez expuestos a usuarios reales, esos fracasos se volvieron públicos de inmediato.

Las pruebas no solo se tratan del rendimiento – se tratan de identificar dónde falla el sistema antes de que los usuarios, los reguladores o los periodistas lo hagan.

La Intervención es Incierta o Demasiado Lenta

Incluso cuando los problemas son visibles, a menudo no hay un desencadenante claro o autoridad para pausar o desactivar el sistema.

Zillow Offers demuestra esto a gran escala. El sistema utilizaba un algoritmo para fijar precios y comprar viviendas. Cuando el mercado se enfrió en 2021, el sistema siguió comprando a precios inflados. No había mecanismo para detectar la deriva a tiempo, y no había un punto de decisión claro para detenerlo. El resultado fueron pérdidas que superaron los 880 millones de dólares y el cierre de toda la división.

La Supervisión no es la Propiedad

La supervisión a menudo se reduce a paneles, pero eso no es lo que evita los fracasos.

Lo que importa es la responsabilidad definida: quién rastrea las señales, qué desencadena la escalada y quién se espera que actúe.

El caso de Deloitte Australia muestra qué sucede cuando eso falta. Un informe del gobierno incluyó citas y referencias legales incorrectas porque nadie era explícitamente responsable de verificar las salidas antes de la entrega. El resultado fue un reembolso parcial y daño a la reputación.

Inteligencia Artificial Agente: Lo que Viene Será Aún Más Difícil

La Inteligencia Artificial generativa produce salidas. La Inteligencia Artificial agente toma acciones. Eso cambia el riesgo por completo.

En lugar de una sola respuesta para evaluar, una instrucción puede desencadenar una cadena de decisiones en sistemas – llamadas a API, acceso a datos, transacciones, actualizaciones – a menudo sin intervención humana en cada paso.

Cuando algo sale mal, el problema ya no es la precisión. Es la trazabilidad. ¿Qué paso causó el problema? ¿Qué datos se utilizaron? ¿Quién autorizó la acción? En muchos casos, esas preguntas son difíciles de responder después del hecho.

Es ahí donde las brechas existentes se vuelven críticas. La propiedad incierta, la supervisión débil y la falta de intervención no solo persisten – se multiplican. Una respuesta incorrecta se puede corregir. Una acción incorrecta puede crear consecuencias antes de que alguien se dé cuenta.

Las señales tempranas ya apuntan en esta dirección. Gartner estima que más del 40% de los proyectos de Inteligencia Artificial agente serán cancelados para fines de 2027 – no debido a limitaciones del modelo, sino porque las organizaciones luchan por controlar el costo, el riesgo y los resultados. Ese es el mismo patrón que vemos con la Inteligencia Artificial generativa después de la implementación. Solo que con mayores apuestas.

Los reguladores ya están respondiendo con un principio simple: la automatización no elimina la responsabilidad. Para las organizaciones, eso crea una implicación clara: si la propiedad y el control son inciertos hoy, escalar hacia sistemas agente no solucionará el problema. Lo amplificará.

Operarlo – O Perderlo

La Inteligencia Artificial ya no es la restricción. Los modelos están ampliamente disponibles, son capaces y cada vez más comodificados. El verdadero diferenciador no es si una organización puede construir Inteligencia Artificial – sino si puede operarla de manera confiable una vez que está en vivo.

Es ahí donde la mayoría de los fracasos ocurren – en cómo se ejecutan los sistemas, no en cómo se construyen. Las organizaciones que tienen éxito no serán las que tengan los modelos más avanzados. Serán las que tengan las estructuras operativas más claras alrededor de ellos.

Esto se puede probar directamente. Toma tu sistema de Inteligencia Artificial más importante y responde tres preguntas:

• ¿Quién puede desactivarlo?
• ¿Cómo sabes cuándo está fallando?
• ¿Qué sucede cuando lo hace?

Si esas preguntas no tienen respuestas claras, el sistema no está listo para la producción.

El modelo podría estar. La organización no.