Efrain Ruh, CTO de EMEA en Digitate – Serie de entrevistas

Efrain Ruh es el Director de Tecnología para EMEA en Digitate, donde lidera la estrategia tecnológica regional con un fuerte enfoque en inteligencia artificial empresarial, automatización y transformación operativa a gran escala. Trabaja en estrecha colaboración con clientes en toda Europa, Oriente Medio y África para ayudar a las organizaciones a implementar la IA de manera responsable, enfatizando la ejecución práctica, la gobernanza y los resultados medibles. Ruh es un frecuente contribuyente a las discusiones de la industria sobre IA agente, madurez de MLOps y las realidades de pasar de pilotos de IA a sistemas de producción.

Digitate es una empresa de software empresarial y una filial de Tata Consultancy Services (TCS.BO ) que se especializa en automatización impulsada por IA para TI y operaciones comerciales. Su plataforma principal, ignio, permite operaciones autónomas combinando aprendizaje automático, gráficos de conocimiento y automatización inteligente para detectar problemas, predecir resultados y autocurarse sistemas en entornos empresariales complejos. Digitate sirve a grandes organizaciones globales que buscan reducir la complejidad operativa mientras mejoran la resiliencia y la eficiencia a través de la IA aplicada.

Dada su amplia experiencia en liderazgo técnico en Digitate y su experiencia práctica anterior en operaciones de TI, arquitectura y sistemas empresariales, ¿cómo ha evolucionado su visión sobre la importancia de la IA explicable en comparación con los modelos de automatización de caja negra en los que muchas organizaciones aún confían hoy en día?

Las generaciones anteriores de automatización fueron en gran medida reactivas y basadas en reglas, lo que hizo que el comportamiento de caja negra fuera más tolerable ya que los resultados eran muy predecibles. A medida que los sistemas de IA se mueven hacia agentes proactivos que pueden razonar y generar su propia respuesta, la tolerancia a la opacidad desaparece. Los líderes de TI son responsables de mantener los sistemas críticos de la misión disponibles las 24 horas del día, y esa responsabilidad deja muy poco espacio para la experimentación con sistemas cuya lógica no se puede validar. La explicabilidad ha pasado, por lo tanto, de una característica técnica a un requisito operativo que permite la confianza a gran escala. Para confiar en estos nuevos agentes de IA es importante que compartan su línea de pensamiento (básicamente, cómo llegaron a la solución) y sus resultados de razonamiento.

¿Por qué la confianza y la explicabilidad están surgiendo como los mayores obstáculos para una adopción más amplia de la automatización avanzada impulsada por IA en TI empresarial?

La TI empresarial opera bajo responsabilidad y riesgo constantes. Cuando los sistemas de IA toman decisiones de manera autónoma, especialmente en modelos de operación preventiva o de autocuración, los equipos de supervisión deben poder entender por qué se tomó una acción determinada. Sin visibilidad en la evidencia, el contexto y la lógica de decisión, la IA introduce incertidumbre en lugar de reducirla. Esa falta de transparencia y incertidumbre afecta la confianza, por lo tanto, ralentiza la adopción entre los equipos de TI más que la precisión del modelo o el rendimiento podrían hacerlo.

¿Qué aspecto tiene la verdadera explicabilidad en las operaciones de TI impulsadas por IA, y cómo puede ayudar a los equipos a validar decisiones antes de que los sistemas actúen de manera autónoma?

La verdadera explicabilidad es práctica y centrada en el operador. Esto significa que la tecnología debe mostrar claramente los datos utilizados para el razonamiento, validar que el sistema comprende el contexto operativo correcto y explicar el curso de acción recomendado en términos legibles por humanos. También incluye la validación histórica, como si se han tomado decisiones similares antes y cuáles fueron los resultados. Esto permite a los equipos validar acciones rápidamente y expandir la ejecución autónoma con confianza donde el riesgo es bajo. Si las personas no pueden digerir y actuar rápidamente sobre su resultado, entonces una herramienta de explicabilidad no cumple su propósito.

¿Cómo se traduce la falta de explicabilidad en riesgos operativos, financieros o comerciales reales para las grandes organizaciones?

Si usted dirigiera una fábrica y una pieza vital de equipo careciera de alertas para señalarizar un problema de mantenimiento, eventualmente comenzaría a fallar sin alertar al equipo, lo que llevaría a productos de mala calidad o a un tiempo de inactividad no planificado. De manera similar, la IA sin explicabilidad puede convertir pequeños problemas de datos en incidentes comerciales importantes. Un sistema de previsión de capacidad basado en IA que opera con datos incompletos puede reducir la capacidad de infraestructura para ahorrar costos, solo para causar una degradación severa del rendimiento durante los períodos de procesamiento pico. En el caso de los sistemas de IA empresariales, a menudo se ve el impacto de la mala explicabilidad a través de los SLA perdidos, las penalizaciones financieras y el impacto en los clientes. De manera similar, la supresión de alertas agresiva puede ocultar fallos críticos, permitiendo que las interrupciones pasen desapercibidas hasta que se conviertan en una verdadera emergencia.

Desde su perspectiva, ¿qué papel deben desempeñar las plataformas de IA para hacer que su razonamiento sea auditable y comprensible para los equipos de TI que operan sistemas críticos de la misión?

Un agente de IA o una plataforma bien diseñada tiene la explicabilidad integrada, sin más. Los sistemas autónomos deben documentar los datos utilizados, la lógica aplicada, las acciones recomendadas o tomadas y los resultados que siguieron. Esta información debe presentarse en el lenguaje operativo que los equipos de TI utilizan, como dependencias, incidentes históricos y impacto comercial, en lugar de puntuaciones de IA abstractas. La auditoría es esencial para la responsabilidad, el aprendizaje y la confianza a largo plazo.

¿Qué enfoques arquitectónicos o de diseño están ayudando a las empresas a alejarse de la automatización opaca hacia una toma de decisiones más transparente, de caja de vidrio?

Las empresas están adoptando arquitecturas que basan las decisiones de IA en datos operativos de alta calidad y separan claramente la validación de datos de la lógica de decisión. Los sistemas transparentes garantizan que la IA esté trabajando con las entradas y suposiciones correctas antes de actuar. Muchas organizaciones también utilizan la autonomía por etapas, comenzando con recomendaciones y progresando hacia la ejecución autónoma restringida a medida que crece la confianza. El acceso a datos abiertos y las capas de política claras son fundamentales para evitar el comportamiento de caja negra a medida que aumenta la autonomía. Todavía hay mucho espacio para que la industria crezca en términos de explicabilidad, y creo que veremos un auge en las características de explicabilidad este año

¿Cómo logran las organizaciones equilibrar la acción autónoma de la IA con la supervisión humana sin ralentizar las operaciones?

El equilibrio se logra a través de controles basados en riesgos en lugar de una supervisión en blanco. Las tareas de baja frecuencia y alto riesgo pueden automatizarse de extremo a extremo con guardrails, mientras que las decisiones de mayor impacto permanecen validadas por humanos hasta que los sistemas demuestran confiabilidad. A medida que mejora la explicabilidad y la IA demuestra consistentemente un juicio sólido, la autonomía se expande naturalmente sin introducir fricción operativa.

¿Qué consejo daría a los CIO y CTO que desean ampliar la IA en las operaciones de TI pero enfrentan resistencia interna debido a preocupaciones sobre visibilidad y responsabilidad?

Comience con la transparencia, no con la autonomía. Involucre a sus equipos de TI desde el principio y priorice la visibilidad tanto en el diseño como en la implementación para generar confianza. La resistencia generalmente se debe a la falta de visibilidad en las decisiones de IA, no a la oposición a la innovación en sí. Luego, enfóquese en los casos de uso que reducen el ruido, eliminan la fatiga de alertas y explican claramente cómo se toman las decisiones antes de permitir que los sistemas actúen de manera independiente.

¿Cómo deben replantear los equipos de liderazgo la gobernanza, la validación y los modelos de confianza a medida que los sistemas de IA asumen más responsabilidad en la toma de decisiones?

La gobernanza debe cambiar de procesos de aprobación estáticos a una validación continua. Los equipos de liderazgo necesitan definir dónde se permite la autonomía, qué evidencia se requiere y cuándo es necesaria la intervención humana. La confianza debe ganarse a través de resultados medibles como precisión, incidentes reducidos y tiempos de resolución más rápidos, en lugar de suposiciones sobre la sofisticación del modelo.

¿Cómo ve el futuro de las operaciones de TI autónomas con IA explicable y transparente en los próximos años?

La IA explicable será una pieza fundamental del rompecabezas al construir operaciones de TI proactivas y autónomas para escalar de manera segura, sin perder la confianza vital de su equipo de TI. La IA generativa ya está mejorando la transparencia al permitir que los sistemas presenten evidencia, validen hechos y expliquen decisiones en términos legibles por humanos. En los próximos años, este nivel de explicabilidad se convertirá en estándar, lo que permitirá a las organizaciones avanzar más allá de la experimentación y profundizar en la IA en las operaciones, la gobernanza y los flujos de trabajo como un socio de confianza en lugar de un tomador de decisiones opaco. En los próximos años, los agentes de IA estarán en lugar para gestionar diferentes actividades de una organización, se convertirán en parte de nuestra vida diaria, pero para esto necesitamos poder confiar en ellos y la precisión y la transparencia son aspectos clave para lograr este objetivo.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar Digitate.