Efrain Ruh, CTO de l’EMEA chez Digitate – Série d’entretiens

Efrain Ruh est le directeur technique pour l’EMEA chez Digitate, où il dirige la stratégie technologique régionale avec un fort accent sur l’intelligence artificielle d’entreprise, l’automatisation et la transformation opérationnelle à grande échelle. Il travaille en étroite collaboration avec les clients à travers l’Europe, le Moyen-Orient et l’Afrique pour aider les organisations à déployer l’IA de manière responsable, en mettant l’accent sur l’exécution pratique, la gouvernance et les résultats mesurables. Ruh est un contributeur fréquent aux discussions de l’industrie sur l’IA agente, la maturité de MLOps et les réalités de la transition des pilotes d’IA aux systèmes de production.

Digitate est une société de logiciels d’entreprise et une filiale de Tata Consultancy Services qui se spécialise dans l’automatisation pilotée par l’IA pour les opérations IT et commerciales. Sa plate-forme principale, ignio, permet des opérations autonomes en combinant l’apprentissage automatique, les graphes de connaissances et l’automatisation intelligente pour détecter les problèmes, prédire les résultats et auto-réparer les systèmes dans des environnements d’entreprise complexes. Digitate sert de grandes organisations mondiales qui cherchent à réduire la complexité opérationnelle tout en améliorant la résilience et l’efficacité grâce à l’IA appliquée.

Compte tenu de vos rôles de leadership technique étendus chez Digitate et de votre expérience pratique antérieure dans les opérations IT, l’architecture et les systèmes d’entreprise, comment votre point de vue sur l’importance de l’IA explicative a-t-il évolué par rapport aux modèles d’automatisation en boîte noire sur lesquels de nombreuses organisations s’appuient encore aujourd’hui ?

Les générations précédentes d’automatisation étaient largement réactives et basées sur des règles, ce qui rendait le comportement en boîte noire plus tolérable car les résultats étaient très prévisibles. Alors que les systèmes d’IA évoluent maintenant vers des agents proactifs qui peuvent raisonner et générer leurs propres réponses, la tolérance à l’opacité disparaît. Les dirigeants IT sont responsables de maintenir la disponibilité des systèmes critiques 24 heures sur 24, et cette responsabilité laisse très peu de place à l’expérimentation avec des systèmes dont la logique ne peut pas être validée. L’explicabilité a donc évolué d’une fonctionnalité technique à une exigence opérationnelle qui permet la confiance à grande échelle. Pour faire confiance à ces nouveaux agents d’IA, il est important qu’ils partagent leur ligne de pensée (basiquement, comment ils sont arrivés à la solution) et leurs résultats de raisonnement.

Pourquoi la confiance et l’explicabilité émergent-elles comme les plus grands obstacles à une adoption plus large de l’automatisation avancée pilotée par l’IA dans l’informatique d’entreprise ?

L’informatique d’entreprise fonctionne sous une responsabilité et un risque constants. Lorsque les systèmes d’IA prennent des décisions de manière autonome, en particulier dans des modèles de fonctionnement préventifs ou auto-réparateurs, les équipes de supervision doivent être en mesure de comprendre pourquoi une action particulière a été entreprise. Sans visibilité sur les preuves, le contexte et la logique de décision, l’IA introduit de l’incertitude plutôt que de la réduire. Cette absence de transparence et d’incertitude affecte la confiance, ce qui ralentit l’adoption parmi les équipes IT plus que la précision ou la performance des modèles ne le feraient jamais.

Qu’est-ce que l’explicabilité réelle signifie dans les opérations d’informatique pilotées par l’IA, et comment peut-elle aider les équipes à valider les décisions avant que les systèmes n’agissent de manière autonome ?

L’explicabilité réelle est pratique et axée sur l’opérateur. Cela signifie que la technologie doit clairement montrer les données utilisées pour la raisonnement, valider que le système comprend le contexte opérationnel correct et expliquer le plan d’action recommandé en termes lisibles par l’homme. Cela inclut également la validation historique, telle que savoir si des décisions similaires ont été prises auparavant et quels en ont été les résultats. Cela permet aux équipes de valider les actions rapidement et de faire confiance à l’exécution autonome lorsque le risque est faible. Si les gens ne peuvent pas rapidement digérer et agir sur la sortie, alors un outil d’explicabilité ne remplit pas son objectif.

Comment le manque d’explicabilité se traduit-il par des risques opérationnels, financiers ou commerciaux réels pour les grandes organisations ?

Si vous dirigez une usine et qu’un élément essentiel de l’équipement manquait d’alertes pour signaler un problème de maintenance, il finirait par dysfonctionner sans alerter l’équipe – entraînant des produits de mauvaise qualité ou des temps d’arrêt non planifiés. De même, l’IA sans explicabilité peut transformer de petits problèmes de données en incidents majeurs pour l’entreprise. Un système de prévision de capacité basé sur l’IA fonctionnant sur des données incomplètes peut réduire la capacité d’infrastructure pour économiser des coûts, mais causera une dégradation grave des performances pendant les périodes de traitement de pointe. Dans le cas des systèmes d’IA d’entreprise, on voit souvent l’impact d’une mauvaise explicabilité à travers les SLA manqués, les pénalités financières et l’impact sur les clients. De même, la suppression agressive des alertes peut masquer les défaillances critiques, permettant aux temps d’arrêt de passer inaperçus jusqu’à ce qu’il s’agisse d’une véritable urgence.

À votre avis, quel rôle les plateformes d’IA devraient-elles jouer pour rendre leur raisonnement auditable et compréhensible pour les équipes IT qui exploitent des systèmes critiques ?

Un agent d’IA ou une plateforme bien conçus ont l’explicabilité intégrée, tout simplement. Les systèmes autonomes devraient documenter les données utilisées, la logique appliquée, les actions recommandées ou prises et les résultats qui ont suivi. Ces informations doivent être présentées dans le langage opérationnel que les équipes IT utilisent, telles que les dépendances, les incidents historiques et l’impact commercial, plutôt que des scores d’IA abstraits. L’audibilité est essentielle pour la responsabilité, l’apprentissage et la confiance à long terme.

Quelles approches architecturales ou de conception aident les entreprises à passer d’une automatisation opaque à une prise de décision transparente en boîte de verre ?

Les entreprises adoptent des architectures qui ancrent les décisions d’IA dans des données opérationnelles de haute qualité et séparent clairement la validation des données de la logique de décision. Les systèmes transparents garantissent que l’IA fonctionne avec les bonnes entrées et hypothèses avant d’agir. De nombreuses organisations utilisent également l’autonomie échelonnée, en commençant par des recommandations et en progressant vers une exécution autonome contrainte à mesure que la confiance grandit. L’accès ouvert aux données et les couches de stratégie claires sont essentielles pour éviter le comportement en boîte noire à mesure que l’autonomie augmente. Il y a encore beaucoup de place pour que l’industrie grandisse en termes d’explicabilité, et je pense que nous allons voir un boom de fonctionnalités d’explicabilité cette année.

Comment les organisations parviennent-elles à établir un équilibre entre l’action autonome de l’IA et la surveillance humaine sans ralentir les opérations ?

L’équilibre est atteint grâce à des contrôles basés sur les risques plutôt que à une surveillance globale. Les tâches à faible risque et à fréquence élevée peuvent être automatisées de bout en bout avec des garde-fous, tandis que les décisions à impact plus élevé restent validées par les humains jusqu’à ce que les systèmes démontrent leur fiabilité. À mesure que l’explicabilité s’améliore et que l’IA prouve constamment son jugement sain, l’autonomie s’étend naturellement sans introduire de friction opérationnelle.

Quels conseils donneriez-vous aux DSI et aux DSI qui souhaitent étendre l’IA aux opérations IT mais qui rencontrent une résistance interne en raison de préoccupations de visibilité et de responsabilité ?

Commencez par la transparence, et non par l’autonomie. Impliquez vos équipes IT dès le début et donnez la priorité à la visibilité à la fois dans la conception et le déploiement pour établir la confiance. La résistance provient généralement d’un manque de compréhension des décisions d’IA, et non d’une opposition à l’innovation elle-même. Ensuite, concentrez-vous sur les cas d’utilisation qui réduisent le bruit, éliminent la fatigue des alertes et expliquent clairement comment les décisions sont prises avant de permettre aux systèmes d’agir de manière indépendante.

À mesure que les systèmes d’IA prennent davantage de responsabilités en matière de prise de décision, comment les équipes de direction devraient-elles repenser la gouvernance, la validation et les modèles de confiance ?

La gouvernance doit passer de processus d’approbation statiques à une validation continue. Les équipes de direction doivent définir où l’autonomie est autorisée, quels sont les éléments de preuve requis et quand l’intervention humaine est nécessaire. La confiance doit être gagnée grâce à des résultats mesurables tels que la précision, la réduction des incidents et les temps de résolution plus rapides, plutôt que des hypothèses sur la sophistication des modèles.

En regardant vers l’avenir, comment voyez-vous l’IA explicative et transparente réformer l’avenir des opérations IT autonomes au cours des prochaines années ?

L’IA explicative sera une pièce fondamentale du puzzle lors de la construction d’opérations IT proactives et autonomes pour évoluer en toute sécurité, sans perdre la confiance essentielle de votre équipe IT. L’IA générative améliore déjà la transparence en permettant aux systèmes de présenter des preuves, de valider les faits et d’expliquer les décisions en termes lisibles par l’homme. Au cours des prochaines années, ce niveau d’explicabilité deviendra la norme, permettant aux organisations de passer au-delà de l’expérimentation et d’intégrer l’IA profondément dans les opérations, la gouvernance et les flux de travail comme un partenaire de confiance plutôt que comme un décideur opaque. Au cours des prochaines années, les agents d’IA seront en place pour gérer différentes activités d’une organisation, ils deviendront partie intégrante de notre vie quotidienne, mais pour cela, nous devons être en mesure de leur faire confiance, et l’exactitude et la transparence sont des aspects clés pour atteindre cet objectif. Thank you for the great interview, readers who wish to learn more should visit Digitate.