Lorsque le modèle n’est pas le problème et le processus est erroné

Imaginez un scénario courant dans les services financiers. Une équipe déploie une intelligence artificielle pour examiner des contrats : des centaines de pages, des clauses répétitives et un travail routinier qui prend normalement des jours aux employés. Le modèle identifie les risques et les références aux paragraphes corrects. Pourtant, la sortie ne correspond pas.

Il s’avère que le problème se trouve dans le dossier des contrats, où les fichiers sont disposés côte à côte avec des noms tels que contract_v1.docx, contract_v2.docx, contract_final.docx, contract_final2.docx et contract_finalfinal_THIS_ONE.docx.

L’intelligence artificielle a sélectionné le fichier le plus récemment enregistré. Mais ce fichier était une version plus ancienne que quelqu’un avait accidentellement ouvert et enregistré automatiquement la semaine précédente.

Le modèle a fait exactement ce pour quoi il a été conçu. Le processus, cependant, l’a laissé tomber.

Quand le modèle n’est pas le problème

Dans mon article précédent, j’ai soutenu que les échecs de l’intelligence artificielle commencent souvent en dehors du modèle – dans la gouvernance, la propriété et les structures de prise de décision qui l’entourent. Mais la gouvernance n’est qu’une partie du problème. Même un système d’intelligence artificielle bien géré aura du mal si le processus qui se trouve en dessous de lui repose sur des documents obsolètes, des exceptions informelles ou des chemins d’approbation conçus pour un rythme de travail beaucoup plus lent.

Quand un système d’intelligence artificielle produit un résultat médiocre, le modèle est généralement le premier suspect. Peut-être a-t-il halluciné, mal compris la tâche ou reçu une invite faible. Mais parfois, le modèle a fait exactement ce qu’il était censé faire. L’échec s’est produit dans le processus qui a fourni ses informations ou dans l’organisation qui n’a pas pu agir sur sa sortie.

Le déploiement de l’intelligence artificielle révèle des problèmes de processus qui existaient toujours mais n’étaient jamais visibles – comme un outil de diagnostic. Il expose des faiblesses que les gens compensaient précédemment sans y penser : contexte manquant, propriété non claire et solutions informelles qui n’ont jamais été documentées.

Vitesse sans capacité

L’intelligence artificielle n’accélère pas seulement la production. Elle accélère également les escalades, les demandes de décision et la découverte de problèmes. Un modèle signale une anomalie en temps réel, et non le vendredi après-midi, lorsque quelqu’un trouve enfin le temps de passer en revue les journaux.

Les organisations ne sont pas conçues pour ce rythme. Les processus d’approbation, les chemins d’escalade, l’autorité de décision – tout cela a été calibré pour la vitesse humaine. Lorsque l’intelligence artificielle produit des sorties plus rapidement que l’organisation ne peut les absorber, trois choses peuvent se produire :

• L’intelligence artificielle attend une décision, effaçant le gain d’efficacité.
• Les employés ignorent sa sortie et retournent à ce qu’ils croient fonctionner – l’ancien processus.
• Les employés poussent les décisions en avant sans les vérifier correctement parce qu’ils se sentent pressés de maintenir la vitesse.

Certains employés retournent aux vérifications manuelles parce qu’elles leur semblent plus sûres. D’autres approuvent les résultats qu’ils n’ont pas eu le temps de vérifier parce qu’ils se sentent pressés de maintenir la vitesse promise par la technologie. Dans les deux cas, l’organisation paie pour une production plus rapide sans devenir plus rapide pour prendre des décisions responsables.

La propriété peut également devenir floue. Qui est responsable de l’examen d’une anomalie signalée, de la décision de savoir si le modèle est erroné et de l’escalade du problème lorsque plusieurs équipes sont impliquées ? Sans une réponse claire, l’intelligence artificielle continue de fonctionner en arrière-plan, produisant des sorties que personne ne possède vraiment.

Cela reflète un problème organisationnel plus large. Comme l’a observé une analyse de Forbes à la fin de 2025, lorsque la technologie change les flux de travail plus rapidement que l’organisation ne peut les absorber, le résultat n’est pas l’efficacité ; c’est le surmenage. L’intelligence artificielle peut accélérer une étape d’un processus, mais sa valeur dépend toujours de la capacité de l’organisation qui l’entoure à absorber et à agir sur ce qu’elle produit.

Le savoir silencieux que personne n’a écrit

Imaginez que Martin sait que le contrat de l’entreprise avec un fournisseur comporte une exception pour les paiements inférieurs à 2 000 euros. Cela a été convenu verbalement il y a trois ans, mais jamais documenté. Lorsque l’entreprise déploie l’intelligence artificielle pour automatiser les approbations de paiement, le système bloque le paiement – correctement, selon le contrat écrit.

Ceci est un savoir tacite : un savoir organisationnel qui vit dans les têtes des gens plutôt que dans les systèmes. Toute entreprise en a. Et la plupart des entreprises n’ont aucune idée de la quantité qu’elles en ont.

L’intelligence artificielle ne peut utiliser que les connaissances qui lui ont été rendues accessibles. L’exception de Martin n’existe pas du point de vue du système. Sans ce contexte, sa décision peut être techniquement correcte mais opérationnellement erronée.

McKinsey a identifié le même défi dans les déploiements d’intelligence artificielle agente. La construction d’agents d’intelligence artificielle efficaces nécessite que les entreprises codifient les pratiques d’experts qui peuvent exister dans des procédures standard – ou seulement comme un savoir tacite dans les têtes des employés. En d’autres termes : le déploiement de l’intelligence artificielle peut donc être la première fois qu’une organisation voit à quel point le processus dépend de ce que Martin sait.

La fausse source de vérité

La sortie la plus dangereuse de l’intelligence artificielle n’est pas toujours une réponse manifestement incorrecte. Elle peut être une réponse crédible, professionnellement présentée, produite à partir d’informations obsolètes.

Pendant des années, de nombreux départements ont fonctionné avec plusieurs versions du même document, car Jane du service juridique sait toujours laquelle est autoritaire. L’intelligence artificielle, malheureusement, ne le sait pas.

Sauf si on lui a donné des règles pour distinguer les versions, le système n’a aucune raison de remettre en question le document qu’il reçoit. Et ainsi, l’examen de l’intelligence artificielle s’exécute correctement – sur le mauvais document. Cela peut être pire que pas d’examen du tout, car la sortie semble crédible.

Un employé expérimenté peut savoir où se trouve la vérité et peut naviguer à travers le chaos. Un système, cependant, a besoin d’un moyen fiable pour identifier les informations qui sont actuelles, approuvées et pertinentes.

Le savoir tacite, les documents non fiables et les processus d’approbation conçus pour la production à vitesse humaine semblent être des problèmes distincts. Mais ils partagent la même cause profonde. Aucun d’entre eux n’a été créé par l’intelligence artificielle, mais l’intelligence artificielle les rend plus difficiles à ignorer.

Questions à répondre avant de construire un agent

Avant de déployer un agent d’intelligence artificielle, une organisation devrait être en mesure de répondre à trois questions.

Quelles décisions dépendent de connaissances qui n’ont jamais été documentées ?

Cela signifie identifier les exceptions, les raccourcis et les appels de jugement que les employés expérimentés appliquent sans les décrire consciemment. Des entretiens seuls peuvent ne pas révéler toutes ces connaissances. Les organisations peuvent avoir besoin d’observer comment le travail est réellement effectué et de le comparer avec le processus officiel.

Comment le système identifiera-t-il les informations qui sont actuelles, approuvées et pertinentes ?

Donner à un agent l’accès à plus de documents ne résout pas le problème s’il ne peut pas distinguer un contrat approuvé d’un brouillon ou une politique active d’une obsolète. La version, la propriété, le statut d’approbation et les règles de rétention doivent être suffisamment clairs pour que le système puisse identifier quelle source doit gouverner sa décision.

Les processus d’approbation et d’escalade existants peuvent-ils absorber le volume et la vitesse de sa production ?

Les équipes devraient estimer non seulement la quantité de travail que l’agent peut effectuer, mais également la quantité d’examen, d’exceptions et d’escalades que ce travail peut créer. Le cadre de gestion des risques de l’intelligence artificielle de NIST recommande de définir clairement les rôles et les responsabilités pour la surveillance humaine des systèmes d’intelligence artificielle. Ceux-ci doivent être conçus pour le volume attendu avant le déploiement du système – et non après que les employés soient submergés par celui-ci.

Ces questions ne sont pas à répondre une seule fois et à oublier. Les processus changent, les documents vieillissent et les connaissances non documentées s’accumulent à nouveau. La préparation est donc maintenue, et non établie une seule fois avant le lancement.

L’intelligence artificielle commence avec le processus

La préparation à l’intelligence artificielle n’est pas seulement un test de la technologie. C’est un test de savoir si l’organisation a rendu ses propres processus suffisamment explicites pour que la technologie puisse fonctionner à l’intérieur.

Préparer une organisation pour l’intelligence artificielle implique donc plus que de sélectionner un modèle ou de construire un agent. Cela signifie clarifier la propriété, identifier les informations autoritatives, documenter les exceptions et reconcevoir la façon dont les sorties sont examinées, escaladées et mises en œuvre.

Ceci est un travail difficile, mais un déploiement échoué obligera finalement l’organisation à le faire de toute façon. La seule variable est le moment.