Comment j’ai transféré mes connaissances dans des systèmes d’IA capables de prendre des décisions comme des experts humains

Lorsque j’ai quitté Microsoft et continué à travailler avec des entreprises sur leurs déploiements d’IA, j’ai constamment vu que la plupart des systèmes d’IA qui excitaient les gens ne pouvaient pas réellement prendre des décisions avec un jugement humain véritable. Certes, ils pouvaient écrire, résumer et produire un texte remarquablement fluide qui ressemblait à une décision, mais lorsqu’on les plonge dans un environnement opérationnel réel, où il y a des compromis, de l’incertitude, des instructions incomplètes et des conséquences réelles, ils luttent rapidement. Cela correspond aux données du projet MIT NANDA, qui montrent que même si 60% des organisations ont évalué des outils d’IA, seuls 20% ont atteint le stade du pilote et seulement 5% ont atteint la production. En d’autres termes, l’industrie peine à construire des systèmes qui puissent réellement tenir dans les flux de travail réels.

Dans les environnements d’entreprise, en particulier dans des domaines tels que la chaîne d’approvisionnement, la fabrication et les opérations, obtenir une réponse n’est pas difficile ; c’est savoir quelle réponse faire confiance, quels sont les variables les plus importantes et ce qui risque de se briser en aval si l’on se trompe. À mes yeux, c’est à la fois un problème d’expertise et de jugement.

Pour clarifier, l’IA a fait des progrès extraordinaires dans la production de meilleurs résultats. Mais de meilleurs résultats ne signifient pas de meilleures décisions. Ce sont deux étapes distinctes, et je pense que l’industrie a passé beaucoup de temps à les traiter comme interchangeables.

Le manque d’expertise et de jugement est pourquoi je me suis intéressé à la construction d’IA que les experts humains peuvent enseigner à prendre des décisions complexes comme ils le font. L’IA ne devrait pas seulement être à propos de l’automatisation des tâches, mais à propos du transfert efficace et sécurisé du jugement humain dans des systèmes d’IA qui peuvent tenir.

Les modèles de langage à grande échelle (LLM) parlent comme des décideurs, mais ils ne le sont pas

Il n’y a pas de doute que les LLM sont utiles, mais ils ne sont pas, par défaut, des systèmes de prise de décision. Ce sont des systèmes de prédiction enveloppés dans le langage. Et le langage est persuasif, ce qui fait partie du problème. Si un système peut s’expliquer de manière fluide, nous surestimons facilement ce qu’il comprend. Vous lui posez une question commerciale, il vous donne une réponse structurée avec des compromis, des réserves et un petit résumé à la fin, ce qui le fait paraître plus intelligent qu’il ne l’est. Être cohérent et être compétent sur le plan opérationnel ne sont pas la même chose, et c’est là que beaucoup d’IA d’entreprise se brisent. Les modèles peuvent vous dire à quoi ressemble une bonne décision sans avoir aucune compréhension de ce qui fait qu’une décision est bonne sous pression, avec le temps ou dans le contexte. C’est l’une des raisons pour lesquelles de nombreuses organisations luttent pour aller au-delà de l’expérimentation. Gartner a constaté que au moins 50% des projets d’IA générative sont abandonnés après les preuves de concept, longtemps avant qu’ils n’aient un impact opérationnel réel, souvent en raison d’une valeur et de contrôles de risque peu clairs.

Les informations ne sont pas les mêmes que l’expertise

L’un des pièges les plus faciles à tomber avec l’IA est de supposer que si un système a suffisamment d’informations, il devrait être capable de performer comme un expert. Cela semble raisonnable, mais lorsque vous y réfléchissez dans notre vie quotidienne, augmenter nos informations sur quelque chose ne nous rend pas automatiquement experts. Vous pouvez lire tous les manuels d’aviation et ne pas être prêt à atterrir un avion. Vous pouvez mémoriser toutes les meilleures pratiques de la chaîne d’approvisionnement et geler lorsque trois choses vont mal en même temps.

Je pourrais continuer, mais le point est que les informations ne sont pas égales à la capacité. La capacité vient de l’expérience, en particulier, de l’exposition répétée à des situations difficiles où la réponse n’est pas évidente.

Chaque jour, je vois que la plupart des systèmes d’IA d’aujourd’hui sont formés sur des exemples statiques. Cela est utile pour faire des prédictions, mais ce n’est qu’une petite partie de la prise de décision. Les entreprises ne manquent pas de données en soi, mais elles ont besoin d’environnements structurés pour la pratique, ce qui signifie donner aux systèmes des environnements où ils peuvent :

• Rencontrer des scénarios réalistes
• Faire des choix
• Voir ce qui se passe
• Recevoir des commentaires
• S’améliorer avec le temps

L’IA peut être formée à l’aide d’algorithmes prédictifs, mais cette approche a des limites. Ce qui est nécessaire ensuite, c’est une IA qui peut être formée dans un environnement simulé avec une surveillance humaine. J’appelle cela l’enseignement des machines, une méthodologie qui décompose les décisions complexes en scénarios et compétences, fournissant un guide pour les experts humains pour enseigner l’IA à travers la simulation. Les commentaires et les essais et erreurs ultérieurs permettent finalement aux agents d’apprendre et d’agir avec une autonomie réelle directement à partir des personnes qui ont construit ces processus.

Arrêter de traiter l’IA comme un monolithe

Une autre erreur que je vois souvent est de supposer qu’un seul grand modèle devrait faire tout. Aucune équipe de basket-ball n’est composée d’une seule personne. Aucune usine n’est gérée par un individu. Les systèmes complexes fonctionnent parce que différents composants font différents travaux, et il y a une structure qui les tient ensemble.

L’IA devrait être construite de la même manière. Je ne pense pas que le futur de la prise de décision d’entreprise soit un seul modèle géant au milieu de l’entreprise, prétendant être universellement compétent. Il est beaucoup plus probable qu’il ressemble à des équipes d’agents spécialisés.

Un agent pourrait être un expert en récupération de données. Un autre est meilleur pour évaluer les scénarios. Un autre gère la planification. Un vérifie la conformité ou attrape les contradictions. Un autre agit plus comme un superviseur, décidant quand escalader ou quand la confiance est trop basse pour continuer. L’architecture d’équipe a beaucoup plus de sens pour moi, car elle correspond à la façon dont les organisations réelles fonctionnent et s’aligne sur les tendances du marché plus larges. Les conclusions de McKinsey renforcent que les organisations tirent le plus de valeur de l’IA en réorganisant les flux de travail et les structures opérationnelles autour.

Toutes les décisions ne sont pas prises de la même manière, et trop souvent, nous supposons que le même modèle, les mêmes données et le même type de raisonnement peuvent gérer toutes les décisions. En réalité, différentes décisions nécessitent différents mécanismes.

Les quatre façons dont les décisions se produisent réellement

Selon mon expérience, la plupart des décisions tendent à tomber dans quelques catégories :

1. Systèmes de contrôle (règles et formules): Les décisions sont prises en appliquant des équations ou des règles prédéfinies à des entrées connues. Si X se produit, faites Y.
2. Recherche et optimisation: Les décisions sont prises en évaluant de nombreuses options possibles et en sélectionnant la meilleure en fonction d’un objectif défini.
3. Apprentissage par renforcement (essais et erreurs): Les décisions sont apprises avec le temps en prenant des actions, en observant les résultats et en ajustant en fonction de la récompense ou de la pénalité.
4. Pratique et expérience (apprentissage humain): Les décisions sont façonnées par une exposition répétée, des commentaires guidés et un jugement accumulé dans des scénarios réels.

La plupart de l’IA d’entreprise se débrouille bien dans les deux premières catégories. Les troisième et quatrième catégories sont plus difficiles pour l’IA, car c’est là que vit le jugement humain.

L’autonomie sans structure est un risque

Lorsque les gens parlent d’IA autonome, la conversation a tendance à se diviser en deux extrêmes. D’un côté, les gens pensent que les systèmes sont magiques et prêts à gérer tout. De l’autre côté, les gens agissent comme si ils ne devraient jamais être confiés à quelque chose de significatif.

Je ne pense pas que l’une ou l’autre de ces vues soit utile. Nous devrions nous concentrer sur l’autonomie dans la structure, car l’autonomie sans surveillance, logique d’escalade, limites ou responsabilité est la principale source de risque. Les préoccupations en matière de risque apparaissent plus maintenant, notamment dans les conversations façonnées par des efforts tels que le cadre de gestion des risques liés à l’IA du National Institute of Standards and Technology, qui reflète la manière dont les organisations prennent au sérieux les questions de surveillance, de responsabilité et de confiance opérationnelle.

Le futur de l’IA d’entreprise réside dans les équipes d’agents. Les organisations qui tirent le plus de valeur de l’IA ne seront pas celles qui automatisent le plus de mots. Ce sont celles qui découvrent comment transférer une véritable expertise dans des systèmes qui peuvent tenir lorsqu’environnement devient difficile. C’est, à mon avis, la différence entre l’IA qui semble impressionnante et l’IA qui devient vraiment utile, produisant un véritable ROI.