Leaders d’opinion
Comment j’ai transféré mes connaissances dans des systèmes d’IA capables de prendre des décisions comme des experts humains
Lorsque j’ai quitté Microsoft et que j’ai continué à travailler avec des entreprises sur leurs déploiements d’IA, j’ai constamment constaté que la plupart des systèmes d’IA qui faisaient l’objet d’un grand enthousiasme ne pouvaient pas réellement prendre des décisions avec un jugement humain véritable. Certes, ils pouvaient écrire, résumer et produire un texte remarquablement fluide qui ressemblait à une décision, mais lorsqu’on les intégre dans un environnement opérationnel réel, où il y a des compromis, de l’incertitude, des instructions incomplètes et des conséquences réelles, ils ont du mal à s’adapter rapidement. Cela correspond aux données du projet NANDA du MIT, qui montrent que 60 % des organisations ont évalué des outils d’IA, mais seulement 20 % ont atteint le stade du pilote, et seulement 5 % ont atteint la production. En d’autres termes, l’industrie a du mal à construire des systèmes qui peuvent réellement fonctionner au sein de flux de travail réels.
Dans les environnements d’entreprise, en particulier dans des domaines tels que la chaîne d’approvisionnement, la fabrication et les opérations, obtenir une réponse n’est pas difficile ; ce qui est difficile, c’est de savoir quelle réponse faire confiance, quels sont les variables les plus importantes et ce qui est susceptible de ne pas fonctionner en aval si l’on se trompe. À mes yeux, c’est à la fois un problème d’expertise et de jugement.
Pour être clair, l’IA a fait des progrès extraordinaires dans la production de meilleures sorties. Mais une meilleure sortie n’est pas la même chose qu’une meilleure décision. Ce sont deux étapes distinctes, et je pense que l’industrie a passé beaucoup de temps à les traiter comme interchangeables.
Le manque d’expertise et de jugement est la raison pour laquelle je me suis intéressé à la construction d’IA que des experts humains peuvent enseigner à prendre des décisions complexes de la même manière qu’eux. L’IA ne devrait pas seulement être utilisée pour automatiser les tâches, mais également pour transférer efficacement et en toute sécurité le jugement humain dans l’IA qui tient.
Les grands modèles de langage (LLM) parlent comme des décideurs, mais ils ne le sont pas
Il n’y a pas de doute que les LLM sont utiles, mais ils ne sont pas, par défaut, des systèmes de prise de décision. Ce sont des systèmes de prédiction enveloppés dans le langage. Et le langage est persuasif, ce qui fait partie du problème. Si un système peut s’expliquer de manière fluide, nous surestimons facilement ce qu’il comprend. Vous lui posez une question commerciale, il vous donne une réponse structurée avec des compromis, des réserves et un petit résumé au début, ce qui le rend plus intelligent qu’il ne l’est réellement. Être cohérent et être compétent sur le plan opérationnel ne sont pas la même chose, et c’est là que beaucoup d’IA d’entreprise échouent. Les modèles peuvent vous dire à quoi ressemble une bonne décision sans avoir aucune compréhension de ce qui fait une bonne décision sous pression, dans le temps ou dans le contexte. C’est l’une des raisons pour lesquelles de nombreuses organisations ont du mal à aller au-delà de l’expérimentation. Gartner a constaté que au moins 50 % des projets d’IA générative sont abandonnés après les preuves de concept, longtemps avant qu’ils n’aient un impact opérationnel réel, souvent en raison d’une valeur et de contrôles de risque peu clairs.
Les informations ne sont pas les mêmes que l’expertise
L’un des pièges les plus faciles à tomber avec l’IA est de supposer que si un système a suffisamment d’informations, il devrait être en mesure de performer comme un expert. Cela semble raisonnable, mais lorsque vous y réfléchissez dans notre vie quotidienne, augmenter nos informations sur quelque chose ne nous rend pas automatiquement expert. Vous pouvez lire tous les manuels d’aviation et ne pas être prêt à atterrir un avion. Vous pouvez mémoriser toutes les meilleures pratiques de la chaîne d’approvisionnement et geler lorsque trois choses vont mal en même temps.
Je pourrais continuer, mais le point est que les informations ne sont pas égales à la capacité. La capacité vient de l’expérience, en particulier de l’exposition répétée à des situations difficiles où la réponse n’est pas évidente.
Chaque jour, je vois que la plupart des systèmes d’IA d’aujourd’hui sont formés sur des exemples statiques. Cela est utile pour faire des prédictions, mais ce n’est qu’une petite partie de la prise de décision. Les entreprises ne manquent pas de données en soi, mais elles ont besoin d’environnements structurés pour la pratique, ce qui signifie leur donner des environnements où ils peuvent :
- Rencontrer des scénarios réalistes
- Faire des choix
- Voir ce qui se passe
- Recevoir des commentaires
- S’améliorer avec le temps
L’IA peut être formée à l’aide d’algorithmes prédictifs, mais cette approche a des limites. Ce qui est nécessaire ensuite, c’est une IA qui peut être formée dans un environnement simulé avec une supervision humaine. J’appelle cela l’enseignement de la machine, une méthodologie qui décompose les décisions complexes en scénarios et compétences, fournissant un guide pour que les experts humains enseignent l’IA par simulation. Les commentaires et les essais et erreurs finaux permettent aux agents d’apprendre et d’agir avec une autonomie réelle dans le monde réel, directement à partir des personnes qui ont construit ces processus.
Arrêtez de traiter l’IA comme un monolithe
Une autre erreur que je vois souvent est de supposer qu’un seul grand modèle devrait faire tout. Aucune équipe de basket-ball n’est composée d’une seule personne. Aucune usine n’est gérée par un individu. Les systèmes complexes fonctionnent parce que différents composants font différents travaux, et il y a une structure qui les maintient ensemble.
L’IA devrait être construite de la même manière. Je ne pense pas que l’avenir à long terme de la prise de décision d’entreprise soit un seul modèle géant au milieu de l’entreprise, prétendant être universellement compétent. Il est beaucoup plus probable qu’il ressemble à des équipes d’agents spécialisés.
Un agent pourrait être un expert en récupération de données. Un autre est meilleur pour évaluer les scénarios. Un autre gère la planification. Un vérifie la conformité ou détecte les contradictions. Un autre agit plus comme un superviseur, décidant quand escalader ou quand la confiance est trop faible pour continuer. L’architecture d’équipe a beaucoup plus de sens pour moi, car elle correspond à la façon dont les organisations réelles fonctionnent et s’aligne sur les tendances du marché. Les conclusions de McKinsey renforcent que les organisations tirent le plus de valeur de l’IA en réorganisant les flux de travail et les structures opérationnelles autour.
Les quatre façons dont les décisions se font réellement
Selon mon expérience, la plupart des décisions tendent à tomber dans quelques catégories :
- Systèmes de contrôle (règles et formules) : Les décisions sont prises en appliquant des équations ou des règles prédéfinies à des entrées connues. Si X se produit, faites Y.
- Recherche et optimisation : Les décisions sont prises en évaluant de nombreuses options possibles et en sélectionnant la meilleure en fonction d’un objectif défini.
- Apprentissage par renforcement (essais et erreurs) : Les décisions sont apprises avec le temps en prenant des actions, en observant les résultats et en ajustant en fonction de la récompense ou de la pénalité.
- Pratique et expérience (apprentissage humain) : Les décisions sont façonnées par une exposition répétée, des commentaires guidés et un jugement accumulé dans des scénarios réels.
La plupart de l’IA d’entreprise fonctionne bien dans les deux premières catégories. Les troisième et quatrième catégories sont plus difficiles pour l’IA, car c’est là que vit le jugement humain.
L’autonomie sans structure est un risque
Lorsque les gens parlent d’IA autonome, la conversation a tendance à se diviser en deux extrêmes. Une partie pense que les systèmes sont essentiellement magiques et prêts à gérer tout. L’autre partie agit comme si ils ne devraient jamais être confiés à quelque chose de significatif.
Je ne pense pas que l’une ou l’autre de ces vues soit utile. Nous devrions nous concentrer sur l’autonomie dans une structure, car l’autonomie sans supervision, logique d’escalade, limites ou responsabilité est la principale source de risque. Les préoccupations en matière de risque apparaissent davantage maintenant, notamment dans les conversations façonnées par des efforts tels que le cadre de gestion des risques liés à l’IA de l’Institut national des normes et de la technologie, qui reflète la manière dont les organisations prennent au sérieux les questions de surveillance, de responsabilité et de confiance opérationnelle.
L’avenir de l’IA d’entreprise réside dans les équipes d’agents. Les organisations qui tirent le plus de valeur de l’IA ne seront pas celles qui automatisent le plus de mots. Ce sont celles qui découvrent comment transférer une véritable expertise dans des systèmes qui peuvent tenir lorsqu’il y a des complications. C’est, à mon avis, la différence entre l’IA qui semble impressionnante et l’IA qui devient vraiment utile, produisant un véritable retour sur investissement.
