L’IA n’est pas prête pour le travail réel: Pourquoi les modèles échouent aux tâches complexes

Les investisseurs dans la bulle de l’IA implorent les professionnels du col blanc de leur confier leurs problèmes les plus difficiles et promettent aux salariés qu’ils récupéreront leurs après‑midi s’ils abandonnent un peu plus de leurs données. L’analyse complexe, les décisions de jugement et les flux de travail qui ont mis des années à se développer sont absorbés par un modèle, prétendument libérant les humains pour quelque chose de meilleur. C’est le récit dominant dans les entreprises américaines aujourd’hui, et c’est un piège. 

Le mythe de la capacité: Pourquoi les modèles échouent aux tâches complexes

Une nouvelle étude de l’UC Berkeley a testé les principaux agents d’IA sur des tâches professionnelles réelles dans 55 secteurs, de la santé à la finance en passant par le droit. La performance globale était inférieure à 25 %. Ensuite, les chercheurs ont isolé la tâche la plus difficile de chaque domaine – le type de travail qui distingue un professionnel senior d’un junior – et chaque modèle a échoué. Les scores n’étaient pas seulement bas. Ils étaient à zéro. 

On pourrait penser qu’un tel résultat aurait changé le récit de lui‑même, mais ce n’est pas le cas.  Dans tous les secteurs, les investisseurs en IA ont trop à gagner en convainquant les professionnels que la plupart des modèles d’IA actuels sont plus avancés qu’ils ne le sont. Mais la question la plus intéressante n’est pas de savoir si l’IA peut accomplir aujourd’hui les parties les plus difficiles d’un travail, car nous, ainsi que tous ceux qui vendent l’IA, connaissons déjà la réponse. 

Ainsi, cela soulève une autre question. Que se passe-t-il pour le jugement d’un jeune professionnel lorsqu’il adhère à cet échange de données, avant que son propre raisonnement ne soit pleinement formé ? 

Les résultats du Minnesota: Comment l’IA aplatit les compétences vers le milieu

Une nouvelle étude empirique étude de la faculté de droit de l’Université du Minnesota propose une véritable réponse, en utilisant le droit comme cas d’essai. Les chercheurs ont fait passer environ cent étudiants avancés en droit à travers une séquence de tâches réalistes: synthétiser le droit à partir de sources brutes, répondre à des questions à livre fermé pour tester ce qu’ils ont assimilé, appliquer ce droit à un scénario factuel, puis réviser leur propre travail. Un groupe n’a eu accès à l’IA que lors de la toute première et de la toute dernière étape. L’autre n’a eu aucune IA avant la fin.

Les étudiants qui ont utilisé l’IA pour rédiger leur première version ont produit un travail plus solide, et plus rapidement, ce qui n’est pas entièrement remarquable. Ce qui est remarquable, cependant, est ce qui s’est produit ensuite. Les chercheurs s’attendaient à ce que l’utilisation précoce de l’IA crée un fossé de compréhension qui apparaîtrait plus tard lorsque l’outil serait retiré. Mais cela ne s’est pas produit. Les étudiants qui avaient utilisé l’IA pour synthétiser le droit l’ont en fait compris mieux que ceux qui ont travaillé sans elle, une fois testés à froid. Le raisonnement indépendant ne s’est pas érodé. Il est resté, et dans certains cas s’est même amélioré. 

Le rebondissement est survenu à l’étape finale, lorsque chaque étudiant disposait de l’IA pour réviser son travail. Les étudiants qui avaient commencé avec un mémo plus faible ont utilisé cet accès pour l’améliorer réellement. Ceux qui avaient commencé avec un mémo plus solide ont empiré. Délaissés avec un outil performant et sans aucune structure supplémentaire sur son utilisation, les compétences ne se sont pas accumulées mais se sont aplanies vers le milieu. 

Ces deux études réunies offrent une vérité crue: l’IA n’est pas un substitut au jugement professionnel, et les chiffres de Berkeley devraient mettre fin à cette discussion définitivement. Mais l’IA n’est pas non plus une force corrosive qui ronge le raisonnement au contact. Son effet dépend entièrement du moment où elle intervient dans le processus. 

Séquençage plutôt que substitution: Maintenir le jugement au cœur

Cela s’applique en dehors de la pratique du droit. Chaque profession du savoir mène actuellement sa propre version de cette expérience: le médecin décidant s’il faut laisser un modèle rédiger un diagnostic différentiel, l’analyste décidant s’il faut laisser un modèle construire la première passe d’un modèle, et l’associé décidant s’il faut laisser un modèle structurer un argument avant de l’avoir lui‑même élaboré. Les résultats du Minnesota suggèrent que la réponse n’est pas un oui ou non généralisé à toutes les formes d’IA. C’est une question de séquençage. L’IA appartient à l’avant‑travail fastidieux et aux parties d’un emploi qui génèrent des frictions, mais pas au jugement. Il ne doit pas appartenir au centre de la  

Les entreprises qui promettent le contraire vendent une version de l’IA que les données indiquent n’exister pas. Ceux qui construisent leurs produits, ainsi que leurs relations clients, autour de la ligne que la recherche trace réellement seront ceux en qui les professionnels auront encore confiance dans cinq ans. Tous les autres passeront ce temps à expliquer une méprise très coûteuse.