Les détours de l’IA que vous ne devriez pas avoir à payer

Ce n’est pas que les entreprises d’IA de pointe ne chercheraient pas forcément à fausser la donne lorsqu’elles nous vendent des jetons, si elles le pouvaient — après tout, Anthropic a appliqué en juin une hausse effective des prix de 30 % ; DeepSeek a augmenté ses tarifs d’API en août ; et OpenAI est revenue à contrecœur sur une réduction de son quota de jetons de milieu de gamme, qu’elle avait annulée à la fin du mois de septembre. Une tendance à l’austérité se dessine donc assez nettement.

En effet, cette idée revient souvent lorsque votre agent d’IA épuise votre quota quotidien de jetons en 45 minutes, dans un déferlement de code pas forcément glorieux, puis vous dit de revenir dans 3 à 4 heures. Dans un moment aussi frustrant, on ne peut s’empêcher de se demander si certains des mécanismes à l’œuvre ne jouent pas en faveur des fournisseurs. Après tout, c’est un bon moyen de nous faire payer une recharge spéciale de jetons — voire de nous inciter à activer le « rechargement automatique ».

Eh bien, si c’est vraiment le cas, en cette période, les entreprises à l’avant-garde peuvent très légitimement se retrancher derrière l’idée que nous ne comprenons pas complètement comment les jetons sont utilisés dans les tâches agentiques, avec différents modèles et environnements d’exécution. Et elles non plus. À l’exception de leurs parcours de paiement — qui sont vraiment très fluides —, tout cela en est encore au stade pré-alpha et reste matière à recherche de pointe, malgré la banalisation généralisée du produit.

Gestion du gaspillage

Le fait que les agents d’IA gaspillent des jetons (et donc votre argent) lorsqu’ils raisonnent dans des flux de travail agentiques est déjà bien établi : il y a exactement un an, j’écrivais au sujet de nouvelles recherches qui indiquaient dans quelle mesure les modèles d’IA capables de raisonner avaient tendance à brûler des jetons en « divaguant » ; plus tôt cette année, je faisais état d’autres recherches décrivant le raisonnement en chaîne de pensée comme « décoratif » ; et la semaine dernière, Nils Bunge, directeur produit chez Tsuga, a déclaré dans un article de réflexion publié ici :

« Une équipe qui consomme deux fois plus de jetons ne crée pas nécessairement deux fois plus de valeur. Elle peut s’occuper d’un travail plus difficile, utiliser un modèle inutilement puissant ou s’appuyer sur un agent qui réessaie sans cesse des tâches ayant échoué. »

Ce que l’on sait moins, c’est de quelle manière les jetons sont gaspillés dans des tâches ou des processus inutiles ; c’est précisément le sujet d’un nouvel article de recherche qui a récemment attiré mon attention sur cette question.

Intitulé Comment les agents d’IA gaspillent-ils votre argent ?, ce nouveau travail de collaboration universitaire américaine* propose un cadre unifié permettant de quantifier le gaspillage réel de jetons dans les processus agentiques. Lorsque les modèles sont à code source fermé, une méthode « parallèle » s’appuie sur les statistiques et les indicateurs officiels des fournisseurs pour reconstituer, avec le même niveau de détail, ce qu’il est advenu des jetons pendant que l’IA raisonnait et agissait :

La nouvelle méthode de mesure du gaspillage de jetons par l’IA. Le raisonnement, les actions et les coûts de chaque agent sont enregistrés, puis examinés afin de repérer les répétitions, les requêtes inutiles et les détours évitables. Le gaspillage identifié est supprimé, puis on vérifie à nouveau si l’agent peut accomplir la tâche initiale. Source

Comme le montre le schéma ci-dessus, l’agent est autorisé à travailler normalement, tandis que ses communications avec le fournisseur d’IA sont interceptées et enregistrées, notamment ses raisonnements, l’utilisation des outils, sa consommation de jetons et les coûts associés. Des juges basés sur de grands modèles de langage (LLM) examinent ensuite ces enregistrements afin de distinguer le travail utile des répétitions, des recherches inutiles et des détours. Après cette étape, le gaspillage présumé est supprimé, les économies de jetons sont calculées, puis l’agent reprend son travail pour vérifier s’il peut toujours mener la tâche à bien.

Lors de leurs tests, les chercheurs ont constaté qu’environ 18 % des jetons de sortie des agents étaient gaspillés. Dans plus de 45 % des tâches, un agent gaspillait davantage de jetons qu’un autre n’en avait besoin pour accomplir la même tâche avec succès. Ils ont également constaté que la suppression de 41 à 46 % des raisonnements superflus avait très peu d’effet sur les performances, ce qui laisse penser qu’il est possible de réaliser des économies substantielles sans compromettre significativement les résultats.

L’article indique :

« Sur l’ensemble des trajectoires recueillies, environ 18 % des jetons de sortie sont considérés comme du gaspillage. »

« Fait marquant, dans plus de 45 % des tâches, les jetons de sortie gaspillés par un seul agent dépassent à eux seuls le volume total produit par un autre agent qui accomplit la même tâche avec succès. »

En outre, l’étude a révélé que les agents gaspillaient le plus de ressources lorsqu’ils devaient utiliser des outils inconnus et suivre des pistes qui ne menaient finalement nulle part ; elle a également montré qu’augmenter l’effort de raisonnement ne produit pas de progrès constants : au niveau d’effort maximal, Kimi-K3 générait 6,6 fois plus de jetons de raisonnement qu’au niveau faible, sans que cela garantisse de meilleurs résultats.

Résultats des tests montrant les performances de Kimi-K3 à quatre niveaux d’effort de raisonnement sur cinq tests de référence. Un effort de raisonnement plus important n’a pas amélioré systématiquement les taux de réussite, et un effort maximal a parfois donné de moins bons résultats que des réglages moins élevés.

Par analogie, au lieu de conduire une voiture puissante sans jamais vraiment exploiter ses capacités, ces sessions avec des agents ressemblent davantage à conduire une voiture qui accélère jusqu’à sa vitesse maximale à chaque trajet, même si cela ne présente aucun avantage et malgré les éventuelles conséquences négatives.

L’article examine également le rôle des différents environnements d’exécution dans le gaspillage de jetons. Il montre que le même modèle d’IA, Kimi-K3, peut produire plus de quatre fois plus de raisonnement pour des tâches identiques, selon l’environnement utilisé, sans pour autant obtenir de meilleurs résultats.

Une partie du gaspillage était due à des bogues logiciels élémentaires : OpenCode, Kimi Code CLI et OpenClaw lançaient à plusieurs reprises des tâches dans le mauvais environnement Python, ce qui provoquait des erreurs et des tentatives répétées consommant des jetons. Kimi Code CLI permettait aussi à l’IA de demander des délais d’attente que le logiciel lui-même rejetait, ce qui l’obligeait à effectuer d’autres tentatives coûteuses.

Contre toute attente, les environnements d’exécution qui proposaient davantage d’outils n’étaient pas nécessairement plus coûteux en jetons, et certaines inefficacités récurrentes semblaient provenir des modèles eux-mêmes, quel que soit l’environnement qui les contrôlait.

‘[Several] Les caractéristiques des environnements d’exécution qui semblent évidentes n’expliquent pas systématiquement les différences observées en matière de gaspillage. Par exemple, comme le montre [below], les environnements qui proposent davantage d’outils ne sont pas nécessairement plus coûteux en jetons. OpenClaw propose beaucoup plus d’outils que les autres environnements, mais ne génère qu’un gaspillage modéré. De plus, le gaspillage ne varie pas toujours selon l’environnement.

‘[Below right] montre que, sur SWE-bench Verified, Kimi-K3 emprunte régulièrement un détour : il rédige ce qu’il croit être la correction initiale du projet, puis l’abandonne. ‘

Résultats des tests comparant le nombre de jetons gaspillés dans différents environnements d’exécution d’agents d’IA. À gauche : proposer davantage d’outils n’augmente pas nécessairement le gaspillage. À droite : Kimi-K3 tente à plusieurs reprises d’appliquer une prétendue correction logicielle initiale, puis l’abandonne, quel que soit l’environnement, mais le fait rarement pour un autre type de tâche.

Pour remédier au problème, les auteurs suggèrent que les environnements d’exécution des agents détectent les cas où les restrictions de l’environnement rendent toute progression impossible, communiquent clairement ces limites au modèle d’IA et interrompent l’exécution, plutôt que de laisser des tentatives infructueuses répétées consommer davantage de jetons. Ils proposent également d’utiliser leurs mesures du gaspillage de jetons pour améliorer l’entraînement des modèles, les stratégies de raisonnement et la conception des environnements d’exécution.

Méthode

Pour reconstituer l’activité d’un agent d’IA, les chercheurs ont suivi chaque échange entre le modèle et le logiciel qui le contrôlait, en enregistrant son raisonnement, ses réponses, ses demandes d’utilisation d’outils et le coût en jetons — avec un niveau de détail variable selon le fournisseur : Kimi-K3 révèle l’intégralité de son processus de raisonnement, Gemini 3.1 Pro n’en fournit que des résumés, et Claude n’en expose rien.

Les résultats de chaque outil étaient transmis à l’agent, ce qui a permis aux chercheurs de suivre le processus jusqu’à son terme ou jusqu’à ce qu’il atteigne sa limite de fonctionnement.

Quatre exemples de la manière dont les agents d’IA utilisent les jetons. Répéter des informations déjà connues, effectuer des recherches identiques et ajouter des excuses inutiles sont considérés comme du gaspillage, tandis qu’une recherche infructueuse ne constitue pas nécessairement un gaspillage, car l’agent pouvait avoir de bonnes raisons de la tenter.

Les requêtes des agents transitaient par un serveur mandataire afin de suivre leur activité ; seules des modifications mineures du code étaient nécessaires, et chaque requête était étiquetée avec son test de référence, son exécution, sa tâche et son essai (à l’exception d’OpenClaw, qui ne prend pas en charge ces étiquettes : dans ce cas, un serveur mandataire distinct, basé sur LiteLLM, était utilisé pour chaque test).

Quatre mécanismes

L’étude définit le gaspillage de jetons à partir de quatre schémas récurrents : Répétition (répéter des informations déjà connues) ; Requêtes en double (répéter des demandes d’outils inutiles) ; Remplissage (ajouter du texte sans pertinence) ; et Détour (suivre des pistes plausibles, mais finalement improductives).

Chaque session enregistrée a été examinée par un LLM faisant office de juge (LLMaJ**), auquel étaient fournis la tâche d’origine, l’enregistrement complet et les critères permettant de repérer les quatre formes de gaspillage. Les éléments de gaspillage présumés ont été signalés et supprimés, puis les jetons restants ont été recomptés afin de calculer la proportion et le coût du gaspillage. Les décomptes ont ensuite été vérifiés à l’aide des tokeniseurs ou outils de comptage propres à chaque fournisseur, ainsi que des données d’utilisation en sortie communiquées (seules de légères différences de formatage ayant été signalées).

Tests

Les modèles évalués dans le cadre de l’étude étaient Kimi-K3 ; Gemini 3.1 Pro ; GPT-5.6 Terra ; GPT-6 Astra ; Claude Sonnet 5 ; et Claude Fable 5.1. Ils ont été testés sur les bancs d’essai τ²-bench (service client dans les secteurs aérien et de la vente au détail) ; SWE-bench Verified (génie logiciel) ; Claw-Eval ; et MCP-Atlas (utilisation d’outils à usage général).

En outre, Kimi-K3 a été testé à différents niveaux de raisonnement, et cinq environnements d’exécution d’agents ont été comparés : OpenCode ; OpenClaw ; OpenHands ; Hermes ; et Kimi Code CLI. Ces dernières comparaisons ont servi à évaluer l’influence des modèles, des tâches, de l’effort de raisonnement et de la conception de l’environnement d’exécution sur le gaspillage de jetons (et, lors de tests supplémentaires, à vérifier l’effet sur les performances de la suppression des éléments de gaspillage présumés).

Pour déterminer combien d’argent était gaspillé par chaque modèle, le coût du texte et des appels d’outils superflus a été comparé au coût total des sorties, puis les résultats ont été moyennés sur les quatre bancs d’essai. Le raisonnement interne a été évalué séparément pour Kimi-K3, le seul modèle à exposer l’intégralité de son processus de raisonnement :

Résultats des tests comparant les coûts des sorties gaspillées pour six modèles d’IA, moyennés sur quatre bancs d’essai. À gauche : taux global de gaspillage, le raisonnement interne de Kimi-K3 étant présenté séparément. À droite : taux de gaspillage pour les tâches réussies et échouées ; les échecs entraînent généralement davantage de gaspillage.

Comme le montre le graphique ci-dessus, entre 11 % et 24,9 % des sommes dépensées pour générer des réponses et utiliser des outils ont été considérées comme gaspillées ; GPT-6 Astra s’en est le mieux sorti et Claude Sonnet 5 le moins bien. Pour Kimi-K3, environ un jeton sur six était gaspillé dans les réponses et l’utilisation d’outils, une proportion qui dépassait un sur quatre dans son raisonnement interne.

Le gaspillage était généralement plus important lorsque les tâches échouaient, bien que l’inverse ait été observé pour le raisonnement de Kimi-K3. Rien ne démontrait clairement que consacrer davantage de jetons à des travaux inutiles augmentait les chances de réussite.

Lors d’un autre test, on a tenté de réduire les jetons gaspillés pendant que l’IA travaillait : à chaque étape, un juge IA** supprimait les répétitions et le texte inutile du raisonnement du modèle avant que la tâche puisse se poursuivre :

Résultats des tests montrant l’effet de la suppression du raisonnement inutile de l’IA sur les taux de réussite de deux bancs d’essai. La suppression de 41 à 46 % du raisonnement a peu affecté les performances, tandis que la suppression de tout le raisonnement a entraîné beaucoup plus d’échecs.

Sur SWE-bench Verified, 41 % du raisonnement a été supprimé sans perte de performance ; le taux de réussite a même légèrement augmenté, passant de 89 % à 89,5 %. Sur MCP-Atlas, 46 % du raisonnement a été supprimé et le taux de réussite n’a que modestement baissé, passant de 65 % à 62,3 %.

Autrement dit, près de la moitié du raisonnement pouvait être éliminée pendant que l’IA travaillait, sans nuire gravement à sa capacité à mener la tâche à bien.

Enfin^†, Kimi-K3 a été testé sur des tâches identiques avec différents environnements d’exécution d’agents. Le volume de raisonnement produit variait alors de plus d’un facteur quatre, sans amélioration constante des performances, comme le montre le graphique ci-dessous :

Résultats des tests comparant la consommation de jetons de Kimi-K3 dans différents environnements d’exécution d’agents, sur deux bancs d’essai. Le raisonnement interne apparaît en bleu, et les réponses et appels d’outils en orange. Pour les tâches de programmation, Mini-SWE a généré plus de quatre fois plus de raisonnement que Hermes.

Une partie du gaspillage était due à des erreurs logicielles élémentaires. OpenCode, Kimi Code CLI et OpenClaw ont lancé les tests de programmation dans le mauvais environnement Python, provoquant des erreurs et de nouvelles tentatives.

Conclusion

Ce n’est qu’un aperçu d’un article dont la longueur et la méthode minutieuse pourraient justifier une lecture plus approfondie.

Le sujet m’a fait penser à quelque chose qui me préoccupe souvent : le gouffre entre ce que nous comprenons réellement de ces processus et ce qu’en comprennent les fournisseurs de modèles de pointe, ainsi que l’empressement des entreprises à présenter le produit comme s’il avait passé les trois derniers mois dans un outil d’analyse statique et en était ressorti avec les honneurs.

Dans l’état actuel des choses, pour le moment, nous ne pouvons nous en prendre qu’à nous-mêmes si les résultats sont mauvais, car nous achetons un produit dont presque tous savent qu’il est profondément expérimental et imprévisible.

* Avec des contributions explicitement présentées comme égales de la part de University of Illinois Urbana-Champaign, Northeastern University, University of California (Los Angeles) et d’un chercheur indépendant.

* À ma connaissance, l’article ne précise pas quel modèle a été utilisé.

^†Pour cet article, et non pour l’étude, qui est plus longue que ce que je m’autorise habituellement à traiter et contient davantage de tests et d’analyses approfondies que nous ne pouvons en présenter ici. Pour plus de détails, veuillez consulter le PDF source, accessible via le lien ci-dessus.

Première publication le vendredi 6 novembre 2026