Nouvelles recherches mettent en question la tarification « par jeton » pour les conversations avec l’IA

De nouvelles recherches montrent que la façon dont les services d’IA facturent par jetons cache le coût réel aux utilisateurs. Les fournisseurs peuvent augmenter discrètement les frais en gonflant les comptes de jetons ou en insérant des étapes cachées. Certains systèmes exécutent des processus supplémentaires qui n’affectent pas la sortie mais qui apparaissent néanmoins sur la facture. Des outils d’audit ont été proposés, mais sans véritable surveillance, les utilisateurs sont laissés pour compte, payant plus qu’ils ne le réalisent.

Dans presque tous les cas, ce que nous, en tant que consommateurs, payons pour les interfaces de conversation alimentées par l’IA, telles que ChatGPT-4o, est actuellement mesuré en jetons: des unités de texte invisibles qui passent inaperçues lors de l’utilisation, mais qui sont comptabilisées avec une précision exacte pour les fins de facturation; et bien que chaque échange soit facturé en fonction du nombre de jetons traités, l’utilisateur n’a pas de moyen direct de confirmer le décompte.

Malgré notre compréhension (au mieux) imparfaite de ce que nous obtenons pour notre unité de « jeton » achetée, la facturation basée sur les jetons est devenue l’approche standard chez les fournisseurs, reposant sur ce qui peut s’avérer être une hypothèse d’assurance précaire.

Mots de jeton

Un jeton n’est pas tout à fait la même chose qu’un mot, bien qu’il joue souvent un rôle similaire, et la plupart des fournisseurs utilisent le terme « jeton » pour décrire de petites unités de texte telles que des mots, des signes de ponctuation ou des fragments de mots. Le mot ‘incroyable’, par exemple, pourrait être compté comme un seul jeton par un système, tandis qu’un autre pourrait le diviser en in, croy et able, avec chaque pièce augmentant le coût.

Ce système s’applique à la fois au texte que l’utilisateur saisit et à la réponse du modèle, le prix étant basé sur le nombre total de ces unités.

La difficulté réside dans le fait que les utilisateurs ne voient pas ce processus. La plupart des interfaces ne montrent pas les comptes de jetons pendant qu’une conversation a lieu, et la façon dont les jetons sont calculés est difficile à reproduire. Même si un décompte est affiché après une réponse, il est trop tard pour déterminer s’il était équitable, créant un décalage entre ce que l’utilisateur voit et ce qu’il paie.

Des recherches récentes mettent en évidence des problèmes plus profonds: une étude montre comment les fournisseurs peuvent facturer plus cher sans jamais enfreindre les règles, simplement en gonflant les comptes de jetons de manière que l’utilisateur ne puisse pas voir; une autre révèle le décalage entre ce que les interfaces affichent et ce qui est facturé, laissant les utilisateurs avec l’illusion d’efficacité où il n’y en a peut-être pas; et une troisième expose comment les modèles génèrent régulièrement des étapes de raisonnement internes qui ne sont jamais montrées à l’utilisateur, mais qui apparaissent néanmoins sur la facture.

Les résultats décrivent un système qui semble précis, avec des nombres exacts impliquant de la clarté, mais dont la logique sous-jacente reste cachée. Que ce soit par conception ou par défaut structurel, le résultat est le même: les utilisateurs paient plus qu’ils ne peuvent voir, et souvent plus qu’ils ne s’y attendent.

Plus rentable à la douzaine?

Dans la première de ces études – intitulée Votre LLM vous facture-t-il trop? Tokenisation, transparence et incitations, de quatre chercheurs de l’Institut Max Planck pour les systèmes logiciels – les auteurs soutiennent que les risques de facturation basée sur les jetons vont au-delà de l’opacité, pointant vers une incitation intégrée pour les fournisseurs à gonfler les comptes de jetons:

‘Le cœur du problème réside dans le fait que la tokenisation d’une chaîne n’est pas unique. Par exemple, considérons que l’utilisateur soumet la invite “Où se tiendra la prochaine NeurIPS?” au fournisseur, le fournisseur l’alimente dans un LLM, et le modèle génère la sortie “|San| Diego|” composée de deux jetons.

‘Puisque l’utilisateur est inconscient du processus génératif, un fournisseur intéressé a la capacité de signaler de manière malhonnête la tokenisation de la sortie à l’utilisateur sans même modifier la chaîne sous-jacente. Par exemple, le fournisseur pourrait simplement partager la tokenisation “|S|a|n| |D|i|e|g|o|” et facturer l’utilisateur pour neuf jetons au lieu de deux!’

L’article présente une heuristique capable de réaliser ce type de calcul malhonnête sans altérer la sortie visible, et sans enfreindre la plausibilité dans les paramètres de décodage typiques. Testé sur des modèles de la série LLaMA, Mistral et Gemma, en utilisant des invites réelles, la méthode atteint des surcoûts mesurables sans apparaître anormaux:

Inflation de jetons à l’aide d’une ‘déclaration plausible’. Chaque panneau montre le pourcentage de jetons surtaxés résultant de l’application par un fournisseur de l’algorithme 1 aux sorties de 400 invites LMSYS, selon divers paramètres d’échantillonnage (m et p). Toutes les sorties ont été générées à une température de 1,3, avec cinq répétitions par paramètre pour calculer les intervalles de confiance à 90 %. Source: https://arxiv.org/pdf/2505.21627

Pour résoudre le problème, les chercheurs préconisent une facturation basée sur le compte de caractères plutôt que sur les jetons, en faisant valoir que cette approche est la seule qui donne aux fournisseurs une raison de signaler honnêtement l’utilisation, et en soutenant que si l’objectif est une tarification équitable, alors lier le coût aux caractères visibles, et non aux processus cachés, est la seule option qui résiste à l’examen. La facturation basée sur les caractères, selon eux, supprimerait l’incitation à signaler de manière malhonnête tout en récompensant les sorties plus concises et plus efficaces.

Il y a ici un certain nombre de considérations supplémentaires, cependant (dans la plupart des cas concédées par les auteurs). Premièrement, le schéma de facturation basé sur les caractères proposé introduit une logique commerciale supplémentaire qui peut favoriser le vendeur plutôt que le consommateur:

‘[Un] fournisseur qui ne signale pas de manière malhonnête a une incitation claire à générer la séquence de jetons de sortie la plus courte possible, et à améliorer les algorithmes de tokenisation actuels tels que BPE, de sorte qu’ils compressent la séquence de jetons de sortie autant que possible’

Le motif optimiste ici est que le vendeur est ainsi encouragé à produire des sorties concises et plus significatives et précieuses. Dans la pratique, il existe évidemment des moyens moins vertueux pour un fournisseur de réduire le décompte de texte.

Deuxièmement, il est raisonnable de supposer, selon les auteurs, que les entreprises devraient probablement disposer d’une législation pour passer du système de jetons archaïque à une méthode de facturation plus claire et basée sur le texte. Plus tard, un nouveau startup peut décider de se différencier en lançant son produit avec ce type de modèle de tarification; mais quiconque possède un produit réellement compétitif (et opérant à une échelle inférieure à celle de la catégorie EEE) est dissuadé de le faire.

Enfin, les algorithmes malhonnêtes tels que ceux proposés par les auteurs viendraient avec leur propre coût de calcul; si le coût de calcul d’une « majoration » dépassait le bénéfice potentiel, le système n’aurait clairement aucune valeur. Cependant, les chercheurs soulignent que leur algorithme proposé est efficace et économique.

Les auteurs fournissent le code de leurs théories sur GitHub.

Le commutateur

La deuxième étude – intitulée Jetons invisibles, factures visibles: Le besoin urgent d’auditer les opérations cachées dans les services LLM opaques, de chercheurs de l’Université du Maryland et de Berkeley – soutient que les incitations mal alignées dans les API de modèles de langage commerciaux ne sont pas limitées à la division de jetons, mais s’étendent à des classes entières d’opérations cachées.

Ces dernières incluent des appels de modèles internes, une raisonnement spéculatif, l’utilisation d’outils et des interactions entre agents – qui peuvent tous être facturés à l’utilisateur sans visibilité ni recours.

Tarification et transparence des API de raisonnement LLM auprès des principaux fournisseurs. Tous les services répertoriés facturent aux utilisateurs des jetons de raisonnement internes cachés, et aucun ne rend ces jetons visibles au moment de l’exécution. Les coûts varient considérablement, avec le modèle o1-pro d’OpenAI facturant dix fois plus par million de jetons que Claude Opus 4 ou Gemini 2.5 Pro, malgré une opacité égale. Source: https://www.arxiv.org/pdf/2505.18471

Contrairement à la facturation conventionnelle, où la quantité et la qualité des services sont vérifiables, les auteurs soutiennent que les plateformes LLM d’aujourd’hui fonctionnent dans l’opacité structurelle: les utilisateurs sont facturés en fonction des jetons et de l’utilisation de l’API signalés, mais n’ont aucun moyen de confirmer que ces mesures reflètent un travail réel ou nécessaire.

L’article identifie deux formes clés de manipulation: l’inflation de quantité, où le nombre de jetons ou d’appels est augmenté sans bénéfice pour l’utilisateur; et la dégradation de la qualité, où des modèles ou des outils de performance inférieure sont silencieusement utilisés à la place de composants premium:

‘Dans les API de raisonnement LLM, les fournisseurs maintiennent souvent plusieurs variantes de la même famille de modèles, différant par leur capacité, leurs données d’entraînement ou leur stratégie d’optimisation (par exemple, ChatGPT o1, o3). La dégradation du modèle fait référence au remplacement silencieux de modèles à faible coût, qui peuvent introduire un décalage entre la qualité de service attendue et la qualité de service réelle.

‘Par exemple, une invite peut être traitée par un modèle de taille plus petite, tandis que la facturation reste inchangée. Cette pratique est difficile à détecter pour les utilisateurs, car la réponse finale peut toujours apparaître plausible pour de nombreuses tâches.’

L’article documente des cas où plus de 90 % des jetons facturés n’ont jamais été montrés aux utilisateurs, avec une inflation de l’utilisation des jetons d’un facteur supérieur à vingt. Justifiée ou non, l’opacité de ces étapes nie aux utilisateurs toute base pour évaluer leur pertinence ou leur légitimité.

Dans les systèmes agents, l’opacité augmente, car les échanges internes entre les agents d’IA peuvent chacun engendrer des frais sans affecter de manière significative la sortie finale:

‘Au-delà de la raison internationale, les agents communiquent en échangeant des invites, des résumés et des instructions de planification. Chaque agent interprète à la fois les entrées des autres et génère des sorties pour guider le flux de travail. Ces messages inter-agents peuvent consommer des jetons importants, qui sont souvent non visibles pour les utilisateurs finaux.

‘Tous les jetons consommés lors de la coordination des agents, y compris les invites générées, les réponses et les instructions liées aux outils, ne sont généralement pas affichés à l’utilisateur. Lorsque les agents eux-mêmes utilisent des modèles de raisonnement, la facturation devient encore plus opaque’

Pour faire face à ces problèmes, les auteurs proposent un cadre d’audit en couches impliquant des preuves cryptographiques d’activité interne, des marqueurs vérifiables d’identité de modèle ou d’outil, et une surveillance indépendante. La préoccupation sous-jacente, cependant, est structurelle: les schémas de facturation LLM actuels dépendent d’une asymétrie d’information persistante, laissant les utilisateurs exposés à des coûts qu’ils ne peuvent pas vérifier ou décomposer.

Compter l’invisible

La dernière étude, menée par des chercheurs de l’Université du Maryland, reformule le problème de facturation non pas comme une question d’abus ou de déclaration malhonnête, mais de structure. L’article – intitulé CoIn: Compter les jetons de raisonnement invisibles dans les API LLM commerciales opaques, et rédigé par dix chercheurs de l’Université du Maryland – observe que la plupart des services LLM commerciaux cachent désormais la raison intermédiaire qui contribue à la réponse finale d’un modèle, mais facturent toujours pour ces jetons.

L’article soutient que cela crée une surface de facturation non observable où des séquences entières peuvent être fabriquées, injectées ou gonflées sans détection*:

‘[Ceci] invisibilité permet aux fournisseurs de signaler de manière malhonnête les comptes de jetons ou de injecter des jetons de raisonnement à faible coût et fabriqués pour gonfler artificiellement les comptes de jetons. Nous appelons cette pratique inflation de jetons.

‘Par exemple, une seule exécution ARC-AGI à haute efficacité sur le modèle o3 d’OpenAI a consommé 111 millions de jetons, coûtant 66 772,3 $. Étant donné cette échelle, même de petites manipulations peuvent avoir un impact financier important.

‘Une telle asymétrie d’information permet aux entreprises d’IA de facturer considérablement plus cher aux utilisateurs, sapant ainsi leurs intérêts.’

Pour contrer cette asymétrie, les auteurs proposent CoIn, un système d’audit tiers conçu pour vérifier les jetons cachés sans révéler leur contenu, et qui utilise des empreintes digitales hachées et des vérifications sémantiques pour détecter les signes d’inflation.

Vue d’ensemble du système d’audit CoIn pour les LLM commerciaux opaques. Le panneau A montre comment les embeddings de jetons de raisonnement sont hachés dans un arbre de Merkle pour la vérification du décompte de jetons sans révéler le contenu des jetons. Le panneau B illustre les vérifications de validité sémantique, où des réseaux de neurones légers comparent les blocs de raisonnement avec la réponse finale. Source: https://arxiv.org/pdf/2505.13778

Un composant vérifie les comptes de jetons de manière cryptographique à l’aide d’un arbre de Merkle; l’autre évalue la pertinence du contenu caché en comparant celui-ci à l’intégration de la réponse. Cela permet aux auditeurs de détecter le rembourrage ou l’irrélevance – des signes que les jetons sont injectés simplement pour gonfler la facture.

Lorsqu’il est déployé dans des tests, CoIn a atteint un taux de détection de près de 95 % pour certaines formes d’inflation, avec une exposition minimale des données sous-jacentes. Bien que le système dépende toujours de la coopération volontaire des fournisseurs et ait une résolution limitée dans les cas limites, son point plus large est incontestable: l’architecture même de la facturation LLM actuelle suppose une honnêteté qui ne peut pas être vérifiée.

Conclusion

Outre l’avantage de gagner de l’argent avant le paiement, un système de scrip (comme le système « buzz » de CivitAI) aide à abstraire les utilisateurs de la valeur réelle de la monnaie qu’ils dépensent, ou de la marchandise qu’ils achètent. De même, donner à un vendeur la latitude de définir ses propres unités de mesure laisse le consommateur dans l’ignorance de ce qu’il dépense réellement, en termes d’argent réel.

Comme l’absence d’horloges à Las Vegas, de telles mesures sont souvent destinées à rendre le consommateur imprudent ou indifférent au coût.

Le jeton peu compris, qui peut être consommé et défini de tant de manières, n’est peut-être pas une unité de mesure appropriée pour la consommation de LLM – ne serait-ce que parce qu’il peut coûter beaucoup plus de jetons pour calculer un résultat LLM moins bon dans une langue non anglaise, par rapport à une session basée sur l’anglais.

Cependant, la sortie basée sur les caractères, telle que suggérée par les chercheurs de l’Institut Max Planck, favoriserait probablement des langues plus concises et pénaliserait les langues naturellement prolixes. Puisque des indications visuelles telles qu’un compteur de jetons en dépréciation nous rendraient probablement un peu plus dépensiers dans nos sessions LLM, il est peu probable que de telles ajouts d’interface utilisateur utiles soient apportés prochainement – du moins sans action législative.

* Emphases des auteurs. Ma conversion des citations en ligne des auteurs en hyperliens.

Publié pour la première fois le jeudi 29 mai 2025