Pourquoi le coût des jetons ne permet pas de savoir si l’IA d’entreprise fonctionne

L’IA d’entreprise suit un cycle bien connu. Au début, les organisations ont misé à fond sur la technologie et choisi les modèles les plus grands et les plus performants, car celle-ci suscitait l’enthousiasme et que la facture ne s’était pas encore présentée. Lorsqu’elle est arrivée, la réaction a été tout aussi prévisible : les équipes ont commencé à rationner l’accès, à réduire les expérimentations et à chercher des modèles moins coûteux.

Ali Ghodsi, cofondateur et PDG de Databricks, a décrit les débuts de ce cycle comme une « maximisation des jetons », où la consommation d’un plus grand nombre de jetons est considérée comme un signe de progrès. L’étape la plus importante est celle de la « maximisation de la valeur », qui consiste à comprendre ce que ces dépenses permettent d’accomplir et à les consacrer aux tâches qui comptent.

Il ne s’agit pas simplement de donner un nouveau nom à l’optimisation des coûts. Celle-ci consiste à se demander comment une organisation peut dépenser moins, tandis que la maximisation de la valeur vise à déterminer comment tirer davantage de ce qu’elle dépense. Cette distinction prendra une importance croissante à mesure que l’IA passera des expérimentations isolées aux activités quotidiennes des entreprises.

Le modèle le plus puissant n’est pas toujours le bon

De nombreuses organisations ont lancé leurs programmes d’IA en utilisant le modèle le plus puissant disponible pour presque toutes les tâches. Cette approche était pertinente au début de la phase expérimentale, lorsque les équipes cherchaient à comprendre ce que la technologie pouvait faire et que les capacités du modèle comptaient davantage que la prévisibilité.

À mesure que les déploiements se sont développés, toutefois, il est devenu difficile de justifier le coût d’un modèle de pointe pour chaque requête. Certaines organisations ont réagi en limitant l’accès ou en demandant aux équipes de réduire leur activité, mais des restrictions générales peuvent freiner les expérimentations utiles autant que les véritables gaspillages.

Une approche plus mûre se dessine. Les équipes commencent à associer des modèles plus petits et spécialisés aux tâches courantes, tout en réservant les modèles plus performants aux tâches qui exigent un raisonnement complexe ou dont l’échec aurait un coût élevé. À terme, certaines organisations pourraient aussi déployer des modèles dans leur propre infrastructure afin de mieux maîtriser les coûts, les performances et les données sensibles.

La question importante n’est pas de savoir si un grand ou un petit modèle est préférable. Il s’agit de déterminer si le modèle convient à la tâche et si le résultat justifie le coût total de sa production.

Les jetons mesurent l’activité, pas la valeur

La plupart des tableaux de bord d’IA d’entreprise sont axés sur la consommation. Ils indiquent combien de jetons ont été utilisés, quels modèles les ont traités et combien l’organisation a dépensé. Ces chiffres sont nécessaires, mais ils ne révèlent pas si le travail a produit un résultat utile.

Une équipe qui consomme deux fois plus de jetons ne crée pas nécessairement deux fois plus de valeur. Elle peut traiter des tâches plus difficiles, utiliser un modèle inutilement puissant ou s’appuyer sur un agent qui relance sans cesse des tâches ayant échoué. Une charge de travail dont les coûts liés aux modèles sont élevés peut tout de même constituer un excellent investissement si elle évite des pannes, règle des problèmes rencontrés par les clients ou fait gagner aux employés des heures précieuses.

Le même problème existe depuis des années dans l’observabilité, mais il concerne les gigaoctets plutôt que les jetons. Les équipes ont commencé par tout collecter, car une visibilité maximale semblait être la stratégie la plus sûre. Lorsque les factures de stockage et de traitement ont augmenté, elles se sont mises à échantillonner les données, à réduire leur durée de conservation et à supprimer du contexte pour maîtriser les dépenses.

Dans les deux cas, la réaction à la hausse des coûts a souvent consisté à réduire l’activité. Les organisations doivent plutôt pouvoir déterminer quelles activités sont utiles, lesquelles sont superflues et lesquelles pourraient gagner en efficacité sans compromettre le résultat.

Le coût réel ne se limite pas à l’inférence

Un appel à un modèle ne représente que rarement l’intégralité de la charge de travail liée à l’IA. Avant de produire une réponse, un agent peut récupérer des documents, interroger une base de données, rechercher des données de télémétrie, appeler des services externes et générer de nouvelles opérations dans les applications ou l’infrastructure.

Prenons l’exemple d’un agent chargé de déterminer pourquoi la latence du processus de paiement a augmenté après un déploiement. Il pourrait examiner les journaux, comparer les métriques, inspecter les traces, récupérer les enregistrements du déploiement et analyser les services en aval. Si sa première hypothèse ne se confirme pas, il pourrait modifier la période étudiée, rechercher les services sous d’autres noms et explorer plusieurs autres causes possibles.

Une seule instruction humaine peut ainsi générer des centaines d’opérations effectuées par des machines. Ces opérations consomment de la puissance de calcul, des ressources d’entrée-sortie de stockage, de la capacité réseau et des quotas d’API tierces, qui peuvent ne pas apparaître dans le tableau de bord des dépenses liées aux modèles de l’organisation.

Un modèle apparemment peu coûteux peut donc prendre en charge un flux de travail onéreux. Un modèle plus performant peut coûter davantage par appel, mais parvenir à la bonne conclusion en moins d’étapes, ce qui nécessite moins de nouvelles tentatives et moins d’infrastructure de soutien. La seule façon d’effectuer cette comparaison consiste à observer la tâche dans son intégralité.

Relier l’activité, les coûts et les résultats

La maximisation de la valeur exige que les organisations relient trois types d’informations qui sont souvent mesurés séparément.

Le premier élément est l’activité de l’IA : choix des modèles, consommation de jetons, latence, appels aux outils, nouvelles tentatives et branches parallèles. Le deuxième est le coût de l’infrastructure et le coût financier générés par cette activité, notamment le calcul, le stockage, l’utilisation du réseau, la charge des bases de données et les frais liés aux API externes. Le troisième est le résultat, qui doit indiquer si le travail a été mené à bien et si quelqu’un l’a jugé utile.

Il n’est pas nécessaire de traduire chaque résultat en un montant exact en dollars. Un indicateur pratique peut suffire : par exemple, savoir si une réponse a été acceptée, si une personne a dû refaire le travail, si un incident a été résolu plus rapidement ou si un processus automatisé s’est achevé sans intervention.

Par exemple, une enquête sur un incident qui génère des centaines de requêtes peut en valoir la peine si elle aide les ingénieurs à rétablir un service critique 30 minutes plus tôt. Un processus beaucoup plus modeste peut malgré tout être un gaspillage s’il produit un rapport que personne ne lit. La consommation de jetons, à elle seule, ne permet pas de faire la différence entre les deux.

Dès lors que les organisations peuvent relier l’activité aux résultats, elles peuvent décider en connaissance de cause où utiliser des modèles de pointe, où des modèles plus petits suffisent et où un processus doit être repensé.

La visibilité ne devrait pas exiger de renoncer au contrôle

Comprendre la valeur de l’IA nécessite d’accéder à des données contextuelles sensibles. Les prompts, les réponses générées, le code source, les informations sur les clients et la télémétrie de production peuvent tous faire partie d’un même processus.

Les organisations ne devraient pas avoir à exporter ces informations vers un service externe simplement pour comprendre les performances de leurs systèmes d’IA. Les prompts et le contexte de production qui rendent les mesures utiles peuvent contenir les mêmes informations que les équipes chargées de la sécurité, de la confidentialité et de la conformité ne peuvent pas laisser sortir de l’environnement de l’organisation.

Les dirigeants d’entreprise devraient donc se demander où sont traitées leurs données d’IA et d’observabilité, qui peut y accéder, combien de temps elles sont conservées et si l’analyse peut être effectuée dans le périmètre de sécurité déjà en place. Une bonne gouvernance repose sur la visibilité, mais celle-ci ne doit pas créer un nouveau problème de contrôle des données.

En maintenant l’analyse à proximité des données sous-jacentes, il est également plus facile de relier l’activité de l’IA aux applications, aux infrastructures et aux processus métier qu’elle affecte. Cette vision d’ensemble permet aux équipes de comprendre non seulement ce qu’elles ont dépensé, mais aussi ce que ces dépenses leur ont apporté.

Optimiser la valeur, pas le volume

Les organisations qui réussiront la prochaine étape de l’IA en entreprise ne seront pas nécessairement celles qui utilisent le plus de jetons ou dépensent le moins. Ce seront celles qui sauront déterminer quels modèles et quelles charges de travail produisent des résultats significatifs, puis s’appuyer sur ces informations pour orienter leur déploiement.

Pour cela, il faut aller au-delà des tableaux de bord qui présentent isolément les coûts des modèles. Les équipes doivent pouvoir observer l’ensemble du parcours, de la demande de l’utilisateur aux appels aux modèles, aux outils, à l’infrastructure et au résultat final, tout en protégeant les informations sensibles par des contrôles organisationnels adaptés.

Tokenmaxxing a constitué une étape utile, car cette approche a encouragé l’expérimentation et révélé le potentiel de l’IA. Valuemaxxing est la discipline qui doit lui succéder : elle associe visibilité, coûts et résultats afin que les organisations puissent continuer à expérimenter sans perdre le contrôle de leurs dépenses ni de leurs données.

L’IA en entreprise n’a pas besoin de prendre moins d’ampleur simplement parce que les premières factures sont arrivées. Elle doit être déployée de manière plus réfléchie : l’effort doit être proportionné à la difficulté, les modèles adaptés aux tâches et les dépenses alignées sur une valeur mesurable.