L’IA dans l’entreprise : compter le coût total

L’IA est sortie de la théorie et de la nouveauté. Pour de nombreuses organisations, elle fait maintenant partie de l’infrastructure, aux côtés des systèmes principaux. Beaucoup de gens pensent encore qu’il s’agit principalement de LLM publics et de chatbots – quelque chose que vous pouvez utiliser et jeter lorsque vous avez fini. Considérer l’IA sous cet angle peut faire passer à côté de la gamme plus large de modèles et de techniques qui peuvent améliorer les résultats de manière plus efficace et avec moins de risques.

La vérité est que l’IA devrait être évaluée comme tout autre investissement majeur dans les infrastructures – avec une vue claire des coûts, des avantages et des risques opérationnels dès le départ. La rendre utilisable nécessite d’investir dans des pipelines de données de qualité, l’observabilité, la gouvernance et les personnes qui la maintiennent alignées sur les résultats commerciaux souhaités. Couper les coins ici, et la facture est simplement reportée à l’avenir avec des intérêts ajoutés.

Comment les coûts de l’IA s’échelonnent vraiment

Les équipes peuvent supposer que les coûts de l’IA augmentent de manière linéaire : faire deux fois plus de travail, payer deux fois plus d’argent. En réalité, les efforts, les coûts et les résultats peuvent évoluer de manière indépendante les uns des autres de manière surprenante. Demandez à un modèle d’IA de lire un long document en une seule fois, et il doit considérer chaque mot en relation avec chaque autre mot. Dans la plupart des LLM les plus populaires, cela signifie que le travail impliqué, et donc le coût, n’augmente pas de la manière dont les gens s’y attendent naturellement – doubler la saisie, doubler le coût – mais augmente plutôt grossièrement avec le carré de la longueur de la saisie. Une connaissance de fondements tels que ceux-ci peut avoir un impact réel sur la ligne de fond de tout déploiement d’IA. Si une organisation qui gère de grands volumes de texte tous les jours, un régulateur par exemple, conçoit dès le départ autour de la recherche de graphiques ou de pipelines de récupération au lieu d’envoyer des documents entiers au modèle, l’expérience de l’utilisateur final est toujours « poser une question, obtenir une réponse en quelques secondes », tout comme un chatbot public. Cela garde les dirigeants enthousiastes de l’IA heureux avec des interactions instantanées, tandis que sous la surface, le système effectue beaucoup moins de travail inutile et la facture de calcul est beaucoup plus basse en conséquence.

Comment les dépenses en IA se répartissent dans l’organisation

Les choix technologiques ne sont qu’une partie de l’histoire, le reste concerne la manière dont les organisations abordent l’IA en premier lieu. Dans de nombreuses organisations, la préparation des données relève de l’ingénierie. Les examens de conformité relèvent du juridique. Les dépenses cloud vivent avec les équipes de plateforme ou d’infrastructure. La sélection de modèle, la configuration et tout réglage fin se situent généralement avec quelques opérateurs spécialisés. Chaque groupe voit sa propre part du travail et sa propre ligne budgétaire. Les dépenses apparaissent sous forme de calcul ici, de temps de contractant là, et de temps des personnes absorbé dans « l’activité habituelle » à travers plusieurs équipes. Avec des chiffres éparpillés sur des centres de coûts, obtenir le coût total réel d’une seule initiative d’IA peut ne pas être visible dans un seul endroit et est facile à sous-estimer. Dans cet environnement, les coûts de l’IA peuvent s’envoler discrètement, simplement parce que personne ne suit le chiffre complet dans un seul endroit.

Une approche pratique de la gestion des coûts de l’IA

Éviter l’IA n’est pas la bonne décision pour les organisations, mais le traiter comme une technologie universelle ne l’est pas non plus. Une bonne stratégie consiste toujours à commencer par le résultat souhaité et à travailler à rebours. Pas tous les cas nécessitent un modèle général à grande échelle, coûteux à exécuter, et à la pointe de la technologie. De nombreux tâches peuvent être gérées par des techniques d’apprentissage automatique bien comprises qui tombent sous le parapluie de l’IA et peuvent s’exécuter sur des infrastructures existantes.

Commencez petit avec des projets pilotes qui mesurent le coût total de possession, et non seulement l’utilisation du modèle, ce qui signifie regarder le calcul, bien sûr, mais aussi le travail d’intégration, le temps d’ingénierie, les efforts de gestion du changement et les efforts de conformité. L’objectif est de choisir le modèle le plus petit et le plus simple qui donne un résultat acceptable plutôt que de supposer que « plus de modèle » signifie « plus de bénéfice ».

L’IA n’est pas une seule chose. Il s’agit d’une combinaison de techniques et d’outils qui peuvent être utilisés de différentes manières. La voir de cette façon brise le mystère autour des résultats impressionnants et permet aux entreprises de tirer parti de son pouvoir avec plus de responsabilité et d’efficacité.

Les personnes, le temps et l’IA

Chaque déploiement d’IA est en pratique une collaboration entre les personnes et les logiciels. Que cela soit reconnu formellement ou non, c’est ainsi que le travail est effectué. Le passage actuel vers plus d’IA agente – des outils qui peuvent enchaîner des étapes, appeler d’autres systèmes et agir avec moins de sollicitation – ne change pas cela, en fait, cela augmente les enjeux pour obtenir le côté humain du flux de travail correct.

Ces outils peuvent être faciles à surestimer. Lorsqu’un système présente des réponses de manière fluide et avec confiance, il est naturel pour les gens de supposer qu’il est généralement correct. Si un tel outil est introduit dans un flux de travail sans formation appropriée, des limites claires et des vérifications sensées, il peut générer discrètement un flux d’erreurs mineures. Chacune d’elles doit être découverte, comprise et corrigée par une personne. Sur le papier, l’IA semble efficace, dans la pratique, il y a un coût caché en temps humain supplémentaire passé à nettoyer après elle. Dans les environnements orientés client ou réglementés, ces petites erreurs peuvent également comporter un coût de réputation. Cependant, les outils sont livrés ou utilisés, la responsabilité de leurs sorties repose toujours sur l’organisation et, dans les termes quotidiens, sur les opérateurs humains qui les utilisent. Cela doit être explicitement compris pour que ces outils soient vraiment utiles.

Un meilleur modèle est un partenariat délibéré : des personnes compétentes restent clairement en charge des résultats, et l’IA est utilisée pour accélérer les parties du travail qui conviennent, telles que la synthèse, la rédaction, le tri et la recherche. Même si certaines vérifications et corrections sont encore nécessaires, l’effet global de l’IA bien introduite et bien gérée dans les flux de travail peut être plus de rapidité, plus de cohérence et plus de capacité que ce qu’une équipe pourrait réaliser seule.

La gouvernance dans le cadre du budget de l’IA

Même lorsque les choix techniques sont solides et que l’utilisation est efficace, une part croissante des dépenses en IA sera liée à la gouvernance plutôt qu’au calcul brut. Pour les organisations opérant dans l’UE, l’acte sur l’IA le rend clair. Il adopte une approche fondée sur les risques de l’IA et, ce qui est important, cela ne s’applique pas seulement aux produits orientés public. Les systèmes internes utilisés dans des domaines tels que l’embauche et la promotion, la gestion et la surveillance des travailleurs, et certaines décisions liées à la sécurité peuvent tomber dans le champ d’application et apporter des attentes autour de la gestion des risques, de la documentation, de la journalisation et de la surveillance humaine avec eux. D’autres régions se déplacent dans la même direction, même si les règles ont l’air légèrement différentes, la tendance générale est la même : les grandes organisations sont censées savoir où l’IA est utilisée, ce qu’elle fait et comment elle est contrôlée.

L’effet pratique de ceci est que les projets d’IA internes peuvent maintenant venir avec une charge de travail de gouvernance qui leur est propre et qui n’est pas facultative. Chaque nouvelle utilisation peut signifier une nouvelle évaluation des risques ou des impacts, une surveillance plus poussée et plus de questions de la part des équipes de conformité, d’audit ou de risque. Rien de tout cela n’apparaîtra dans les métriques d’utilisation du modèle, mais c’est un effort réel qui doit être payé.

Encore une fois, rien de tout cela n’est une raison d’éviter l’IA. C’est un rappel que le coût de fonctionnement d’un processus interne activé par l’IA n’est pas seulement le prix de l’invocation d’un modèle. La gouvernance et les attentes réglementaires font maintenant partie du coût total de possession

Où les déploiements d’IA tournent mal

Un modèle familier dans les projets d’IA est l’écart entre la manière dont un système se présente dans une démo et la manière dont il se comporte à grande échelle dans la vie réelle. Dans un environnement contrôlé, avec un ensemble étroit de questions et de données amicales, les résultats peuvent paraître parfaits. Il est facile, à ce moment-là, de supposer que le système est prêt à prendre en charge une catégorie entière de travail.

Les problèmes ont tendance à apparaître plus tard, lorsque le système est exposé à la pleine variété et au volume réel de l’utilisation : des requêtes inhabituelles, des utilisateurs stressés, des dossiers incomplets, des cas de bordure désordonnés. Les fissures qui étaient invisibles dans la démo commencent à apparaître sous la forme de réponses mal dirigées, de nuances manquées, de boucles de support, de temps de traitement plus longs et de dommages silencieux à la confiance. Les métriques internes telles que « requêtes traitées » et « temps économisé » peuvent avoir l’air bon sur le papier, mais l’expérience vécue par les utilisateurs finals peut raconter une histoire différente.

Sauter directement d’une démo polie ou d’un petit pilote où le succès dans des conditions contrôlées est considéré comme la preuve que le système est prêt pour un déploiement plus large peut être une erreur coûteuse. Dans le monde réel, les utilisateurs apportent des requêtes désordonnées, des données incomplètes et leurs propres hypothèses sur ce que l’outil peut faire. Si les attentes ne sont pas gérées et que le flux de travail autour du système n’est pas conçu avec des sauvegardes et une escalade à l’esprit, l’organisation paie deux fois : une fois pour la construction, et une autre fois pour le support supplémentaire, la révision, les plaintes et la perte de confiance. La technologie peut paraître impressionnante sur le papier, mais sans une approche pragmatique de la manière dont elle rencontre de vraies personnes et de vrais processus, le retour sur cet investissement s’érode rapidement.

L’autre côté de la médaille est que les systèmes bien conçus, avec des limites claires et une propriété humaine intégrées dès le départ, peuvent faire des choses qu’aucune équipe humaine ne pourrait gérer seule : scanner d’énormes volumes d’informations en quelques secondes, repérer des modèles sur des années de données et gérer des décisions de routine à une échelle qui serait autrement hors de portée. Le point est que pour obtenir ces avantages, les organisations doivent faire correspondre leur ambition avec une vision réaliste de la manière dont la technologie se comportera une fois qu’elle est dans le monde.

Pensées finales

Rien de tout cela n’est un argument contre l’IA. C’est un argument pour la traiter avec la même gravité qu’un autre système qui peut matériellement changer la façon dont une entreprise opère.

Lorsqu’elle est utilisée correctement, l’IA aide les petites équipes à agir à une échelle plus large, à découvrir des modèles qui seraient difficiles à repérer manuellement et à faire aller le jugement d’expert plus loin. Mais pour y arriver, il faut avoir une vue claire de l’endroit où l’IA est utilisée, de ce qu’elle coûte au total et de la manière dont elle est gérée. Cela signifie faire des choix délibérés sur les modèles et les architectures, investir dans les données et l’observabilité, et concevoir des processus où les personnes restent dans la boucle.

« Bouger vite et casser des choses » était un slogan écrit pour les équipes humaines travaillant sur des systèmes à échelle humaine : si quelque chose se cassait, vous le renversiez, le patchiez et continuiez. Une fois que l’IA est intégrée aux décisions concernant les clients, les employés ou les citoyens, la même attitude peut produire des problèmes qui se propagent plus vite, frappent plus fort et sont beaucoup plus difficiles à défaire. La rapidité compte toujours, et l’IA peut certainement aider ici, mais elle doit être assortie d’une vision claire des risques, des coûts et de la responsabilité.

Il n’y a pas de moyen de supprimer complètement le coût ou le risque. Mais il y a une différence claire entre les organisations qui s’appuient sur des expériences ad hoc et celles qui intègrent l’IA dans leurs opérations de manière mesurée, avec une visibilité de la dépense à la réussite. À travers la variété de problèmes et de résultats auxquels les organisations sont confrontées, il n’y a pas de solution unique à l’IA qui puisse les résoudre tous. L’utilisation efficace de l’IA dans l’entreprise devrait toujours être spécialisée, supervisée et soigneusement définie.