Pour réduire les coûts de l’IA, commencez par les dépenses cloud

L’IA a peut-être atteint son plus grand désordre.

Alors qu’une pénurie mondiale de matériel entre en collision avec une demande massive, les coûts de l’IA ont explosé. Dans une ruée pour plus de calcul, les sociétés de services d’IA n’ont eu d’autre choix que d’augmenter leurs prix et de réviser leurs modèles de facturation, faisant dérailler les budgets et stopper l’innovation alors que de nombreuses organisations venaient de trouver leur rythme.

Le résultat est plus qu’un choc de prix : c’est une crise existentielle pour un monde des affaires qui vient de subir un changement majeur. Les entreprises ont révisé leurs feuilles de route pour tenir compte de l’impact de l’IA. Les équipes ont réorganisé leurs flux de travail en fonction des capacités de l’IA. La mise en œuvre de l’IA est devenue le principal facteur de différenciation concurrentielle des organisations. L’IA a fait son entrée sur le marché, déclenchant une transformation massive, et maintenant, les équipes sont invitées à faire marche arrière alors qu’elles commençaient à peine à l’exploiter.

Des entreprises comme Uber ont fait les gros titres en imposant des limites agressives à l’utilisation de l’IA pour endiguer le flux. Mais même si les limites d’utilisation peuvent être une mesure efficace de réduction des coûts, elles ne sont pas la seule façon dont les entreprises peuvent réduire leurs dépenses de calcul.

Le premier endroit où elles devraient regarder est leur facture cloud.

Cela peut sembler contre-intuitif. Alors que la formule a toujours été que plus de puissance de calcul équivaut à plus d’impact de l’IA, cela ne signifie pas nécessairement qu’elle soit plus efficace. Les entreprises saignent à blanc leur budget pour les services d’IA tout en continuant à s’appuyer sur une infrastructure surdimensionnée et surévaluée ; l’augmentation des coûts de l’IA expose simplement un problème profondément enraciné que les entreprises ne peuvent plus ignorer.

Comment les dépenses cloud s’accumulent

Les dépenses en infrastructure informatique sont souvent le deuxième poste de dépenses le plus important d’une organisation après les coûts de personnel, représentant en moyenne 10 % du chiffre d’affaires annuel d’une entreprise – un chiffre que la demande d’IA a fait exploser au cours des dernières années. Mais beaucoup ajoutent du volume à un cadre informatique déjà surdimensionné.

Les DSI et les autres décideurs technologiques sont attirés par ce qui est familier et fiable. Malheureusement, c’est aussi ce qui fait exploser leurs factures cloud. En adoptant ce qui est éprouvé, ils se retrouvent piégés dans des accords coûteux et uniques avec les grands hyperscalers, pour lesquels ils paient des solutions qui ne génèrent pas de valeur.

Au fil du temps, ils se rendent compte qu’ils paient pour des services inutilisés ou inactifs, du matériel non optimisé et un stockage vide, alors qu’ils pourraient investir cet argent dans l’innovation de l’IA. Alors que l’IA ne cesse de devenir plus coûteuse, ils auront besoin de chaque dollar qu’ils pourront obtenir.

Adapter l’infrastructure pour l’efficacité de l’IA

Contrôler la dispersion des ressources cloud nécessite une combinaison d’action aiguë et de court terme et d’évolution à long terme. Résoudre ce qui est soluble aujourd’hui donne aux entreprises la marge de manœuvre nécessaire pour planifier des réajustements plus importants au cours de l’année à venir.

La transition vers une nouvelle infrastructure prend du temps, et les organisations ont besoin de solutions maintenant pour que leurs équipes puissent continuer à travailler avec l’IA. Voici trois étapes que les entreprises peuvent prendre immédiatement pour moduler leurs dépenses cloud :

1 – Analyser l’utilisation de la CPU et de la mémoire

Il existe une chose telle que « trop » de performances. Les équipes informatiques devraient effectuer un diagnostic approfondi de l’utilisation des services cloud, puis déclasser les instances qui dépassent les exigences de performances. Une analyse approfondie de l’utilisation du cloud aide également les équipes à découvrir les fonctionnalités et l’infrastructure qui ne sont pas utilisées du tout ; si leur contrat actuel le permet, elles peuvent être en mesure de décommissionner ces services ou de négocier un paiement inférieur pour le reste du contrat. Sinon, l’identification des fonctionnalités inutilisées fournit un cadre précieux pour déterminer les paramètres de leur approche cloud réconfigurée.

Alors que les entreprises modifient leur stratégie d’infrastructure, elles voudront opter pour des services cloud qui économisent l’utilisation de la mémoire. Par exemple, les infrastructures optimisées pour la mémoire et les vCPUs offrent un soutien plus abordable pour le support d’entreprise de niveau entreprise par rapport aux optimisations basées sur Arm typiquement proposées par les hyperscalers. Cela soulage une partie de la charge de surveillance des équipes informatiques tout en diminuant simultanément les dépenses cloud globales.

2 – Fixer des limites de dépenses strictes

Les limites de dépenses et d’utilisation ont été la réponse du secteur technologique aux hausses de prix de l’IA, mais ce n’est pas seulement la fixation de ces limites qui compte. C’est la façon dont ces limites sont définies, communiquées et appliquées.

Tout d’abord, les limites de dépenses doivent être spécifiques à l’utilisation. Les dirigeants devraient être en mesure de les utiliser comme guide pour la planification de projet et la ressource, leur permettant de structurer les budgets, les délais et les équipes de projet individuelles avec une perspective d’efficacité.

En ce qui concerne la communication, il est crucial que l’ensemble de la main-d’œuvre comprenne le pourquoi des limites. Nous sommes habitués à voir le numérique comme l’infini, mais à ce stade de l’essor de l’IA, nous sommes confrontés aux lois de la physique. Alors que les pénuries et les changements de facturation affectent les flux de travail quotidiens des employés, les limites de dépenses doivent être présentées comme un moyen durable de maintenir leur nouvelle dépendance à l’égard des outils alimentés par l’IA, plutôt que comme une restriction.

3 – Appliquer les protocoles de marquage

Les protocoles de marquage empêchent l’utilisation non gérée de l’informatique qui fait augmenter les coûts de calcul. Avec un code de marquage robuste, les dirigeants informatiques peuvent mieux comprendre le trafic des services cloud, permettant aux équipes de cibler la source de l’utilisation excessive et d’apporter des ajustements stratégiques pour réduire les ressources là où se produit l’augmentation. Dans le même temps, les protocoles de marquage peuvent également montrer où les équipes peuvent avoir besoin d’une mise à niveau.

Lorsque leurs contrats cloud existants expirent, les entreprises ont l’occasion de restructurer leur écosystème de calcul avec une approche cloud composite et multivendor. Cela ne signifie pas nécessairement abandonner leurs partenaires hyperscalers de longue date, mais réduire leurs contrats pour les harmoniser avec une infrastructure plus efficace ailleurs dans la pile. Les solutions alternatives, les solutions de pointe qui déchargent la charge sur les infrastructures basées sur GPU, et les solutions logicielles open source constituent une stratégie multivendor flexible qui fait plus que simplement économiser des coûts : elle augmente le retour sur investissement de chaque initiative d’IA en maximisant le prix pour les performances, permettant ainsi aux entreprises d’investir les économies dans l’innovation de l’IA.

Rebrancher la culture de l’efficacité

La gestion des dépenses d’IA est également une question de culture. Les forces de travail alimentées par l’IA sont remarquablement obsédées par l’efficacité. C’est pourquoi elles construisent des agents, automatisent leurs communications et laissent l’IA effectuer les tâches fastidieuses pendant qu’elles étendent leur capacité à la créativité et à l’innovation. Mais une utilisation irresponsable de ces outils a l’effet inverse.

Le « tokenmaxxing » et d’autres tendances qui encouragent une utilisation gaspilleuse de l’IA sont incompatibles avec un biais en faveur de l’efficacité. Si les équipes veulent vraiment faire plus avec moins, leurs interactions avec l’IA devraient refléter ce principe.

Cela nécessite de modifier la culture et la technologie en tandem. Encourager l’utilisation de meilleures invites pour réduire la charge d’inférence, mais également adopter une infrastructure qui économise automatiquement l’inférence. Adopter des modèles d’IA plus petits avec des cas d’utilisation précis. Adopter des modèles et des logiciels open source pour réduire les charges de formation. Donner aux développeurs les moyens de résoudre les problèmes de manière efficace et éduquer les utilisateurs non techniques de l’IA. Les entreprises qui veulent encourager leurs employés à utiliser l’IA doivent le faire de manière responsable.

Malgré les hausses de prix, nous n’avons pas freiné la transformation de l’IA. La mise en œuvre de l’IA à grande échelle était toujours destinée à être une entreprise coûteuse, nécessitant une planification soigneuse et une allocation stratégique de capital pour rester durable. Où nous sommes, c’est un point de pression : les mouvements que les dirigeants informatiques font maintenant détermineront qui passera et qui sera laissé pour compte.

Alors que l’industrie se mobilise pour résoudre la crise de calcul qui se profile, les entreprises doivent trouver des moyens de faire avec ce qu’elles ont. Les entreprises peuvent se protéger contre les dépenses astronomiques d’IA en réduisant les dépenses excessives pour les solutions cloud, en économisant l’inférence à travers un cloud distribué et en investissant dans une infrastructure qui favorise un véritable retour sur investissement.