Per ridurre i costi dell’AI, inizia con le spese cloud

Il cosiddetto “messy middle” dell’AI potrebbe aver raggiunto il suo massimo disordine.

Mentre una carenza di hardware globale si scontra con una domanda massiccia, i costi dell’AI sono schizzati alle stelle. Nella corsa per ottenere più potenza di calcolo, le società di servizi AI hanno dovuto aumentare i prezzi e rivedere i loro modelli di fatturazione, gettando i budget fuori equilibrio e bloccando l’innovazione proprio mentre molte organizzazioni stavano finalmente raggiungendo il loro obiettivo.

Il risultato è più che uno shock da parte dei prezzi: è una crisi esistenziale per un mondo aziendale che ha appena subito un’impatto. Le aziende hanno rivisto i loro piani di sviluppo per tenere conto dell’impatto dell’AI. I team hanno riorganizzato i loro flussi di lavoro in linea con le capacità dell’AI. L’abilitazione dell’AI è diventata il principale fattore di differenziazione competitiva delle organizzazioni. L’AI è entrata nel mercato, innescando una trasformazione massiccia, e ora i team sono stati invitati a ridurre la loro attività proprio quando hanno appena iniziato a operare.

Aziende come Uber hanno fatto notizia per aver imposto limiti aggressivi all’utilizzo dell’AI per arginare la spesa. Ma mentre i limiti di utilizzo possono essere un’efficace misura di riduzione dei costi, non sono l’unico modo in cui le aziende possono ridurre la spesa per il calcolo.

Il primo posto in cui dovrebbero guardare è la loro bolletta cloud.

Sembra controintuitivo. Mentre la formula è sempre stata che più potenza di calcolo significa più impatto dell’AI, ciò non significa necessariamente che sia più efficiente. Le aziende stanno perdendo i loro budget per i servizi di AI mentre continuano a fare affidamento su un’infrastruttura sovradimensionata e troppo costosa; i costi crescenti dell’AI stanno semplicemente esponendo un problema profondamente radicato che le aziende non possono più ignorare.

Come si accumula la spesa cloud

La spesa per l’infrastruttura IT è spesso il secondo maggior voce di spesa di un’azienda dopo il costo del personale, rappresentando in media il 10% del fatturato annuo di un’azienda – una cifra che la domanda di AI ha spinto verso l’alto negli ultimi anni. Ma molti stanno aggiungendo volume a un quadro IT già gonfiato.

I CTO e gli altri responsabili tecnici sono attratti da ciò che è familiare e affidabile. Purtroppo, questo è anche ciò che sta facendo salire le loro bollette cloud. Accettando il provato e il vero, si bloccano in accordi costosi one-size-fits-all con i principali hyperscaler, dove pagano per soluzioni che non generano valore.

Nel tempo, si ritrovano a pagare per servizi inutilizzati o inattivi, hardware non ottimizzato e archiviazione vuota, quando potrebbero investire quei soldi nell’innovazione dell’AI. Con l’AI che diventa sempre più costosa, avranno bisogno di ogni dollaro che possono ottenere.

Ridimensionare l’infrastruttura per l’efficienza dell’AI

Per controllare la dispersione cloud è necessaria una combinazione di azione acuta e a breve termine e di evoluzione a lungo termine. Affrontare ciò che è risolvibile oggi dà alle aziende il respiro necessario per pianificare riaggiustamenti più grandi nel prossimo anno.

La transizione a una nuova infrastruttura richiede tempo e le aziende hanno bisogno di soluzioni ora in modo che i loro team possano continuare a lavorare con l’AI. Ecco tre passaggi che le aziende possono intraprendere immediatamente per modulare la loro spesa cloud:

1 – Analizzare l’utilizzo di CPU e memoria

C’è una cosa come “troppa” prestazione. I team IT dovrebbero condurre una diagnosi approfondita dell’utilizzo dei servizi cloud, quindi declassare le istanze che superano i requisiti di prestazione. Un’analisi approfondita dell’utilizzo cloud aiuta anche i team a scoprire funzionalità e infrastrutture che non vengono utilizzate affatto; se il loro contratto attuale lo consente, potrebbero essere in grado di dismettere questi servizi o negoziare un pagamento inferiore per il resto del contratto. Altrimenti, l’identificazione di funzionalità non utilizzate fornisce un quadro prezioso per determinare i parametri del loro approccio cloud riorganizzato.

Mentre le aziende cambiano la loro strategia di infrastruttura, vorranno optare per servizi cloud che economizzano l’utilizzo della memoria. Ad esempio, l’infrastruttura ottimizzata per la memoria e le vCPU offrono un supporto più economico per il supporto di livello aziendale rispetto alle ottimizzazioni basate su Arm tipicamente offerte dagli hyperscaler. Ciò allevia parte del carico di monitoraggio dai team IT, riducendo allo stesso tempo la spesa cloud complessiva.

2 – Stabilire limiti di spesa rigorosi

I limiti di spesa e di utilizzo sono stati la risposta del settore tecnologico ai rincari dei prezzi dell’AI, ma non è solo impostare i limiti che conta. È come vengono definiti, comunicati e applicati quei limiti.

Innanzitutto, i limiti di spesa dovrebbero essere specifici per l’uso. I leader dovrebbero essere in grado di utilizzarli come guida per la pianificazione del progetto e la risorsa, consentendo loro di strutturare i budget, i tempi e i team di progetto individuali con una mentalità rivolta all’efficienza.

Per quanto riguarda la comunicazione, è fondamentale che l’intera forza lavoro comprenda il perché dei limiti. Siamo abituati a vedere il digitale come infinito, ma in questa fase del boom dell’AI, siamo di fronte alle leggi della fisica. Mentre le carenze e i cambiamenti nella fatturazione influiscono sui flussi di lavoro quotidiani dei dipendenti, i limiti di spesa dovrebbero essere presentati come un modo sostenibile per mantenere la loro nuova dipendenza dagli strumenti alimentati dall’AI, piuttosto che come una restrizione.

3 – Applicare protocolli di etichettatura

I protocolli di etichettatura impediscono l’utilizzo non gestito di IT che aumenta di nascosto le spese di calcolo. Con un codice di etichettatura robusto, i leader IT possono ottenere una migliore comprensione del traffico dei servizi cloud, consentendo ai team di individuare la fonte dell’eccesso di utilizzo e apportare regolazioni strategiche per ridurre le risorse dove si verifica l’eccesso. Allo stesso tempo, i protocolli di etichettatura possono anche mostrare dove i team potrebbero aver bisogno di un upgrade.

Mentre i loro contratti cloud esistenti scadono, le aziende hanno l’opportunità di ristrutturare il loro ecosistema di calcolo con un approccio composito e multicloud. Ciò non significa necessariamente abbandonare i loro partner hyperscaler di lunga data, ma ridimensionare i loro contratti per armonizzarli con un’infrastruttura più efficiente altrove nella pila. Soluzioni cloud alternative, soluzioni edge che scaricano lo strain su infrastrutture basate su GPU e soluzioni software open source costituiscono una strategia flessibile e multivendor che fa più che semplicemente risparmiare costi: aumenta il ROI di ogni iniziativa di AI massimizzando il prezzo per le prestazioni, consentendo alle aziende di investire poi i risparmi nella innovazione dell’AI.

Ricablare la mentalità dell’efficienza

La gestione della spesa dell’AI è anche una questione di cultura. Le forze lavoro abilitate dall’AI sono notoriamente ossessionate dall’efficienza. È per questo che stanno costruendo agenti, automatizzando le loro comunicazioni e lasciando che l’AI faccia il lavoro di routine mentre estendono la loro capacità di creatività e innovazione. Ma l’utilizzo irresponsabile di questi strumenti ha l’effetto opposto.

Il “tokenmaxxing” e altre tendenze che incoraggiano l’utilizzo spreco dell’AI sono incompatibili con un bias verso l’efficienza. Se i team vogliono realmente fare di più con meno, le loro interazioni con l’AI dovrebbero riflettere quel principio.

Ciò richiede un cambio di cultura e tecnologia in tandem. Incoraggiare l’uso di prompt migliori per ridurre il carico di inferenza, ma anche adottare un’infrastruttura che economizza automaticamente l’inferenza. Adottare modelli di AI più piccoli con casi d’uso precisi. Abbracciare modelli e software open source per ridurre i carichi di lavoro di formazione. Potenziare gli sviluppatori per risolvere problemi in modo efficiente ed educare gli utenti non tecnici di AI. Le aziende che vogliono incoraggiare i loro dipendenti a utilizzare l’AI devono farlo in modo responsabile.

Nonostante i rincari dei prezzi, non abbiamo ancora frenato la trasformazione dell’AI. L’operatività dell’AI su larga scala era sempre destinata a essere un’impresa costosa, richiedendo una pianificazione attenta e un’allocation strategica di capitali per rimanere sostenibile. Dove siamo è un punto di pressione: le mosse che i leader IT fanno ora determineranno chi passerà e chi rimarrà indietro.

Mentre l’industria si mobilita per risolvere la crisi di calcolo in corso, le aziende devono trovare modi per fare con quello che hanno. Le aziende possono proteggersi contro le spese astronomiche dell’AI affrontando la spesa eccessiva per le soluzioni cloud, economizzando l’inferenza su un cloud distribuito e investendo in un’infrastruttura che promuove un ROI reale.