För att minska AI-kostnader, börja med molnutgifter

AI:s så kallade “messy middle” har kanske nått sin största röra hittills.

När en global hårdvarukris krockar med massiv efterfrågan, har AI-kostnaderna skjutit i höjden. I en jakt på mer beräkningskraft har AI-tjänsteföretag varit tvungna att höja priserna och revidera sina faktureringsmodeller, vilket har kastat budgetar ur balans och satt innovationen på paus just när många organisationer äntligen hade kommit igång.

Resultatet är mer än bara en chock för plånboken: det är en existentiell kris för en affärsvärld som precis har fått en chock. Företag har omstrukturerat sina vägkartor för att ta hänsyn till AI:s påverkan. Team har omorganiserat sina arbetsflöden i linje med AI-kapaciteterna. AI-aktivering har blivit organisationernas främsta konkurrensfördel. AI gick in på scenen, startade en massiv transformation och nu får teamen order om att dra tillbaka när de precis har börjat operationalisera det.

Företag som Uber har hamnat i rubrikerna för att sätta aggressiva tak för AI-användning för att stoppa utgifterna. Men medan användningsbegränsningar kan vara ett effektivt sätt att minska kostnaderna, är det inte det enda sättet som företag kan minska sina utgifter för beräkningar.

Det första stället de bör titta är sin molnräkning.

Det verkar kontraintuitivt. Medan formeln alltid har varit att mer beräkningskraft motsvarar mer AI-påverkan, betyder det inte nödvändigtvis att det är mer effektivt. Företag blöder sina budgetar till AI-tjänster medan de fortfarande förlitar sig på för stor och överprissatt infrastruktur; de stigande AI-kostnaderna exponerar bara ett djupt rotat problem som företag inte längre kan ignorera.

Hur molnutgifter ackumuleras

IT-infrastrukturutgifter är ofta en organisations näst största utgift efter personal, och utgör i genomsnitt 10% av ett företags årliga omsättning – en siffra som AI-efterfrågan har drivit uppåt under de senaste åren. Men många lägger till volym till en redan överbläddrig IT-ram.

CTO:er och andra tekniska beslutsfattare dras till vad som är bekant och pålitligt. Tyvärr är det också det som driver upp deras molnräkningar. Genom att omfamna det beprövade, låser de sig fast i dyra standardavtal med stora molntjänstleverantörer där de betalar för lösningar som inte genererar värde.

Med tiden upptäcker de att de betalar för outnyttjade eller inaktiva tjänster, ooptimerad maskinvara och tom lagring, när de kunde investera det pengarna i AI-innovation. Med AI som blir allt dyrare, behöver de varje dollar de kan få.

Rätt storlek på infrastruktur för AI-effektivitet

Att få molnspridningen under kontroll kräver en kombination av akuta, kortsiktiga åtgärder och långsiktiga förändringar. Att tackla det som är lösbart idag ger företagen andrum för att planera större omstruktureringar under det kommande året.

Att gå över till ny infrastruktur tar tid, och organisationer behöver lösningar nu så att deras team kan fortsätta arbeta med AI. Här är tre steg som företag kan ta omedelbart för att reglera sin molnutgift:

1 – Analysera CPU- och minnesanvändning

Det finns sådant som “för mycket” prestanda. IT-team bör genomföra en grundlig diagnos av molntjänstanvändning, sedan nedgradera instanser som överstiger prestandakraven. En djupdykning i molnanvändning hjälper också team att upptäcka funktioner och infrastruktur som inte används alls; om deras nuvarande avtal tillåter, kan de kanske avveckla dessa tjänster eller förhandla om en lägre betalning under resten av avtalet. Annars ger identifiering av outnyttjade funktioner en värdefull ram för att bestämma parametrarna för deras omkonfigurerade molntillvägagångssätt.

När företag förändrar sin infrastrukturstrategi, vill de välja molntjänster som sparar minnesanvändning. Till exempel erbjuder minnesoptimerad infrastruktur och vCPUs mer prisvärd support för företagsklassad support jämfört med de Arm-baserade optimeringarna som vanligtvis erbjuds av molntjänstleverantörer. Detta lindrar en del av övervakningsbördan från IT-team medan det samtidigt minskar den totala molnutgiften.

2 – Sätt strikta utgiftsgränser

Utgifts- och användningsgränser har varit teknikindustrins immunreaktion på AI-prishöjningar, men det är inte bara att sätta gränserna som är viktigt. Det är hur dessa gränser definieras, kommuniceras och tillämpas.

Till att börja med bör utgiftsgränserna vara användningsspecifika. Ledare bör kunna använda dem som en guide för projektplanering och resurssättning, vilket gör att de kan strukturera budgetar, tidslinjer och enskilda projektteam med tanke på effektivitet.

När det gäller kommunikation är det avgörande att hela arbetsstyrkan förstår varför utgiftsgränserna finns. Vi är vana vid att se det digitala som det oändliga, men i denna fas av AI-boomen står vi inför fysikens lagar. När brist och faktureringsförändringar påverkar anställdas dagliga arbetsflöden, bör utgiftsgränserna presenteras som ett hållbart sätt att upprätthålla deras nya beroende av AI-verktyg, snarare än en begränsning.

3 – Tillämpa taggningsprotokoll

Taggningsprotokoll förhindrar ohanterad IT-användning som smygande driver upp beräkningskostnaderna. Med ett robust taggningskod kan IT-ledare få en bättre förståelse för molntjänsttrafik, vilket gör att team kan identifiera källan till överanvändning och göra strategiska justeringar för att minska resurser där det finns svullnad. Samtidigt kan taggningsprotokoll också visa var team kan behöva en uppgradering.

När deras befintliga molnavtal går ut, har företagen möjligheten att omstrukturera sin beräkningsmiljö med en sammansatt, multmolnansats. Detta behöver inte nödvändigtvis betyda att de överger sina långvariga molntjänstpartners, men snarare minskar sina avtal för att harmonisera med mer effektiv infrastruktur på andra ställen i stacken. Alternativa moln, kantslösningar som avlastar belastningen på GPU-baserad infrastruktur, och öppen källkod-lösningar utgör en flexibel, multileverantörsstrategi som inte bara sparar kostnader, utan också ökar ROI för varje AI-initiativ genom att maximera prisprestanda, vilket gör att företagen kan investera besparingarna tillbaka i AI-innovation.

Omstrukturera effektivitetsmentaliteten

Att hantera AI-utgifter är också en kulturfråga. AI-aktiverade arbetsstyrkor är notoriskt fixerade vid effektivitet. Det är därför de bygger agenter, automatiserar sin kommunikation och låter AI göra det tunga arbetet medan de utvidgar sin kapacitet för kreativitet och innovation. Men ansvarsfull användning av dessa verktyg har den motsatta effekten.

“Tokenmaxxing” och andra trender som uppmuntrar slösaktig AI-användning är oförenliga med en bias mot effektivitet. Om team vill verkligen göra mer med mindre, bör deras interaktioner med AI spegla den principen.

Det kräver en förändring av kultur och teknik i takt. Uppmuntra användningen av bättre prompter för att minska inferensbelastningen, men anta också infrastruktur som automatiskt sparar inferens. Anta mindre AI-modeller med precisa användningsfall. Embracer öppen källkod-modeller och programvara för att minska utbildningsarbetsbelastningen. Ge utvecklare möjlighet att lösa problem effektivt och utbilda icke-tekniska AI-användare. Företag som vill uppmuntra sina anställda att använda AI måste göra det på ett ansvarsfullt sätt.

Trots prishöjningar har vi inte bromsat AI-transformationen. Att operationalisera AI i stor skala var alltid en dyr historia som krävde noggrann planering och strategisk kapitalallokering för att förbli hållbar. Där vi är nu är en knäckpunkt: de drag IT-ledare gör nu kommer att avgöra vem som kommer igenom och vem som blir kvar.

Medan branschen mobiliserar för att lösa den växande beräkningskrisen, måste företagen hitta sätt att klara sig med vad de har. Företag kan skydda sig mot astronomiska AI-utgifter genom att minska utgifterna för molnlösningar, spara inferens över en distribuerad moln och investera i infrastruktur som främjar verklig ROI.