Pentru a reduce costurile cu IA, începeți cu cheltuielile pentru cloud

Așa-zisul „mijloc murdar” al IA ar fi putut lovi cea mai mare mizerie.

În timp ce o criză globală de hardware se ciocnește cu o cerere masivă, costurile IA au explodat. Într-o goană pentru mai multă putere de calcul, companiile de servicii IA au avut nimic altceva de făcut decât să-și majoreze prețurile și să-și revizuiască modelele de facturare, aruncând bugetele în aer și deraiază inovația exact când multe organizații abia își găseau ritmul.

Rezultatul este mai mult decât șocul prețului: este o criză existențială pentru o lume a afacerilor care a avut efectiv una. Companiile și-au reorganizat planurile pentru a se adapta la impactul IA. Echipele și-au reorganizat fluxurile de lucru în conformitate cu capacitățile IA. Activarea IA a devenit principalul diferențiator competitiv al organizațiilor. IA a intrat pe scenă, declanșând o transformare masivă, și acum echipele sunt rugate să se retragă când abia începuseră să o operaționalizeze.

Companii precum Uber au făcut titluri pentru că au impus limite agresive pentru utilizarea IA pentru a opri fluxul. Dar, în timp ce limitele de utilizare pot fi o măsură eficientă de reducere a costurilor, nu sunt singura modalitate prin care companiile pot reduce cheltuielile pentru calcul.

Primul loc unde ar trebui să caute este factura lor de cloud.

Pare contraintuitiv. În timp ce formula a fost întotdeauna că mai multă putere de calcul înseamnă mai mult impact IA, acest lucru nu înseamnă neapărat că este mai eficient. Întreprinderile sângerează bugetele lor pentru serviciile IA, în timp ce încă se bazează pe infrastructuri supradimensionate și supraevaluate; creșterea costurilor IA expune o problemă profund înrădăcinată pe care întreprinderile nu o mai pot ignora.

Cum se acumulează cheltuielile pentru cloud

Cheltuielile pentru infrastructura IT sunt adesea al doilea cel mai mare post din bugetul unei organizații, după cheltuielile cu personalul, reprezentând în medie 10% din veniturile anuale ale unei afaceri – o cifră pe care cererea de IA a dus-o spre cer în ultimii ani. Dar mulți adaugă volum la un cadru IT deja umflat.

CTO-ii și alți decidenți tehnici sunt atrași de ceea ce este familiar și de încredere. Din nefericire, acesta este și ceea ce face facturile lor de cloud să explodeze. Prin îmbrățișarea a ceea ce este încercat și adevărat, se blochează în contracte scumpe de tip „una pentru toți” cu hyperscaleri, unde plătesc pentru soluții care nu generează valoare.

În timp, descoperă că plătesc pentru servicii neutilizate sau inactive, hardware neoptimizat și stocare goală, când ar putea investi banii în inovația IA. Cu IA devenind tot mai scumpă, vor avea nevoie de fiecare dolar pe care îl pot obține.

Re dimensionarea infrastructurii pentru eficiența IA

Pentru a controla cheltuielile pentru cloud, este necesară o combinație de acțiune acută pe termen scurt și evoluție pe termen lung. Abordarea a ceea ce este soluționabil astăzi oferă întreprinderilor spațiu de respirație pentru a planifica ajustări mai mari în următorul an.

Trecerea la o nouă infrastructură necesită timp, iar organizațiile au nevoie de soluții acum, astfel încât echipele lor să poată continua să lucreze cu IA. Iată trei pași pe care întreprinderile îi pot face imediat pentru a-și modula cheltuielile pentru cloud:

1 – Analizați utilizarea CPU și a memoriei

Există un lucru ca „prea multă” performanță. Echipele IT ar trebui să efectueze o diagnosticare amănunțită a utilizării serviciilor cloud, apoi să degradeze instanțele care depășesc cerințele de performanță. O analiză profundă a utilizării cloud ajută, de asemenea, echipele să descopere caracteristici și infrastructuri care nu sunt utilizate deloc; dacă contractul lor actual permite, ar putea să decomisioneze aceste servicii sau să negocieze o plată mai mică pe perioada rămasă a contractului. În orice caz, identificarea caracteristicilor neutilizate oferă un cadru valoros pentru determinarea parametrilor abordării cloud reconfigurate.

Pe măsură ce întreprinderile își schimbă strategia de infrastructură, vor dori să opteze pentru servicii cloud care economisesc utilizarea memoriei. De exemplu, infrastructura optimizată pentru memorie și vCPUs oferă suport mai accesibil pentru suportul de nivel întreprindere în comparație cu optimizările bazate pe Arm oferite în mod normal de hyperscaleri. Acest lucru reduce o parte din povara de monitorizare de la echipele IT, în timp ce scade, de asemenea, cheltuielile totale pentru cloud.

2 – Setarea unor limite stricte de cheltuieli

Limitele de cheltuieli și utilizare au fost răspunsul industriei tehnologiei la majorările de preț ale IA, dar nu este vorba doar de stabilirea limitelor. Este vorba despre modul în care aceste limite sunt definite, comunicate și impuse.

Mai întâi, limitele de cheltuieli ar trebui să fie specifice utilizării. Liderii ar trebui să poată utiliza aceste limite ca ghid pentru planificarea proiectelor și a resurselor, permițându-le să structureze bugete, termene și echipe de proiect cu o mentalitate orientată spre eficiență.

În ceea ce privește comunicarea, este esențial ca întreaga forță de muncă să înțeleagă de ce există limite. Suntem obișnuiți să vedem digitalul ca fiind infinit, dar în această fază a boom-ului IA, ne confruntăm cu legile fizicii. Pe măsură ce penuriile și modificările facturării afectează fluxurile de lucru zilnice ale angajaților, limitele de cheltuieli ar trebui să fie poziționate ca o modalitate durabilă de a menține noua lor dependență de uneltele bazate pe IA, mai degrabă decât o restricție.

3 – Impunerea protocolului de etichetare

Protocolul de etichetare previne utilizarea necontrolată a IT care crește în mod ascuns cheltuielile de calcul. Cu un cod de etichetare robust, liderii IT pot obține o înțelegere mai bună a traficului de servicii cloud, permițând echipelor să vizeze sursa supracheltuielilor și să facă ajustări strategice pentru a reduce resursele acolo unde se întâmplă umflătura. În același timp, protocolul de etichetare poate arăta și unde echipele ar putea avea nevoie de o actualizare.

Pe măsură ce contractele cloud existente expiră, întreprinderile au ocazia de a-și restructura ecosistemul de calcul cu o abordare componibilă, multi-cloud. Acest lucru nu înseamnă neapărat abandonarea partenerilor lor hyperscaleri de lungă durată, ci reducerea contractelor pentru a se armoniza cu infrastructuri mai eficiente din altă parte a stivei. Soluțiile alternative cloud, soluțiile de tip edge care descarcă presiunea de pe infrastructura bazată pe GPU și soluțiile software open-source alcătuiesc o strategie flexibilă, multi-vânzător care face mai mult decât să salveze doar costuri: crește ROI-ul fiecărei inițiative IA, maximizând prețul pentru performanță, permițând întreprinderilor să investească economiile înapoi în inovația IA.

Reconectarea minții eficiente

Managementul cheltuielilor IA este, de asemenea, o problemă de cultură. Forțele de muncă activate de IA sunt remarcabile prin obsesia lor pentru eficiență. De aceea, construiesc agenți, automatizează comunicările și lasă IA să facă munca de rutină, în timp ce își extind capacitatea de creativitate și inovare. Dar utilizarea irațională a acestor instrumente are efectul opus.

„Tokenmaxxing” și alte tendințe care încurajează utilizarea risipitoare a IA sunt incompatibile cu o predispoziție către eficiență. Dacă echipele vor să facă realmente mai mult cu mai puțin, interacțiunile lor cu IA ar trebui să reflecte acest principiu.

Acest lucru necesită o schimbare a culturii și tehnologiei în tandem. Încurajați utilizarea unor prompturi mai bune pentru a reduce încărcătura de inferență, dar adoptați și infrastructuri care economisesc automat inferența. Adoptați modele IA mai mici cu cazuri de utilizare precise. Îmbrățișați modelele și soluțiile software open-source pentru a reduce sarcinile de antrenament. Empower developerii să rezolve problemele în mod eficient și educați utilizatorii non-tehnici ai IA. Companiile care doresc să încurajeze angajații să utilizeze IA trebuie să o facă în mod responsabil.

În ciuda majorărilor de preț, nu am oprit transformarea IA. Operaționalizarea IA la scară largă a fost întotdeauna o întreprindere scumpă, care necesită o planificare atentă și o alocare strategică a capitalului pentru a rămâne durabilă. Unde suntem acum este un punct de strângere: mișcările pe care le fac liderii IT în acest moment vor determina cine trece prin punctul de strângere și cine rămâne în urmă.

În timp ce industria se mobilizează pentru a rezolva criza de calcul care se apropie, întreprinderile trebuie să găsească modalități de a face față cu ceea ce au. Companiile pot se proteja împotriva cheltuielilor astronomice cu IA prin abordarea cheltuielilor excesive pentru soluțiile cloud, economisind inferența pe un cloud distribuit și investind în infrastructuri care promovează un ROI real.