Interviuri

Sadeepa Wijesekara, vicepreședinte pentru Private Cloud AI la HPE – serie de interviuri

Antoine Tardif
Adaugă Unite.AI la sursele tale preferate pe Google
Sadeepa Wijesekara, Vice President of Private Cloud AI at HPE
Puncte cheieEconomia IA devine o disciplină de business doar atunci când proiectele pilot se…
Vezi mai mult
  • Economia IA devine o disciplină de business doar atunci când proiectele pilot se scalează în producție și finanțele se alătură conversației.
  • Costul pe token măsoară consumul, în timp ce costul pe rezultat de business dezvăluie dacă investiția are de fapt sens.
  • Fluxurile de lucru agentice pot multiplica dramatic consumul de tokeni chiar în timp ce prețurile inferenței continuă să scadă.

Sadeepa Wijesekara este vicepreședinte pentru Private Cloud AI la Hewlett Packard Enterprise (HPE), unde coordonează activitatea privind software-ul și platformele de inteligență artificială pentru companii, destinate mediilor de cloud privat. Printre prioritățile sale se numără sprijinirea organizațiilor în implementarea sigură a inteligenței artificiale la scară largă și corelarea deciziilor privind infrastructura cu nevoile afacerii. El abordează din perspectivă inginerească aspectele economice ale utilizării inteligenței artificiale în producție, inclusiv gestionarea sarcinilor de lucru, selectarea modelelor și costurile necesare pentru a menține fiabilitatea sistemelor tot mai autonome.

Hewlett Packard Enterprise (HPE) oferă tehnologii pentru companii în domenii precum inteligența artificială, cloudul, rețelistica, calculul și stocarea. Portofoliul său Private Cloud AI sprijină organizațiile care implementează sarcini de lucru bazate pe inteligență artificială pe infrastructuri pe care le controlează, alături de servicii de cloud hibrid și servicii externe. În acest interviu, Wijesekara discută de ce cheltuielile pentru inteligența artificială ar trebui evaluate în funcție de rezultatele de business, cum influențează fluxurile de lucru bazate pe agenți consumul și ce factori financiari și operaționali determină deciziile privind modelele, orchestrarea și infrastructura.

HPE a extins utilizarea inteligenței artificiale în rândul a peste 70.000 de angajați. Ce v-a învățat această experiență despre momentul în care aspectele economice ale inteligenței artificiale nu mai țin doar de IT și devin o preocupare mai amplă a întregii companii?

Aspectele economice ale inteligenței artificiale devin o disciplină de business mai amplă atunci când companiile trec de la proiecte-pilot la producție. Un proiect-pilot poate arăta dacă inteligența artificială poate îndeplini o sarcină, dar poate ascunde ineficiențele, deoarece numărul de utilizatori este mic. Când treci de la 10 utilizatori la 10.000, trebuie să iei în calcul costul, latența și fiabilitatea, înțelegând totodată valoarea creată de inteligența artificială. În acel moment, discuția trebuie să-i includă pe cei din departamentul financiar și pe liderii responsabili de procesele de business susținute de inteligența artificială. Departamentul IT poate măsura resursele consumate de o aplicație, însă liderii de business trebuie să stabilească dacă rezultatele justifică investiția.

Multe organizații se concentrează încă în mare măsură pe indicatori precum costul per token atunci când evaluează inteligența artificială generativă. De ce considerați că un cost calculat per rezultat de business este un indicator mai relevant și cum ar trebui companiile să-l calculeze în practică?

Costul per token îți arată câtă inteligență artificială ai consumat, dar nu și dacă utilizarea respectivă a produs un rezultat util. Companiile ar trebui mai întâi să definească rezultatul de business și apoi să calculeze costul total necesar pentru a-l obține. Modelul reprezintă doar o parte din acest cost, alături de software, stocare, transferul datelor, guvernanță și personal. Compararea acestor costuri cu valoarea creată într-un anumit proces de business le oferă companiilor o imagine mai clară asupra rentabilității economice a investiției.

Pe măsură ce inteligența artificială trece de la asistenți individuali la sisteme bazate pe agenți și sisteme cu mai mulți agenți, capabile să execute secvențe lungi de sarcini, cu cât ar putea crește consumul, chiar dacă costul de bază al inferenței continuă să scadă?

Consumul poate crește foarte rapid, deoarece o singură solicitare a unui utilizator poate declanșa mult mai multă activitate în fundal. Un agent poate prelua informații și apela instrumente, parcurgând mai mulți pași înainte de a furniza un rezultat. Într-o comparație reprezentativă realizată de HPE, o interacțiune simplă cu un chatbot a folosit aproximativ 400 de tokeni, în timp ce o solicitare RAG bazată pe agenți a folosit aproximativ 21.500. Chiar dacă prețul tokenilor scade, consumul total poate crește în continuare brusc, pe măsură ce inteligența artificială preia sarcini mai complexe.

Cum ar trebui să evalueze companiile dacă un caz de utilizare a inteligenței artificiale creează cu adevărat valoare economică, în loc să ducă doar la creșterea indicatorilor de productivitate sau să genereze demonstrații impresionante?

Înainte de extinderea unui caz de utilizare, acesta ar trebui să fie asociat unui plan de afaceri cu indicatori-cheie de performanță clari. Companiile trebuie să înțeleagă cât costă procesul de business și cum se schimbă acest cost după introducerea inteligenței artificiale. De asemenea, trebuie să facă distincția între îmbunătățirea unei activități și îmbunătățirea rezultatului de business. Timpul economisit capătă mai multă valoare atunci când permite soluționarea unui număr mai mare de probleme ale clienților, reducerea erorilor sau finalizarea unor activități care altfel ar fi rămas neefectuate. Evaluarea ar trebui să țină seama de calitatea rezultatului și de eventualele verificări suplimentare sau refaceri necesare. O demonstrație reușită dovedește o capacitate; îmbunătățirile măsurabile ale procesului de business susțin decizia de a o extinde. În unele cazuri, analiza poate arăta că inteligența artificială nu este soluția potrivită.

Direcționarea către modele și orchestrarea inteligenței artificiale sunt tot mai des discutate ca metode de control al costurilor. Câtă valoare pot obține companiile alegând dinamic între modele mai mici, modele de frontieră, modele specializate și software tradițional, în funcție de sarcină?

Este foarte valoros să alegi modelul potrivit pentru fiecare sarcină. Am văzut companii care au trimis sarcini de lucru foarte diferite către același model costisitor de ultimă generație, deoarece prioritatea inițială era să pună AI în funcțiune. Acest lucru poate fi gestionabil când numărul de utilizatori este mic, însă costurile cresc rapid pe măsură ce utilizarea se extinde. Un model de ultimă generație poate fi potrivit pentru raționamente complexe, în timp ce un model mai mic poate fi suficient pentru o sarcină de rutină. Un model specializat poate fi mai potrivit pentru un anumit domeniu, iar o sarcină previzibilă, bazată pe reguli, poate fi gestionată mai eficient cu ajutorul software-ului tradițional. Orchestrarea ajută la integrarea acestor opțiuni într-un flux de lucru, folosind un model mai performant atunci când sarcina o cere. Pe măsură ce modelele cu ponderi deschise devin mai capabile, companiile au și mai multe posibilități de a rula anumite sarcini de lucru pe propria infrastructură, în loc să plătească pentru modele externe. La scară enterprise, aceste decizii de direcționare pot reduce semnificativ costurile, menținând totodată calitatea de care are nevoie compania.

În ce moment se schimbă economia rulării sarcinilor de lucru AI, trecând de la închirierea resurselor de calcul printr-un API sau printr-un serviciu cloud public la deținerea ori controlul unei părți mai mari din infrastructura de bază? Ce variabile ar trebui să ia în considerare companiile când iau această decizie?

Eu privesc lucrurile ca pe o alegere între a închiria și a cumpăra. Închirierea poate fi o opțiune potrivită cât timp companiile experimentează sau când cererea variază semnificativ. Pe măsură ce utilizarea crește și devine mai previzibilă, deținerea sau controlul unei părți mai mari din infrastructură poate începe să fie avantajoasă din punct de vedere economic. Deținerea infrastructurii oferă și posibilitatea de a desfășura experimente suplimentare cu AI în perioadele de utilizare redusă, valorificând mai bine o investiție deja realizată. Companiile trebuie să ia în considerare caracteristicile sarcinii de lucru, precum și costurile cu energia, administrarea și menținerea sistemelor la zi. Pentru multe companii mari, abordarea potrivită va include, cel mai probabil, atât infrastructură privată, cât și servicii externe, în funcție de sarcina de lucru.

HPE și-a extins infrastructura privată pentru AI, pe măsură ce companiile mută mai multe sarcini de lucru în producție. Unde considerați că AI-ul privat oferă cel mai mare avantaj economic în comparație cu utilizarea exclusivă a serviciilor cloud publice?

AI-ul privat poate oferi un avantaj economic semnificativ în cazul sarcinilor de lucru susținute, pentru care companiile pot utiliza eficient capacitatea pe care o dețin. Într-o analiză realizată de HPE pe baza unor ipoteze specifice privind sarcinile de lucru, costul estimat pentru HPE Private Cloud AI a fost de aproximativ 45 $ pe oră-nod, în comparație cu aproximativ 102 $ pentru o configurație echivalentă închiriată din cloud. Rezultatele vor varia în funcție de sarcina de lucru și ar trebui recalculate pentru fiecare mediu. AI-ul privat le oferă companiilor și un alt model financiar, permițând infrastructurii să devină un activ care generează valoare pentru organizație.

Agenții AI generează costuri care depășesc inferența și includ recuperarea datelor, apelurile către instrumente, monitorizarea, securitatea și guvernanța. Ce costuri este cel mai probabil ca organizațiile să le subestimeze atunci când își planifică bugetul pentru utilizarea AI agentice la scară largă?

Cred că este posibil ca firmele să subestimeze munca necesară pentru ca agenții să rămână fiabili, siguri și utili în timp. Pe lângă inferență, există costuri asociate cu recuperarea și pregătirea datelor, accesarea instrumentelor externe și transferul informațiilor între sisteme. Apelurile repetate către instrumente sau încercările nereușite pot genera cheltuieli fără ca sarcina să fie dusă la bun sfârșit. Companiile trebuie, de asemenea, să prevadă în buget evaluarea rezultatelor, monitorizarea comportamentului agenților, gestionarea permisiunilor de acces și menținerea controalelor de securitate și guvernanță. Supravegherea umană trebuie inclusă în acest calcul, inclusiv timpul pe care oamenii îl petrec analizând situațiile excepționale sau corectând erorile. Pentru a înțelege costul unei sarcini finalizate cu succes, este necesară vizibilitatea asupra întregului flux de lucru.

Ați subliniat importanța urmăririi consumului de AI în raport cu fiecare caz de utilizare în afaceri. Cum arată un cadru intern eficient de măsurare și cât de des ar trebui organizațiile să reevalueze dacă o aplicație AI mai justifică în continuare costurile de calcul și de operare?

Cadrul ar trebui să coreleze direct utilizarea cu obiectivele economice ale cazului de utilizare. Companiile trebuie să știe ce aplicație consumă resurse și ce rezultat se așteaptă să producă. La HPE, urmărim indicatorii-cheie de performanță și costurile unitare aferente fiecărui caz de utilizare, pentru a măsura dacă acesta oferă rezultatele așteptate. Aș vrea să văd această analiză și la nivelul fiecărui departament și al fiecărui proces de afaceri, astfel încât un director financiar să poată înțelege cât costă un proces în prezent, comparativ cu costul său atunci când este folosită AI. Acesta ar trebui să fie un proces continuu, deoarece utilizarea și economia unei aplicații se pot schimba în timp. De asemenea, companiile ar trebui să reevalueze situația atunci când se schimbă semnificativ un model, un preț sau un flux de lucru, deoarece aceste schimbări pot afecta atât costul, cât și valoarea unei aplicații.

Privind înainte, la un orizont de trei până la cinci ani, pe măsură ce AI devine parte integrantă a majorității proceselor de afaceri, cum credeți că va evolua economia AI în companii? Va ajunge gestionarea consumului de AI să semene cu discipline precum FinOps pentru cloud sau organizațiile vor avea nevoie de un model operațional complet nou?

Cred că economia inteligenței artificiale se va baza pe discipline FinOps precum vizibilitatea costurilor, alocarea și responsabilizarea, extinzându-le totodată pentru a măsura calitatea și valoarea muncii efectuate de AI. Pe măsură ce agenții preiau mai multe etape ale unui proces de afaceri, companiile vor trebui să înțeleagă costul finalizării cu succes a acelui proces, inclusiv reîncercările, intervenția umană și măsura în care rezultatul respectă standardul cerut. Mă aștept ca aceasta să devină o responsabilitate comună a departamentelor IT și financiar, precum și a celor care gestionează operațiunile companiei. Suntem încă la începutul stabilirii unor modalități consecvente de a face astfel de comparații între organizații și industrii. În timp, mi-aș dori să existe indicatori standard care să le permită companiilor să înțeleagă cât de eficient utilizează AI și să reflecte acest lucru în P&L.

Vă mulțumesc pentru interviul excelent; cititorii care doresc să afle mai multe despre AI în cloud privat, infrastructura pentru companii și scalarea volumelor de lucru AI ar trebui să viziteze HPE.

Antoine este un lider vizionar și partener fondator al Unite.AI, animat de o pasiune de neclintit pentru modelarea și promovarea viitorului inteligenței artificiale și al roboticii. Antreprenor care a fondat mai multe companii, el crede că IA va transforma societatea la fel de profund ca electricitatea și vorbește adesea cu entuziasm despre potențialul tehnologiilor revoluționare și al inteligenței artificiale generale (AGI).

Ca futurolog, se dedică explorării modului în care aceste inovații vor modela lumea noastră. Este, de asemenea, fondatorul Securities.io, o platformă axată pe investiții în tehnologii de vârf care redefinesc viitorul și transformă sectoare întregi.