Intervjuer

Sadeepa Wijesekara, vicepresident för Private Cloud AI på HPE – intervjuserie

Antoine Tardif
Lägg till Unite.AI bland dina föredragna källor på Google
Sadeepa Wijesekara, Vice President of Private Cloud AI at HPE
Viktiga punkterAI-ekonomi blir en affärsdisciplin först när pilotprojekt skalas upp till produktion…
Visa mer
  • AI-ekonomi blir en affärsdisciplin först när pilotprojekt skalas upp till produktion och finansavdelningen deltar i samtalet.
  • Kostnad per token mäter förbrukning medan kostnad per affärsresultat visar om investeringen faktiskt är lönsam.
  • Agentiska arbetsflöden kan mångdubbla tokenförbrukningen dramatiskt även när inferenspriserna fortsätter att sjunka.

Sadeepa Wijesekara är vicepresident för Private Cloud AI på Hewlett Packard Enterprise (HPE), där han leder arbetet med AI-programvara och plattformar för företag i privata molnmiljöer. Han fokuserar bland annat på att hjälpa organisationer att driftsätta AI säkert och i stor skala, samtidigt som infrastrukturvalen kopplas till verksamhetens behov. Han bidrar med ett ingenjörsperspektiv på produktions-AI:s ekonomi, däribland hantering av arbetsbelastningar, val av modeller och kostnaderna för att hålla alltmer autonoma system tillförlitliga.

Hewlett Packard Enterprise (HPE) erbjuder företagsteknik inom AI, molntjänster, nätverk, databehandling och lagring. Företagets Private Cloud AI-portfölj hjälper organisationer att driftsätta AI-arbetsbelastningar på infrastruktur som de själva kontrollerar, vid sidan av hybridmoln och externa tjänster. I den här intervjun diskuterar Wijesekara varför AI-utgifter bör bedömas utifrån verksamhetens resultat, hur agentbaserade arbetsflöden förändrar resursförbrukningen och vilka ekonomiska och operativa faktorer som påverkar beslut om modeller, orkestrering och infrastruktur.

HPE har skalat upp AI-användningen bland fler än 70 000 medarbetare. Vad har ni lärt er av den erfarenheten om när AI-ekonomi slutar vara en IT-fråga och blir en bredare fråga för hela verksamheten?

AI-ekonomi blir en bredare fråga för hela verksamheten när företag går från pilotprojekt till produktionssättning. Ett pilotprojekt kan visa om AI klarar en uppgift, men också dölja ineffektivitet eftersom antalet användare är litet. När man går från 10 användare till 10 000 måste man ta hänsyn till kostnader, svarstid och tillförlitlighet, samtidigt som man förstår vilket värde AI skapar. Då behöver även ekonomifunktionen och de ansvariga för verksamhetsprocesserna som AI stöder vara med i diskussionen. IT kan mäta vilka resurser en applikation förbrukar, men verksamhetens ledare måste avgöra om resultaten motiverar investeringen.

Många organisationer fokuserar fortfarande mycket på mätvärden som kostnad per token när de utvärderar generativ AI. Varför anser du att kostnad per verksamhetsresultat är ett mer meningsfullt mått, och hur bör företag beräkna det i praktiken?

Kostnaden per token visar hur mycket AI man har använt, men inte om användningen ledde till ett användbart resultat. Företag bör först definiera verksamhetsresultatet och sedan beräkna den totala kostnaden för att uppnå det. Modellen är en del av den kostnaden, liksom programvara, lagring, dataöverföring, styrning och personal. Genom att jämföra kostnaderna med värdet som skapas i en specifik verksamhetsprocess får företag en bättre bild av om investeringen är ekonomiskt försvarbar.

Allteftersom AI går från individuella copiloter till agentbaserade system och system med flera agenter som kan utföra långa sekvenser av uppgifter, hur kraftigt kan resursförbrukningen öka även om den underliggande kostnaden för inferens fortsätter att sjunka?

Resursförbrukningen kan öka mycket snabbt eftersom en enda användarförfrågan kan utlösa betydligt mer arbete i bakgrunden. En agent kan hämta information och anropa verktyg medan den arbetar sig igenom flera steg innan den levererar ett resultat. I en representativ jämförelse från HPE använde en enkel chatbotdialog cirka 400 token, medan en agentbaserad RAG-förfrågan använde cirka 21 500. Även om tokenpriserna sjunker kan den totala förbrukningen ändå öka kraftigt när AI får mer komplexa uppgifter.

Hur bör företag bedöma om ett AI-användningsfall verkligen skapar ekonomiskt värde, i stället för att bara förbättra produktivitetsmått eller ge imponerande demonstrationer?

Ett användningsfall bör kopplas till ett affärsunderlag med tydliga nyckeltal innan det skalas upp. Företag behöver förstå vad verksamhetsprocessen kostar och hur kostnaden förändras när AI införs. De måste också skilja mellan förbättringar av en aktivitet och förbättringar av verksamhetens resultat. Sparad tid blir mer värdefull när den leder till att fler kundärenden löses, färre fel uppstår eller arbete som tidigare blev ogjort slutförs. Utvärderingen bör ta hänsyn till resultatets kvalitet och eventuell extra granskning eller omarbetning. En lyckad demonstration visar att en viss förmåga finns; mätbara förbättringar av verksamhetsprocessen ger stöd för beslutet att utöka användningen. I vissa fall kan analysen visa att AI inte är rätt lösning.

Modellroutning och AI-orkestrering diskuteras allt oftare som sätt att hålla kostnaderna under kontroll. Hur mycket värde kan företag frigöra genom att dynamiskt välja mellan mindre modeller, de mest avancerade modellerna, specialiserade modeller och traditionell programvara beroende på uppgiften?

Det finns mycket att vinna på att matcha modellen med uppgiften. Vi har sett företag skicka mycket olika arbetsbelastningar till samma dyra frontiermodell eftersom deras främsta prioritet från början var att få igång AI. Det kan fungera när antalet användare är litet, men kostnaderna ökar snabbt när användningen breddas. En frontiermodell kan vara lämplig för komplexa resonemang, medan en mindre modell kan räcka för en rutinuppgift. En specialiserad modell kan passa bättre för ett visst område, och en förutsägbar, regelbaserad uppgift kan hanteras effektivare med traditionell programvara. Orkestrering hjälper till att samla de här alternativen i ett arbetsflöde och använda en mer kapabel modell när uppgiften kräver det. I takt med att modeller med öppna vikter blir mer kapabla får företag också fler möjligheter att köra vissa arbetsbelastningar på sin egen infrastruktur i stället för att betala för externa modeller. I stor skala kan sådana routningsbeslut göra stor skillnad för kostnaderna, samtidigt som kvaliteten verksamheten kräver bibehålls.

Vid vilken punkt förändras ekonomin i att köra AI-arbetsbelastningar – från att hyra beräkningskapacitet via ett API eller ett publikt moln till att äga eller kontrollera mer av den underliggande infrastrukturen? Vilka variabler bör företag ta hänsyn till när de fattar det beslutet?

Jag ser det som att hyra jämfört med att köpa. Att hyra kan vara rimligt medan företag experimenterar eller när efterfrågan varierar kraftigt. När användningen ökar och blir mer förutsägbar kan det börja löna sig ekonomiskt att äga eller kontrollera mer av infrastrukturen. Att äga infrastruktur ger också möjlighet att genomföra fler AI-experiment under perioder med låg användning och därmed utnyttja en redan gjord investering bättre. Företag behöver ta hänsyn till arbetsbelastningens egenskaper och till kostnaderna för el, drift och att hålla systemen uppdaterade. För många stora företag kommer den bästa lösningen sannolikt att omfatta både privat infrastruktur och externa tjänster, beroende på arbetsbelastningen.

HPE har byggt ut sin privata AI-infrastruktur i takt med att företag flyttar fler arbetsbelastningar till produktionsmiljöer. Var ser du de största ekonomiska fördelarna med privat AI jämfört med att använda AI helt och hållet via publika molntjänster?

Privat AI kan ge stora ekonomiska fördelar vid långvariga arbetsbelastningar, när företag kan utnyttja den kapacitet de äger effektivt. I en analys från HPE, baserad på angivna antaganden om arbetsbelastningen, uppskattades kostnaden för HPE Private Cloud AI till cirka 45 dollar per nodtimme, jämfört med cirka 102 dollar för en motsvarande hyrd molnkonfiguration. Resultaten varierar beroende på arbetsbelastning och bör räknas om för varje miljö. Privat AI ger också företag en alternativ finansiell modell, där infrastrukturen kan bli en tillgång som skapar värde för organisationen.

AI-agenter medför kostnader som sträcker sig längre än inferens, bland annat för datahämtning, verktygsanrop, övervakning, säkerhet och styrning. Vilka kostnader är det mest sannolikt att organisationer underskattar när de budgeterar för AI med agenter i stor skala?

Jag tror att företag sannolikt underskattar arbetet som krävs för att hålla agenter tillförlitliga, säkra och användbara över tid. Utöver inferens tillkommer kostnader för att hämta och förbereda data, få åtkomst till externa verktyg och överföra information mellan system. Upprepade verktygsanrop eller misslyckade försök kan öka kostnaderna utan att en uppgift blir slutförd. Företag behöver också budgetera för att utvärdera resultat, övervaka agenternas beteende, hantera åtkomstbehörigheter och upprätthålla säkerhets- och styrningskontroller. Även mänsklig tillsyn måste räknas in, däribland den tid som människor lägger på att granska undantag eller rätta fel. För att förstå kostnaden för en slutförd uppgift behöver man insyn i hela arbetsflödet.

Du har betonat vikten av att följa upp AI-användningen i förhållande till enskilda affärsfall. Hur ser ett effektivt internt ramverk för mätning ut, och hur ofta bör organisationer ompröva om en AI-applikation fortfarande motiverar sina löpande kostnader för beräkningskapacitet och drift?

Ramverket bör koppla användningen direkt till affärskalkylen. Företag behöver veta vilken applikation som förbrukar resurser och vilket resultat den förväntas ge. På HPE följer vi upp KPI:er och underliggande enhetskostnader för varje användningsfall för att mäta om det ger de förväntade resultaten. Jag vill också se sådana mätningar på avdelnings- och affärsprocessnivå, så att en ekonomichef kan förstå vad en process kostar i dag jämfört med vad den kostar med AI. Detta bör vara en löpande process, eftersom användningen och ekonomin för en applikation kan förändras över tid. Företag bör också göra en ny bedömning när en modell, ett pris eller ett arbetsflöde förändras väsentligt, eftersom sådana förändringar kan påverka både kostnaden och värdet av en applikation.

Om du blickar tre till fem år framåt, när AI har integrerats i de flesta affärsprocesser, hur tror du då att ekonomin kring företags-AI kommer att utvecklas? Kommer hanteringen av AI-användning så småningom att likna discipliner som FinOps för molntjänster, eller kommer organisationer att behöva en helt ny operativ modell?

Jag tror att AI-ekonomin kommer att bygga vidare på FinOps-metoder som kostnadssynlighet, kostnadsfördelning och ansvarstagande, samtidigt som de utvidgas till att mäta kvaliteten och värdet av det arbete som AI utför. När agenter tar över fler steg i en affärsprocess behöver företag förstå kostnaden för att genomföra processen framgångsrikt, inklusive nya försök, mänskliga ingripanden och huruvida resultatet uppfyller den standard som krävs. Jag tror att detta kommer att bli ett gemensamt ansvar för IT, ekonomi och affärsverksamheten. Vi har fortfarande bara börjat hitta enhetliga sätt att göra sådana jämförelser mellan organisationer och branscher. På sikt skulle jag vilja se standardiserade mått som gör det möjligt för företag att förstå hur effektivt de arbetar med AI och återspegla det i resultaträkningen.

Tack för en fantastisk intervju. Läsare som vill lära sig mer om AI i privata molnmiljöer, företagsinfrastruktur och skalning av AI-arbetsbelastningar bör besöka HPE.

Antoine är en visionär ledare och medgrundare av Unite.AI, driven av en orubblig passion för att forma och främja framtiden för AI och robotik. Som serieentreprenör tror han att AI kommer att förändra samhället lika genomgripande som elektriciteten, och han talar ofta entusiastiskt om potentialen i banbrytande teknik och artificiell generell intelligens (AGI).

Som futurist ägnar han sig åt att utforska hur dessa innovationer kommer att forma vår värld. Han är även grundare av Securities.io, en plattform med fokus på investeringar i spetsteknik som omdefinierar framtiden och omformar hela branscher.