Rozhovory

Sadeepa Wijesekara, viceprezident pro Private Cloud AI ve společnosti HPE – série rozhovorů

Antoine Tardif
Přidejte Unite.AI mezi své preferované zdroje na Google
Sadeepa Wijesekara, Vice President of Private Cloud AI at HPE
Klíčové bodyEkonomika AI se stává obchodní disciplínou teprve tehdy, když se pilotní projekty…
Zobrazit více
  • Ekonomika AI se stává obchodní disciplínou teprve tehdy, když se pilotní projekty rozšíří do produkce a do rozhovoru se zapojí finance.
  • Náklady na token měří spotřebu, zatímco náklady na obchodní výsledek odhalují, zda investice skutečně dává smysl.
  • Agentní pracovní postupy mohou dramaticky znásobit spotřebu tokenů, i když ceny inferencí nadále klesají.

Sadeepa Wijesekara je viceprezidentem pro Private Cloud AI ve společnosti Hewlett Packard Enterprise (HPE), kde vede vývoj podnikového softwaru a platforem s umělou inteligencí pro prostředí privátního cloudu. Zaměřuje se mimo jiné na pomoc organizacím s bezpečným nasazováním AI ve velkém měřítku a na propojování rozhodnutí o infrastruktuře s potřebami podniku. K ekonomice AI v produkčním prostředí přistupuje z pohledu inženýra; zabývá se například správou pracovních zátěží, výběrem modelů a náklady na zajištění spolehlivosti stále autonomnějších systémů.

Hewlett Packard Enterprise (HPE) nabízí podnikové technologie v oblastech umělé inteligence, cloudu, sítí, výpočetní techniky a úložišť. Její portfolio Private Cloud AI pomáhá organizacím nasazovat úlohy AI na infrastruktuře, kterou mají pod kontrolou, a zároveň využívat hybridní cloud a externí služby. V tomto rozhovoru Wijesekara vysvětluje, proč je třeba hodnotit výdaje na AI podle přínosů pro podnikání, jak agentní pracovní postupy mění spotřebu a jaké finanční a provozní faktory ovlivňují rozhodování o modelech, orchestraci a infrastruktuře.

HPE rozšířila využívání AI mezi více než 70 000 zaměstnanci. Co vás tato zkušenost naučila o tom, kdy přestává ekonomika AI být záležitostí IT a stává se širší součástí řízení podniku?

Ekonomika AI se stává širší součástí řízení podniku, když firmy přejdou od pilotních projektů k produkčnímu nasazení. Pilotní projekt může ukázat, zda AI dokáže daný úkol splnit, ale může také zakrýt neefektivitu, protože počet uživatelů je malý. Když se počet uživatelů zvýší z 10 na 10 000, je třeba přemýšlet o nákladech, latenci a spolehlivosti a zároveň rozumět hodnotě, kterou AI vytváří. V tu chvíli je třeba do diskuse zapojit finanční oddělení i vedoucí pracovníky odpovědné za podnikové procesy, které AI podporuje. IT může měřit zdroje spotřebované aplikací, ale o tom, zda výsledky ospravedlňují danou investici, musí rozhodnout vedoucí pracovníci podniku.

Mnoho organizací se při hodnocení generativní AI stále výrazně zaměřuje na ukazatele, jako jsou náklady na token. Proč se domníváte, že smysluplnějším měřítkem jsou náklady na dosažení obchodního výsledku, a jak by je měly podniky v praxi vypočítávat?

Náklady na token ukazují, kolik AI jste využili, ale neříkají, zda toto využití přineslo užitečný výsledek. Firmy by měly nejprve definovat obchodní výsledek a poté vypočítat celkové náklady potřebné k jeho dosažení. Model je jen jednou částí těchto nákladů; dalšími jsou software, úložiště, přesun dat, správa a lidé. Porovnání těchto nákladů s hodnotou vytvořenou v rámci konkrétního podnikového procesu firmám lépe ukáže, zda je investice ekonomicky smysluplná.

Jak výrazně by mohla vzrůst spotřeba, když se AI přesouvá od samostatných kopilotů k agentním systémům a systémům s více agenty, které dokážou vykonávat dlouhé posloupnosti úkolů, a to i v případě, že náklady na samotné odvozování nadále klesají?

Spotřeba může růst velmi rychle, protože jediný požadavek uživatele může v zákulisí spustit mnohem více práce. Agent může při zpracování několika kroků před vytvořením výsledku vyhledávat informace a volat nástroje. V jednom reprezentativním srovnání HPE spotřebovala základní výměna zpráv s chatbotem přibližně 400 tokenů, zatímco agentní požadavek RAG asi 21 500 tokenů. I když ceny tokenů klesají, celková spotřeba může prudce růst, protože AI přebírá složitější úkoly.

Jak by měly firmy posuzovat, zda konkrétní případ využití AI skutečně vytváří ekonomickou hodnotu, místo aby pouze zvyšoval ukazatele produktivity nebo přinášel působivé ukázky?

Před rozšířením by měl být konkrétní případ využití spojen s obchodním záměrem a jasně stanovenými KPI. Firmy musí rozumět nákladům na daný podnikový proces a tomu, jak se změní po zavedení AI. Musí také rozlišovat mezi zlepšením určité činnosti a zlepšením obchodního výsledku. Ušetřený čas má větší význam, pokud umožní vyřešit více zákaznických problémů, snížit počet chyb nebo dokončit práci, která by jinak zůstala nevyřízená. Hodnocení by mělo zohlednit kvalitu výsledku i případnou dodatečnou kontrolu nebo přepracování. Úspěšná ukázka prokazuje určitou schopnost; rozhodnutí o rozšíření podpoří až měřitelná zlepšení podnikového procesu. V některých případech může tato analýza ukázat, že AI není vhodným řešením.

O směrování požadavků k modelům a orchestraci AI se stále častěji hovoří jako o způsobech, jak řídit náklady. Jakou hodnotu mohou podniky získat tím, že podle konkrétního úkolu dynamicky vybírají mezi menšími modely, nejpokročilejšími modely, specializovanými modely a tradičním softwarem?

Výběr modelu podle konkrétní úlohy přináší značnou hodnotu. Viděli jsme, že firmy svěřují velmi odlišné typy úloh témuž nákladnému špičkovému modelu, protože jejich počáteční prioritou bylo AI zprovoznit. Při malém počtu uživatelů to může být zvládnutelné, s rostoucím využíváním se však náklady rychle zvyšují. Pro složité uvažování může být vhodný špičkový model, zatímco pro rutinní úlohu může stačit menší model. Pro konkrétní oblast se může lépe hodit specializovaný model a předvídatelnou úlohu založenou na pravidlech může efektivněji zpracovat tradiční software. Orchestrace pomáhá tyto možnosti propojit v rámci pracovního postupu a nasadit výkonnější model, když to úloha vyžaduje. S rostoucími schopnostmi modelů s otevřenými vahami mají firmy také více příležitostí provozovat některé úlohy na vlastní infrastruktuře namísto placení za externí modely. Při nasazení v podnikovém měřítku mohou tato rozhodnutí o směrování výrazně snížit náklady a zároveň zachovat požadovanou kvalitu.

V jakém okamžiku se ekonomika provozování úloh AI přesune od pronájmu výpočetního výkonu prostřednictvím rozhraní API nebo veřejného cloudu k vlastnictví či správě větší části základní infrastruktury? Jaké faktory by měly firmy při tomto rozhodování zvážit?

Přemýšlím o tom jako o pronájmu oproti nákupu. Pronájem může dávat smysl, když firmy experimentují nebo když se poptávka výrazně mění. Jakmile se využití zvýší a stane se předvídatelnějším, může být ekonomicky výhodné vlastnit či spravovat větší část infrastruktury. Vlastní infrastruktura také umožňuje provádět další experimenty s AI v obdobích nižšího využití, a lépe tak využít již uskutečněnou investici. Firmy by měly zohlednit charakteristiky úlohy i náklady na elektřinu, správu a udržování systémů v aktuálním stavu. Pro mnoho velkých podniků bude pravděpodobně nejvhodnější kombinovat vlastní infrastrukturu s externími službami podle typu úlohy.

HPE rozšiřuje svou infrastrukturu pro privátní AI, protože firmy přesouvají do produkčního provozu stále více úloh. V čem podle vás přináší privátní AI největší ekonomickou výhodu oproti využívání AI výhradně prostřednictvím služeb veřejného cloudu?

Privátní AI může přinášet výraznou ekonomickou výhodu při dlouhodobě provozovaných úlohách, u nichž firmy dokážou efektivně využít vlastní kapacitu. V jedné analýze HPE se za stanovených předpokladů o zátěži odhadovalo, že HPE Private Cloud AI stojí přibližně 45 USD za hodinu provozu uzlu, zatímco ekvivalentní konfigurace v pronajatém cloudu přibližně 102 USD. Tyto výsledky se budou lišit podle typu úlohy a pro každé prostředí je třeba je znovu vypočítat. Privátní AI navíc firmám nabízí další finanční model, v němž se infrastruktura může stát aktivem vytvářejícím hodnotu pro organizaci.

Agenti AI přinášejí náklady, které přesahují samotnou inferenci a zahrnují získávání dat, volání nástrojů, monitorování, zabezpečení a správu. Které náklady organizace při sestavování rozpočtu na agentní AI ve velkém měřítku nejspíše podcení?

Myslím, že firmy nejspíše podcení úsilí potřebné k tomu, aby agenti zůstali spolehliví, bezpeční a užiteční i v průběhu času. Kromě inference vznikají náklady na získávání a přípravu dat, přístup k externím nástrojům a přesun informací mezi systémy. Opakovaná volání nástrojů nebo neúspěšné pokusy mohou zvýšit náklady, aniž by vedly k dokončení úlohy. Firmy musí počítat také s vyhodnocováním výsledků, monitorováním chování agentů, správou přístupových oprávnění a udržováním bezpečnostních a řídicích opatření. Do výpočtu patří i lidský dohled, včetně času, který lidé věnují kontrole výjimek nebo opravě chyb. Aby bylo možné zjistit náklady na úspěšné dokončení úlohy, je třeba mít přehled o celém tomto pracovním postupu.

Zdůrazňujete, že je třeba sledovat spotřebu AI ve vztahu ke konkrétním obchodním případům. Jak vypadá účinný interní systém měření a jak často by organizace měly přehodnocovat, zda přínosy aplikace AI stále ospravedlňují průběžné náklady na výpočetní výkon a provoz?

Systém měření by měl přímo propojovat využití s obchodním případem. Firmy potřebují vědět, která aplikace spotřebovává prostředky a jaký výsledek má přinést. V HPE sledujeme klíčové ukazatele výkonnosti a související jednotkové náklady u každého případu použití, abychom zjistili, zda přináší očekávané výsledky. Chtěl bych tyto údaje sledovat také na úrovni jednotlivých oddělení a obchodních procesů, aby finanční ředitel mohl porovnat, kolik daný proces stojí dnes a kolik stojí s využitím AI. Mělo by jít o průběžný proces, protože využití i ekonomika aplikace se mohou v čase měnit. Firmy by měly situaci znovu posoudit také při podstatné změně modelu, ceny nebo pracovního postupu, protože takové změny mohou ovlivnit náklady i přínos aplikace.

Jak podle vás bude vypadat ekonomika podnikové AI za tři až pět let, až se AI stane součástí většiny obchodních procesů? Bude řízení spotřeby AI časem podobné postupům, jako je cloudový FinOps, nebo budou organizace potřebovat zcela nový provozní model?

Myslím, že ekonomika AI naváže na principy FinOps, jako jsou přehled o nákladech, jejich rozdělování a odpovědnost, a rozšíří je o měření kvality a hodnoty práce, kterou AI vykonává. Jakmile agenti převezmou více kroků v rámci firemních procesů, budou společnosti potřebovat znát náklady na úspěšné dokončení daného procesu, včetně opakovaných pokusů a lidských zásahů, a také to, zda výsledek splňuje požadovaný standard. Očekávám, že se za to stane společnou odpovědností IT, financí a provozních týmů. Zatím jsme teprve na začátku hledání jednotných způsobů, jak taková srovnání provádět napříč organizacemi a odvětvími. Časem bych rád viděl standardní ukazatele, které společnostem umožní zjistit, jak efektivně s AI pracují, a promítnout to do výsledovky (P&L).

Děkujeme za skvělý rozhovor. Čtenáři, kteří se chtějí dozvědět více o AI v privátním cloudu, podnikové infrastruktuře a škálování úloh AI, by měli navštívit HPE.

Antoine je vizionářský lídr a zakládající partner Unite.AI, kterého pohání neochvějné nadšení pro utváření a podporu budoucnosti umělé inteligence a robotiky. Jako podnikatel, který založil několik společností, věří, že AI promění společnost stejně zásadně jako elektřina, a často s nadšením hovoří o potenciálu převratných technologií a obecné umělé inteligence (AGI).

Jako futurista se věnuje zkoumání toho, jak tyto inovace budou utvářet náš svět. Je také zakladatelem Securities.io, platformy zaměřené na investice do špičkových technologií, které nově definují budoucnost a proměňují celá odvětví.