Proč náklady na tokeny neukazují, zda podniková AI funguje

Podniková AI prochází známým cyklem. Zpočátku do ní organizace investovaly naplno a sahaly po největších a nejvýkonnějších modelech, protože technologie byla vzrušující a účet ještě nedorazil. Když dorazil, následovala stejně předvídatelná reakce: týmy začaly přístup omezovat, méně experimentovat a hledat levnější modely.

Ali Ghodsi, spoluzakladatel a generální ředitel společnosti Databricks, označil ranou fázi tohoto cyklu jako „maximalizaci počtu tokenů“, kdy je vyšší spotřeba tokenů považována za důkaz pokroku. Důležitější fází je „maximalizace hodnoty“, tedy pochopení toho, co dané výdaje přinášejí, a jejich nasměrování na práci, na které záleží.

Nejde jen o nové označení pro optimalizaci nákladů. Optimalizace nákladů řeší, jak může organizace utrácet méně, zatímco maximalizace hodnoty se ptá, jak ze svých výdajů získat více. Tento rozdíl bude stále důležitější, jakmile se AI přesune od izolovaných experimentů ke každodennímu provozu podniků.

Největší model není vždy ten správný

Mnoho organizací zahájilo své programy AI tím, že téměř na každý úkol používaly nejvýkonnější dostupný model. V rané experimentální fázi to dávalo smysl: týmy se snažily zjistit, co tato technologie dokáže, a schopnosti modelu byly důležitější než předvídatelnost.

S rozšiřováním nasazení však bylo stále obtížnější obhájit náklady na používání špičkového modelu pro každý požadavek. Některé organizace reagovaly omezením přístupu nebo požadavkem, aby týmy dělaly méně, plošná omezení však mohou potlačit užitečné experimentování stejně jako skutečné plýtvání.

Prosazuje se vyspělejší přístup. Týmy začínají svěřovat běžné úkoly menším specializovaným modelům a výkonnější modely si nechávají pro úkoly vyžadující složité uvažování nebo spojené s vysokými náklady na případné selhání. Některé organizace mohou časem nasazovat modely také ve vlastní infrastruktuře, aby získaly větší kontrolu nad náklady, výkonem a citlivými daty.

Důležitou otázkou není, zda je lepší velký, nebo malý model. Podstatné je, zda se model hodí pro danou práci a zda výsledek ospravedlňuje celkové náklady na jeho vytvoření.

Tokeny ukazují aktivitu, nikoli hodnotu

Většina firemních přehledových panelů pro AI se zaměřuje na spotřebu. Ukazují, kolik tokenů bylo použito, které modely je zpracovaly a kolik za ně organizace utratila. Tato čísla jsou nezbytná, neodhalují však, zda práce přinesla užitečný výsledek.

Tým, který spotřebuje dvakrát více tokenů, nemusí nutně vytvářet dvakrát větší hodnotu. Může řešit obtížnější úkoly, používat zbytečně výkonný model nebo se spoléhat na agenta, který opakovaně zkouší znovu neúspěšné úkoly. Pracovní zátěž s vysokými náklady na modely může přesto představovat vynikající investici, pokud předchází výpadkům, řeší problémy zákazníků nebo zaměstnancům vrací hodiny cenného času.

Stejný problém existuje v observabilitě už léta, jen se místo tokenů jedná o gigabajty. Týmy začaly shromažďovat všechna data, protože maximální přehled se jevil jako nejbezpečnější strategie. Když vzrostly účty za ukládání a zpracování dat, začaly data vzorkovat, zkracovat dobu jejich uchovávání a zahazovat kontext, aby výdaje omezily.

V obou případech byla reakcí na rostoucí náklady často snaha dělat méně. Organizace však místo toho potřebují umět rozpoznat, která aktivita má hodnotu, která je plýtváním a kterou lze zefektivnit, aniž by se zhoršil výsledek.

Skutečné náklady sahají dál než k inferenci

Volání modelu jen zřídka představuje celý pracovní postup AI. Agent může před vytvořením odpovědi vyhledávat dokumenty, dotazovat databázi, prohledávat telemetrická data, volat externí služby a vytvářet další aktivitu v aplikacích či infrastruktuře.

Představme si agenta, který zjišťuje, proč se po nasazení nové verze zvýšila latence při dokončování nákupu. Může prozkoumat protokoly, porovnat metriky, prověřit trasování, načíst záznamy o nasazení a analyzovat navazující služby. Pokud jeho první hypotéza nevyjde, může upravit časové období, hledat pod jinými názvy služeb a sledovat několik alternativních příčin.

Jediný pokyn od člověka tak může vyvolat stovky operací generovaných strojem. Tyto operace spotřebovávají výpočetní výkon, vstupně-výstupní kapacitu úložiště, síťovou kapacitu a kvóty rozhraní API třetích stran; nic z toho se nemusí objevit v přehledu výdajů organizace za modely.

Zdánlivě levný model tak může být součástí nákladného pracovního postupu. Výkonnější model může být dražší za jedno volání, ale ke správnému závěru dospět v menším počtu kroků, a vyžadovat tak méně opakovaných pokusů i méně podpůrné infrastruktury. Toto srovnání lze provést pouze sledováním celého úkolu.

Propojte aktivitu, náklady a výsledky

Maximalizace hodnoty vyžaduje, aby organizace propojily tři druhy informací, které se často měří odděleně.

Prvním je aktivita AI, včetně výběru modelu, spotřeby tokenů, latence, volání nástrojů, opakovaných pokusů a paralelních větví. Druhým jsou náklady na infrastrukturu a finanční náklady, které tato aktivita vytváří, včetně výpočetního výkonu, úložiště, využití sítě, zatížení databází a poplatků za externí API. Třetím je výsledek, který by měl ukazovat, zda byla práce úspěšně dokončena a zda někdo považoval výsledek za užitečný.

Ne každý výsledek je třeba převádět na přesnou peněžní částku. Může stačit praktické měřítko, například zda byla odpověď přijata, zda někdo musel práci předělat, zda se incident podařilo vyřešit rychleji nebo zda automatizovaný pracovní postup proběhl bez zásahu.

Vyšetřování incidentu, které vygeneruje stovky dotazů, může být například přínosné, pokud díky němu inženýři obnoví kritickou službu o 30 minut dříve. I podstatně menší pracovní postup však může být neefektivní, pokud vytvoří zprávu, kterou si nikdo nepřečte. Samotná spotřeba tokenů tyto dva případy nedokáže rozlišit.

Jakmile organizace dokážou propojit aktivitu s výsledky, mohou se cíleně rozhodovat, kde využít nejpokročilejší modely, kde postačí menší modely a kde je třeba pracovní postup přepracovat.

Přehled o dění by neměl vyžadovat, abyste se vzdali kontroly

Pochopení hodnoty AI vyžaduje přístup k citlivým souvislostem. Součástí téhož pracovního postupu mohou být zadání, výstupy, zdrojový kód, informace o zákaznících i provozní telemetrie.

Organizace by neměly být nuceny exportovat tyto informace do externí služby jen proto, aby zjistily, jak si jejich systémy AI vedou. Zadání a provozní kontext, díky nimž má měření smysl, mohou obsahovat právě ty informace, které bezpečnostní týmy, týmy pro ochranu soukromí a týmy zajišťující soulad s předpisy nesmějí nechat opustit prostředí organizace.

Vedení podniků by se proto mělo ptát, kde se zpracovávají data o jejich AI a observabilitě, kdo k nim má přístup, jak dlouho se uchovávají a zda lze analýzu provádět v rámci stávajících bezpečnostních hranic organizace. Dobrá správa závisí na přehledu o dění, ten však nesmí vytvářet nový problém s kontrolou nad daty.

Pokud analýza probíhá v blízkosti podkladových dat, lze také snáze propojit aktivitu AI s aplikacemi, infrastrukturou a podnikovými procesy, které ovlivňuje. Právě tento úplný pohled umožňuje týmům pochopit nejen to, kolik utratily, ale i jakou hodnotu jim výdaje přinesly.

Optimalizujte hodnotu, ne objem

Organizace, které uspějí v další fázi podnikové AI, nebudou nutně ty, které využívají nejvíce tokenů nebo utrácejí nejméně. Budou to ty, které dokážou zjistit, které modely a úlohy přinášejí smysluplné výsledky, a pak tyto poznatky využít při rozhodování o nasazení.

To vyžaduje překročit rámec izolovaných přehledů nákladů na modely. Týmy potřebují sledovat celý průběh od požadavku uživatele přes volání modelů, nástroje a infrastrukturu až po konečný výsledek a zároveň zajistit, aby citlivé informace zůstaly pod odpovídající kontrolou organizace.

Tokenmaxxing byl užitečnou etapou, protože podnítil experimentování a ukázal, co AI dokáže. Následovat musí Valuemaxxing – důsledný přístup, který propojuje přehled o dění, náklady a výsledky, aby organizace mohly dál experimentovat, aniž ztratí kontrolu nad výdaji nebo daty.

Podniková AI se nemusí zmenšovat jen proto, že dorazily první účty. Je třeba k ní přistupovat promyšleněji: vynaložené úsilí přizpůsobit náročnosti, modely úkolům a výdaje měřitelné hodnotě.