Nová ekonomika AI je postavena na tokenech — ale měříme je špatně

Probíhá posun v AI, který většina lidí cítí, ale ještě plně nerozumí: přešli jsme z počítání požadavků na počítání tokenů.

V éře webu jsme měřili systémy v požadavcích za sekundu. Bylo to čisté, intuitivní a většinou přesné. Příchozí požadavek, odchozí odpověď a můžete škálovat infrastrukturu kolem tohoto modelu.

Tato abstrakce zmizela.

V AI je základní jednotkou již není požadavek — je to token. Každý prompt, každá odpověď a každý řetězec úsudku je rozložen na tokeny, reprezentující práci, kterou systém provádí, náklady, které jsou účtovány, a stále více hodnoty, která je vytvářena.

Přirozeně se průmysl shromáždil kolem tohoto posunu a představil metriky, jako jsou tokeny za sekundu, náklady na token a dokonce i výnosy na token. Zdá se, že jsme konečně našli způsob, jak kvantifikovat systémy AI. Ale toto rámcování je neúplné.

Průmyslová zkratka: tokeny jsou rovnocenné s hodnotou

Existuje rostoucí narativ, že tokeny jsou novou měnou AI — že více tokenů znamená více inteligence a tím i více výnosů. Je to přesvědčivá myšlenka, ale zjednodušuje to, co se skutečně děje uvnitř těchto systémů.

Ne všechny tokeny jsou stejné. Některé tokeny reprezentují skutečnou práci: analýzu dat, generování poznatků, automatizaci pracovních postupů a podporu rozhodnutí, která vedou k obchodním výsledkům. Jiné jsou mnohem méně významné — neformální generování obsahu, experimenty nebo použití, které se nikdy nedostanou do produkce.

Už můžete vidět to uvnitř podniků. Jedna skupina může generovat miliony tokenů na podporu produktivity vývojářů nebo zákaznických operací, přímo ovlivňujících efektivitu a výnosy. Jiná skupina může generovat stejné množství tokenů experimentováním s nástroji, které se nikdy nedostanou za hranice interního zkoumání. Na papíru vypadají počty tokenů identicky. Ve skutečnosti je obchodní hodnota zcela odlišná.

Pokud se všechny tokeny považují za zaměnitelné jednotky hodnoty, vytváří se zkreslený pohled na to, co AI skutečně dělá uvnitř organizace. Podniky nejsou postaveny na objemu tokenů; jsou postaveny na tom, co tyto tokeny umožňují.

Abyste pochopili tu rozdíl, musíte se podívat pod povrch, jak tyto systémy skutečně fungují.

Proč je váš druhý prompt rychlejší než váš první

Pokud jste někdy použili nástroj jako ChatGPT, pravděpodobně jste si všimli, že váš druhý dotaz je často rychlejší než váš první. To chování není způsobeno tím, že se model stává chytřejším — je to způsobeno tím, jak systém znovu využívá kontext z předchozích promptů.

Moderní systémy AI nezpracovávají každý požadavek izolovaně. Budují kontext, ukládají předchozí prompty a odpovědi do paměti, často do чего-то, co se nazývá KV cache. Tato cache se nachází blízko GPU, aby mohla být rychle přístupná při generování následujících odpovědí.

První požadavek je drahý, protože inicializuje ten stav — alokuje paměť, zpracovává vstup a buduje kontext. Následující požadavky znovu využívají ten stav, což snižuje latenci a zlepšuje odezvu.

Tato dynamika se stává důležitější, jak se okna kontextu rozšiřují z tisíců na stovky tisíc — nebo dokonce milionů — tokenů. Čím více kontextu systém uchovává, tím více tlaku klade na paměť a infrastrukturu, což činí rozhodování o tom, co se uloží, komprimuje nebo zahodí, kritickým.

Z uživatelské perspektivy to vypadá jako rychlejší systém. Z perspektivy infrastruktury to je složitý kompromis mezi pamětí, latencí a náklady.

Toto je místo, kde se skutečná práce děje — ne jen v samotném modelu, ale v systému, který ho obklopuje.

Konečné omezení: energie

Jakmile se přesunete za hranice výkonu modelu, konverzace se rychle mění.

Týmy, které běží AI ve velkém měřítku, se primárně neptají, který model je nejlepší. Ptají se, jak ho udržet.

Infrastruktura AI tlačí proti fyzickým limitům: dostupnost energie, kapacita chlazení a šířka pásma paměti. Datová centra se přestavují kolem těchto omezení a organizace, které nasazují velké systémy AI, začínají fungovat více jako utility než tradiční softwarové společnosti.

Už vidíme to u velkých podniků, které budují infrastrukturu AI, kde energie a chlazení — a ne schopnosti modelu — se stávají primárním omezením.

Zátěže AI se nezvětšují čistě nebo předvídatelně. Zvyšují poptávku napříč výpočtem, pamětí a sítí ve stejnou dobu. Generování více tokenů není jednoduše otázkou přidání více GPU; je to otázka, zda podkladová infrastruktura může udržet energii a tepelnou zátěž, která je vyžadována pro udržení těchto systémů v chodu efektivně.

Náklady na generování tokenu tedy sahají za hranice výpočtu. Zahrnují elektřinu, chlazení, fyzickou infrastrukturu a schopnost udržet výkon pod zatížením bez degradace.

Většina diskusí o “nákladech na token” tyto skutečnosti plně nezohledňuje. Ve velkém měřítku se energie stává rozpočtem, ne jen dalším řádkem položky.

Budoucnost není většími modely. Je to lepší systémy.

Po dobu dvou let se průmysl soustředil na srovnání modelů, pohled na benchmarky, hodnocení a.incrementální zlepšení schopností.

Tento focus se začíná měnit.

V produkčních prostředích je výkon méně o tom, který model si vyberete, a více o tom, jak ho používáte. Organizace se pohybují směrem k systémům modelů — kombinují velké a malé modely, inteligentně směrují úkoly a optimalizují náklady, latenci a propustnost napříč celým pracovním postupem.

Místo toho, aby každou žádost odeslali do jednoho velkého modelu, systémy rozdělují zátěže na menší součásti. Jednodušší úkoly mohou být zpracovány efektivnějšími modely, zatímco složitější úsudky jsou vyhrazeny pro větší modely. Kontext se znovu využívá, kde je to možné, a strategie cachování se aplikují agresivně.

Tyto rozhodnutí často mají větší dopad na výkon a náklady než přechod z jednoho modelu na jiný. V tomto smyslu tokeny zůstávají jednotkou práce, ale systém, který je generuje a spravuje, se stává skutečným rozlišovacím znakem.

Nejméně přehlížená vrstva v systémech AI

AI je často popsána v termínech modelů na jedné straně a aplikací na straně druhé, ale vrstva mezi nimi je místem, kde žije většina složitosti — a příležitosti.

Tato vrstva se nezabývá pouze přesunem požadavků; formuje je. Určuje, jak se provozuje provoz, jak se uplatňují rozhodnutí a jak se systémy chovají v reálných podmínkách.

Doručování a zabezpečení nemohou být považovány za samostatné problémy. Stejné vrstvy, které směrují požadavky a spravují kontext, jsou také místem, kde se uplatňují zásady, snižují rizika a vytváří se důvěra.

Jak se složitost zvyšuje, bodové řešení se rozpadají. Co je potřeba, je sjednocená platforma, která může koordinovat tyto funkce v reálném čase, místo toho, aby je šila dohromady dodatečně.

Toto je místo, kde se dělají kompromisy. Toto je místo, kde se kontrolují náklady, optimalizuje se výkon a uplatňují se rozhodnutí o zabezpečení v reálném čase. Jak systémy AI rostou, tato vrstva se stává stále důležitější. Je to rozdíl mezi systémem, který funguje dobře v demo verzi, a systémem, který funguje spolehlivě a efektivně v produkci. Tento posun má skutečné důsledky pro to, jak organizace navrhují a spravují systémy AI.

Co to znamená pro organizace

Jak podniky přesouvají AI do produkce, otázka není jen, který model použít — je to, jak systém kolem něj je navržen tak, aby fungoval.

To znamená přemýšlet za hranice metrik tokenů a benchmarků modelů a zaměřit se na to, jak se požadavky směrují, jak se spravuje kontext a jak se uplatňují zásady napříč celým pracovním postupem.

Většina organizací stále ještě šije tyto kusy dohromady — a tento přístup nevydrží pod skutečným produkčním tlakem.

Měříme špatně

Tokeny poskytují užitečnou abstrakci. Dávají průmyslu způsob, jak kvantifikovat něco, co dříve vypadalo intangibilně, ale nejsou celý obraz.

Právě teď se průmysl soustředí na to, co je nejsnaději měřitelné — počty tokenů, propustnost a metriky nákladů — místo toho, co je nejdůležitější. Bez kontextu mohou být tato čísla zavádějící.

Další fáze AI nebude definována tím, kdo generuje nejvíce tokenů. Bude definována tím, kdo rozumí tomu, co tyto tokeny reprezentují, a kdo může postavit systémy, které je přemění na smysluplné, efektivní a škálovatelné výsledky.

Protože nakonec tokeny nejsou produktem. Jsou prostě vedlejší produktem inteligence, která je vytvářena.