Odbočky AI, za které byste neměli platit

Nejde o to, že by přední společnosti v oblasti AI při prodeji tokenů nutně nemohly manipulovat s cenami, kdyby jim to prošlo – Anthropic ostatně v červnu prosadil faktické zvýšení cen o 30 %; DeepSeek v srpnu zvýšil ceny API a OpenAI koncem září neochotně vzalo zpět snížení přídělu tokenů ve střední kategorii. Trend směrem k úspornosti je tedy nyní poměrně zřejmý.

Tato myšlenka se skutečně vrací, když váš AI agent během 45 minut vyčerpá denní příděl tokenů v záplavě kódu, který nemusí být zrovna skvělý, a řekne vám, ať se vrátíte za 3–4 hodiny. V tak frustrující chvíli člověka napadne, zda některé postupy, které se při této činnosti uplatňují, nejsou nastavené ve prospěch poskytovatelů. Je to přece dobrý způsob, jak nás přimět, abychom si připlatili za mimořádné doplnění tokenů – nebo si dokonce zapnuli „automatické dobíjení“.

Pokud tomu tak v tomto období skutečně je, mohou se přední společnosti velmi věrohodně schovávat za předpoklad, že úplně nerozumíme tomu, jak se tokeny využívají při práci agentů napříč různými modely a prostředími. A oni také ne. S výjimkou jejich platebních procesů (které jsou opravdu velmi hladké) je to všechno ve fázi před alfa verzí a zůstává předmětem výzkumu na špičkové úrovni, přestože se produkt široce komoditizoval.

Nakládání s odpadem

Skutečnost, že AI agenti při uvažování v agentních pracovních postupech plýtvají tokeny (a tím i vašimi penězi), je již dobře známá: přesně před rokem jsem psal o novém výzkumu, který ukázal, do jaké míry mají modely AI schopné uvažovat sklon plýtvat tokeny „rozvláčným“ uvažováním; začátkem letošního roku jsem psal o dalším výzkumu, podle něhož je uvažování metodou řetězce myšlenek „pouze na efekt“; a minulý týden Nils Bunge, vedoucí produktu Tsuga, v komentářovém článku zde prohlásil:

„Tým, který spotřebuje dvakrát tolik tokenů, nemusí nutně vytvářet dvakrát větší hodnotu. Může řešit náročnější úkoly, používat zbytečně výkonný model nebo spoléhat na agenta, který opakovaně zkouší znovu neúspěšné úkoly.“

Méně známý je způsob, jakým se tokeny promrhávají na zbytečné úkoly nebo procesy; právě na to se zaměřuje nová studie, která mě dnes přivedla zpět k tomuto tématu.

Tato nová spolupráce amerických akademických institucí*, nazvaná Jak agenti AI plýtvají vašimi penězi?, nabízí jednotný rámec, který umožňuje vyčíslit, nakolik agentní procesy skutečně plýtvají tokeny. V případech, kdy jsou modely uzavřené, se „stínová“ metodika kombinuje s oficiálními statistikami a metrikami poskytovatelů a přináší stejně podrobný přehled o tom, co se s tokeny dělo, zatímco AI uvažovala a jednala:

Nová metoda měření plýtvání tokeny AI. U každého agenta se zaznamenává jeho uvažování, činnost i náklady a následně se záznamy zkoumají, aby se odhalilo opakování, zbytečné požadavky a odbočky, kterým bylo možné předejít. Zjištěné plýtvání se odstraní a znovu se ověří, zda agent dokáže splnit původní úkol. Zdroj

Jak je znázorněno výše, agent pracuje běžným způsobem a komunikace s poskytovatelem AI se zachycuje a zaznamenává, včetně případů uvažování, používání nástrojů, spotřeby tokenů a nákladů. Záznamy pak posuzují hodnoticí modely Large Language Model (LLM), které rozlišují užitečnou práci od opakování, zbytečného vyhledávání a odboček. Poté se podezřelé plýtvání odstraní, vypočítá se úspora tokenů a agent pokračuje v práci, aby se ověřilo, zda dokáže úkol stále úspěšně splnit.

V testech výzkumníci zjistili, že se promarnilo přibližně 18 % výstupních tokenů agentů. Ve více než 45 % úkolů jeden agent promarnil více tokenů, než kolik jiný potřeboval k úspěšnému dokončení téhož úkolu. Dále zjistili, že odstranění 41–46 % zbytečného uvažování mělo na výkon jen velmi malý vliv, což naznačuje, že lze dosáhnout značných úspor, aniž by se výsledky výrazně zhoršily.

Studie uvádí:

„V rámci souboru shromážděných trajektorií bylo přibližně 18 % výstupních tokenů označeno za zbytečné.“

„Pozoruhodné je, že ve více než 45 % úkolů převyšuje zbytečný výstup jediného agenta celý výstup jiného agenta, který tentýž úkol úspěšně vyřešil.“

Studie také zjistila, že agenti plýtvali nejvíce prostředky při práci s neznámými nástroji a při hledání postupů, které nakonec nikam nevedly; zvýšení úsilí věnovaného uvažování navíc nepřináší konzistentní zlepšení. Při maximálním úsilí generoval Kimi-K3 6,6krát více tokenů pro uvažování než při nízkém úsilí, aniž by to zaručovalo odpovídající zlepšení výsledků.

Výsledky testů ukazující, jak si Kimi-K3 vedl při čtyřech úrovních úsilí věnovaného uvažování v pěti benchmarcích. Vyšší úsilí při uvažování nevedlo vždy k vyšší úspěšnosti a při maximálním úsilí byly výsledky někdy horší než při nižším nastavení.

Namísto výkonného auta, jehož možnosti řidič nikdy naplno nevyužije, připomínají tyto agentní relace spíše jízdu autem, které při každé cestě zrychlí na svou maximální rychlost bez ohledu na okolnosti — i když to ničemu neprospívá a může to mít negativní důsledky.

Článek zkoumá také roli různých agentních prostředí při plýtvání tokeny. Zjistil, že stejný model AI, Kimi-K3, mohl při řešení totožných úloh v závislosti na použitém prostředí vytvořit více než čtyřikrát tolik textu věnovaného uvažování, aniž by nutně dosáhl lepších výsledků.

Část plýtvání měla na svědomí základní softwarová selhání: OpenCode, Kimi Code CLI a OpenClaw opakovaně spouštěly úlohy ve špatném prostředí Pythonu, což vedlo k chybám a opakovaným pokusům, které spotřebovávaly tokeny. Kimi Code CLI navíc umožňovalo AI požadovat časové limity, které by jeho vlastní software odmítl, a nutilo ji tak k dalším nákladným pokusům.

V rozporu s očekáváním nebyla prostředí nabízející více nástrojů nutně náchylnější k plýtvání a některé opakující se neefektivity zřejmě vycházely ze samotných modelů bez ohledu na to, které prostředí je řídilo.

‘[Several]Zdánlivě zřejmé vlastnosti prostředí nedokážou vždy vysvětlit pozorované rozdíly v plýtvání. Jak ukazuje [below], prostředí, která zpřístupňují více nástrojů, nemusí nutně plýtvat více. OpenClaw zpřístupňuje mnohem více nástrojů než ostatní prostředí, přesto plýtvá jen mírně. Navíc se ne každé plýtvání mění v závislosti na prostředí.

‘[Below right]ukazuje, že při řešení úlohy SWE-bench Verified se opakovaně objevuje odbočka, při níž Kimi-K3 sepíše to, co považuje za původní opravu projektu, a později od ní upustí. ‘

Výsledky testů porovnávající množství promarněných tokenů v prostředích pro agenty AI. Vlevo: nabídka více nástrojů nemusí nutně zvýšit plýtvání. Vpravo: Kimi-K3 se opakovaně pokouší o domnělou původní opravu softwaru a následně ji opouští bez ohledu na použité prostředí, ale u jiného typu úlohy to dělá jen zřídka.

Autoři jako nápravu navrhují, aby prostředí pro agenty rozpoznala, kdy omezení daná prostředím znemožňují další pokrok, jasně o těchto omezeních informovala model AI a zastavila jeho činnost, místo aby opakované neúspěšné pokusy spotřebovávaly další tokeny. Navrhují také využít své měření promarněných tokenů ke zlepšení trénování modelů, strategií uvažování a návrhu prostředí.

Metodika

Aby výzkumníci zrekonstruovali činnost agenta AI, sledovali každou výměnu mezi modelem a softwarem, který jej řídil, a zaznamenávali jeho uvažování, odpovědi, požadavky na nástroje i náklady na tokeny. Míra podrobnosti se lišila podle poskytovatele: Kimi-K3 odhaluje celý proces uvažování, Gemini 3.1 Pro pouze jeho shrnutí a Claude neodhaluje žádné informace.

Výsledky každého nástroje se předávaly zpět agentovi, takže výzkumníci mohli sledovat celý postup až do dokončení nebo do dosažení provozního limitu.

Čtyři příklady toho, jak agenti AI spotřebovávají tokeny. Opakování známých informací, provádění totožných vyhledávání a přidávání zbytečných omluv se počítají jako plýtvání, zatímco neúspěšné vyhledávání nemusí být nutně plýtváním, protože agent k němu mohl mít dobrý důvod.

Požadavky agentů procházely přes proxy, která sledovala jejich činnost; bylo přitom třeba provést jen drobné změny kódu a každý požadavek označit benchmarkem, během, úlohou a pokusem (s výjimkou OpenClaw, který takové značky nepodporuje — v tomto případě se pro každý test použila samostatná proxy vytvořená pomocí LiteLLM).

Čtyři typy

Studie rozlišuje čtyři opakující se vzorce plýtvání tokeny: Opakování (opakování známých informací); Duplicitní načítání (opakování zbytečných požadavků na nástroje); Vycpávka (přidávání irelevantního textu); a Odbočka (sledování zdánlivě slibných, ale nakonec neplodných postupů).

Každou zaznamenanou relaci posoudil model LLM v roli hodnotitele (LLMaJ**), kterému byl zadán původní úkol, úplný záznam a kritéria pro rozpoznání všech čtyř vzorců plýtvání. Podezřelé části byly označeny a odstraněny a zbývající tokeny byly znovu spočítány, aby bylo možné vypočítat podíl promarněných tokenů a náklady na ně. Počty se následně ověřily pomocí vlastních tokenizérů či počítacích nástrojů jednotlivých poskytovatelů a údajů o vykázaném využití výstupů (zjištěny byly pouze drobné rozdíly ve formátování).

Testy

Ve studii byly testovány modely Kimi-K3, Gemini 3.1 Pro, GPT-5.6 Terra, GPT-6 Astra, Claude Sonnet 5 a Claude Fable 5.1, a to v rámci benchmarků τ²-bench (zákaznický servis v letecké dopravě a maloobchodě), SWE-bench Verified (softwarové inženýrství), Claw-Eval a MCP-Atlas (používání nástrojů pro všeobecné účely).

Kimi-K3 byl navíc testován při různých úrovních uvažování a bylo porovnáno pět agentních prostředí: OpenCode, OpenClaw, OpenHands, Hermes a Kimi Code CLI. Tato porovnání měla posoudit, jak modely, úkoly, náročnost uvažování a návrh agentního prostředí ovlivňují plýtvání tokeny (a v dalších testech se odstranilo podezřelé plýtvání, aby se ověřil jeho vliv na výkon).

Aby se zjistilo, kolik peněz jednotlivé modely promarnily, porovnaly se náklady na zbytečný text a volání nástrojů s celkovými náklady na výstupy; výsledky se zprůměrovaly napříč čtyřmi benchmarky. Vnitřní uvažování se posuzovalo samostatně u modelu Kimi-K3, jediného modelu, který zpřístupnil celý svůj proces uvažování:

Výsledky testů porovnávající náklady na promarněné výstupy u šesti modelů umělé inteligence, zprůměrované napříč čtyřmi benchmarky. Vlevo: celková míra plýtvání, přičemž vnitřní uvažování modelu Kimi-K3 je uvedeno samostatně. Vpravo: míra plýtvání u úspěšných a neúspěšných úkolů; neúspěšné úkoly obecně vedly k většímu plýtvání.

Jak je vidět výše, za promarněné bylo označeno 11 až 24,9 % peněz vynaložených na generování odpovědí a používání nástrojů; nejlépe si vedl GPT-6 Astra a nejhůře Claude Sonnet 5. U Kimi-K3 se promarnil přibližně každý šestý token použitý na odpovědi a práci s nástroji, zatímco při vnitřním uvažování to bylo více než každý čtvrtý.

Větší plýtvání se obecně objevovalo u neúspěšných úkolů, u uvažování modelu Kimi-K3 však platil opak; zároveň se neobjevily jasné důkazy, že by vynakládání většího počtu tokenů na zbytečnou práci zvyšovalo šanci na úspěch.

V dalším testu se výzkumníci pokusili omezit plýtvání tokeny ještě během práce umělé inteligence: v každém kroku využili hodnoticí model** k odstranění opakujících se informací a zbytečného textu z uvažování modelu a teprve potom mu umožnili pokračovat v úkolu:

Výsledky testů ukazující, jak odstranění zbytečného uvažování umělé inteligence ovlivnilo úspěšnost ve dvou benchmarcích. Odstranění 41–46 % uvažování mělo na výkon jen malý vliv, zatímco odstranění veškerého uvažování vedlo k podstatně většímu počtu neúspěchů.

V benchmarku SWE-bench Verified se odstranilo 41 % uvažování, aniž by se tím snížil výkon; úspěšnost naopak mírně vzrostla z 89 % na 89,5 %. V benchmarku MCP-Atlas se odstranilo 46 % uvažování a úspěšnost klesla jen mírně, z 65 % na 62,3 %.

Jinými slovy, téměř polovinu uvažování bylo možné během práce umělé inteligence zahodit, aniž by se vážně narušila její schopnost úkol dokončit.

Nakonec^† byl Kimi-K3 testován na totožných úkolech v různých agentních prostředích. Jak ukazuje následující přehled, množství výstupů obsahujících uvažování se lišilo více než čtyřnásobně, aniž by se výkon soustavně zlepšoval:

Výsledky testů porovnávající spotřebu tokenů modelu Kimi-K3 v různých agentních prostředích ve dvou benchmarcích. Vnitřní uvažování je znázorněno modře, odpovědi a volání nástrojů oranžově. Při programátorských úkolech model v prostředí Mini-SWE vytvořil více než čtyřikrát tolik uvažování jako v prostředí Hermes.

Část plýtvání měla původ v základních softwarových chybách. OpenCode, Kimi Code CLI a OpenClaw spouštěly programátorské testy ve špatném prostředí Pythonu, což způsobovalo chyby a opakované pokusy.

Závěr

Toto je jen stručný pohled na studii, jejíž rozsah a pečlivá metodika mohou být důvodem k podrobnějšímu čtení.

Téma mi připomnělo něco, co si často uvědomuji: obrovský rozdíl mezi tím, čemu o těchto procesech skutečně rozumíme my a přední dodavatelé, a ochotou firem nabízet produkt, jako by právě strávil poslední tři měsíce ve statické kontrole kódu a prošel jí na výbornou.

Jak se věci mají, alespoň prozatím, za nepříznivé výsledky nemůžeme vinit nikoho než sami sebe, protože kupujeme produkt, o němž téměř všichni víme, že je značně experimentální a nepředvídatelný.

* Na příspěvku se výslovně rovným dílem podíleli University of Illinois Urbana-Champaign, Northeastern University, University of California (Los Angeles) a nezávislý výzkumník.

* Pokud to dokážu posoudit, článek neuvádí, který model byl použit.

^† Pro tento článek, nikoli pro studii, která je delší, než si obvykle dovolím zpracovat, a obsahuje více testů a podrobnější analýzu, než kolik zde můžeme obsáhnout. Další podrobnosti najdete ve zdrojovém PDF, na které odkazujeme výše.

Poprvé zveřejněno v pátek 6. listopadu 2026