Vaše okrajové zařízení bylo benchmarkováno na jedné průchodu vpřed. Váš agent bude běžet ve smyčce

Diskuse o hardware pro okrajové AI se v posledním roce stala mnohem upřímnější. nedávný článek na tomto webu tvrdil, že stará hierarchie návrhu — „maximalizovat propustnost, pak řídit napájení a tepelnost kolem ní“ — se obrátila vzhůru nohama a že pro průmyslová nasazení je nyní napájení na prvním místě, zatímco čistá propustnost je na posledním. To navazuje na argument, který tato publikace už delší dobu uvádí: okrajová zařízení jsou tepelně omezená, ne omezená MIPS/výpočetní kapacitou a smartphony již dosahují těchto limitů. Obě jsou skutečné opravy a jsou dlouho očekávané.

Ale stále nese jeden předpoklad z toho světa, který opravuje. Každá položka v této hierarchii je rozpočtována proti předpokládanému pracovnímu zatížení a pracovní zatížení, proti kterému téměř všichni stále rozpočtují, je jediný průchod vpřed: model přijme vstup, vytvoří výstup a křemík má chvilku na vychladnutí.

To není to, co dělá agent. Agent se rozhodne, zavolá nástroj, přečte, co se vrátí, a rozhodne se znovu. Kolikrát se tato smyčka otočí, není vlastností vašeho hardware ani vlastností vašeho modelu. Je to vlastnost problému, který mu někdo předal ráno. Mám agenty běžící na okrajovém hardware a to, co mi trvalo nejdéle přijmout, nebylo to, že jsou pomalí. Bylo to, že náklad na běh byl nastaven někde, kde jsem při návrhu neměl žádnou viditelnost.

The Loop Is Unbounded Until Someone Types a Number

Nejedná se o rétorické zasazení; takto jsou frameworky skutečně postaveny. V OpenAI’s Agents SDK běžec „spouští smyčku“ a když model vytvoří volání nástroje, runtime „spustí tato volání nástroje, připojí výsledky a smyčku spustí znovu.“ Jediná věc, která to zastaví, je limit tahů — překročí‑li max_turns, vyvolá se výjimka — a dokumentace uvádí, že můžete předat max_turns=None a tím limit úplně vypnout.

Na serveru je toto číslo rozhodnutím o fakturaci. Někdo si všimne faktury.

Na zařízení je toto číslo rozhodnutím o tepelnosti, protože délka smyčky je střídač (duty cycle). A střídač je ta jediná proměnná, se kterou pasivní chlazení nemůže soupeřit.

Sustained Load Does Something Different to a Phone Than a Benchmark Does

benchmark z března 2026 podrobil čtyři platformy přesně tomuto druhu zatížení — kvantizovaný model s 1,5 miliardou parametrů, pevný prompt o 258 tokenů, dvacet po sobě jdoucích běhů, měřící propustnost, spotřebu a teplotu u každého. Jedná se o preprint a benchmarkuje jeden model na čtyřech zařízeních, takže konkrétní čísla berte jako charakteristiku těchto platforem, nikoli jako zákon přírody. Důležitý je tvar výsledku.

iPhone 16 Pro dosáhl špičky 40,35 tokenu za sekundu a nedokázal ji udržet. Degradace se objevila už po dvou inferencích. Stabilizoval se na 22,56 tokenu za sekundu — pokles o 44 % — a byl omezován po 65 % benchmarku. Dynamické řízení napětí a frekvence, mechanismus, který snižuje taktování, když teplota spoje stoupá, udělal přesně to, k čemu byl určen.

Galaxy S24 Ultra selhal jinak a horší. Místo degradace Android‑ský termální regulátor na šestém opakování nastavil pevné minimum frekvence GPU při 78,3 °C a inference se zastavila. Autoři poukazují na to, co je zde podstatnější, než jsem dokázal já: pro nasazení agentů je to „více rušivé než elegantní degradace“, protože systém se neztlumí, ale stane se nepoužitelným.

Teď si všimněte detailu, který činí tuto situaci odsuzující, ne jen zajímavou. Každý z těch dvaceti běhů použil stejný prompt. To je nejpřívětivější pracovní zatížení, jaké hardware agenta kdy uvidí, a dva vlajkové telefony jej nedokázaly udržet po dvacet opakování. To není ani nový nález — MELTing point představen na MobiCom v 2024, dospěl k závěru, že z energetických a tepelných důvodů „kontinuální vykonávání LLM zůstává nedosažitelné.“ O dva roky a několik procesních uzlů později je stále stejná zeď.

Two Curves Move Toward Each Other, and Your Product Breaks Where They Cross

Smyčka agenta je horší než opakovaný prompt specifickým, mechanickým způsobem.

Dekódování je omezeno šířkou pásma paměti — propustnost určuje, jak rychle model dokáže číst svůj key‑value cache, nikoli kolik operací čip teoreticky může vykonat. Tento cache roste s kontextem. Každý krok smyčky přidá výsledek nástroje, pozorování, částečný plán — takže desátý krok generuje tokeny proti podstatně většímu cache než první krok.

Mezitím se zařízení zahřívá a regulátor snižuje taktování.

Takže náklad na krok roste právě v okamžiku, kdy kapacita zařízení jej zaplatit nemůže. Dvě křivky se sbíhají a kde se setkají, tam váš produkt selže. Nikdy to není první krok. První krok je místo, kde jste testovali.

Pod tímto leží také problém měřítka. Generativní práce je prostě jiný typ výdaje než ten, který okrajový silicon za deset let vykonával: měřeno napříč 88 modely, náklady na klasifikaci textu jsou kolem 0,002 kWh na tisíc inferencí oproti 0,047 kWh pro generování textu — zhruba dvacetkrát víc, ještě před tím, než smyčka cokoli násobí. Tyto měření byla provedena na datacentrovém GPU, ne na mobilu, takže je čtěte jako poměr mezi typy práce, ne jako energetickou hodnotu pro vaše zařízení. Pro měřítko stejná studie uvádí, že plné nabití smartphonu stojí 0,022 kWh.

Buy on Joules per Finished Task, Not on Tokens per Second

Nejužitečnější výsledek v tom benchmarku z 2026 je ten, který vypadá nejméně působivě.

Hailo‑10H NPU zvládlo 6,9 tokenu za sekundu při méně než 2 W. Pomalu — opravdu pomalu, a autoři to také uvádějí. Ale koeficient variability propustnosti byl 0,04 %, což je o dva řády stabilnější než cokoli jiného testovaného. Laptopové GPU ve stejné studii dodávalo 131,7 tokenu za sekundu při 34,1 W.

Pak porovnejte oba podle energie místo rychlosti : 270,5 mJ na token u malého NPU proti 297,3 mJ u GPU. Navzdory devatenáctinásobnému rozdílu v propustnosti malý čip provedl o něco více výpočtů na joule — a udělal to prakticky bez jakékoli variability.

Pokud vybíráte hardware podle tokenů za sekundu, kupujete ten rychlý. Pokud vybíráte podle schopnosti dokončit ohraničenou smyčku za předvídatelný náklad, což je to, co agent skutečně potřebuje, pořadí se změní. Jednotkou, která by se měla objevit v technickém listu, jsou jouly na dokončený úkol, s údajem o variabilitě vedle. Benchmark, který uvádí špičkovou propustnost, vám říká jen o první inferenci dne.

The Honest Objection, and What It Does Not Solve

Zřejmá odpověď je, že se jedná o přechodný problém : silicon se zlepšuje, NPU dozrávají a vše, co bylo napsáno o telefonu z 2026, bude vypadat zastarale. Nebo, praktičtěji, přenést nákladné kroky na server.

Sám bych vsadil na hardware. Ale offloading je ten zpětný tah, který jste přesunuli na okraj, abyste jej vyhnuli, a agent ho neplatí jednou — platí ho za každý krok smyčky a délka smyčky je to, co nelze předpovědět. Hybridní návrhy neodstraňují variabilitu; jen ji přesouvají na síť.

Hloubější asymetrie se nepřesouvá s procesními uzly. Rozpočet zařízení je pevně daný při návrhu. Požadavek agenta je rozhodnut při běhu, podle toho, co uživatel požádal. Lepší silicon zvyšuje strop. Neříká agentovi, kde je strop.

Tak mu to řekněte. Nastavte limit tahů v technické specifikaci místo toho, abyste jej objevovali při revizi kódu, a vyberte číslo z tepelného obalu : rozhodněte, kolik kroků se vejde, pak navrhněte agenta, aby na tomto limitu poskytl nejlepší možnou odpověď místo ideální odpovědi na libovolném. Považujte to za termín, ne za cíl.

Pak dejte agentovi rozpočet jako vstup. Zbývající rezervu, stav baterie, zda platforma již začala omezovat — to patří do kontextu, stejně jako aktuální čas. Agent, který ví, že je na osmém z deseti kroků, může shrnout a potvrdit. Agent, který to neví, bude dál zkoumat, dokud operační systém nerozhodne za něj.

A testujte konec, ne střed, což na fyzickém zařízení znamená testování v simulaci. Selhání se nikdy neobjeví při čistém běhu. Jedná se o běh, který trval čtrnáct kroků, protože nástroj na třetím kroku vrátil něco nejednoznačného, a takové případy nelze ručně vyjmenovat na telefonu, který se mezi pokusy musí ochlazovat. Mé vlastní systémy trénují převážně na simulacích právě z tohoto důvodu : zajímavé chování se objevuje při dlouhých bězích a dlouhé běhy jsou přesně tím, co hardware nedovolí vzorkovat ručně.

Nic z toho nevyžaduje rychlejší čip. Vyžaduje přiznání, že pracovní zatížení změnilo tvar. Nikdo neprodává zařízení, jehož baterie je dimenzována na jeden fotografický snímek. Stále prodáváme zařízení, jejichž teplotní rozpočet je dimenzován na jednu inferenci.