Ваш edge‑пристрій був протестований на прямому проході. Ваш агент буде виконувати цикл.

Обговорення апаратного забезпечення щодо edge AI стало значно більш відвертим за останній рік. Недавня стаття на цьому сайті стверджувала, що стара ієрархія дизайну — “максимізувати пропускну здатність, а потім керувати енергією та теплом навколо неї” — перевернулася, і що для промислових впроваджень енергія тепер стоїть на першому місці, а чиста пропускна здатність — останньою. Це підкріплює аргумент, який це видання висуває вже деякий час: пристрої edge є “обмеженими теплом, а не MIPS/обчислювальними ресурсами”, і смартфони вже працюють на цих межах. Обидва є реальними виправленнями, і вони давно назрілі.

Але це все ще містить одне припущення з світу, який воно виправляє. Кожен елемент у цій ієрархії планується щодо передбачуваного навантаження, і навантаженням, проти якого майже всі все ще планують, є один прямий прохід: модель отримує вхід, генерує вихід, і кремній отримує момент для охолодження.

Це не те, що робить агент. Агент приймає рішення, викликає інструмент, читає отриманий результат і знову приймає рішення. Кількість проходів по цьому циклу не є властивістю вашого апаратного забезпечення, і не зовсім властивістю вашої моделі. Це властивість проблеми, яку хтось передав йому вранці. Я маю агентів, що працюють на edge‑апаратурі, і найтриваліше, що я приймав, не те, що вони повільні. А те, що вартість виконання встановлювалася десь, де я не мав видимості під час проєктування.

Цикл не обмежений, доки хтось не введе число

Це не риторичне формулювання; так саме фреймворки фактично побудовані. У SDK агентів OpenAI виконавець “виконує цикл”, і коли модель генерує виклики інструментів, середовище “виконує ці виклики інструментів, додає результати та повторно запускає цикл”. Єдине, що зупиняє це, — обмеження кількості ходів: перевищте max_turns і отримаєте виключення, і документація зазначає, що можна передати max_turns=None, щоб повністю вимкнути обмеження.

На сервері це число — рішення щодо оплати. Хтось помічає рахунок.

На пристрої це число — теплове рішення, оскільки довжина циклу є робочим циклом. А робочий цикл — це єдина змінна, з якою пасивне охолодження не може сперечатися.

Тривале навантаження діє по-іншому на телефон, ніж бенчмарк

Бенчмарк березень 2026 року поставив чотири платформи під саме таке навантаження: квантизована модель з 1,5 мільярда параметрів, фіксований запит у 258 токенів, двадцять послідовних запусків, вимірюючи пропускну здатність, енергію та температуру кожного. Це препринт, і він тестує одну модель на чотирьох пристроях, тому розглядайте конкретні цифри як характеристику цих платформ, а не як закон природи. Важливим є форма результату.

iPhone 16 Pro досягав піку 40,35 токенів за секунду і не міг його утримати. Деградація з’явилася вже після двох інференцій. Швидкість стабілізувалася на рівні 22,56 токенів за секунду — зниження на 44 % — і залишалася обмеженою протягом 65 % бенчмарку. Динамічне масштабування напруги та частоти, механізм, який знижує тактову частоту при підвищенні температури з’єднання, виконував саме те, для чого він створений.

Galaxy S24 Ultra зазнав іншої, і гіршої, відмови. Замість деградації, Android‑термальний регулятор встановив жорстку нижню межу частоти GPU на шостій ітерації при 78,3 °C, і інференція зупинилася. Автори підкреслюють, що це важливіше, ніж я міг би сказати: для розгортання агентів це “більш руйнівно, ніж плавна деградація”, оскільки система не просто сповільнюється; вона стає непридатною.

Тепер зосередьтеся на деталі, яка робить це не просто цікавим, а підривним. Кожен з цих двадцяти запусків використовував один і той самий запит. Це найм’якше навантаження, яке коли‑небудь бачить апаратура агента, і два флагманські телефони не змогли його підтримати протягом двадцяти повторень. Це також не нове відкриття — MELTing point, представлене на MobiCom у 2024 році, дійшло висновку, що з енергетичних та теплових міркувань “безперервне виконання LLM залишається недосяжним”. Два роки і кілька технологічних процесорних поколінь пізніше — та сама стіна.

Дві криві наближаються одна до іншої, і ваш продукт ламається там, де вони перетинаються

Цикл агента гірший за повторюваний запит у певному, механічному сенсі.

Декодування обмежене пропускною здатністю пам’яті: швидкість визначається тим, наскільки швидко модель може читати свій кеш ключ‑значення, а не кількістю операцій, які чіп теоретично може виконати. Цей кеш зростає зі збільшенням контексту. Кожен крок циклу додає результат інструменту, спостереження, частковий план — тому на десятому кроці генеруються токени проти значно більшого кешу, ніж на першому.

Тим часом пристрій нагрівається, і регулятор знижує тактову частоту.

Отже, вартість за кроком зростає саме в той момент, коли здатність пристрою її оплатити падає. Дві криві сходяться, і там, де вони перетинаються, ваш продукт падає. Це ніколи не перший крок. Перший крок — це те, що ви тестували.

Під цим також стоїть проблема масштабу. Генеративна робота просто інша за порядком витрат порівняно з тим, на що витрачався edge‑силікон протягом десятиліття: вимірено на 88 моделях, вартість класифікації тексту становить близько 0,002 кВт·год на тисячу інференцій, проти 0,047 кВт·год для генерації тексту — приблизно в двадцять разів більше, ще до того, як будь‑який цикл його множить. Ці вимірювання проводилися на GPU дата‑центру, а не на телефоні, тому сприймайте їх як співвідношення між типами роботи, а не як показник енерговитрат вашого пристрою. Для масштабу те саме дослідження оцінює повну зарядку смартфона у 0,022 кВт·год.

Купуйте за джоулі на завершене завдання, а не за токени в секунду

Найкорисніший результат у цьому бенчмарку 2026 року — той, який виглядає найменш вражаючим.

Hailo-10H NPU досягав 6,9 токенів за секунду при споживанні менше 2 ват. Повільно — справді повільно, і автори це підтверджують. Однак його коефіцієнт варіації пропускної здатності становив 0,04 %, що вдвічі порядки стабільніше, ніж у будь‑якого іншого тестованого пристрою. GPU ноутбука в тому ж дослідженні забезпечував 131,7 токенів за секунду при 34,1 ватах.

Тоді порівняйте їх за енергією, а не за швидкістю: 270,5 мілліджоул на токен у маленького NPU проти 297,3 у GPU. Незважаючи на девятнадцятирічну різницю у пропускній здатності, маленька частина виконувала трохи більше обчислень на джоуль — і робила це практично без варіації.

Якщо ви обираєте апаратуру за токенами в секунду, ви купуєте швидку. Якщо ж ви орієнтуєтеся на здатність завершити обмежений цикл за передбачуваною вартістю, що саме потрібно агенту, рейтинг змінюється. Одиниця, яка повинна бути в технічних характеристиках, — джоулі на завершене завдання, з вказанням варіації поруч. Бенчмарк, який повідомляє про пікову пропускну здатність, розповідає лише про перший інференс дня.

Чесне заперечення та що воно не вирішує

Очевидна відповідь — це тимчасова проблема: кремній покращується, NPU зріють, і все, що написано про телефон 2026 року, виглядатиме старомодно. Або, практичніше, перенести дорогі кроки на сервер.

Я б сам поставив на апаратуру. Але відвантаження — це той самий зворотний шлях, який ви перемістили на край, щоб уникнути, і агент не платить його один раз — він платить за кожен крок циклу, а довжина циклу — це те, що ви не можете передбачити. Гібридні рішення не усувають варіацію; вони просто переміщують її в мережу.

Глибша асиметрія не змінюється з процесорними технологіями. Бюджет пристрою закріплений під час проєктування. Попит агента визначається під час виконання, залежно від того, що користувач запросив. Кращий кремній підвищує верхню межу, але не підказує агенту, де ця межа.

Тож повідомте його. Встановіть обмеження ходів у специфікації продукту, а не виявляйте його під час перегляду коду, і виберіть число з теплового конверту: визначте, скільки кроків вміщується, а потім розробіть агента, щоб він генерував найкращу доступну відповідь у цьому межі, а не ідеальну відповідь у довільному. Сприймайте це як дедлайн, а не як ціль.

Потім передайте агенту бюджет як вхідний параметр. Залишковий запас, стан батареї, чи платформа вже почала троттлити — це має бути в контексті, так само як і поточний час. Агент, який знає, що він на восьмому кроці з десяти, може підсумувати і здійснити. Агент, який цього не знає, буде продовжувати дослідження, доки операційна система не прийме рішення.

І тестуйте хвіст, а не медіану, що на фізичному пристрої означає тестування в симуляції. Випадок відмови ніколи не є чистим запуском. Це запуск, який зайняв чотирнадцять кроків, бо інструмент повернув щось неоднозначне на третьому кроці, і ви не можете перерахувати їх вручну на телефоні, який потребує охолодження між спробами. Мої власні системи навчаються на симуляціях саме з цієї причини: цікава поведінка проявляється у довгих запусках, а довгі запуски саме те, чого апаратне забезпечення не дозволить вам вибрати вручну.

Нічого з цього не вимагає швидшого чіпа. Потрібно визнати, що навантаження змінило форму. Ніхто не випускає пристрій, батарея якого розрахована лише на одну фотографію. Ми все ще випускаємо пристрої, чий тепловий бюджет розрахований лише на одну інференцію.