Моделі та платформи ШІ
Обчислювальні потужності для ШІ у 2027 році: вартість інференсу змінить дата-центр

Ключові моментиОновлення програмного забезпечення можуть розблокувати на 30% більшу пропускну…
Показати більше
- Оновлення програмного забезпечення можуть розблокувати на 30% більшу пропускну здатність на вже встановлених прискорювачах у межах фіксованих цільових показників затримки.
- Відокремлення попереднього заповнення від декодування дає вигоду лише тоді, коли структура трафіку виправдовує додану мережеву та операційну складність.
- Альтернативні прискорювачі можуть вигравати в окремих робочих навантаженнях обслуговування, коли порівняння включають витрати на міграцію та експлуатацію.
Дата-центр може бути заповнений дорогими прискорювачами, але все одно мати недостатньо корисних обчислювальних потужностей. Одні чипи простоюють, очікуючи на пам’ять. Інші обробляють запити, що не вкладаються в цільовий показник затримки. Результати тестування можуть бути чудовими, а рахунок за обслуговування — постійно зростати. Володіння обладнанням — лише початок економічної проблеми.
У 2027 році дедалі більша частина змагання за обчислювальні потужності точитиметься навколо того, що кожна встановлена система здатна забезпечити за умов, яких насправді потребують клієнти. Це зміщує увагу на програмне забезпечення для обслуговування запитів, розподіл робочих навантажень і вартість відповіді належної якості.
Базовий рівень уже швидко змінюється. MLPerf Inference v6.1, випущений у вересні 2026 року, додав наскрізну генерацію з доповненням пошуком і агентне робоче навантаження для периферійних пристроїв. Також було описано перехід до набору Endpoints, орієнтованого на API. Це свідчить про те, що розробники тестів пристосовуються до багатоступеневих робочих навантажень, але не означає, що кожну програму ШІ можна оцінити за одним результатом тестування.
Водночас аналіз енергетики за 2026 рік, підготовлений IEA, описує суперечність між підвищенням ефективності виконання окремих завдань і поширенням вимогливіших програм. У ньому повідомляється про зростання споживання електроенергії дата-центрами та наголошується на невизначеності, спричиненій зміною робочих навантажень. Я доходжу висновку, що зниження вартості одиниці обчислень загострить конкуренцію в розробці систем, тоді як електроенергія та пам’ять і надалі залишатимуться істотними обмеженнями. Це не призведе автоматично до зменшення загальних витрат на інфраструктуру.
1. Програмне забезпечення забезпечить істотний приріст продуктивності вже встановленого обладнання
Наступне збільшення обчислювальних потужностей може стати результатом розгортання програмного забезпечення. Планування завдань, керування пам’яттю та ядра виконання можуть змінити обсяг роботи, який виконує встановлений прискорювач, не змінюючи сам чип. Очікую, що у 2027 році з’явиться відтворюваний результат, який засвідчить щонайменше на 30% більшу пропускну здатність у межах цільового показника затримки на визначених тут незмінних апаратному забезпеченні та моделі. Цікавий для бізнесу наслідок полягає в тому, що оператор отримає додаткові корисні потужності завдяки обладнанню, яке вже придбав.
Економічна вигода очевидна. Незалежно від того, наскільки ефективно планувальник використовує вже встановлене обладнання, його обчислювальні потужності мають свою вартість. Краще пакетування, виконання ядер, розподіл пам’яті та маршрутизація запитів можуть збільшити обсяг корисного результату без додавання прискорювачів. Це особливо цінно там, де для встановлення нової стійки також знадобилися б додаткові потужності електроживлення, охолодження або мережі.
Початкове дослідження PagedAttention демонструє, чому керування пам’яттю слід враховувати під час оцінювання продуктивності: неефективна робота з кешем ключів і значень може марнувати ресурси та обмежувати пакетування. Його історичні результати не слід трактувати як універсальне прискорення для сучасних систем. Вони пояснюють механізм, а не визначають масштаб наступного приросту.
Є сучасні свідчення того, що потенціал для подальшого зростання зберігається. У своєму аналізі результатів подання на v6.1 AMD повідомляє про вищу пропускну здатність на тому самому обладнанні MI355X між раундами тестування, зокрема про покращення результату Server на 38% для зазначеної конфігурації GPT-OSS-120B. Це порівняння від виробника стосується іншої моделі, ніж та, для якої я прогнозую результат. Воно підтверджує, що зрілість програмного забезпечення й надалі має значення, але не доводить, що приріст на 30% для Llama 3.1 8B гарантований.
Незмінність робочого навантаження в цьому прогнозі — принципове рішення. Твердження, що система генерує більше токенів після переходу на меншу модель, нижчу якість або менш суворий цільовий показник затримки, описує іншу економічну ситуацію. У тесті ці параметри мають залишатися незмінними. Опубліковані AMD рецепти відтворення — корисний приклад того, як можна оприлюднити відомості про програмне забезпечення та конфігурацію, хоча рецепти від виробника все одно потребують незалежної перевірки.
За чим стежити у 2027 році
Шукайте результати тестування систем обслуговування запитів, які свідчать про зростання пропускної здатності на вже встановленому обладнанні за незмінних моделі, якості відповідей і вимог до часу відгуку. Опубліковані конфігурації та розподіли затримки спростять оцінювання таких приростів. Результати, отримані завдяки меншим моделям, нижчій точності без перевірки якості або послабленим вимогам до затримки, підтверджували б інше твердження.
Що це означає для бізнесу
Перш ніж купувати додаткові прискорювачі, замовникам інфраструктури варто оцінити резерв продуктивності своєї поточної системи обслуговування запитів. Порівняйте вартість оновлення програмного забезпечення, налаштування та операційної підтримки з обчислювальними потужностями, які це може вивільнити. Рішення про розширення слід ухвалювати з огляду на запити, що відповідають цільовим показникам обслуговування програми, щоб вища заявлена швидкість генерування токенів не приховувала погіршення взаємодії з клієнтами.
2. Доцільність дезагрегації визначатиме економіка конкретних робочих навантажень
Обробка довгого запиту й генерування відповіді висувають до системи обслуговування запитів різні вимоги. Виконувати обидва завдання на одному обладнанні зручно, але через таку зручність дорогі ресурси можуть не відповідати характеру роботи. У 2027 році конкретні оператори покажуть, у яких випадках розділення цих етапів істотно збільшує кількість запитів, оброблених за годину роботи одного прискорювача. Результат залежатиме від профілю трафіку: архітектура, краща для однієї служби, може стати зайвим ускладненням для іншої.
На етапі попередньої обробки система опрацьовує вхідний контекст. На етапі декодування відповідь генерується токен за токеном. Ці етапи відрізняються за потребами в ресурсах і цільовими показниками затримки, тому спільний пул може спричиняти конкуренцію за ресурси або вимагати надмірного резервування потужностей. Розділення етапів дає змогу виділяти ресурси окремо, але додає витрати на передавання стану між ними.
DistServe формалізувала цей компроміс, спираючись на показник корисної пропускної здатності: обсяг роботи, виконаної в межах обмежень сервісу щодо затримки. Заявлені поліпшення було отримано на конкретних робочих навантаженнях і за певних умов. Їх не слід сприймати як універсальний коефіцієнт підвищення продуктивності для кожного виробничого кластера. Чи окупиться розділення етапів, визначають топологія мережі, довжина контексту й відповіді, а також мінливість трафіку.
Уже у 2026 році це не просто дослідницька пропозиція. NVIDIA Dynamo містить планувальник, маршрутизацію з урахуванням кешу та компоненти передавання даних для розподіленого інференсу. Аналіз NVIDIA щодо розділення мультимодальних навантажень корисний, зокрема, тим, що визначає умови, за яких переваги зменшуються або певна топологія показує гірші результати. Постачальник, який описує умови, за яких рішення програє, дає покупцям кориснішу відправну точку, ніж одна максимальна оцінка прискорення.
Мій прогноз справджуватиметься лише за умови, що відповідні робочі навантаження досягнуть достатнього масштабу. Довгі запити й нерівномірний попит можуть створювати настільки значні труднощі з плануванням, що складніша архітектура обслуговування стане виправданою. Невеликі й стабільні навантаження, можливо, економніше обслуговувати, не ускладнюючи систему. Отже, розділення етапів — це рішення щодо управління потужностями, а витрати на програмне забезпечення та експлуатацію мають окупитися.
За чим стежити у 2027 році
Стежте за тим, чи публікуватимуть оператори результати на основі реальних сумішей запитів, зокрема довгих запитів, мінливого попиту й витрат на передавання стану між етапами інференсу. Переваги мають залишатися помітними й після врахування всіх зарезервованих прискорювачів і накладних витрат на передавання даних. Розгортання, що додають складності, але не збільшують обсяг корисної роботи на одиницю потужності, послаблюватимуть аргументи на користь розділення.
Що це означає для бізнесу
Розглядайте розділення попередньої обробки й декодування як архітектурне рішення, яке слід перевірити на своїх потоках трафіку. Перш ніж запроваджувати його, командам варто змоделювати додаткові вимоги до мережі, планування та експлуатації. Великі й нерівномірні навантаження можуть виправдати ці зусилля; для менших сервісів потрібні докази того, що за звичайних умов експлуатації додаткові компоненти окуплять свої витрати.
3. Альтернативні прискорювачі виграватимуть у вибраних завданнях обслуговування моделей завдяки прозоро розкритій вартості
Дешевший прискорювач вигідний лише тоді, коли забезпечує прийнятну відповідь у потрібний час. Це залишає альтернативам NVIDIA можливість перемагати на окремих робочих навантаженнях, хоча зрілість програмного забезпечення та доступність і далі залишаються вагомими перевагами лідера ринку. Я очікую, що незалежні порівняння у 2027 році покажуть суттєву перевагу за вартістю у двох різних категоріях альтернатив. Ця перевага має зберігатися й після врахування деталей міграції та експлуатації, які не відображені в технічних характеристиках чипа.
Це прогноз щодо конкретних робочих режимів, а не щодо повної заміни платформи. Стек обслуговування може добре підходити для однієї моделі й одного типу трафіку, але не для іншої моделі або іншого типу трафіку. Витрати на перенесення, обізнаність операторів, підтримувані ядра та доступність придатних до використання екземплярів можуть переважити переваги сприятливих апаратних характеристик.
Кілька постачальників уже пропонують вагомі альтернативи. У документації Google щодо Ironwood наведено обсяг пам’яті з високою пропускною здатністю, її пропускну здатність і характеристики міжз’єднань. В оголошенні AWS про доступність Trainium3 описано платформу, розроблену для щільних обчислень і навантажень із паралельною обробкою експертів. Участь AMD у тестах MLPerf підтверджують дані про робочі навантаження за стандартизованими тестами. Жодне з цих джерел саме по собі не доводить наявності цінової переваги, про яку йдеться в моєму прогнозі.
Порівняння набуває економічного сенсу лише після того, як визначено конкретне робоче навантаження. Якщо для прискорювача потрібно більше серверів, інша схема паралелізму або довші зобов’язання щодо резервування, ці витрати слід врахувати в знаменнику розрахунку. Рекламована ціна, за якою неможливо придбати обладнання в регіоні проведення тестування, не має визначати результат. Те саме стосується невикористаних зарезервованих потужностей і вигідного результату тесту, отриманого на обладнанні, яке покупці насправді не можуть придбати.
Я оцінюю рівень упевненості як помірний, оскільки технічна конкурентоспроможність і прозорість економічних показників — це різні перешкоди. Досягти потрібного результату в тестуванні може бути можливо, хоча дані про витрати залишатимуться комерційною таємницею. Також конкурентний прискорювач може забезпечити вищу пропускну здатність, але поступатися за простотою експлуатації. Для повноцінного рішення слід окремо показати регулярні витрати на інфраструктуру й одноразові витрати на міграцію.
За чим стежити у 2027 році
Звертайте увагу на порівняння, проведені організаціями, які не є постачальниками чипів-переможців, із використанням доступних для придбання потужностей і однакових вимог до якості та затримки. Вирішальними доказами будуть припущення щодо серверів, мережі, незадіяних потужностей і міграції. Переконливі технічні характеристики прискорювача без відтворюваного порівняння вартості обслуговування не підтвердять економічний прогноз.
Що це означає для бізнесу
Оцінюйте апаратне забезпечення на репрезентативній моделі та трасі трафіку, а потім підраховуйте повну вартість розгортання. Заощадження на регулярних операційних витратах слід рахувати окремо від витрат на перенесення, повторне навчання персоналу й підтримку іншого програмного стека. Альтернативний прискорювач може добре підійти для певного сервісу, але це не означає, що він стане оптимальною платформою для кожного робочого навантаження компанії.
4. Бенчмаркінг агентних систем враховуватиме енерговитрати на одиницю виконаної роботи
Агент може споживати енергію, поки обмірковує відповідь, викликає інструменти, повторює спроби й зрештою зазнає невдачі. Вимірювання одного кроку інференсу не відображає всієї картини. До кінця 2027 року, як я очікую, наступники бенчмарків лінійки MLPerf зіставлятимуть виміряне енергоспоживання системи з успішно виконаною роботою. Це дасть операторам кращу основу для відповіді на складне запитання: скільки інфраструктури споживає цей сервіс, щоб створити результат, яким клієнт справді може скористатися?
Агент може багаторазово викликати модель, повертатися до довгого контексту, звертатися до інструментів і повторювати невдалі кроки. Показник енерговитрат на токен відображає лише частину вартості такої роботи. Для багатокрокового робочого навантаження доречною одиницею вимірювання є виконане завдання, причому межі інфраструктури, яку вимірюють, мають бути чітко визначені.
В оголошенні про версію v6.1 уже йдеться про збільшення історії діалогу під час інференсу агентних систем, тестування агентних систем на периферії та роботу над бенчмаркінгом агентних систем у центрах обробки даних. Отже, цей прогноз стосується додаткової вимоги до вимірювань, а не появи бенчмарків агентних систем. Я очікую, що покупці інференс-рішень, зіткнувшись з обмеженнями енергопостачання, вимагатимуть пов’язати ці робочі навантаження з енергоспоживанням системи.
Оцінка IEA за 2026 рік дає ширше підґрунтя для занепокоєння: зв’язок між ефективністю та загальним попитом залежить від поширення технологій і складності робочих навантажень. Короткий запит, що потребує лаконічної відповіді, і агент, який працює тривалий час, не можуть мати однакову репрезентативну оцінку енерговитрат. Так само ефективність окремого прискорювача ще не свідчить про ефективність усього робочого процесу.
У цій статті цей прогноз має найнижчий рівень упевненості, оскільки узгодження стандартів вимірювання потребує координації. Сервіси інструментів можуть працювати поза межами системи, яку вимірюють. У бенчмарку можуть віддати перевагу відтворюваності, а не реалістичності, або звітувати про енергоспоживання, не вимагаючи підтвердження успішного виконання завдання від початку до кінця. Такі рішення щодо дизайну можуть бути цілком обґрунтованими, але вони не відповідатимуть саме цьому прогнозу.
За чим стежити у 2027 році
Стежте за звітами про бенчмаркінг агентних систем, у яких виміряне енергоспоживання зіставляють із виконаними завданнями та пояснюють, які компоненти входять до меж вимірювання. Кількість повторних викликів моделі, повторних спроб і невдалих запусків має залишатися видимою. Якщо звітувати лише про енергоспоживання прискорювача або витрати енергії на токен, покупці не отримають повного уявлення про вартість багатокрокового агента.
Що це означає для бізнесу
Перш ніж порівнювати показники енергоспоживання, командам, відповідальним за потужності й сталість, слід узгодити корисну одиницю вимірювання роботи. Відстежуйте кількість успішно виконаних завдань, ресурси, витрачені на невдалі спроби, та інфраструктуру, не враховану в оцінці. Такий облік допоможе командам вирішити, чи ефективно потужніший агент використовує доступні бюджети енергетичної потужності й обчислювальних ресурсів.
Важливо правильно визначити одиницю вимірювання
Дефіцитним ресурсом будуть обчислювальні потужності, які забезпечують потрібний рівень сервісу за прийнятною ціною. Швидші чипи матимуть значення, але не менше значення матимуть планувальник, що зменшує марні витрати, компонування пам’яті, пристосоване до робочого навантаження, і вимірювання, яке чесно враховує невдачі. Наступна перевага центру обробки даних може бути менш помітною, ніж нова стійка, але сильніше позначитися на рахунку.












