Лідери думок

Економічна реальність масштабування навантажень агентного штучного інтелекту

Sohrab Hosseini
Додайте Unite.AI до бажаних джерел у Google
A high-tech data center landscape featuring glowing blue fiber-optic data streams converging into a complex network, passing through a massive, reinforced industrial gate that represents a
Ключові моментиНепрогнозованість витрат на ШІ випливає з динамічних робочих процесів, які не…
Показати більше
  • Непрогнозованість витрат на ШІ випливає з динамічних робочих процесів, які не фіксуються традиційним моніторингом хмари.
  • Агентні системи збільшують витрати завдяки ланцюжкам викликів моделей та операцій пошуку даних.
  • Підприємства тепер розглядають витрати як ключовий критерій надійності для впровадження ШІ.

1. Прихований шок від витрат після розгортання штучного інтелекту

На ранніх етапах пілотних проектів системи штучного інтелекту здаються економічно ефективними на поверхні. Об’єми трафіку низькі, випадки використання вузько визначені, а команди щільно контролюють поведінку в контрольованих середовищах. За цих умов витрати зазвичай оцінюються на рівні окремих викликів моделі або обмежених робочих процесів. Це створює враження, що масштабування буде простим. Як мінімум, так думала більшість команд.

Це враження посилюється тим фактом, що витрати на генеративний штучний інтелект не показують жодних ознак сповільнення. Одне недавнє дослідження оцінює витрати підприємств на застосування генеративного штучного інтелекту у десятки мільярдів доларів у 2025 році, що у більш ніж три рази перевищує показники попереднього року.

Але реальність змінюється, коли агенти піддаються дії реальних користувачів і операційної складності.

Виробничі середовища вводять непередбачувані моделі взаємодії, довші розмови, фонові процеси та шляхи ескалації до більш потужних моделей. Один запит може спровокувати кілька наступних дій, які не були видимі під час тестування. Підприємства стикаються з викликом, який багато команд описують як “несподіванку в рахунку”, раптове збільшення витрат без чіткого розуміння того, які моделі поведінки чи робочі процеси його викликали.

На цьому етапі виклик полягає не лише в оптимізації моделей. Натомість, це полягає у здобуванні видимості у динаміці виконання, яка насправді впливає на витрати штучного інтелекту.

2. Чому робочі навантаження штучного інтелекту порушують традиційні моделі витрат у хмарі

Раніше традиційне управління витратами у хмарі розвивалося навколо відносно передбачуваних робочих навантажень. Витрати на інфраструктуру могли бути виміряні у стабільних одиницях, таких як години обчислень, зберігання або об’єми запитів, і навіть оптимізовані за допомогою стратегій розподілу ресурсів або контролю використання. Головне, що потрібно знати, полягає в тому, що шляхи виконання були в основному детермінованими. Це робило можливим прогнозування витрат з прийнятною точністю та атрибуцію витрат до конкретних послуг або команд.

Робочі навантаження штучного інтелекту вводять іншу економічну модель. Витрати в основному пов’язані з використанням токенів, розміром контексту, ланцюгами викликів моделей та динамічними рішеннями робочих процесів, які змінюються з однієї взаємодії до іншого.

Той самий запит користувача може слідувати абсолютно різним шляхам виконання залежно від порогів упевненості моделі, відповідей інструментів або логіки резервних варіантів. Саме тому витрати не є лінійними або легко прогнозованими, як раніше. Традиційні панелі FinOps забезпечують видимість у споживанні інфраструктури. Насправді проблема полягає в тому, що вони часто борються з захопленням поведінки під час виконання понад сам лише розподіл ресурсів. Підприємства не можуть справді визначити економіку систем штучного інтелекту традиційними засобами.

3. Розширення поверхні витрат агентських систем

Коли підприємства переходять від одноступінчатого висновку до агентських архітектур, профіль витрат систем штучного інтелекту стає значно складнішим. Недавній промисловий аналіз навіть прогнозує, що понад 40% проектів агентського штучного інтелекту не дійдуть до промислового використання до 2027 року, частково через реальні витрати та складність розгортання багатокрокових робочих процесів агентів у масштабі.

Запит користувача не вирішується одним викликом моделі. Натомість, процес проходить через координовані робочі процеси, які можуть включати етапи планування. Подумайте про операції пошуку, виконання інструментів та взаємодію між кількома агентами.

Не кажучи вже про те, що зазначені робочі процеси додають можливості, такі як генерація з підтримкою пошуку (RAG) або співробітництво кількох агентів, які вводять додаткові платні операції, які наростають з часом.

Одна взаємодія може спровокувати виклики для створення векторних представлень, запити до векторної бази даних, ітеративні цикли міркування та ескалації до більш потужних моделей, коли впевненість моделі знижується. Хоча кожна окрема дія може здаватися незначною в ізоляції, їхній сукупний вплив формує загальну економіку системи.

4. Чому оптимізація запиту сама по собі не може вирішити економіку виконання

Оптимізація запиту зазвичай є одним із перших засобів, до яких команди вдаються при спробі контролювати витрати штучного інтелекту. Зменшення використання токенів, уточнення інструкцій або покращення структури відповідей можуть забезпечити суттєві економічні вигоди на рівні окремих викликів моделей. Оптимізації адресуються лише невеликій частині більшої економічної картини. У виробничих середовищах більша частина волатильності витрат викликана поведінковими моделями у робочих процесах, а не лише довжиною запиту.

Неефективності часто виникають із зайвих спроб, надмірного пошуку, ескалацій до дорожчих моделей або агентів, які виконують роботу, яка не суттєво змінює результати. Без видимості у слідах виконання та бізнес-впливу налаштування запиту може просто перемістити витрати з однієї частини системи в іншу.

З тим, як системи штучного інтелекту стають більш автономними та взаємопов’язаними, управління витратами вимагає системних засобів контролю, які визначають, як агенти діють у реальному часі. Це не лише про локальні коригування того, як окремі запити формулюються.

Недавнє дослідження FinOps штучного інтелекту, яке охопило десятки мільярдів витрат у хмарі, згадувало перехід до видимості витрат штучного інтелекту в реальному часі, бюджетів на рівні команд та автоматичних бюджетних сповіщень. Ідея полягає в тому, щоб розглядати витрати як операційний SLO, а не суто фінансовий показник.

5. Нові архітектурні підходи до контролю витрат штучного інтелекту

У відповідь на зростання волатильності витрат підприємства переосмислюють, де та як економічний контроль повинен бути застосований у системах штучного інтелекту. Замість того, щоб розглядати оптимізацію витрат як пост-фактум фінансове завдання, команди вводять архітектурні механізми, які впливають на витрати під час виконання.

Одна з нових підходів, яку ми починаємо бачити, полягає в використанні шарів маршрутизації та оркестрування, які динамічно вибирають моделі або робочі процеси на основі складності завдання, цілей затримки або бюджетних обмежень. Це дозволяє підприємствам балансувати якість та ефективність без залежності від статичних виборів конфігурації.

Інші підходи, які ми бачимо, включають контроль виконання на основі політики, стратегії повторних спроб з урахуванням витрат та централізовану спостережуваність, яка атрибутує витрати до конкретних робочих процесів.

Оцінка також все частіше використовується як інструмент управління, при якому команди просувають далі лише ті конфігурації, які відповідають попередньо визначеним порогам витрат та продуктивності.

6. Витрати як наступні ворота надійності для штучного інтелекту підприємств

З тим, як системи штучного інтелекту стають частиною основних бізнес-потоків, підприємства починають розглядати витрати як умову розгортання поряд з якістю, безпекою та надійністю. Як і цільові показники рівня обслуговування визначають прийнятні межі продуктивності, так і порогові показники економіки на одиницю стають передумовою для безпечного масштабування автоматизації. Системи, які не можуть відповідати прогнозованим профілям витрат, важче виправдати операційно, незалежно від їхньої технічної здатності.

Цей зсув спонукає команди вводити “брами витрат” перед більш широким розгортанням, підтримуваним безперервним моніторингом після запуску систем. З часом управління витратами, ймовірно, розвинеться у тривалу інженерну дисципліну, а не у разове завдання оптимізації. Підприємства, які найуспішніше масштабують штучний інтелект, будуть тими, які проектують економічний контроль з самого початку, забезпечуючи, щоб будь-які покращення здатності були збалансовані сталими операційними моделями.

У наступній фазі впровадження штучного інтелекту підприємствами ми, можливо, побачимо, як економічний контроль стане так само фундаментальним для проектування системи, як і надійність та безпека.

Сохраб Хоссейні, співзасновник orq.ai, є технологічним лідером і підприємцем, базованим в районі Амстердама, з глибоким досвідом у сфері SaaS, великомасштабних систем та прикладного штучного інтелекту. З моменту заснування orq.ai у 2022 році, він зосередився на створенні практичної інфраструктури, яка допомагає командам перевести великі мовні моделі з експериментальної фази до надійного використання в робочому середовищі. Його досвід включає керівні ролі як COO і CTO у Neocles, CTO відділу майбутніх технологій у Transdev, де він працював над автономним маршрутизуванням та управлінням флотом, а також COO у TradeYourTrip. Паралельно він активно діє як радник і ангельський інвестор, підтримуючи компанії на ранній стадії розвитку у сфері штучного інтелекту щодо напрямку продукту, технічної оцінки та стратегії виконання.