Myslitelé

Ekonomická realita škálování pracovních zátěží agentní AI

Sohrab Hosseini
Přidejte Unite.AI mezi své preferované zdroje na Google
A high-tech data center landscape featuring glowing blue fiber-optic data streams converging into a complex network, passing through a massive, reinforced industrial gate that represents a
Klíčové bodyNepředvídatelnost nákladů na AI pramení z dynamických pracovních postupů, které…
Zobrazit více
  • Nepředvídatelnost nákladů na AI pramení z dynamických pracovních postupů, které tradiční monitorování cloudu nezachycuje.
  • Agentní systémy náklady násobí prostřednictvím řetězců volání modelů a vyhledávacích operací.
  • Podniky nyní přistupují k nákladům jako ke klíčovému kritériu spolehlivosti pro nasazení AI.

1. Skrytá nákladová rána po nasazení AI

V raných pilotních projektech se systémy umělé inteligence zdají být na první pohled ekonomicky efektivní. Objemy provozu jsou nízké, případy použití je úzce definováno a týmy pečlivě monitorují chování v kontrolovaném prostředí. Za těchto podmínek se náklady obvykle vyhodnocují na úrovni jednotlivých volání modelu nebo omezených pracovních postupů. To dává dojem, že škálování bude snadné. Aspoň, to si většina týmů myslela.

Tento dojem je ještě více posílen tím, že výdaje na generativní AI nezobrazují žádné známky zpomalení. Jedna nedávná zpráva odhaduje, že výdaje na podnikové aplikace generativní AI dosáhly v roce 2025 desítek miliard dolarů, což je více než trojnásobek oproti předchozímu roku.

Ale realita se mění, jakmile jsou agenti vystaveni skutečným uživatelům a provozní složitosti.

Provozní prostředí zavádějí nepředvídatelné vzorce interakce, delší konverzace, procesy na pozadí a eskalační cesty k více schopným modelům. Jedna žádost může spustit několik následných akcí, které nebyly viditelné během testování. Podniky se potýkají s výzvou, kterou mnoho týmů popisuje jako “překvapení na faktuře”, náhlé zvýšení výdajů bez jasného pochopení, které chování nebo pracovní postupy je vyvolaly.

V této fázi není výzvou pouze optimalizace modelů. Místo toho je to získání přehledu o dynamice běhu, která skutečně pohání náklady na AI.

2. Proč AI pracovní zátěže porušují tradiční cloudové modely nákladů

Předtím se tradiční cloudová správa nákladů vyvinula kolem relativně předvídatelných pracovních zátěží. Spotřeba infrastruktury mohla být měřena stabilními jednotkami, jako jsou výpočetní hodiny, úložiště nebo objemy požadavků, a dokonce optimalizována prostřednictvím strategií přidělování zdrojů nebo řízení spotřeby. Hlavní věc, kterou je třeba vědět, je, že cesty provedení byly většinou deterministické. To umožňovalo předpovídat výdaje s rozumnou přesností a připsat náklady na konkrétní služby nebo týmy.

AI pracovní zátěže zavádějí jiný ekonomický model. Výdaje jsou většinou vázané na používání tokenů, velikost kontextu, řetězce volání modelů a dynamické rozhodnutí pracovních postupů, které se liší od jedné interakce k druhé.

Stejná žádost uživatele by mohla sledovat zcela odlišné cesty provedení v závislosti na prahových hodnotách důvěry, odpovědích nástrojů nebo logice záložních postupů. Proto nejsou náklady lineární nebo snadno předvídatelné, jako tomu bylo dříve. Tradiční FinOps panely poskytují přehled o spotřebě infrastruktury. Skutečný problém spočívá v tom, že často mají potíže zachytit chování za běhu nad rámec samotného přidělování zdrojů. Podniky nemohou skutečně určit ekonomiku systémů AI prostřednictvím tradičních prostředků.

3. Rozšiřující se nákladová plocha agentních systémů

Jak podniky přecházejí z jednofázové inference na agentní architektury, nákladový profil systémů AI se stává mnohem složitějším. Nedávná průmyslová analýza dokonce předpovídá, že více než 40% projektů agentní AI se do roku 2027 nedostane do produkčního provozu, a to částečně kvůli skutečným nákladům a složitosti nasazení vícestupňových agentních pracovních postupů ve velkém měřítku.

Žádost uživatele není vyřešena prostřednictvím jednoho volání modelu. Místo toho proces prochází koordinovanými pracovními postupy, které mohou zahrnovat plánovací kroky. Myslete na operace načtení, spouštění nástrojů a interakce mezi několika agenty.

A aby toho nebylo málo, výše uvedené pracovní postupy přidávají schopnosti, jako je generování rozšířené o vyhledávání informací (RAG) nebo spolupráce více agentů, které zavádějí další placené operace, které se sčítají v čase.

Jedna interakce může spustit volání pro tvorbu embeddingů, dotazy na vektorovou databázi, iterativní smyčky uvažování a eskalace na více schopné modely, když důvěra klesá. Zatímco každá jednotlivá akce může vypadat jako marginální v izolaci, jejich kumulativní efekt formuje celkovou ekonomiku systému.

4. Proč optimalizace promptů sama o sobě nemůže vyřešit ekonomiku běhu

Optimalizace promptů je obvykle jednou z prvních pák, které týmy používají, když se snaží kontrolovat náklady na AI. Snížení používání tokenů, jemné úpravy instrukcí nebo zlepšení struktury odpovědi může přinést významné zisky v efektivitě na úrovni jednotlivých volání modelu. Optimalizace řeší pouze malou část širšího ekonomického obrazu. V provozních prostředích je většina volatility nákladů způsobena vzorci chování napříč pracovními postupy spíše než samotnou délkou promptu.

Neefektivitu často způsobují zbytečné opakované pokusy, příliš hluboké vyhledávání informací, přechody na dražší modely nebo agenti vykonávající práci, která podstatně nemění výsledky. Bez přehledu o stopách provedení a obchodním dopadu může optimalizace promptů jednoduše přesunout výdaje z jedné části systému do jiné.

S tím, jak se systémy AI stávají autonomnějšími a propojenějšími, řízení nákladů vyžaduje systémové kontroly, které určují, jak agenti fungují v reálném čase. Není to pouze o místních úpravách, jak jsou formulovány jednotlivé žádosti.

Nedávný průzkum AI FinOps, který pokrýval cloudové výdaje v řádu desítek miliard, zmínil přechod na přehled o nákladech na AI v reálném čase, rozpočty na úrovni týmu a automatické rozpočtové upozornění. Nápad spočívá v tom, aby se náklady považovaly za provozní SLO spíše než za čistě finanční metriku.

5. Nové architektonické přístupy ke kontrole nákladů na AI

V reakci na rostoucí volatilitu nákladů podniky přehodnocují, kde a jak by se měla ekonomická kontrola aplikovat v systémech AI. Místo toho, aby se optimalizace nákladů považovala za dodatečnou finanční analýzu, týmy zavádějí architektonické mechanismy, které ovlivňují výdaje v reálném čase.

Jeden z nově se objevujících vzorců, které začínáme vidět, je použití vrstev směrování a orchestrace, které dynamicky vybírají modely nebo pracovní postupy na základě složitosti úkolu, cílů latence nebo rozpočtových omezení. To umožňuje podnikům vyvážit kvalitu a efektivitu bez závislosti na statických konfiguračních volbách.

Další cesty, které jsme viděli, že týmy berou, zahrnují řídicí kontroly provedení založené na zásadách, strategie opakovaných pokusů zohledňující náklady a centralizovanou pozorovatelnost, která přiřazuje výdaje ke konkrétní pracovní postupy.

Hodnocení je také častěji používáno jako nástroj řízení, s týmy, které posouvají dále pouze ty konfigurace, které splňují předem stanovené prahové hodnoty nákladů a výkonu.

6. Náklady jako další brána spolehlivosti pro podnikovou AI

Systémy AI se stávají integrovanými do základních pracovních postupů podniků, podniky skutečně začínají považovat náklady za omezující podmínku nasazení spolu s kvalitou, bezpečností a spolehlivostí. Stejně jako cíle úrovně služeb definují přijatelné hranice výkonu, prahové hodnoty jednotkové ekonomiky se objevují jako předpoklad pro bezpečné škálování automatizace. Systémy, které nemohou splnit předvídatelné profily nákladů, jsou obtížněji ospravedlnitelné z provozního hlediska, bez ohledu na jejich technickou schopnost.

Tento posun vede týmy k zavádění “nákladových bran” před širšími nasazeními, podporovanými kontinuálními monitorovacími systémy, po spuštění systémů do provozu. V průběhu času se řízení nákladů pravděpodobně vyvine v pokračující inženýrskou disciplínu spíše než v jednorázové úsilí o optimalizaci. Podniky, které budou nejlépe škálovat AI, budou ty, které budou navrhovat ekonomickou kontrolu od začátku a zajistí, aby jakékoli zlepšení schopností bylo vyváženo udržitelnými provozními modely.

V další fázi podnikového přijetí AI můžeme vidět, že se ekonomická kontrola stane stejně základní pro návrh systému jako spolehlivost a bezpečnost.

Sohrab Hosseini, spoluzakladatel orq.ai, je technologický lídr a podnikatel se sídlem v oblasti Amsterdamu s hlubokými zkušenostmi v oblasti SaaS, velkých systémů a aplikované umělé inteligence. Od založení orq.ai v roce 2022 se zaměřil na budování praktické infrastruktury, která pomáhá týmům přenést velké jazykové modely z experimentů do spolehlivého produkčního použití. Jeho pozadí zahrnuje vrcholové vedoucí role jako COO a CTO ve společnosti Neocles, CTO Future Technology ve společnosti Transdev, kde pracoval na autonomním směrování a správě flotily, a COO ve společnosti TradeYourTrip. Souběžně je aktivní jako poradce a andělský investor, který podporuje začínající společnosti v oblasti umělé inteligence s produktovým směřováním, technickým úsudkem a strategií provádění.