Proč agentic AI stále selhává ve skutečném světě

Po několik posledních let jsme sledovali agentic AI systémy, které generují působivé demonstrace. Tyto systémy píší kód, který prochází testovacími případy. Prohledávají web a odpovídají na složité otázky. Navíc navigují softwarovými rozhraními s pozoruhodnou přesností. Každá konferenční prezentace, každý tiskový release, každý benchmarkový report zdůrazňuje vznik agentic AI.

Ale existuje problém, který se skrývá pod těmito působivými demonstracemi. Když tyto systémy přecházejí z kontrolovaných prostředí do reálného nasazení, často selhávají způsobem, který benchmarky nikdy nepředpověděly. Kódový generátor, který fungoval perfektně na 100 vybraných případech, začíná produkovat chyby na okrajových případech, se kterými se nikdy předtím nesetkal. Webový vyhledávací agent, který dosáhl 85% přesnosti v laboratoři, získávač výsledků, které jsou stále méně relevantní, jak se mění chování uživatelů. Plánovací systém, který koordinoval deset API volání bezchybně během testování, se rozpadne, když narazí na neočekávaný formát odpovědi API.

Tyto systémy selhávají ne proto, že jim chybí inteligence, ale protože jim chybí adaptace. Problém spočívá v tom, jak se AI agenti učí a přizpůsobují. Zatímco nejmodernější systémy jsou postaveny na masivních základních modelech, surová inteligence sama o sobě nestačí. K provedení specializovaných úkolů musí agent umět přizpůsobit. Současné agentic AI systémy nemohou dělat toto kvůli strukturálním omezením ve svém designu a školení. V tomto článku prozkoumáme tato omezení a proč přetrvávají.

Iluze schopnosti v demonstracích

Nejdůležitější selhání moderního AI je iluze schopnosti. Krátké demonstrace často skrývají skutečnou složitost. Tyto demonstrace fungují s čistými datovými sadami, předvídatelnými API a úzkými rozsahy úkolů. Provozní prostředí jsou naopak zcela odlišná. Databáze jsou neúplné, schéma se mění bez oznámení, služby časově vyprší, oprávnění jsou v konfliktu a uživatelé kladou otázky, které porušují základní předpoklady systému.

To je místo, kde se provozní složitost výrazně zvyšuje. Jeden okrajový případ, který se objeví jednou v demonstraci, se může objevit tisíckrát denně v nasazení. Malé pravděpodobnostní chyby se kumulují. Agent, který je “většinou správný”, se rychle stává nespolehlivým v reálném provozu.

V jádru problému je závislost na zmrazených základních modelech. Tyto modely vynikají v dokončování vzorců, ale agentic chování je sekvenční a stavové. Každá akce závisí na výsledku předchozí akce. V takových prostředích se statistická nejistota rychle kumuluje. Malá chyba na začátku úkolu se může promítnout do smyček, slepých uliček nebo destruktivních akcí později. To je důvod, proč agenti, kteří se zdají být schopní během hodnocení, se rychle zhoršují, jakmile jsou nasazeni.

Problém není chybějící funkce. Je to, že obecné modely jsou požádány, aby se chovaly jako specialisté na domény, aniž by jim bylo dovoleno učit se z jejich prostředí.

Od obecné inteligence k situované kompetenci

Základní modely jsou obecníci podle designu. Kódují široké znalosti a flexibilní vzorové myšlení. Provozní agenti však musí být situovaní. Musí rozumět specifickým pravidlům, omezením a selháním konkrétní organizace a jejích nástrojů. Bez toho se podobají někomu, kdo přečetl všechny manuály, ale nikdy nepracoval den na práci.

Most přes tuto propast vyžaduje přehodnocení adaptace. Současné metody spadají do dvou širokých, chybných táborů: přeškolení samotného AI agenta nebo úpravu externích nástrojů, které používá. Každý přístup řeší jeden problém, zatímco vytváří další. To nás přivádí k systémům, které jsou buď příliš rigidní, příliš drahé nebo příliš nestabilní pro provozní prostředí, kde záleží na konzistenci a nákladů.

Past monolitického agenta

První přístup, adaptace agenta, se snaží udělat jádro LLM chytřejším při používání nástrojů. Základní myšlenka spočívá v tom, že se AI učí konkrétní dovednosti, které potřebuje k použití nástrojů. Výzkumníci kategorizují toto další do dvou tříd. Některé metody školují agenta pomocí přímé zpětné vazby z nástrojů, jako je kompilátor kódu nebo výsledky vyhledávače. Jiné školují agenta na základě konečné správnosti výstupu, jako je správná nebo špatná odpověď.

Systémy jako DeepSeek-R1 a Search-R1 ukazují, že agenti mohou naučit komplexní, vícekrokové strategie pro používání nástrojů. Nicméně tato síla přichází s významnou cenou. Školení modelů s miliardami parametrů je výpočetně extravagantní. Více kriticky, vytváří to rigidní, křehkou inteligenci. Tímto přístupem se kombinuje znalosti agenta a pravidla používání nástrojů, což dělá aktualizace pomalými, rizikovými a nevhodnými pro rychle se měnící obchodní potřeby. Adaptace agenta na nový úkol nebo nástroj riskuje “katastrofické zapomínání“, kdy ztratí dříve zvládnuté dovednosti. Je to jako kdybychom museli přestavět celou výrobní linku pokaždé, když chceme přidat nový výrobek.

Problém křehkého nástrojového boxu

Rozpoznávající tyto limity, druhý hlavní přístup, adaptace nástrojů, ponechává jádro agenta zmrazené a místo toho optimalizuje nástroje v jeho ekosystému. Tento přístup je více modulární a nákladově efektivní. Některé nástroje jsou školeny obecně, jako standardní vyhledávač, a vkládány. Jiné jsou specificky naladěny na doplnění zmrazeného agenta, učí se z jeho výstupů, aby se staly lepšími pomocníky.

Tento paradigma skrývá obrovský potenciál pro efektivitu. Značný výzkum systému nazvaného s3 ukázal potenciál tohoto přístupu. Školil malý, specializovaný “vyhledávač” nástroj, který podporoval zmrazený LLM, dosáhl výkonu srovnatelného s plně přeškoleným agentem, jako je Search-R1, ale používal 70krát méně školicích dat. Intuice spočívá v tom, proč bychom měli znovu učit génia fyzika, jak používat katalog knihovny? Místo toho stačí vycvičit lepšího knihovníka, který rozumí potřebám fyzika.

Nicméně, model nástrojového boxu má své vlastní omezení. Schopnosti celého systému jsou nakonec omezeny vnitřní logikou zmrazeného LLM. Můžete dát ostřejší skalpel chirurgovi, ale nemůžete udělat z někoho, kdo není chirurg, osobu, která provede srdeční operaci. Kromě toho, orchestrace rostoucí sady adaptivních nástrojů se stává složitou integrační výzvou. Nástroj A může optimalizovat jeden metrik, který porušuje vstupní požadavky nástroje B. Výkon systému pak závisí na křehké rovnováze mezi propojenými komponentami.

Výzva ko-adaptace

To nás přivádí k jádru adaptační deficity v současných agentic AI paradigmatech. Buď adaptujeme agenta nebo nástroje, ale ne obojí způsobem, který je synchronizovaný a stabilní. Provozní prostředí nejsou statická. Nová data, nová požadavky uživatelů a nové nástroje neustále vznikají. AI systém, který nemůže hladce a bezpečně evoluvovat obě své “mozky” a “ruce”, bude nevyhnutelně selhat.

Výzkumníci identifikují tuto potřebu ko-adaptace jako další hranici. Nicméně, je to složitá výzva. Pokud se agent i nástroje učí současně, kdo získává kredit nebo vinu za selhání? Jak zabránit nestabilní zpětné vazbě, kde se agent a nástroje honí za svými změnami bez zlepšení celkového výkonu? Rané pokusy o toto, jako je léčba agent-nástrojového vztahu jako kooperativního multi-agentního systému, odhalují obtížnost. Bez robustních řešení pro přiřazení kreditu a stabilitu, i naše nejmodernější agentic AI zůstává souborem působivých, ale nespojených schopností.

Paměť jako první třída systému

Jedním z nejviditelnějších projevů adaptační deficity je statická paměť. Mnoho nasazených agentů se nezlepšuje s časem. Opakují stejné chyby, protože nemohou internalizovat zkušenosti. Každá interakce je léčena, jako by to byla první.

Provozní prostředí vyžadují adaptivní paměť. Agenti potřebují epizodickou vzpomínku, aby zvládli úkoly s dlouhou dobou trvání, strategickou paměť, aby vylepšili plány, a operační paměť, aby se vyvarovali opakujících se chyb. Bez toho se agenti zdají křehcí a nespolehliví.

Paměť by měla být léčena jako nastavitelná komponenta, ne pasivní log. Systémy, které přehlížejí zkušenosti, učí se z chyb a upravují své chování, jsou mnohem stabilnější.

Nová rizika z adaptivních systémů

Adaptace přináší svá vlastní rizika. Agenti mohou naučit optimalizovat metriky místo cílů, jev známý jako parazitická adaptace. Mohou se zdát úspěšnými, zatímco podkopávají základní cíl. V multi-agentních systémech mohou kompromitované nástroje manipulovat agenty prostřednictvím jemných injekcí podnětů nebo zavádějících dat. Aby se tyto rizika zmírnily, agenti vyžadují robustní mechanismy ověření. Akce musí být testovatelné, reverzibilní a auditovatelné. Bezpečnostní vrstvy mezi agenty a nástroji zajišťují, že chyby se nešíří tiše.

Závěrečné shrnutí

Aby agentic AI fungoval ve skutečném světě, nemůže být pouze inteligentní; musí být schopen se přizpůsobit. Většina agentů selhává dnes, protože jsou “zmrazeni” v čase, zatímco skutečný svět je komplexní a neustále se mění. Pokud AI nemůže aktualizovat svou paměť a zlepšovat se ze svých chyb, bude nakonec selhat. Spolehlivost nepřichází z dokonalé demonstrace; přichází z schopnosti přizpůsobit se.