Proč agenti AI procházejí QA a přesto selhávají ve výrobě

Kontinuální učení se stává inženýrskou disciplínou pro zlepšování agentů po nasazení, aniž by se porušilo to, co již fungovalo.

Agent AI může projít každým předspuštěným vyhodnocením a přesto selhat ve výrobě o týden později. To není rozpor. Soubor vyhodnocení odráží to, co tým věděl testovat před spuštěním. Výroba je tam, kde se objevují chybějící případy: podivné formulace, chybějící kontext, hraniční případy nástrojů, netrpěliví uživatelé, rozporuplné zásady a pracovní postupy, které žádný návrhář benchmarku neimaginoval.

Agent je opravován uživateli neustále. Zklamává uživatele. Pak se relace ukončí, log je uložen a další uživatel potká prakticky stejný systém.

To je důvod, proč se kontinuální učení stává centrálním pro inženýrství agentů. Není to funkce jednoho produktu. Je to kategorie metod pro zlepšování agentů z expérience while preserving to, co již fungovalo. Klasické kontinuální učení výzkum definoval problém jako učení přes čas bez katastrofického zapomínání. Agenti dělají ten problém širším. Věc, která se mění, může být modelem, ale může být také promptem, nástrojem, dovedností, pracovním postupem nebo pamětí.

To je důležité, protože většina selhání agentů není vyřešena dosažením prvního modelu.

Reflex jemného ladění je příliš úzký

Když týmy mluví o zlepšování systému AI, plán často zní takto: shromáždit selhání, označit lepší odpovědi, jemně upravit model. Ten instinkt je pochopitelný. Dozorované jemné ladění, Direct Preference Optimization, Group Relative Policy Optimization, a parametr-efektivní metody, jako je LoRA, jsou užitečné nástroje, když model sám potřebuje změnit.

Ale mnoho selhání ve výrobě nejsou selháními modelu. Jsou selháními systému.

Agent může spoléhat na zastaralou paměť, přeskočit požadované potvrzení, zavolat nástroj se špatným argumentem nebo směrovat případ přes špatný pracovní postup. Často problém není v základním modelu. Je to kontext, paměť, rozhraní nástroje nebo pracovní postup kolem něj.

Moderní agent má několik vrstev. Model reasonuje a generuje. Harness kolem něj definuje prompty, nástroje, dovednosti, kód, směrování a pracovní postup. Paměť nese fakta a naučené postupy přes relace. Kontinuální učení je disciplína pro rozhodování, která vrstva by se měla změnit, jak malá změna může být a jak ověřit, že změna skutečně pomohla.

Někdy je správné řešení zápis do paměti. Někdy je to editace promptu. Někdy je to nástrojový obal, směrovací pravidlo nebo pracovní postup patch. Jemné ladění by mělo zůstat k dispozici, ale nemělo by být první odpovědí na každé selhání.

Benchmarky jsou užitečné, ale výroba zřídka vám je dá

Existuje zajímavá práce na optimalizaci samotného agenta. Metody, jako je GEPA, Meta-Harness, a související prompt nebo pracovní postup optimalizace přístupy zacházejí s agentem jako se systémem, který lze mutovat a testovat. Mohou navrhnout editace promptů nebo jiných součástí agenta, spustit kandidáty a zachovat verze, které skórují lépe.

To je správným směrem. Přesouvá zlepšování z úzkého rámce „aktualizace váhy“ do širšího rámce „zlepšení agenta“.

Ale existuje jeden problém: tyto metody obvykle předpokládají benchmark. Potřebují úkol, který lze spustit opakovaně a evaluator, který řekne, zda kandidát A je lepší než kandidát B. Bez toho se optimalizace stává hádáním s lepšími nástroji.

To není to, co většina týmů má ve výrobě.

Co mají, jsou logy. Mají stopy, uživatelské opravy, podpůrné lístky, události thumbs-down, poznámky k eskalaci a příležitostné odborné zpětné vazby. Tyto signály jsou cenné, ale nejsou ještě benchmark. Říkají vám, že něco se stalo. Neříkají vám, jak to zopakovat, co by mělo vypadat jako úspěch nebo jak ohodnotit navrhované řešení.

To je místo, kde mnoho kontinuálních-učení úsilí selhává. Tým má zkušenosti, ale ještě nemá učení prostředí.

Logy nejsou lekce

Výrobní log zaznamenává jednu cestu přes interakci. Uživatel požádal o let. Agent hledal. Uživatel řekl, že datum bylo špatné. To je důkaz selhání, ale není to dostatečné k učení.

Log nedefinuje kontrafakt. Měl by agent požádat o potvrzení? Měl by agent odvodit datum z předchozího kontextu? Měl by agent zavolat jiný nástroj? Měl by agent odmítnout pokračovat, dokud nebyla vyřešena nejednoznačnost? Člověk může znát odpověď po přečtení stopy, ale systém nezíská tuto strukturu zdarma.

Pro kontinuální učení je nutné, aby se surové selhání změnilo na něco, co lze zopakovat. To znamená úkol, který agent může čelit znovu, uživateli nebo simulátoru, který rekreuje relevantní vzorec, nástrojům, které agent může zavolat, a evaluatorům, kteří definují úspěch. Evaluator může zkontrolovat konečnou odpověď, nástrojové volání, hranici zásady, latenci, náklady nebo vše výše uvedené.

To je méně viditelná část práce, ale je to část, která dělá zlepšování skutečným. Jakmile se selhání stane zopakovatelným prostředím, můžete položit konkrétní otázku: skutečně pomohlo navrhované řešení?

Bez toho kroků týmy opravují většinou z paměti.

David Silver a Richard Sutton popsali nadcházející éru zkušeností, kde agenti učí se především z interakce se světem, spíše než ze statických lidských dat. Pro podnikové agenty závisí tato vize na změně špinavé výrobní zkušenosti na prostředí, která lze zopakovat, ohodnotit a znovu použít.

Zkušenost sama o sobě nestačí. Musí být provedena testovatelná.

Regrese je skrytá cena

I když se selhání stane testovatelným, nejobtížnější část zůstává: opravit to, aniž by něco jiného rozbit.

Každý, kdo udržoval komplexního agenta, viděl tento vzorec. Přidáte instrukci, aby agent eskaloval agresivní žádosti o refundaci. Nyní eskaluje rutinní refundace, které by měly být zpracovány rychle. Snížíte nástrojové volání v jednom pracovním postupu. Nyní jiný pracovní postup přeskočí požadovanou kontrolu. Opravíte zastaralou paměť. Nyní agent přezeneralizuje opravu na jinou produktovou řadu.

Každá oprava má smysl místně. Systém stále drífuje globálně.

To je agent verze katastrofického zapomínání. V neuronových sítích se tento termín obvykle vztahuje na nové školení, které přepisuje starší schopnosti. U agentů je selhání širší a často těžší vidět. Zapomínání může nastat v promptech, nástrojích, paměti, směrování a pracovním postupu. Ukazuje se ne jako čistá metrika na školicí křivce, ale jako uživatel, který říká: „To dříve fungovalo.“

To je důvod, proč kontrola regrese nemůže být konečným krokem. Musí být uvnitř učení smyčky.

Cílem není maximálně zlepšit výkon na nejnovějším selhání. Cílem je zlepšit nový případ, zatímco zachovávat staré případy. Každá oprava, která funguje, by se měla stát součástí rostoucí paměti agenta o tom, co musí fungovat. V praxi to znamená, že stará selhání se stanou regresními testy. Historie agenta se stane omezením, ne jen archivem.

To je místo, kde kontinuální učení se stává více jako vážné softwarové inženýrství než prompt tinkerování. Změna není dobrá, protože zní lépe. Je dobrá, protože zlepšuje měřené chování a nezpůsobuje regresi chování, které systém již získal.

Co praktické kontinuální učení vyžaduje

Produktivní kontinuální učení smyčka potřebuje čtyři vlastnosti.

První, selhání musí být zopakovatelná. Jediné selhání je anekdota. Zopakovatelné, ohodnotitelné prostředí je test. Dokud agent nemůže čelit stejnému vzorci znovu, nikdo nemůže prokázat, že oprava fungovala.

Druhý, diagnóza musí být holistická. Oprava může patřit do modelu, ale může také patřit do paměti, promptu, nástrojové vrstvy nebo pracovního postupu. Nejlepší oprava je obvykle nejmenší trvanlivá změna, která vysvětluje selhání.

Třetí, učení musí být celoživotní. Agent by neměl zlepšovat tento týden tím, že potichu zruší minulý týden chování. Předchozí úspěchy by se měly stát omezeními během optimalizace, ne překvapením po nasazení.

Čtvrtý, smyčka musí být efektivní. Pokud každé zlepšení vyžaduje čtvrtletní školicí projekt, systém se nikdy nezachová s výrobou. Smyčka musí nejdříve vyzkoušet levné opravy, eskalovat pouze když je potřeba, a zachovat ověření blízko změny.

Žádné z toho neznamená, že agenti by se měli aktualizovat slepě. Znamená to opak. Zlepšování by mělo být měřitelné. Každá změna by měla mít test, předchozí a následující skóre a regresní kontrolu.

To je to, co promění kontinuální učení z vágní aspirace na inženýrskou disciplínu.

Budoucnost agentů nebude definována pouze většími kontextovými okny, silnějšími základními modely nebo více nástroji. To bude důležité. Ale důležitější otázka pro podniky je, co se stane po nasazení.

Když agent selže zítra, může systém změnit to selhání na test? Může směrovat opravu na správnou vrstvu? Může prokázat, že oprava pomohla? Může prokázat, že nic jiného nezlomilo?

Pokud je odpověď ne, agent se真正ně neučí z výroby. Akumuluje riziko.

Agenti, kteří budou záležet příště, udělají něco lepšího. Budou se sčítat.