Slíbili nám agenty, ale dostali jsme pouze statické řetězce

Na jaře roku 2023 se svět nadchl z vývoje LLM-based AI agentů. Silné demo verze jako AutoGPT a BabyAGI demonstrovaly potenciál LLM, které běží v smyčce, volí další akci, pozorují její výsledky a volí další akci, jeden krok za druhým (také známé jako ReACT framework). Tato nová metoda měla být schopna pohánět agenty, kteří autonomně a obecně plní úkoly s více kroky. Dejte jim cíl a sadu nástrojů a oni se o zbytek postarají. Do konce roku 2024 bude krajina plná AI agentů a frameworků pro stavbu AI agentů. Ale jak se měří proti slibu?

Je bezpečné říci, že agenti poháněni naivní ReACT framework trpí závažnými omezeními. Dejte jim úkol, který vyžaduje více než několik kroků, pomocí více než několika nástrojů a oni budou zoufale selhat. Kromě jejich zjevných problémů s latencí ztratí stopu, selžou při následování pokynů, zastaví se příliš brzy nebo příliš pozdě a budou produkovat divoce odlišné výsledky při každém pokusu. A není divu. ReACT framework bere omezení nepředvídatelných LLM a násobí je počtem kroků. Avšak stavitelé agentů, kteří se snaží řešit reálné použití, zejména v podnikovém prostředí, nemohou pracovat s touto úrovní výkonu. Potřebují spolehlivé, předvídatelné a vysvětlitelné výsledky pro komplexní úkoly s více kroky. A potřebují AI systémy, které zmírní, spíše než zhorší, nepředvídatelnou povahu LLM.

Tak jak se agenti staví v podnikovém prostředí dnes? Pro použití, které vyžaduje více než několik nástrojů a několik kroků (například konverzační RAG), stavitelé agentů většinou opustili dynamický a autonomní slib ReACT pro metody, které silně spoléhají na statické řetězce – vytvoření předem definovaných řetězců navržených pro řešení konkrétního použití. Tento přístup připomíná tradiční softwarové inženýrství a je daleko od agentického slibu ReACT. Dosahuje vyšší úrovně kontroly a spolehlivosti, ale chybí autonomie a flexibilita. Řešení jsou tedy vývojově náročná, úzká v aplikaci a příliš rigidní, aby řešila vysoké úrovně variability ve vstupním prostoru a prostředí.

Je jisté, že statické řetězce mohou lišit v tom, jak “statické” jsou. Některé řetězce používají LLM pouze pro provedení atomických kroků (například pro extrakci informací, souhrn textu nebo návrh zprávy), zatímco jiné také používají LLM pro dynamická rozhodnutí během běhu (například LLM směrující mezi alternativními proudy v řetězci nebo LLM ověřující výsledek kroku, aby určilo, zda by měl být spuštěn znovu). V každém případě, pokud LLM jsou odpovědné za jakékoli dynamické rozhodování v řešení – jsme nevyhnutelně chyceni v obchodování mezi spolehlivostí a autonomií. Čím více je řešení statické, je více spolehlivé a předvídatelné, ale také méně autonomní a tedy úžší v aplikaci a více vývojově náročné. Čím více je řešení dynamické a autonomní, je více obecné a jednoduché na stavbu, ale také méně spolehlivé a předvídatelné.

Toto obchodování lze znázornit v následujícím grafu:

To vyvolává otázku, proč jsme dosud neviděli agentický framework, který by se dal umístit do pravého horního kvadrantu? Jsme odsouzeni k tomu, abychom navždy obchodovali spolehlivost za autonomii? Nemůžeme dostat framework, který poskytuje jednoduché rozhraní ReACT agenta (převzít cíl a sadu nástrojů a vypořádat se s nimi) bez obětování spolehlivosti?

Odpověď je – můžeme a budeme! Ale pro to musíme uvědomit, že jsme to dělali všechno špatně. Všechny současné frameworky pro stavbu agentů sdílejí společnou vadu: spoléhají se na LLM jako na dynamickou, autonomní složku. Avšak klíčovým prvkem, který nám chybí – co potřebujeme k vytvoření agentů, kteří jsou autonomní a spolehliví – je technologii plánování. A LLM nejsou skvělí plánovači.

Ale nejdříve, co je “plánování”? Pod “plánováním” rozumíme schopnost explicitně modelovat alternativní kurzy akcí, které vedou k požadovanému výsledku, a efektivně prozkoumat a využít tyto alternativy v rámci rozpočtových omezení. Plánování by mělo být provedeno na makro i mikro úrovni. Makro-plán rozděluje úkol na závislé a nezávislé kroky, které musí být provedeny k dosažení požadovaného výsledku. Často přehlíženou věcí je potřeba mikro-plánování zaměřeného na zajištění požadovaných výsledků na úrovni kroku. Existuje mnoho dostupných strategií pro zvýšení spolehlivosti a dosažení záruk na úrovni jednotlivého kroku pomocí více inference-time výpočtu. Například můžete parafrázovat semantické vyhledávací dotazy několikrát, můžete získat více kontextu pro daný dotaz, můžete použít větší model a můžete získat více inference z LLM – vše vedoucí k více výsledkům, které splňují požadavky, z nichž lze vybrat ten nejlepší. Dobrý mikro-plánovač může efektivně využívat inference-time výpočet k dosažení nejlepších výsledků v rámci daného rozpočtu a latence. Takže plánovitý AI systém může zmírnit probabilistickou povahu LLM a dosáhnout zaručených výsledků na úrovni kroku. Bez těchto záruk se vrátíme k problému kumulativních chyb, který podkopá i ty nejlepší makro-úrovňové plány.

Ale proč nemohou LLM sloužit jako plánovači? Přece jsou schopni překládat vysoké instrukce do rozumných řetězců myšlenek nebo plánů definovaných v přirozeném jazyce nebo kódu. Důvod je ten, že plánování vyžaduje více než to. Plánování vyžaduje schopnost modelovat alternativní kurzy akcí, které mohou rozumně vést k požadovanému výsledku, A také uvažovat o očekávaném užitku a očekávaných nákladech (včetně výpočtu a/nebo latence) každé alternativy. Zatímco LLM mohou potenciálně generovat reprezentace dostupných kurzů akcí, nemohou předpovědět jejich odpovídající očekávaný užitku a náklady. Například, co je očekávaný užitku a náklady z použití modelu X vs. modelu Y pro generování odpovědi pro konkrétní kontext? Co je očekávaný užitku hledání konkrétního kusu informací v korpusu indexovaných dokumentů vs. API volání do CRM? Vaše LLM ani nezačne mít tušení. A pro dobré důvodu – historické stopy těchto probabilistických vlastností se zřídka nacházejí v divočině a nejsou zahrnuty do LLM školení. Také tendují být specifické pro konkrétní nástroj a datový prostředí, ve kterém bude AI systém fungovat, na rozdíl od obecných znalostí, které LLM mohou získat. A i kdyby LLM mohli předpovědět očekávaný užitku a náklady, uvažování o nich pro výběr nejúčinnějšího kurzu akcí je logickým rozhodnutím-teoretickým odvozením, které nelze spolehlivě provést LLM předpověďmi dalšího tokenu.

Tak co jsou chybějící ingredience pro AI plánovací technologii? Potřebujeme modely plánovačů, které mohou se učit z experiencia a simulace, aby explicitně modelovaly alternativní kurzy akcí a odpovídající užitku a nákladů pravděpodobností pro konkrétní úkol v konkrétním nástroji a datovém prostředí. Potřebujeme Plan Definition Language (PDL), který může být použit pro reprezentaci a uvažování o kurzech akcí a pravděpodobnostech. Potřebujeme execuční engine, který může deterministicky a efektivně provést daný plán definovaný v PDL.

Někteří lidé již tvrdě pracují na dodání tohoto slibu. Do té doby pokračujte ve stavbě statických řetězců. Jen prosím, neříkejte jim “agenty”.