Obiecywali nam agenci, ale dostaliśmy tylko łańcuchy statyczne

Wiosną 2023 roku świat zaczął się ekscytować wokół pojawienia się agentów AI opartych na LLM. Potężne demonstracje, takie jak AutoGPT i BabyAGI, pokazały potencjał LLMów działających w pętli, wybierających następne działanie, obserwujących wyniki i wybierających następne działanie, krok po kroku (znane również jako ramy ReACT). Oczekiwano, że ta nowa metoda umożliwi stworzenie agentów, które mogą wykonywać wieloetapowe zadania w sposób autonomiczny i generyczny. Podaj im cel i zestaw narzędzi, a one zajmą się resztą. Do końca 2024 roku krajobraz będzie pełen agentów AI i frameworków do budowy agentów. Ale jak one się mają do obietnicy?

Można bezpiecznie powiedzieć, że agenci zasilani przez naiwną ramę ReACT cierpią z powodu poważnych ograniczeń. Podaj im zadanie, które wymaga więcej niż kilku kroków, używając więcej niż kilku narzędzi, a one będą miały kiepski wynik. Poza ich oczywistymi problemami z opóźnieniami, one stracą ślad, nie będą w stanie wykonać instrukcji, zatrzymają się za wcześnie lub za późno, i dadzą różne wyniki przy każdej próbie. I nie jest to zaskakujące. Rama ReACT bierze ograniczenia nieprzewidywalnych LLMów i zwiększa je o liczbę kroków. Jednak budowniczowie agentów, którzy chcą rozwiązać rzeczywiste przypadki użycia, zwłaszcza w przedsiębiorstwach, nie mogą sobie pozwolić na taki poziom wydajności. Oni potrzebują niezawodnych, przewidywalnych i wyjaśnialnych wyników dla złożonych, wieloetapowych przepływów pracy. I oni potrzebują systemów AI, które łagodzą, a nie nasilają, nieprzewidywalną naturę LLMów.

Więc jak są budowane agenci w przedsiębiorstwach dzisiaj? Dla przypadków użycia, które wymagają więcej niż kilku narzędzi i kilku kroków (np. conversational RAG), budowniczowie agentów w dużej mierze porzucili dynamiczną i autonomiczną obietnicę ReACT na rzecz metod, które silnie opierają się na łańcuchach statycznych – tworzeniu łańcuchów zaprojektowanych do rozwiązania konkretnego przypadku użycia. Ten podejście przypomina tradycyjne inżynierię oprogramowania i jest dalekie od obietnicy agentycznej ReACT. Ono osiąga wyższy poziom kontroli i niezawodności, ale brakuje mu autonomii i elastyczności. Rozwiązania są więc intensywnie rozwijane, wąskie w zastosowaniu i zbyt sztywne, aby rozwiązać wysoki poziom zmienności w przestrzeni wejściowej i środowisku.

Na pewno, praktyki łańcuchów statycznych mogą się różnić w tym, jak “statyczne” one są. Niektóre łańcuchy używają LLMów tylko do wykonywania atomowych kroków (np. do ekstrakcji informacji, podsumowania tekstu lub napisania wiadomości), podczas gdy inne używają LLMów do podejmowania niektórych decyzji dynamicznie w czasie wykonywania (np. LLM kierujący między alternatywnymi przepływami w łańcuchu lub LLM walidujący wynik kroku, aby określić, czy powinien być wykonywany ponownie). W każdym przypadku, tak długo, jak LLM są odpowiedzialne za jakiekolwiek dynamiczne podejmowanie decyzji w rozwiązaniu – jesteśmy nieuchronnie uwięzieni w kompromisie między niezawodnością a autonomią. Im bardziej rozwiązanie jest statyczne, tym bardziej niezawodne i przewidywalne, ale również mniej autonomiczne i bardziej wąskie w zastosowaniu i bardziej intensywnie rozwijane. Im bardziej rozwiązanie jest dynamiczne i autonomiczne, tym bardziej generyczne i proste w budowie, ale również mniej niezawodne i przewidywalne.

Ten kompromis może być przedstawiony na poniższym wykresie:

To rodzi pytanie, dlaczego jeszcze nie widzieliśmy ramy agentycznej, która może być umieszczona w prawym górnym kwadrancie? Czy jesteśmy skazani na wieczne trade-offy między niezawodnością a autonomią? Czy nie możemy uzyskać ramy, która zapewnia prosty interfejs agenta ReACT (pobierz cel i zestaw narzędzi i rozwiąż resztę) bez poświęcania niezawodności?

Odpowiedź brzmi – możemy i będziemy! Ale aby to osiągnąć, musimy zrozumieć, że robimy to wszystko źle. Wszystkie obecne ramy budowy agentów mają wspólną wadę: opierają się na LLM jako dynamicznej, autonomicznej składowej. Jednak kluczowym elementem, którego brakuje nam – co potrzebne do stworzenia agentów, które są zarówno autonomiczne, jak i niezawodne – jest technologia planowania. A LLM nie są wielkimi planistami.

Ale najpierw, co to jest “planowanie”? Przez “planowanie” rozumiemy zdolność do jawnej modelowania alternatywnych kursów działań, które prowadzą do pożądanego wyniku i efektywnego eksplorowania i wykorzystywania tych alternatyw w ramach ograniczeń budżetowych. Planowanie powinno być wykonywane na poziomie makro i mikro. Makroplan rozkłada zadanie na zależne i niezależne kroki, które muszą być wykonane, aby osiągnąć pożądany wynik. Często pomija się potrzebę mikroplanowania, którego celem jest gwarantowanie pożądanych wyników na poziomie kroku. Istnieją różne strategie zwiększania niezawodności i osiągania gwarancji na poziomie pojedynczego kroku poprzez wykorzystanie większej ilości obliczeń w czasie inferencji. Na przykład, można sformułować zapytania semantyczne wielokrotnie, można pobrać więcej kontekstu dla danego zapytania, można użyć większego modelu, a można uzyskać więcej inferencji z LLM – wszystko to prowadzi do lepszych wyników spełniających wymagania, z których można wybrać najlepszy. Dobry mikroplanista może efektywnie wykorzystać obliczenia w czasie inferencji, aby osiągnąć najlepsze wyniki w ramach danego budżetu obliczeniowego i opóźnienia. W ten sposób, planistyczne systemy AI mogą łagodzić probabilistyczną naturę LLM, aby osiągnąć gwarantowane wyniki na poziomie kroku. Bez takich gwarancji, wracamy do problemu błędu, który podważy nawet najlepszy plan na poziomie makro.

Ale dlaczego LLM nie mogą służyć jako planiści? Przecież są one w stanie tłumaczyć wysoko poziomowe instrukcje na rozsądne łańcuchy myśli lub plany zdefiniowane w języku naturalnym lub kodzie. Powodem jest to, że planowanie wymaga więcej niż tego. Planowanie wymaga zdolności do modelowania alternatywnych kursów działań, które mogą rozsądnie prowadzić do pożądanego wyniku I do rozumienia oczekiwanego użycia i oczekiwanego kosztu (w obliczeniach i/lub opóźnieniu) każdej alternatywy. Chociaż LLM mogą potencjalnie generować reprezentacje dostępnych kursów działań, one nie mogą przewidzieć ich odpowiedniego użycia i kosztów. Na przykład, jakie są oczekiwane użycie i koszty użycia modelu X vs. modelu Y do generowania odpowiedzi na dane zapytanie? Jaki jest oczekiwany użycie szukania konkretnego kawałka informacji w korpusie dokumentów indeksowanych vs. wywołania API do CRM? Twój LLM nie ma pojęcia. I nie ma powodu, aby LLM mogły przewidzieć oczekiwane użycie i koszty – historyczne ślady tych probabilistycznych cech są rzadko spotykane w naturze i nie są uwzględnione w danych szkoleniowych LLM. One również tendencję do być specyficzne dla konkretnego narzędzia i środowiska danych, w którym system AI będzie działał, w przeciwieństwie do ogólnej wiedzy, którą LLM mogą nabyć. I nawet gdyby LLM mogły przewidzieć oczekiwane użycie i koszty, rozumowanie o nich, aby wybrać najbardziej skuteczny kurs działań, jest logicznym wnioskiem teoretycznym, który nie może być założony jako niezawodnie wykonywany przez przewidywania tokenów LLM.

Więc jakie są brakujące składniki technologii planowania AI? Potrzebujemy modeli planistów, które mogą uczyć się z doświadczenia i symulacji, aby jawnie modelować alternatywne kursy działań i odpowiednie użycie i koszty prawdopodobieństwa dla konkretnego zadania w konkretnym narzędziu i środowisku danych. Potrzebujemy języka definicji planu (PDL), który może być użyty do reprezentowania i rozumienia kursów działań i prawdopodobieństw. Potrzebujemy silnika wykonawczego, który może deterministycznie i efektywnie wykonywać dany plan zdefiniowany w PDL.

Niektórzy ludzie już pracują ciężko, aby spełnić tę obietnicę. Do tego czasu, kontynuujmy budowanie łańcuchów statycznych. Tylko proszę, nie nazywaj ich “agentami”.