Sie versprachen uns Agenten, aber alles, was wir bekamen, waren statische Ketten

Im Frühjahr 2023 wurde die Welt aufgrund des Auftauchens von LLM-basierten KI-Agenten aufgeregt. Mächtige Demos wie AutoGPT und BabyAGI zeigten das Potenzial von LLMs, die in einer Schleife laufen, die nächste Aktion wählen, die Ergebnisse beobachten und die nächste Aktion wählen, Schritt für Schritt (auch bekannt als ReACT-Framework). Diese neue Methode sollte Agenten ermöglichen, die autonom und generisch mehrschrittige Aufgaben ausführen. Geben Sie ihnen ein Ziel und eine Reihe von Werkzeugen, und sie werden sich um den Rest kümmern. Bis Ende 2024 wird die Landschaft voller KI-Agenten und KI-Agenten-Building-Frameworks sein. Aber wie messen sie sich gegenüber dem Versprechen?

Es ist sicher zu sagen, dass die Agenten, die von dem naiven ReACT-Framework angetrieben werden, unter schwerwiegenden Einschränkungen leiden. Geben Sie ihnen eine Aufgabe, die mehr als ein paar Schritte erfordert, mit mehr als ein paar Werkzeugen, und sie werden kläglich scheitern. Abgesehen von ihren offensichtlichen Latenzproblemen werden sie die Spur verlieren, Anweisungen nicht befolgen, zu früh oder zu spät stoppen und wild unterschiedliche Ergebnisse bei jedem Versuch produzieren. Und es ist kein Wunder. Das ReACT-Framework nimmt die Einschränkungen unprediktabler LLMs und potenziert sie durch die Anzahl der Schritte. Allerdings können Agenten-Builder, die reale Anwendungsfälle lösen möchten, insbesondere im Unternehmen, nicht mit diesem Leistungsniveau auskommen. Sie benötigen zuverlässige, vorhersehbare und erklärbare Ergebnisse für komplexe mehrschrittige Workflows. Und sie benötigen KI-Systeme, die die unprediktabare Natur von LLMs mildern, anstatt sie zu verschärfen.

Wie werden also Agenten heute im Unternehmen aufgebaut? Für Anwendungsfälle, die mehr als ein paar Werkzeuge und ein paar Schritte erfordern (z. B. konversationale RAG), haben Agenten-Builder größtenteils das dynamische und autonome Versprechen von ReACT für Methoden aufgegeben, die stark auf statische Verkettung setzen – die Erstellung von vordefinierten Ketten, die für die Lösung eines bestimmten Anwendungsfalls konzipiert sind. Dieser Ansatz ähnelt traditioneller Software-Entwicklung und ist weit entfernt von dem agentischen Versprechen von ReACT. Er erreicht höhere Kontroll- und Zuverlässigkeitsniveaus, aber fehlt an Autonomie und Flexibilität. Lösungen sind daher entwicklungsintensiv, eng anwendungsbezogen und zu starr, um hohe Variationen im Eingaberaum und in der Umgebung zu bewältigen.

Um sicherzustellen, dass statische Verkettungspraktiken variieren können, wie “statisch” sie sind. Einige Ketten verwenden LLMs nur, um atomare Schritte auszuführen (z. B. um Informationen zu extrahieren, Texte zusammenzufassen oder eine Nachricht zu entwerfen), während andere auch LLMs verwenden, um einige Entscheidungen dynamisch zur Laufzeit zu treffen (z. B. ein LLM, das zwischen alternativen Flussketten in der Kette routet oder ein LLM, das das Ergebnis eines Schritts validiert, um zu bestimmen, ob es erneut ausgeführt werden soll). In jedem Fall, solange LLMs für dynamische Entscheidungsfindung im Lösungsprozess verantwortlich sind, sind wir unweigerlich in einem Kompromiss zwischen Zuverlässigkeit und Autonomie gefangen. Je statischer eine Lösung ist, desto zuverlässiger und vorhersehbarer ist sie, aber auch weniger autonom und daher enger anwendungsbezogen und entwicklungsintensiver. Je dynamischer und autonomer eine Lösung ist, desto generischer und einfacher zu bauen, aber auch weniger zuverlässig und vorhersehbar.

Dieser Kompromiss kann in der folgenden Grafik dargestellt werden:

Dies wirft die Frage auf, warum wir noch kein agentisches Framework gesehen haben, das in das obere rechte Quadrant passt. Sind wir dazu verdammt, für immer Zuverlässigkeit für Autonomie zu opfern? Können wir nicht ein Framework erhalten, das die einfache Schnittstelle eines ReACT-Agents bietet (ein Ziel und eine Reihe von Werkzeugen und es wird sich um den Rest kümmern), ohne Zuverlässigkeit zu opfern?

Die Antwort ist – wir können und werden! Aber dafür müssen wir erkennen, dass wir es bisher falsch gemacht haben. Alle aktuellen Agenten-Building-Frameworks teilen einen gemeinsamen Fehler: Sie verlassen sich auf LLMs als dynamische, autonome Komponente. Allerdings fehlt uns das entscheidende Element, das wir benötigen, um Agenten zu erstellen, die sowohl autonom als auch zuverlässig sind – Planungstechnologie. Und LLMs sind keine guten Planer.

Aber was ist “Planung”? Mit “Planung” meinen wir die Fähigkeit, alternative Handlungswege explizit zu modellieren, die zu einem gewünschten Ergebnis führen, und diese Alternativen unter Budgetbeschränkungen effizient zu erkunden und auszunutzen. Planung sollte sowohl auf Makro- als auch auf Mikro-Ebene erfolgen. Ein Makro-Plan zerlegt eine Aufgabe in abhängige und unabhängige Schritte, die zur Erreichung des gewünschten Ergebnisses ausgeführt werden müssen. Was oft übersehen wird, ist die Notwendigkeit von Mikro-Planung, um gewünschte Ergebnisse auf Schritt-Ebene zu gewährleisten. Es gibt viele verfügbare Strategien, um Zuverlässigkeit zu erhöhen und Garantien auf Schritt-Ebene zu erreichen, indem mehr Rechenzeit verwendet wird. Beispielsweise können Sie semantische Suchanfragen mehrmals umformulieren, mehr Kontext pro gegebener Anfrage abrufen, ein größeres Modell verwenden und mehr Inferenzen aus einem LLM erhalten – alles, um mehr Ergebnisse zu erhalten, die den Anforderungen entsprechen, aus denen das beste ausgewählt werden kann. Ein guter Mikro-Planer kann Rechenzeit effizient nutzen, um die besten Ergebnisse unter einem gegebenen Rechen- und Latenzbudget zu erzielen. Auf diese Weise können planvolle KI-Systeme die probabilistische Natur von LLMs mildern, um garantierte Ergebnisse auf Schritt-Ebene zu erreichen. Ohne solche Garantien sind wir wieder beim Kompromiss zwischen Zuverlässigkeit und Autonomie.

Aber warum können LLMs nicht als Planer dienen? Schließlich sind sie in der Lage, hochrangige Anweisungen in vernünftige Ketten von Gedanken oder Pläne umzusetzen, die in natürlicher Sprache oder Code definiert sind. Der Grund dafür ist, dass Planung mehr erfordert. Planung erfordert die Fähigkeit, alternative Handlungswege zu modellieren, die vernünftigerweise zu dem gewünschten Ergebnis führen könnten, UND die erwartete Nützlichkeit und erwarteten Kosten (in Rechenzeit und/oder Latenz) jeder Alternative zu bewerten. Während LLMs möglicherweise Darstellungen verfügbarer Handlungswege generieren können, können sie die entsprechenden erwarteten Nützlichkeiten und Kosten nicht vorhersagen. Beispielsweise, was sind die erwartete Nützlichkeit und Kosten der Verwendung von Modell X vs. Modell Y, um eine Antwort pro bestimmtem Kontext zu generieren? Was ist die erwartete Nützlichkeit, nach einer bestimmten Information in dem indexierten Dokumentenkorpus zu suchen, anstatt einen API-Aufruf an das CRM zu tätigen? Ihr LLM hat keine Ahnung. Und mit gutem Grund – historische Spuren dieser probabilistischen Merkmale sind selten in der Wildnis zu finden und werden nicht in LLM-Trainingsdaten aufgenommen. Sie neigen auch dazu, spezifisch für die bestimmte Werkzeug- und Datenumgebung zu sein, in der das KI-System operieren wird, im Gegensatz zu dem allgemeinen Wissen, das LLMs erwerben können. Und selbst wenn LLMs erwartete Nützlichkeit und Kosten vorhersagen könnten, ist die logische Entscheidungstheorie, um den effektivsten Handlungsweg zu wählen, eine deduktive Entscheidung, die nicht zuverlässig von LLMs durchgeführt werden kann.

Was also sind die fehlenden Zutaten für KI-Planungstechnologie? Wir benötigen Planer-Modelle, die aus Erfahrung und Simulation lernen können, um alternative Handlungswege und entsprechende Nützlichkeits- und Kostenwahrscheinlichkeiten pro bestimmter Aufgabe in einer bestimmten Werkzeug- und Datenumgebung explizit zu modellieren. Wir benötigen eine Plan-Definitionssprache (PDL), die verwendet werden kann, um alternative Handlungswege und Wahrscheinlichkeiten zu repräsentieren und zu bewerten. Wir benötigen einen Ausführungs-Engine, der einen gegebenen Plan, der in PDL definiert ist, deterministisch und effizient ausführen kann.

Einige Menschen arbeiten bereits hart daran, dieses Versprechen zu erfüllen. Bis dahin sollten Sie weiterhin statische Ketten aufbauen. Bitte nennen Sie sie nur nicht “Agenten”.