Wie bewertet man einen KI-Agenten? Aufgaben, Abläufe, Zuverlässigkeit und Kosten

Bei der Bewertung eines KI-Agenten wird geprüft, ob er repräsentative Aufgaben zuverlässig erledigt, angemessene Wege einschlägt, seine Grenzen respektiert und den Kosten einen ausreichenden Mehrwert gegenüberstellt. Eine abschließende Antwort allein reicht als Beleg nicht aus, denn ein Agent kann durch unsichere Handlungen, unbelegte Behauptungen, übermäßig viele Wiederholungsversuche oder schlichtes Glück zu einem plausiblen Ergebnis gelangen.

Die Bewertung von Agenten ist schwierig, weil das System über einen längeren Zeitraum hinweg handelt. Das Modell wählt Werkzeuge aus, beobachtet sich verändernde Umgebungen und kann bei jedem Durchlauf einen anderen Weg einschlagen. Aussagekräftige Evaluierungen messen daher die Ergebnisse und Abläufe in wiederholten Tests.

Begriffe rund um die Agentenbewertung

Anthropics Leitfaden zur Entmystifizierung der Agentenbewertung bietet eine hilfreiche Sammlung von Begriffen:

• Aufgabe: ein Testfall mit einem Ziel, einer Umgebung, Eingaben und Erfolgskriterien.
• Durchlauf: ein Versuch des Agenten, eine Aufgabe zu erledigen.
• Protokoll oder Ablauf: die Abfolge von Nachrichten, Entscheidungen, Werkzeugaufrufen, Beobachtungen und Handlungen während eines Durchlaufs.
• Bewertungsinstanz: eine Regel, ein Programm, ein Modell oder eine Person, die einen Teil der Leistung bewertet.
• Evaluierungsumgebung: das System, das Umgebungen vorbereitet, Durchläufe ausführt, Ablaufprotokolle erfasst, Bewertungsinstanzen aufruft und Ergebnisse ausgibt.

Wer diese Begriffe auseinanderhält, vermeidet einen häufigen Fehler: eine einzelne erfolgreiche Demonstration als Beleg dafür zu werten, dass der Agent zuverlässig arbeitet.

Mit einer klaren Aufgabenspezifikation beginnen

Eine hilfreiche Evaluierungsaufgabe beschreibt den Ausgangszustand, die verfügbaren Werkzeuge, die Einschränkungen, das erwartete Ergebnis und wichtige verbotene Verhaltensweisen. Der Test sollte der realen Arbeit ähneln, ohne einen einzigen festgelegten Lösungsweg vorzugeben.

Für einen Support-Agenten ist „Ticket lösen“ zu vage. Eine präzisere Aufgabe nennt den Datensatz des Kunden, die geltenden Richtlinien, zulässige Abhilfemaßnahmen, die erforderliche Kommunikation und die Änderungen, die im maßgeblichen System erscheinen müssen. Anschließend lässt sie sich objektiv bewerten.

Vier Ebenen der Agentenbewertung

Diese Ebenen sollten in der Berichterstattung getrennt bleiben. Werden sie zu einem einzigen Durchschnittswert zusammengefasst, kann das inakzeptables Verhalten verborgen bleiben – etwa eine hohe Erfolgsquote bei Aufgaben, hinter der sich häufige unbefugte Werkzeugaufrufe verbergen. Teams können zunächst verbindliche Sicherheitskriterien festlegen und anschließend die Ergebnisqualität und Effizienz der Durchläufe vergleichen, die diese Kriterien erfüllen.

1. Ergebnisqualität

Hat der Agent das Ziel erreicht? Bewertungsinstanzen für Ergebnisse können exakte Zustandsänderungen, erforderliche Felder, Testergebnisse, sachliche Richtigkeit, die Beleglage für Zitate oder die Qualität anhand eines Bewertungsrasters überprüfen.

Wo immer möglich, sollte der endgültige Zustand der Umgebung herangezogen werden, nicht die Behauptung des Agenten selbst. Ein Programmieragent war nicht schon deshalb erfolgreich, weil er sagt, der Fehler sei behoben; die relevanten Tests und das tatsächliche Verhalten müssen dies bestätigen.

2. Qualität des Ablaufs

Hat der Agent einen sinnvollen Weg eingeschlagen? Bei der Bewertung des Ablaufs lassen sich unnötige Datenzugriffe, verbotene Werkzeuge, wiederholte Fehlschläge, ausgelassene Überprüfungen, erfundene Beobachtungen oder Verstöße gegen Genehmigungsvorgaben erkennen.

Nicht jede Abweichung von einem Referenzweg ist ein Fehler. Agenten können gültige Lösungen finden, mit denen die Bewertenden nicht gerechnet haben. Bewertungsinstanzen sollten tatsächliche Anforderungen durchsetzen und zugleich alternative, effiziente Vorgehensweisen zulassen.

3. Sicherheits- und Richtlinienkonformität

Hat der Agent innerhalb seiner Befugnisse gehandelt? Tests sollten Prompt-Injection, widersprüchliche Anweisungen, sensible Daten, mehrdeutige Nutzerabsichten sowie Anfragen umfassen, die eine Ablehnung oder Eskalation erfordern.

Sicherheitsbewertungen müssen in einer Sandbox realistische Konsequenzen abbilden. Ein richtlinienkonformer Satz reicht nicht aus, wenn der Agent die Nachricht bereits gesendet, den Datensatz geändert oder die Daten offengelegt hat.

4. Betriebseffizienz

Wie viel Zeit und Geld hat der Erfolg gekostet? Erfassen Sie Modell-Tokens, Werkzeugaufrufe, Echtzeitlatenz, Wiederholungsversuche, menschliche Eingriffe und die Kosten externer Dienste. Ein Agent, der erst nach 100 unnötigen Aktionen erfolgreich ist, kann weniger nützlich sein als ein einfacherer Arbeitsablauf.

Mehrere Arten von Bewertungsinstanzen verwenden

Deterministische Prüfer überprüfen genau definierte Eigenschaften: ob ein Test bestanden wurde, eine Datei korrekt geändert wurde, ein Datenbankfeld den erforderlichen Wert hat oder ein unzulässiger Endpunkt aufgerufen wurde. Sie sind schnell und konsistent, decken aber nur ab, was die Entwickler vorgeben.

Modellbasierte Prüfer bewerten Eigenschaften wie Klarheit, Vollständigkeit, Relevanz und die Einhaltung differenzierter Kriterien. Sie lassen sich besser skalieren als menschliche Prüfungen, müssen aber selbst validiert werden, da sie voreingenommen oder inkonsistent sein können.

Menschliche Prüfer sind wichtig, wenn Expertenurteile gefragt sind, Fälle mehrdeutig sind oder automatisierte Prüfer validiert werden müssen. Da menschliche Prüfungen langsamer und teurer sind, setzen Teams sie oft bei Stichproben, Meinungsverschiedenheiten und in Bereichen mit hohen Auswirkungen ein.

Die leistungsfähigsten Evaluationsverfahren kombinieren diese Ansätze. Auch OpenAI behandelt Evaluation mit seiner Evaluationsplattform Evals als strukturierten Prozess, bei dem Tests, Prüfer und wiederholte Experimente definiert werden, statt sich auf eine informelle Sichtprüfung zu verlassen.

Zuverlässigkeit erfordert wiederholte Tests

Führen Sie jede Aufgabe oft genug aus, um Schwankungen durch die Stichprobenziehung, wechselnde Tools und den jeweiligen Umgebungszustand zu erkennen. Berichten Sie sowohl die durchschnittliche Leistung als auch, wie häufig schwerwiegende Fehler auftreten. Bei Arbeitsabläufen mit mehreren voneinander abhängigen Schritten kann die Genauigkeit auf Ebene der einzelnen Schritte hoch erscheinen, während die Zuverlässigkeit des gesamten Ablaufs gering bleibt, denn ein einziger Fehler kann ausreichen, um die ganze Aufgabe scheitern zu lassen.

Das Verhalten von Agenten ist probabilistisch. Dieselbe Aufgabe kann zu unterschiedlichen Plänen, Tool-Aufrufen und Ergebnissen führen. Führen Sie jede wichtige Aufgabe mehrmals aus und berichten Sie Erfolgsquoten oder Punkteverteilungen statt nur das beste Beispiel.

Zwei Zuverlässigkeitsmaße beantworten unterschiedliche Fragen:

• Pass@k: die Wahrscheinlichkeit, dass mindestens einer von k Versuchen erfolgreich ist. Dieses Maß ist hilfreich, wenn mehrere Versuche zulässig sind.
• Pass^k: die Wahrscheinlichkeit, dass alle k Versuche erfolgreich sind. Dieses Maß zeigt die Konsistenz, wenn jeder Durchlauf funktionieren muss.

Ein System kann eine attraktive Pass@k-Quote aufweisen und sich dennoch nicht für den automatischen Betrieb eignen, weil einzelne Durchläufe unzuverlässig sind.

Einen repräsentativen Aufgabensatz erstellen

Beginnen Sie mit tatsächlichen Fehlern und häufigen Anfragen aus dem Produktivbetrieb. Nehmen Sie einfache Aufgaben, schwierige Grenzfälle, mehrdeutige Eingaben, Tool-Fehler, veraltete Daten, fehlende Informationen und adversariale Inhalte auf.

Gliedern Sie die Ergebnisse nach Aufgabentyp und Risiko. Ein Gesamtdurchschnitt kann eine gravierende Schwäche bei Finanztransaktionen, Aufgaben mit langem Planungshorizont oder einer bestimmten Anwendung verdecken. Halten Sie einen separaten Datensatz zurück, damit wiederholte Anpassungen an den Prompts den Evaluationsdatensatz nicht in einen Trainingsdatensatz verwandeln.

Die Umgebung bewerten, nicht nur das Modell

Die Leistung eines Agenten hängt von Tool-Definitionen, Berechtigungen, Speicher, Kontextverwaltung, Benutzeroberfläche, Netzwerkverhalten und Orchestrierung ab. Ein Modell-Upgrade kann einen Fehler verringern und zugleich einen anderen zutage treten lassen.

Legen Sie für jeden Durchlauf die Versionen des gesamten verwendeten Stacks fest. Dokumentieren Sie das Modell, die Prompts, die Tools, den Datenstand, die Umgebung, die Budgets und die Versionen der Prüfer. Andernfalls lässt sich eine veränderte Punktzahl nicht auf eine aussagekräftige Ursache zurückführen.

Häufige Fehler bei der Evaluation

Datenlecks stellen ein weiteres Risiko dar. Tauchen Benchmark-Aufgaben, erwartete Antworten oder Bewertungsmuster in den Trainingsdaten des Modells oder im Prompt-Kontext auf, misst die Punktzahl möglicherweise eher Wiedererkennung als Verallgemeinerungsfähigkeit. Halten Sie Aufgaben für private Tests zurück, aktualisieren Sie die Testfälle, wenn sich die Systeme ändern, und dokumentieren Sie für jeden Durchlauf das genaue Modell, den Prompt, die Tool-Versionen und die verwendete Umgebung.

• Bewertung anhand von Demos: Aufgaben auswählen, nachdem man gesehen hat, worin der Agent gut ist.
• Bewertung nur der endgültigen Antwort: Unsichere oder verschwenderische Abläufe außer Acht lassen.
• Schlussfolgerungen aus einem einzigen Durchlauf: Einen glücklichen Zufallserfolg als stabile Fähigkeit betrachten.
• Durchgesickerte Tests: Die Antwort oder den Referenzablauf in den Kontext des Agenten aufnehmen.
• Nicht validierte Bewertungsmodelle: Annehmen, dass ein automatisiertes Bewertungsmodell richtig urteilt, ohne seine Übereinstimmung mit Fachleuten zu überprüfen.
• Statische Umgebungen: Nur eine Benutzeroberfläche, einen Kontostatus oder eine Datenanordnung testen.
• Keine Negativtests: Den Aufgabenerfolg messen, ohne zu prüfen, ob der Agent angemessen ablehnt oder die Angelegenheit eskaliert.
• Wirtschaftlichkeit außer Acht lassen: Den Erfolg optimieren, während Kosten und Latenz unbrauchbar werden.

Von Offline-Evaluierungen zur Überwachung im Produktivbetrieb

Offline-Evaluierungen sind kontrolliert und wiederholbar. Sie eignen sich ideal, um Prompts, Modelle, Tools und Richtlinien vor der Veröffentlichung miteinander zu vergleichen. Die Überwachung im Produktivbetrieb macht das breite Spektrum des tatsächlichen Nutzerverhaltens und der Veränderungen in der Umgebung sichtbar.

Ein ausgereiftes Programm verknüpft beide Ansätze. Vorfälle und Produktionsabläufe mit geringer Konfidenz werden zu neuen Offline-Aufgaben. Änderungen an Kandidaten müssen die Regressionstests bestehen. Nach der Bereitstellung beobachten Teams den Aufgabenerfolg, die Eingriffsrate, Richtlinienereignisse, Tool-Fehler, Kosten, Latenz und Nutzerfeedback.

Ein praxisorientiertes Bewertungsraster für Agenten

Ein Bewertungsraster sollte verbindliche Mindestanforderungen von Optimierungskennzahlen unterscheiden. Die Einhaltung von Richtlinien, die Autorisierung und vorgeschriebene Nachweise können als Bestanden-oder-nicht-bestanden-Kriterien gelten; Genauigkeit, Latenz, Kosten und Prüfaufwand lassen sich anschließend unter den akzeptablen Durchläufen vergleichen. So wird verhindert, dass Teams einen kleinen Effizienzgewinn gegen eine Verschlechterung der Sicherheit eintauschen, die ein Durchschnittswert verschleiern würde.

Ein aussagekräftiges Bewertungsraster kann Folgendes umfassen:

• Aufgabenerfolgsquote und Qualitätsbewertung;
• Konsistenz über wiederholte Durchläufe hinweg;
• Rate kritischer Richtlinienverstöße;
• Genauigkeit bei der Tool-Auswahl und den Argumenten;
• Erholungsrate nach Tool- oder Umgebungsfehlern;
• Rate der Eskalationen an Menschen und manuellen Übersteuerungen;
• Median- und Spitzenlatenz;
• Kosten für Modell, Tools und menschlichen Aufwand pro erfolgreich erledigter Aufgabe;
• Effizienz des Ablaufs im Vergleich zu einer angemessenen Referenz.

Geben Sie die Kosten pro erfolgreich erledigter Aufgabe an, nicht nur die Kosten pro Durchlauf. Ein günstiger Agent, der wiederholt scheitert, kann teurer sein als ein leistungsfähigeres Modell, das die Aufgabe auf Anhieb erledigt.

Was Sie über die Bewertung eines KI-Agenten wissen sollten

Die Bewertung von Agenten ist die systematische Prüfung eines vollständigen, zielgerichteten Systems unter realistischen Bedingungen. Dabei wird gemessen, ob die Arbeit korrekt ist, ob der Weg zum Ergebnis akzeptabel ist, ob sich das Verhalten wiederholen lässt und ob der wirtschaftliche Aufwand vertretbar ist.

Beginnen Sie mit einer kleinen Auswahl wichtiger Aufgaben, mehreren Durchläufen, mehrstufigen Bewertungsverfahren und vollständigen Abläufen. Machen Sie dann aus jedem bedeutsamen Fehler im Produktivbetrieb einen Regressionstest. Die Fähigkeiten von Agenten verändern sich schnell; ein dauerhaftes Evaluierungssystem hilft Teams, echten Fortschritt von einer überzeugenden Demo zu unterscheiden.