KI-Modelle und Plattformen
IBM Research berichtet: Erlerntes Gedächtnis liegt beim Service-Benchmark τ²-Bench vorn
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
In einem Beitrag vom 20. Oktober 2026 auf Hugging Face berichtete IBM Research, dass automatisch aus den eigenen Trainingsläufen eines Agenten abgeleitete und an dessen System-Prompt angehängte Leitlinien einen standardmäßigen GPT-4.1-Kundenserviceagenten in der Retail-Domäne von τ²-bench auf 67.5% Pass^4 hoben. Damit lag er vor allen Retail-Einträgen im Bestenlisten-Snapshot des Teams vom 12. Oktober 2026.
Das Ergebnis geht auf ALTK-Evolve zurück, die Methode des Forschungsteams, mit der sich nach Beschreibung der Autoren ein erlerntes Regelwerk erstellen lässt. Die Methode analysiert die Versuche eines Agenten bei Trainingsaufgaben und nutzt dasselbe Modell, um Erfolge und Fehlschläge zu kurzen Verhaltensregeln zu verdichten. Diese decken Situationen ab wie die Authentifizierung eines Kunden, die Bestätigung einer Transaktion oder die Bearbeitung einer Rückgabe. Dem Beitrag zufolge kommt dasselbe Modell sowohl zum Extrahieren der Leitlinien als auch als Agent selbst zum Einsatz; der Prozess erfordert weder Gewichtsaktualisierungen noch menschliche Annotationen. Das Team hatte den Ansatz zuvor bereits bei Programmieragenten demonstriert; in der neuen Studie wendet es ihn auf den Kundenservice an. Der Beitrag nennt elf Autoren von IBM Research, darunter Ashwath Vaithinathan Aravindan, Vatche Isahagian und Vinod Muthusamy.
So wurde die Studie durchgeführt
τ²-bench, betreut von Sierra Research, ist ein Simulationsrahmen zur Bewertung von Kundenserviceagenten in verschiedenen Domänen. Laut dem τ²-bench-Repository legt jede Domäne eine Richtlinie fest, die der Agent befolgen muss, sowie eine Reihe von Werkzeugen und Evaluierungsaufgaben; im Grundsatzpapier des Benchmarks wird zudem eine Umgebung mit dualer Steuerung beschrieben. Die IBM-Studie nutzt die Domänen Retail und Airline. Bei jeder Aufgabe interagiert der Agent mit einem von einem LLM simulierten Kunden und verwendet domänenspezifische Werkzeuge sowie ein schriftliches Richtliniendokument. Eine Aufgabe gilt nur dann als gelöst, wenn der endgültige Datenbankzustand dem erwarteten Ergebnis entspricht. Der Beitrag bezeichnet dies als strikte binäre Belohnung.
Bei der Evaluierung kam die eigene Implementierung eines einfachen ReAct-Agenten von τ²-bench mit einer zweiphasigen THINK→ACT-Schleife zum Einsatz. Als Agentenmodell diente gpt-4.1, als Kunden-Simulationsmodell gpt-5.5; jede Aufgabe wurde viermal durchgeführt. Die einzige Änderung bestand in einer einfachen Markdown-Liste mit erlernten Leitlinien, die nach der Richtlinie der jeweiligen Domäne an den System-Prompt angehängt wurde. Zu den veröffentlichten Beispielen gehören die Authentifizierung des Nutzers vor jeder bestellungsbezogenen Aktion, die ausdrückliche Zustimmung des Nutzers vor Aktionen, die die Datenbank verändern, eine aufgeschlüsselte Darstellung von Rückerstattungen, eine Aktion pro Schritt sowie das Parsen zusammengesetzter Namensbezeichnungen vor Nutzersuchen.
Die Leitlinien wurden anhand der Trajektorien des Agenten bei τ²-bench-Trainingsaufgaben mit gpt-4.1 extrahiert und unverändert auf den zurückgehaltenen Testsatz angewandt. Für jede Leitlinie wird eine Unterstützungszahl angegeben: die Anzahl unterschiedlicher Trainingsaufgaben, aus denen sie abgeleitet wurde. Die Studie vergleicht drei Konfigurationen: eine Baseline ohne Leitlinien; sup3, bei der nur Leitlinien mit einer Unterstützungszahl von mindestens drei verwendet werden (31 im Retail-Bereich, 14 im Airline-Bereich); und lossless, bei der alle beibehaltenen Leitlinien enthalten sind (292 im Retail-Bereich, 101 im Airline-Bereich).
Ergebnisse für Retail und Airline auf zurückgehaltenen Testdaten
Die Studie erfasst bei den vier Durchläufen pro Aufgabe zwei Messgrößen: die mittlere Genauigkeit (Mean Accuracy), also die durchschnittliche Erfolgsquote, die die Autoren als Maß für die Leistungsfähigkeit einordnen, und Pass^4, den Prozentsatz der Aufgaben, die in allen vier Durchläufen gelöst wurden. Letztere gilt als Maß für die Zuverlässigkeit und ist laut den Autoren die Kennzahl, die in der τ²-bench-Bestenliste ausgewiesen wird.
Bei 40 zurückgehaltenen Retail-Testaufgaben erzielte der Baseline-Agent laut IBM eine mittlere Genauigkeit von 78.1% und 57.5% Pass^4. Der sup3-Kern erreichte 78.8% und 60.0%, die lossless-Konfiguration 82.5% und 67.5%. Gegenüber der Baseline entspricht dies laut Angaben Zugewinnen von 4.4 und 10.0 Prozentpunkten.
Bei 20 zurückgehaltenen Airline-Testaufgaben erzielte die Baseline eine Genauigkeit von 57.5% und 35.0% Pass^4. Der sup3-Kern erreichte 60.0% Genauigkeit und 45.0% Pass^4, während lossless auf 65.0% Genauigkeit und 40.0% Pass^4 kam. Die beiden Domänen unterschieden sich darin, welche Menge an Leitlinien am besten funktionierte: Im Retail-Bereich waren die Verbesserungen mit dem vollständigen lossless-Satz am größten, während im Airline-Bereich der kompakte sup3-Kern den besten Pass^4-Wert erzielte. IBM zufolge sollte die Unterstützungszahl je Domäne angepasst und nicht als fester Wert vorgegeben werden.
Kosten, erneuter Durchlauf mit einem Frontier-Modell und Status in der Bestenliste
Die gesamten LLM-Kosten pro Gespräch im vollständigen Basissplit stiegen mit der Größe des Prompts: im Retail-Bereich von $0.084 bei der Baseline auf $0.139 mit lossless, was einem angegebenen Anstieg von 65% entspricht, und im Airline-Bereich von $0.081 auf $0.107, ein Anstieg um 32%. Die sup3-Varianten kosteten jeweils $0.095 und $0.097. Bei vergleichbaren Durchläufen, die sowohl mit der Baseline als auch mit Leitlinien gelöst wurden, waren die Gespräche mit Leitlinien etwas kürzer: Im Retail-Bereich sank die Zahl der Assistenten-Turns mit lossless von 10.59 auf 10.16, im Airline-Bereich von 9.15 auf 8.82. Keine Variante führte zu längeren Gesprächen. IBM zufolge bedeuten weniger Turns eine geringere Ende-zu-Ende-Latenz für den Kunden. Die zusätzlichen Eingabekosten lassen sich in der Produktion größtenteils durch Prompt-Caching wieder einsparen, da der Leitlinienblock bei jedem Aufruf identisch ist.
Das Team führte außerdem einen erneuten Durchlauf in der Airline-Domäne mit gpt-5.5 sowohl als Agentenmodell als auch als Modell zur Extraktion der Leitlinien durch und leitete die Leitlinien erneut aus den eigenen Läufen dieses Agenten ab. Keine extrahierte Leitlinie erreichte eine Unterstützungszahl von mindestens drei. Der Kern mit hoher Unterstützung bestand daher aus sup2 mit 103 Leitlinien; daneben gab es einen lossless-Satz mit 146 Leitlinien. Bei denselben zurückgehaltenen Airline-Aufgaben erzielte die gpt-5.5-Baseline eine Genauigkeit von 72.5% und 55.0% Pass^4; sup2 erreichte 80.0% und 70.0%, lossless 82.5% und 70.0%. Dies entspricht laut Angaben Zugewinnen von 10.0 Genauigkeitspunkten und 15.0 Pass^4-Punkten. IBM berichtet, dass sich das lossless-Ergebnis bei erneuten Durchläufen exakt reproduzierte.
Die Einreichungen für die Rangliste werden anhand des vollständigen Basissplits bewertet, in dem Trainings- und Testaufgaben zusammengefasst sind, und mit Pass^4 angegeben. Daher unterscheiden sich diese Werte von den oben genannten Zahlen für den zurückgehaltenen Datensatz. Im Vergleich zum Stand vom 12. Oktober 2026 berichtet IBM, dass sein Retail-Agent mit 67,5 % auf Platz eins liegt und damit vor RAFT-30B-A3B mit 61,4 % rangiert. Dieses Modell sei laut IBM mit synthetischen Retail-Daten aus τ²-bench feinabgestimmt worden; der Vorsprung betrage den Angaben zufolge 6,1 Punkte. Für den Airline-Bereich berichtet IBM, dass der gpt-5.5-Agent mit 82,0 % auf Platz eins liegt und damit die von IBM mit 66–72 % aufgeführten Spitzenmodelle übertrifft. Die Variante gpt-4.1 sup3 belegte mit 44 % den achten Platz und lag damit vor GPT-5.2, das ohne Reasoning ausgeführt wurde, und fast gleichauf mit Claude Sonnet 4.5. IBM erklärt, dass der Ansatz Standardagenten verbessert, ohne ihre Gewichte zu aktualisieren, Menschen annotieren zu lassen oder Informationen aus dem Testsatz einfließen zu lassen.
Die Einreichung für die Retail-Rangliste wurde am 14. September 2026 als Pull Request für τ²-bench eingereicht. Sie weist für 114 Aufgaben im Basissplit bei vier Durchläufen einen Wert von Pass^1 von 81,14 % bis Pass^4 von 67,54 % aus, bei durchschnittlichen Kosten von 0,1084 $ pro Gespräch auf tau2-bench v1.0.1. Außerdem wird darauf hingewiesen, dass die Richtlinien anhand eines Retail-Trainingssplits erlernt wurden, der im Basissplit der Evaluierung enthalten ist. Die Einreichung für die Airline-Rangliste folgte am 21. September 2026. Sie weist für 50 Aufgaben einen Wert von Pass^1 von 88,50 % bis Pass^4 von 82,00 % aus, bei durchschnittlichen Kosten von 0,1690 $ pro Gespräch. In beiden Einreichungen werden geänderte Prompts offengelegt; außerdem heißt es, man erwarte, dass sie als „Unverified“ gelistet werden. Beide Einreichungen sind weiterhin offen.
