Η IBM Research αναφέρει ότι η μαθημένη μνήμη υπερέχει στο benchmark εξυπηρέτησης τ²-bench

Σε ανάρτηση της 20ής Οκτωβρίου 2026 στο Hugging Face, η IBM Research ανέφερε ότι οι κατευθυντήριες οδηγίες που μαθαίνονται αυτόματα από τις ίδιες τις εκπαιδευτικές εκτελέσεις ενός πράκτορα και προστίθενται στην προτροπή συστήματός του ανέβασαν τη βαθμολογία ενός έτοιμου πράκτορα εξυπηρέτησης πελατών GPT-4.1 στο 67.5% Pass^4 στον τομέα λιανικής του τ²-bench, υψηλότερα από κάθε συμμετοχή λιανικής στο στιγμιότυπο του πίνακα κατάταξης της ομάδας από τις 12 Οκτωβρίου 2026.

Το αποτέλεσμα προέρχεται από το ALTK-Evolve, τη μέθοδο του εργαστηρίου για τη δημιουργία αυτού που οι συγγραφείς περιγράφουν ως εγχειρίδιο κανόνων που έχει μάθει ο πράκτορας. Η μέθοδος αναλύει τις προσπάθειες ενός πράκτορα σε εκπαιδευτικές εργασίες και χρησιμοποιεί το ίδιο μοντέλο για να συμπυκνώσει τις επιτυχίες και τις αποτυχίες σε σύντομους κανόνες συμπεριφοράς, που καλύπτουν περιστάσεις όπως η ταυτοποίηση πελάτη, η επιβεβαίωση μιας συναλλαγής ή ο χειρισμός μιας επιστροφής. Σύμφωνα με την ανάρτηση, το ίδιο μοντέλο χρησιμοποιείται τόσο για την εξαγωγή κατευθυντήριων οδηγιών όσο και για τη λειτουργία του ίδιου του πράκτορα, ενώ η διαδικασία δεν απαιτεί ενημερώσεις βαρών ή ανθρώπινη επισήμανση. Η ομάδα είχε προηγουμένως παρουσιάσει την προσέγγιση σε πράκτορες προγραμματισμού· η νέα μελέτη την εφαρμόζει στην εξυπηρέτηση πελατών. Η ανάρτηση αναφέρει έντεκα συγγραφείς από την IBM Research, μεταξύ των οποίων οι Ashwath Vaithinathan Aravindan, Vatche Isahagian και Vinod Muthusamy.

Πώς διεξήχθη η μελέτη

Το τ²-bench, το οποίο συντηρεί η Sierra Research, είναι ένα πλαίσιο προσομοίωσης για την αξιολόγηση πρακτόρων εξυπηρέτησης πελατών σε διάφορους τομείς. Σύμφωνα με το αποθετήριο του τ²-bench, κάθε τομέας ορίζει μια πολιτική που πρέπει να ακολουθεί ο πράκτορας, ένα σύνολο εργαλείων και ένα σύνολο εργασιών αξιολόγησης, ενώ η βασική επιστημονική δημοσίευση του benchmark περιγράφει ένα περιβάλλον διπλού ελέγχου. Η μελέτη της IBM χρησιμοποιεί τους τομείς λιανικής και αεροπορικών μεταφορών. Σε κάθε εργασία, ο πράκτορας αλληλεπιδρά με έναν πελάτη που προσομοιώνεται από LLM, με εργαλεία του αντίστοιχου τομέα και με ένα γραπτό έγγραφο πολιτικής· μια εργασία θεωρείται επιλυμένη μόνο όταν η τελική κατάσταση της βάσης δεδομένων συμφωνεί με το αναμενόμενο αποτέλεσμα, κάτι που η ανάρτηση περιγράφει ως αυστηρή δυαδική ανταμοιβή.

Στην αξιολόγηση εκτελέστηκε η δική του υλοποίηση ενός βασικού πράκτορα ReAct από το τ²-bench, με βρόχο δύο φάσεων THINK→ACT, χρησιμοποιώντας το gpt-4.1 ως μοντέλο πράκτορα και το gpt-5.5 ως μοντέλο προσομοίωσης πελάτη, με τέσσερις δοκιμές ανά εργασία. Η μόνη τροποποίηση ήταν η προσθήκη μιας απλής λίστας κατευθυντήριων οδηγιών σε μορφή markdown στην προτροπή συστήματος, μετά την πολιτική του τομέα. Στα παραδείγματα που δημοσιεύτηκαν περιλαμβάνονται η ταυτοποίηση του χρήστη πριν από οποιαδήποτε ενέργεια σχετική με παραγγελία, η απαίτηση ρητής έγκρισης από τον χρήστη πριν από ενέργειες που ενημερώνουν τη βάση δεδομένων, η παροχή αναλυτικών καταστάσεων επιστροφής χρημάτων ανά είδος, η εκτέλεση μίας ενέργειας σε κάθε βήμα και η ανάλυση συνδυασμένων αναγνωριστικών ονομάτων πριν από την αναζήτηση χρηστών.

Οι κατευθυντήριες οδηγίες εξήχθησαν από τις ακολουθίες ενεργειών του πράκτορα στις εκπαιδευτικές εργασίες του τ²-bench με χρήση του gpt-4.1 και εφαρμόστηκαν χωρίς αλλαγές στο σύνολο δοκιμών που είχε κρατηθεί εκτός εκπαίδευσης. Κάθε οδηγία συνοδεύεται από έναν αριθμό υποστήριξης, δηλαδή τον αριθμό των διαφορετικών εκπαιδευτικών εργασιών από τις οποίες εξήχθη. Η μελέτη συγκρίνει τρεις διαμορφώσεις: μια βασική γραμμή αναφοράς χωρίς κατευθυντήριες οδηγίες· την sup3, η οποία διατηρεί μόνο τις οδηγίες με αριθμό υποστήριξης τουλάχιστον τρία (31 στη λιανική, 14 στις αεροπορικές μεταφορές)· και την lossless, η οποία διατηρεί όλες τις οδηγίες που επιλέχθηκαν (292 στη λιανική, 101 στις αεροπορικές μεταφορές).

Αποτελέσματα σε σύνολα δοκιμών εκτός εκπαίδευσης στη λιανική και στις αεροπορικές μεταφορές

Η μελέτη καταγράφει δύο μετρικές στις τέσσερις δοκιμές ανά εργασία: τη Μέση Ακρίβεια (Mean Accuracy), δηλαδή το μέσο ποσοστό επιτυχίας, την οποία οι συγγραφείς παρουσιάζουν ως άξονα ικανότητας, και το Pass^4, δηλαδή το ποσοστό των εργασιών που επιλύθηκαν και στις τέσσερις δοκιμές, το οποίο παρουσιάζουν ως άξονα αξιοπιστίας και προσδιορίζουν ως τη μετρική που αναφέρει ο πίνακας κατάταξης του τ²-bench.

Στις 40 εργασίες λιανικής του συνόλου δοκιμών που κρατήθηκε εκτός εκπαίδευσης, η IBM αναφέρει ότι ο πράκτορας της βασικής γραμμής αναφοράς πέτυχε μέση ακρίβεια 78.1% και Pass^4 57.5%. Ο πυρήνας sup3 πέτυχε 78.8% και 60.0%, ενώ η διαμόρφωση lossless πέτυχε 82.5% και 67.5%· οι αυξήσεις σε σχέση με τη βασική γραμμή αναφοράς αναφέρονται ως 4.4 και 10.0 ποσοστιαίες μονάδες.

Στις 20 εργασίες αεροπορικών μεταφορών του συνόλου δοκιμών που κρατήθηκε εκτός εκπαίδευσης, η βασική γραμμή αναφοράς πέτυχε ακρίβεια 57.5% και Pass^4 35.0%. Ο πυρήνας sup3 έφτασε σε ακρίβεια 60.0% και Pass^4 45.0%, ενώ η διαμόρφωση lossless έφτασε σε ακρίβεια 65.0% και Pass^4 40.0%. Τα αποτελέσματα στους δύο τομείς διέφεραν ως προς τον όγκο των οδηγιών: στη λιανική, η μεγαλύτερη βελτίωση προέκυψε με το πλήρες σύνολο lossless, ενώ στις αεροπορικές μεταφορές ο συμπαγής πυρήνας sup3 πέτυχε το καλύτερο Pass^4. Η IBM αναφέρει ότι ο αριθμός υποστήριξης είναι παράμετρος που αξίζει να ρυθμίζεται ανά τομέα και όχι τιμή που πρέπει να ορίζεται εκ των προτέρων.

Κόστος, νέα δοκιμή με μοντέλο αιχμής και κατάσταση στον πίνακα κατάταξης

Το συνολικό κόστος LLM ανά συνομιλία σε ολόκληρο το βασικό σύνολο αυξήθηκε μαζί με το μέγεθος της προτροπής: στη λιανική, από $0.084 στη βασική γραμμή αναφοράς σε $0.139 με τη διαμόρφωση lossless, αύξηση που αναφέρεται ως 65%, και στις αεροπορικές μεταφορές, από $0.081 σε $0.107, αύξηση που αναφέρεται ως 32%· οι παραλλαγές sup3 κόστισαν $0.095 και $0.097 αντίστοιχα. Στις αντιστοιχισμένες εκτελέσεις που επιλύθηκαν τόσο με τις ρυθμίσεις της βασικής γραμμής αναφοράς όσο και με τις ρυθμίσεις κατευθυντήριων οδηγιών, οι συνομιλίες ήταν ελαφρώς συντομότερες με τις οδηγίες: στη λιανική, ο αριθμός των γύρων του βοηθού μειώθηκε από 10.59 σε 10.16 με τη διαμόρφωση lossless και στις αεροπορικές μεταφορές από 9.15 σε 8.82, ενώ καμία παραλλαγή δεν αύξησε τη διάρκειά τους. Η IBM αναφέρει ότι οι λιγότεροι γύροι συνεπάγονται χαμηλότερη συνολική καθυστέρηση για τον πελάτη και ότι το πρόσθετο κόστος εισόδου μπορεί να αντισταθμιστεί σε μεγάλο βαθμό στην παραγωγή μέσω της προσωρινής αποθήκευσης προτροπών, καθώς το τμήμα των κατευθυντήριων οδηγιών είναι ίδιο σε κάθε κλήση.

Η ομάδα επανέλαβε επίσης τη δοκιμή στον τομέα των αεροπορικών μεταφορών, χρησιμοποιώντας το gpt-5.5 τόσο ως πράκτορα όσο και ως μοντέλο εξαγωγής κατευθυντήριων οδηγιών, και εξήγαγε εκ νέου οδηγίες από τις ίδιες τις εκτελέσεις αυτού του πράκτορα. Καμία οδηγία που εξήχθη δεν είχε αριθμό υποστήριξης τουλάχιστον τρία, επομένως ο πυρήνας υψηλής υποστήριξης ήταν η sup2 με 103 οδηγίες, ενώ το σύνολο lossless περιλάμβανε 146 οδηγίες. Στις ίδιες εργασίες αεροπορικών μεταφορών του συνόλου δοκιμών που κρατήθηκε εκτός εκπαίδευσης, η βασική γραμμή αναφοράς gpt-5.5 πέτυχε ακρίβεια 72.5% και Pass^4 55.0%· η sup2 έφτασε στο 80.0% και 70.0%· και η lossless στο 82.5% και 70.0%, με τις αυξήσεις να αναφέρονται ως 10.0 ποσοστιαίες μονάδες στην ακρίβεια και 15.0 ποσοστιαίες μονάδες στο Pass^4. Η IBM αναφέρει ότι το αποτέλεσμα της lossless αναπαράχθηκε ακριβώς στις επαναληπτικές δοκιμές.

Οι υποβολές στον πίνακα κατάταξης βαθμολογούνται στο πλήρες βασικό σύνολο, το οποίο περιλαμβάνει τόσο τις εργασίες εκπαίδευσης όσο και τις εργασίες δοκιμής, και τα αποτελέσματα αναφέρονται με βάση το Pass^4, επομένως διαφέρουν από τις τιμές του συνόλου ελέγχου που παρατίθενται παραπάνω. Με βάση το στιγμιότυπο της 12ης Οκτωβρίου 2026, η IBM αναφέρει ότι ο πράκτοράς της για το λιανεμπόριο κατατάσσεται πρώτος με 67,5%, μπροστά από το RAFT-30B-A3B με 61,4% —μοντέλο που, σύμφωνα με την IBM, έχει προσαρμοστεί με λεπτομερή ρύθμιση σε συνθετικά δεδομένα λιανεμπορίου του τ²-bench—, με διαφορά 6,1 μονάδων. Στον τομέα των αεροπορικών εταιρειών, αναφέρει ότι ο πράκτορας gpt-5.5 κατατάσσεται πρώτος με 82,0%, πάνω από τις κορυφαίες συμμετοχές που καταγράφει στο εύρος 66–72%, ενώ η παραλλαγή gpt-4.1 sup3 κατέλαβε την όγδοη θέση με 44%, μπροστά από το GPT-5.2 που εκτελείται χωρίς συλλογισμό και με επίδοση σχεδόν ίση με εκείνη του Claude Sonnet 4.5. Η IBM δηλώνει ότι η προσέγγιση βελτιώνει τους έτοιμους πράκτορες χωρίς ενημέρωση των βαρών, ανθρώπινη επισημείωση ή διαρροή δεδομένων από το σύνολο δοκιμής.

Η υποβολή του λιανεμπορίου στον πίνακα κατάταξης κατατέθηκε ως αίτημα ενσωμάτωσης (pull request) στο τ²-bench στις 14 Σεπτεμβρίου 2026. Ανέφερε Pass^1 81,14% έως Pass^4 67,54% σε 114 εργασίες του βασικού συνόλου, με τέσσερις δοκιμές ανά εργασία, και μέσο κόστος 0,1084 $ ανά συνομιλία στο tau2-bench v1.0.1. Σημείωνε επίσης ότι οι κατευθυντήριες γραμμές αντλήθηκαν από ένα σύνολο εκπαίδευσης για το λιανεμπόριο, το οποίο περιλαμβάνεται στο βασικό σύνολο αξιολόγησης. Η υποβολή των αεροπορικών εταιρειών στον πίνακα κατάταξης ακολούθησε στις 21 Σεπτεμβρίου 2026, με Pass^1 88,50% έως Pass^4 82,00% σε 50 εργασίες και μέσο κόστος 0,1690 $ ανά συνομιλία. Και οι δύο υποβολές γνωστοποιούν ότι τα προτρεπτικά μηνύματα έχουν τροποποιηθεί, αναφέρουν ότι αναμένουν να καταχωριστούν ως «Μη επαληθευμένες» και παραμένουν ανοικτές.